小投入大算力,AI高能耗问题有解了?

推荐使用ChatGPT4.0中文网,国内可直接访问:www.chatgp4.com

众所周知,人工智能在提供高算力的同时,也成为了一个巨大的能源消耗者。数据显示,ChatGPT每天消耗超过50万度电,该用电量相当于1.7万个美国家庭的总用电量!国际能源署(IEA)预计,从2022年到2026年,数据中心的用电量将翻一番。除了电力需求,人工智能还需要水来冷却计算系统,ChatGPT每处理5至50个提示就会消耗接近半升水。

如果这一趋势持续下去,人类可能最终会与AI争抢资源,如此情景让人不寒而栗。然而,一家科技巨头在解决AI高能耗问题上似乎带来了新的希望。

最近,谷歌DeepMind研究团队提出了一种加速AI训练的方法——多模态对比学习与联合示例选择(JEST)。该方法显著提升了ChatGPT等大型语言模型的训练效率,训练速度提高了13倍,同时能耗减少了10倍。这一突破性进展有效缓解了大型AI模型训练过程中耗电量过大的问题,有望使AI技术变得更加环保和经济。

那么,它是如何做到的呢?从原理上看,AI训练的效果与所用训练数据的质量密切相关。相比于数据的数量,谷歌的方法更注重数据的质量。通过预训练的参考模型,研究人员能够识别哪些数据是优质和有用的,从而缩小需要处理的数据范围。接着,通过模型引导,选择那些经过精心筛选的小型数据集进行训练。

尽管研究人员指出,这种方法虽然能提高模型训练的效果并降低成本,但仍然存在一些局限性。然而,谷歌的研究为我们提供了新的启发,展示了一种思路和可能性,至少表明AI并不会在高能耗的道路上毫无前途地走下去!

滚动至顶部