大模型,快用完了全世界的电?

如今的大模型,已成为各大科技公司竞相争夺的战略高地。然而,在这一算力飞速发展的背后,却隐藏着天文数字般的能源消耗。继数字货币挖矿之后,大模型似乎正成为下一个“电老虎”。

据多家媒体引用外媒3月10日的消息,OpenAI的聊天机器人ChatGPT每日可能消耗超过50万千瓦时的电力,以响应用户约2亿个请求。相比之下,一个美国家庭平均每天使用约29千瓦时的电力,而一个中国家庭的日均用电量一般不超过10千瓦时。这意味着,ChatGPT的日用电量相当于美国家庭的1.7万倍,甚至是中国家庭的5万倍以上。

这仅仅是个开始。如果生成式AI得到广泛应用,电力消耗可能会更为惊人。根据券商中国的数据显示,十年前全球数据中心市场的耗电量为100亿瓦,而如今,达到1000亿瓦已经非常普遍。美国Uptime Institute预测,到2025年,人工智能业务在全球数据中心电力消耗中的占比将从目前的2%猛增至10%。

去年10月,荷兰国家银行的数据科学家亚历克斯·德弗里斯在一篇论文中估计,到2027年,整个人工智能行业每年将耗电85至134太瓦时(注:1太瓦时=10亿千瓦时),这一用电量与阿根廷、荷兰和瑞典一年的总用电量相似,约占全球当前电力消耗的0.5%。

以科技巨头谷歌为例,该公司已将生成式AI整合到电子邮件服务中,并正在测试利用AI为其搜索引擎提供支持。目前,谷歌每天处理的搜索请求达到90亿次。如果这一切都依赖人工智能,每年将需要约29.2太瓦时的电力,几乎相当于爱尔兰一整年的用电量。

大模型为何如此耗电?

大模型消耗大量电力的原因与其庞大的参数量密切相关,参数越多,所需的支持电力也越大。清华大学社科学院数字经济研究中心主任王勇教授指出,OpenAI的ChatGPT模型参数达到1750亿,谷歌的LaMDA模型参数为1370亿,而其视觉语言模型PaLM-E的参数则高达5620亿。这些庞大的参数量必然需要大量的算力来支撑,进而造成巨大的电力消耗。

具体来看,2022年Hugging Face的一篇论文对这种高耗电现象进行了定量描述。根据研究,自家的BLOOM大模型(1760亿个参数)仅在前期训练中就消耗了超过43万千瓦时的电力,相当于国内100多个家庭一年的用电量。而与其参数量相当的GPT-3,前期训练耗电量高达128.7万千瓦时,是前者的三倍。更不用提GPT-4,其电力消耗将更加惊人。

根据斯坦福人工智能研究所(HAI)发布的《2023年人工智能指数报告》,OpenAI的GPT-3单次训练的耗电量高达1287兆瓦时(1兆瓦时=1000千瓦时)。知名计算机专家吴军形象地指出,OpenAI每次训练的电量相当于3000辆特斯拉同时行驶超过30公里。

不仅如此,训练这些大模型只是“电老虎”张开血盆大口的第一步。模型在推理过程中的耗电量同样不可小觑。每次用户在ChatGPT上提问都相当于一次推理请求,这也需要大量的计算能力和能源,每天的运营成本高达70万美元。

Hugging Face与卡内基梅隆大学的研究人员在2023年发布的研究发现,使用人工智能模型生成图像所消耗的能量与给一部智能手机充满电所需的能量相当。此外,制造用于人工智能的设备同样需要消耗大量电力。根据外媒报道,英伟达(Nvidia)公司销售的用于人工智能的GPU占其销售总额的95%。预计该公司今年将出货10万台A100服务器,年电力消耗将达到5.7太瓦时。其供应商台积电(TSMC)正投资新工厂,预计到2027年每年可提供150万台服务器,所有这些硬件的年耗电量将达到85.4太瓦时。

人工智能耗电与数字资产的对比

人工智能的电力消耗程度恐怕与因高耗能而饱受争议的数字资产不相上下。尤其是近期,数字资产的快速上涨,再次将“挖矿费电”这一话题推到了风口浪尖。根据Coin Metrics的估算,今年2月,比特币矿工共消耗了创纪录的19.6千兆瓦电力,超过2023年同期的12.1千兆瓦,足以为德克萨斯州约380万户家庭供电。

不过,与数字资产相比,人工智能的耗电量或许还算小巫见大巫。外媒报道称,目前比特币挖矿日均耗电量为3.97亿千瓦时,相比之下,ChatGPT的耗电量是其794倍,每年消耗的电力相当于荷兰的总用电量。然而,这只是现阶段的数据,考虑到其他的大模型,未来的情况可能会更加严峻。

人工智能潜在的“缺电”危机引发了特斯拉CEO马斯克的担忧。去年7月底,他曾预测,未来两年内将从“缺硅”变为“缺电”,而这可能会影响人工智能的发展。在他看来,电力短缺可能会造成严重后果,就像近期“缺芯”对科技和汽车行业的阻碍一样。面对这一潜在威胁,采取相应措施显得尤为紧迫。

节能:人工智能的下一个目标?

目前,全球科技巨头纷纷承诺实现碳中和。微软承诺到2030年实现负碳排放,谷歌则表示将于2030年实现所有数据中心全天候使用绿色电力。尽管这些科技巨头是全球最大的绿色电力采购者,但随着它们加快AI化,开展大模型的“军备竞赛”,其产生的碳排放引发了更多关注。

OpenAI已意识到训练大型模型的能源密集型问题,因此在如何最有效利用人工智能计算能力方面进行了大量探索,并不断提高效率。另外,有迹象表明,小型人工智能模型正逐渐接近大型模型的能力,这可能会带来显著的能源节约。

英伟达同样致力于开发更高性能和更节能的计算模式,指出在其GPU上运行的人工智能比在其他芯片上运行更为节能。根据中国电子报,英伟达将加速计算作为减少功耗的主要策略,目前已在计算机视觉、数据处理、机器学习和AI等领域部署了300个加速库和400个AI模型。

不过,对大模型的电力消耗不必过于悲观。Hugging Face曾对其多语言人工智能模型的碳排放进行了测试,发现超过5.9亿次的使用量便足以弥补训练最大模型所消耗的碳成本。对于ChatGPT等流行模型而言,使用后的碳排放量可能仅需几周便可超过训练中的碳排放,因为大型模型仅需训练一次,之后可被使用数十亿次。

尾声

毫无疑问,无论大模型如何强大,能源问题始终是一道无法回避的难题。黄仁勋最近明确表示:“AI的尽头是光伏和储能!我们不能只考虑算力,若仅仅关注计算机,我们将需要烧尽14个地球的能源。”如今,国内光伏和储能产业在全球市场中具备较强的竞争力,未来这两个行业的出海潜力巨大。

滚动至顶部