潮人新知｜一次演习耗电2400万度AI成长正在花费大年夜量能源！

本日我们常说的人工智能（AI），紧张指的都是天生式人工智能。
个中一大部分，是基于大措辞模型的天生式AI。

而让各种AI运转起来的做事器便是电子打算机，虽然打算机中处理的只是信息，但运转却须要大量能源。

比如，仅仅是ChatGPT-4的GPU（打算机显卡的核心部件，卖力实行繁芜的数学和几何打算，用于渲染图像、视频和其他图形内容，也用于AI的演习和推理)，演习一次就会用去2400万度电。

AI带来的能源问题已经显现。

一个被证明的事理——处理信息须要花费能量

1961年，在IBM公司事情的物理学家拉尔夫兰道尔提出了后来被称为“兰道尔事理”的理论。
这一理论认为，打算机中存储的信息在发生不可逆的变革时，会向周围环境散发一点点热量，其散发的热量和打算机当时所处的温度有关——温度越高，散发的热量越多。

兰道尔事理连接起了“信息”和“能量”，大略地说，便是信息处理操作，会导致物理天下中熵（热力学中表征物质状态的参量之一）的增加，从而花费能量。

这一事理自提出以来曾遭受过不少质疑。
但是近年来，兰道尔事理已被实验证明。

2012年，《自然》杂志上揭橥了一篇文章，研究团队首次丈量到了一“位”（bit，是打算机中最基本的信息单位，它可以表示二进制的0或1）数据被删除时开释的微量热量。
后来又有几次独立实验，都证明了兰道尔事理。
以是，处理信息是有能量本钱的。
现在的电子打算机在打算时实际花费的能量，乃至是这个理论值的数亿倍。

大措辞模型须要大量打算。
它的事情过程大致可以分为演习和推理两个阶段。
无论是演习还是推理，都是持续串信息重组的过程，因此都遵照兰道尔事理。
于是我们不难推知，模型的参数量越大，须要处理的数据越多，所需的打算量就越大，所花费的能量也就越大，开释的热量也就越多。

电子产品正花费大量能源 制图 小蕲

AI的能耗更多还是来自电流

科学家们一贯在努力探求更高效的打算方法，以降落本钱。
不过从目前的研究进展情形来看，大概只有真正的室温超导材料能广泛运用于打算设备时，才有可能降落这种花费。

而这还只是AI耗电中微不足道的一小部分。
更大的花费则来自电流。

本日的电子打算机建立在集成电路的根本上。
我们常日把集成电路叫做芯片，每个芯片中，又有许多晶体管。
不严格地描述，晶体管可以理解成眇小的开关。
这些开关串联或者并联在一起，就可以实现逻辑运算。

“开”和“关”是表示两种状态，也便是所谓的1和0，便是打算的基本单位“位”。
它是打算机二进制的根本。
而打算机通过快速改变电压，来拨动这些开关；改变电压，须要电子流入或流出；电子的流入流出，就构成了电流；又由于在电路中总是有电阻，就产生了热能。
这个过程中产生的热量与电流的平方成正比，与导体电阻成正比，与通电韶光成正比。

集成电路技能发展到本日，芯片中的晶体管已经变得极小。
以是，单个晶体管所产生的热量并不会太高。
但问题是，如今芯片上的晶体管实在是已经多到了凡人无法想象的程度——比如，在IBM前几年发布的等效2纳米制程芯片中，每平方毫米面积上，均匀有3.3亿个晶体管。

再小的热量，乘上这个规模，结果也一定相称可不雅观。

一个可能让人大跌眼镜的事实是，本日芯片单位体积的功率，比太阳核心的功率还多出好几个数量级——范例的CPU芯片功率大概是每立方厘米100瓦，即每立方米1亿瓦；而太阳核心的功率只有每立方米不到300瓦。

在OpenAI公司演习大措辞模型ChatGPT-4时，完成一次演习须要约三个月韶光，要利用大约25000块“英伟达A100 GPU”，每块GPU都拥有540亿个晶体管，功耗400瓦，每秒钟可以进行19.5万亿次单精度浮点数的运算，每次运算又涉及许多个晶体管的开关。

仅仅是这些GPU，一次演习就要用掉2400万度电。
这些电能末了险些全部转化成了热能，而这些能量可以将大约20万立方米冰水——大概是100个奥运会标准拍浮池的水量——加热到沸腾。

AI发展带来的能源短缺问题已开始浮现

为什么AI须要用这么多的强大GPU来演习？由于大措辞模型的规模实在太大。

ChatGPT-3模型已拥有1750亿参数，而据推测，ChatGPT-4拥有1.8万亿参数，是ChatGPT-3的十倍。
要演习这种规模的模型，须要大量打算。
这些打算终极会表现为晶体管的开开关关，和集成电路中细细的电流——以及热量。

而能量无法创造也无法消灭，它只能从一种形式转化成另一种形式。
对付电子打算机来说，它紧张是在将电能转化成热能。
大措辞模型也是如此，它对电能和冷却水的需求，正带来越来越严重的环境问题。

早前，有微软公司的工程师曾透露，为了演习ChatGPT-6，微软和OpenAI建造了巨大的数据中央，将会利用10万块“英伟达H100 GPU”——其性能比“英伟达A100 GPU”更强，当然功耗也更大。
个中一个关键信息是，这些GPU不能放在同一个州，否则会导致电网负荷过大而崩溃。

在今年的达沃斯天下经济论坛上，OpenAI的CEO山姆阿尔特曼认为，核聚变可能是能源的发展方向。
但要开拓出真正可用的核聚变技能，可能还须要一些韶光。

水资源的问题也是一样。
过去几年，那些在AI大模型领域先行一步的大企业们，都面临水花费大幅增长的局势。
2023年6月，微软公司发布了2022年度环境可持续发展报告，个顶用水一项，有超过20%的显著增长。
谷歌公司也类似。

有研究者认为，AI的发展，是这些科技巨子用水量剧增的紧张缘故原由——要冷却猖獗发热的芯片，水冷系统是最常见的选择。
以是我们说，为AI供应硬件根本的数据中央，如同一个巨大的“电热水器”。

以是，AI发展带来的能源短缺问题，已经开始浮现。

如何让这些散失落的热能不至于白白摧残浪费蹂躏？最随意马虎想到也随意马虎实现的，是热回收技能。
比方说，将数据中央回收的热量用于供应民用热水，冬季供应民用采暖。
现在有一些企业已经动手在回收废热再利用了，例如中国移动哈尔滨数据中央、阿里巴巴千岛湖数据中央等。

但这并不能从根本上办理问题。

AI家当的发展速率之快，在人类历史上没有任何家当能与之比较。
平衡AI技能的发展与环境的可持续性，可能会是我们未来几年的主要议题之一。

技能进步和能源花费之间的繁芜关系，从来没有这么急迫地涌如今人类面前。

本文由科普中国-星空操持出品，来源于微信公众年夜众号“返朴”（ID：fanpu2019）

原文载于《羊城》2024年04月19日A10 版

编辑：易芝娜