谷歌自证清白？Jeff Dean 团队发文佐证AI模型不会产生大量碳足迹

新智元报道

来源：venturebeat

编辑：yaxin

【新智元导读】近日，谷歌研究人员发表的一篇论文认为大型人工智能模型不会产生大量碳排放，并通过对5大NLP模型进行训练评估来佐证这一观点。

谷歌本周发表了一篇论文驳斥了先前的研究结果，即大型人工智能模型可以产生海量碳排放。

在由谷歌人工智能首席科学家 Jeff Dean 合著的一篇论文中，模型、数据中心和处理器的选择可以减少多达100倍的碳足迹，并且对模型生命周期的「误解」导致了碳排放影响的错误估算。

论文地址：https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf

人工智能碳排放的影响有多大？

二氧化碳、甲烷和一氧化二氮的含量达到了80万年来的最高水平。再加上其他因素，温室气体可能催化了自20世纪中期以来我们观察到的全球变暖。

人们普遍认为，机器学习模型也存在导致环境变坏的趋势。

这是因为它们需要大量的计算资源和能量ーー模型通常要在数据中心的专门硬件加速器上经过数千小时的训练，估计每年使用200太瓦时。美国家庭平均每年消耗约1万千瓦时，只是总消耗量的一小部分。

2020年6月，马萨诸塞大学的研究人员发布了一份报告，估算出训练和搜索某个模型所需的能量大约需要626,000磅的二氧化碳排放量，相当于美国汽车平均寿命排放量的近5倍。

另外，谷歌人工智能科学家 Timnit Gebru 合著了一篇论文，强调了大语言模型的碳足迹对边缘化社区的影响。

Timnit Gebru因此也被谷歌人工智能伦理团队解雇。而Jeff Dean在给她的一封电子邮件中指出， Timnit 忽视了模型在训练方面显示出更高效率，并有可能减轻碳排放的影响。

训练5种NLP模型，碳足迹量并不多

这项由谷歌牵头的最新研究是由加州大学伯克利分校的研究人员进行的，主要研究自然语言模型训练。

该研究将模型的碳足迹定义为几个变量的函数。

这些因素包括算法的选择、执行算法的程序、运行程序处理器数量、处理器的速度和功率、数据中心提供电力和冷却处理器的效率，以及能源供应组合(如可再生能源、天然气或煤炭)。

谷歌的工程师们通常是在提高现有模型的质量，而不是从零开始，这样可以最大限度地减少训练模型对环境的影响。

例如，论文指出，谷歌的演化变压器模型是对原始变压器的改进，每秒使用的浮点运算(FLOPS)减少了1.6倍，训练时间减少了1.1-1.3倍。

而另一项改进是稀疏优化，与高密度替代品相比，它可以减少55倍的能源消耗，减少约130倍的净碳排放量。

这篇论文声称，谷歌的人工智能处理器，即张量处理单元(TPUs) ，使得云计算节省的能源远远超过以前的研究所指出的。

研究人员认为平均云数据中心的能源效率大约是企业数据中心的两倍。

他们指出，《科学》杂志最近的一篇论文发现，尽管计算能力在同一时期内增长了550% ，但全球数据中心的能源消耗与2010年相比仅增长了6% 。

早期的研究对类似神经结构搜索这样的模型训练方法做出了错误的假设，神经结构搜索通过为特定任务寻找最佳模型来自动化系统的设计。

合著者使用他们自己的计算公式，评估了最近五个大型自然语言处理模型的能源使用量和碳排放量。

他们得出的结论是:

1 谷歌预先训练的语言模型T5使用86兆瓦，产生了47吨的二氧化碳排放

2 开放域聊天机器人米娜使用了232兆瓦，产生了96吨的二氧化碳排放

3 语言翻译框架 GShard 使用了24兆瓦的电力，产生了4.3吨的二氧化碳排放

4 谷歌开发的路由算法Switch Transformer使用179兆瓦，产生了59吨二氧化碳排放量

5 OpenAI 的自然语言模型GPT-3使用了1287兆瓦，产生了552吨的二氧化碳排放

研究人员称，「为了帮助减少机器学习的碳足迹，我们相信能源使用和二氧化碳排放应该是评估模型的一个关键指标。」

论文只是为了谷歌的商业利益？

这篇论文彻底掩盖了谷歌的商业利益与第三方研究所表达的观点之间的冲突。

该公司开发的许多模型都是面向客户的产品，包括云翻译 API 和自然语言 API。2021年第一季度，谷歌云部门的收入同比增长了近46% ，达到40.4亿美元。

尽管谷歌牵头的研究对此提出了质疑，但至少有一项研究显示，用于训练自然语言处理和其他应用程序的最大模型的计算机数量在6年内增长了30万倍，比摩尔定律还要快。

最近麻省理工学院的一项研究的合著者说，这表明深度学习正在接近它的计算极限。麻省理工学院的合著者说，「我们并不期望目标所隐含的计算需求硬件、环境和金钱成本将是高得令人望而却步的。」

以谷歌为首的这份论文的数据只是表面价值，谷歌模型的训练产生的二氧化碳排放总量也超过了200吨。

这相当于一年中约43辆汽车或24个家庭的平均温室气体排放量。仅仅通过训练OpenAI 的 GPT-3就能达到排放阈值，这就需要驾驶一辆客车行驶130万英里。

参考资料：

https://venturebeat.com/2021/04/29/google-led-paper-pushes-back-against-claims-of-ai-inefficiency/