Hugging Face 的 LOGO

AI的碳足迹令人担忧吗？

社区文章 发布于2024年7月14日
赞
3
Clelia Astra Bertelli's avatar
克莱利亚·阿斯特拉·贝特利
as-cle-bert

农业部署AI驱动的机器人，以利用更少的资源种植植物（Sheikh，2020）。AI被应用于解决蛋白质结构预测的挑战，这可以为生物科学带来革命性的进展（Jumper et al., 2021）。AI还被用于发现新的电催化剂，以实现高效和可扩展的存储和使用可再生能源的方式（Zitnick et al., 2020），同时也被应用于提前预测可再生能源的可用性，以提高能源利用率（Elkin & Witherspoon, 2019）——摘自Wu et al., 2022

AI_CF_worrisome

本文开头两组陈述的并置（和对立）并非没有明确的意图：它旨在强调AI最大的对比之一，一个类似于悖论的漏洞，即一个可以帮助我们应对气候危机的工具，未来可能成为这场危机中的活跃部分。

AI真的对环境构成那么大的威胁吗？我们能做些什么来改善这种情况？让我们一步一步地分解这个问题。

0. 开始之前：一些术语

我们需要介绍三个主要术语，它们将在本文中贯穿始终，并作为我们达成共识的有用基础。

  • 碳足迹：根据大英百科全书的定义，它是“与一个人或实体（如建筑物、公司、国家等）所有活动相关的二氧化碳（CO2）排放量”。这不仅指一个人直接消耗的化石燃料（汽油、塑料等），还包括商品生产和服务提供过程中运输、供暖、电力所需的所有排放。
  • 二氧化碳当量（CO2e）：欧盟委员会指出，它是“一种度量单位，用于根据各种温室气体的全球变暖潜能值（GWP）来比较它们的排放量，通过将其他气体的量转换为具有相同全球变暖潜能值的等量二氧化碳”。这仅仅意味着还有许多其他温室气体（甲烷、氯氟烃、一氧化二氮等）都具有全球变暖潜能值：尽管我们的排放主要由二氧化碳组成，但它们也包含这些其他气体，用二氧化碳当量来表示一切对我们来说更容易。例如：甲烷的全球变暖潜能值是二氧化碳的25倍，这意味着产生1公斤甲烷可以转化为产生25公斤二氧化碳当量。
  • 生命周期评估（LCA）：根据欧洲环境署词汇表，LCA“是评估产品在其整个生命周期中对环境影响的过程，从而提高资源利用效率并减少负债”。我们可以使用这种技术来追踪一个物体（有时是服务）从开始到结束的影响，了解与其生产、使用和处置相关的能源消耗。

这三个定义附带一项免责声明（特别是第一个和最后一个）：并非所有科学界人士都认为它们是正确的，并且还有其他几种可能性来定义这些概念。本文中我们感兴趣的是掌握一种操作性知识，它将有助于理解AI对环境影响的事实和数据：因此，我们不会深入探讨科学术语的争议。

1. AI对环境的影响：一个令人不安的故事

AI碳足迹存在一个大问题：我们对此知之甚少，而且大多数AI公司对此数据并不透明。

尽管如此，我们还是尝试根据2022年在圣克拉拉举行的第五届MLSys会议上发表的一篇论文（《可持续AI：环境影响、挑战和机遇》）来看一些估算。所提出分析的核心思想是，从硬件生产到使用再到部署，端到端地跟踪AI的消耗，作者称之为“整体方法”。

  • 硬件生产、使用、维护和回收：这部分基于对处理器和其他硬件设施的全面LCA（生命周期评估）：结论似乎表明硬件（或内含）和计算（或操作）碳足迹之间存在30/70%的分配。
  • 研究、实验和训练：尽管研究和实验可能需要很长时间和大量的计算工作，但这两部分在碳足迹方面远不如训练那么重。像GPT-3这样的模型，我们现在认为它已经过时了，需要超过60万公斤的二氧化碳当量：考虑到一个人每年的平均世界碳足迹约为4000公斤，我们可以说GPT-3的影响相当于150人一年的影响。此外，您还必须考虑到不仅有“离线”训练（使用历史数据进行的训练），还有“在线”训练，即使模型与最近发布的内容保持同步的训练：例如，这部分对于像Meta的RM1-5这样的推荐模型尤其重要。
  • 推理：推理可能是碳成本中最重要的部分：正如Philip Lewer（Untether AI）所说，“模型的构建明确是为了推理，因此在推理模式下运行的频率远高于训练模式——本质上是训练一次，处处运行”（摘自这篇文章）。根据麻省理工学院和东北大学的研究人员的说法，“NVIDIA和亚马逊的不同估算表明，推理任务占AI计算需求的80%或更多”（MacDonald et al., 2022）。同样对于Meta的RM1模型，推理的碳成本几乎是离线和在线训练已经产生的碳成本的两倍。

2. 数据饥渴：一个能源问题

如果所有这些方面都占据了AI碳足迹的很大一部分，那么还有一个我们一直忽视的巨大问题：数据。虽然它们与AI的“硬件”生命周期没有直接关联，但它们是构建模型的关键部分：LLM（大型语言模型）领域的数据量从GPT-3（2020-21年）的10^11个tokens级别增长到Llama 3（2024年）的超过10^13个tokens。Epoch AI的估计告诉我们，到2026年至2032年之间，我们将耗尽用于训练AI的人类生成数据。

我们把所有这些数据放在哪里，又如何维护它们？答案是数据中心，它们在2022年消耗了460太瓦时（TWh）的电能，占全球需求的2%：根据国际能源署的说法，到2026年，数据中心的消耗量有可能翻一番，其中AI和加密货币是主要增长因素。

但是数据中心为什么需要如此多的能源呢？这不仅是为了让它们的超级计算机24/7运行，更主要是为了避免过热：很大一部分能源被冷却系统吸收（这可能不仅是电力问题，也可能是水资源问题）。正如MacDonald等人在他们的论文中所强调的，能源支出对高温敏感，这意味着随着全球变暖，冷却可能需要更多的努力。

3. 我们能做些什么？展望

研究人员一直在探索解决AI碳足迹问题的众多方案：例如，谷歌在2022年提出了4M方法来减少机器学习和深度学习的碳足迹

  • 模型：优化模型选择，优先选择稀疏模型而非密集模型，因为它们所需的计算能量更少（可减少3到10倍）
  • 机器：使用专门定制的硬件（如TPUv4）以减少损耗并提高效率（优化2到5倍）。
  • 机械化：在云端进行计算并使用云数据中心而非物理数据中心，可将能源消耗降低1.4至2倍。
  • 地图优化：选择合适的云存储位置可以显著改善碳足迹，进一步减少5到10倍。

此外，LMSys 2022年的论文强调了一系列技术组合，他们通过这些技术实现了相对于Meta CPU碳成本基线，总体能源消耗减少了810倍。

  • 平台级缓存：频繁访问的数据和嵌入式数据被预先计算并缓存到DRAM中，从而更容易访问它们。
  • GPU使用：采用GPU加速可将能源成本降低多达10倍。
  • 低精度数据格式：使用FP16 GPU而非FP32 GPU被证明更高效。
  • 算法优化：选择正确的训练和推理算法可以将能源成本降低多达5倍。

然而，问题依然存在：所有这些措施真的能帮助我们减少AI对环境的影响吗？AI本身对气候危机的益处会大于其危害吗？

除了这些问题以及可能被提出的所有其他问题之外，所有这些观察都清楚地表明，在质疑的同时，我们需要开始采取行动，要求AI公司提高透明度并制定绿色政策，并开始围绕我们自己的AI使用建立气候意识。然后，在适当的时候，所有我们需要的答案都会水落石出。

参考文献

社区

注册 或 登录 发表评论

赞
3
© . This site is unofficial and not affiliated with Hugging Face, Inc.