论文标题：Preventing the Immense Increase in the Life-Cycle Energy and Carbon Footprints of LLM-Powered Intelligent Chatbots

期刊：Engineering

DOI：https://doi.org/10.1016/j.eng.2024.04.002

微信链接：点击此处阅读微信文章

近年来，基于大语言模型（LLM）的智能聊天机器人在全球范围内迅速发展，展现出巨大的行业应用潜力。然而，其背后隐藏的能源消耗与碳排放问题也逐渐引起了人们的关注。一篇发表在《Engineering》上的文章指出，LLM 赋能的智能聊天机器人全生命周期的能源消耗与碳足迹正在急剧增加，需要采取有效的措施加以防控。该研究由来自四川大学、奥胡斯大学、中国科学院、康奈尔大学和格拉斯哥大学的学者共同完成。四川大学副研究员蒋鹏为第一作者，英国格拉斯哥大学Siming You教授为通讯作者。

文章指出，从 2019 年到 2021 年，代表性 LLM 的模型参数数量在三年内显著增加了 23788 倍，这导致了训练、微调及更新智能聊天机器人需要消耗大量电力，进而产生显著的碳排放。文章提出，与LLM赋能的智能聊天机器人相关的生命周期能耗和碳排放管理预计涵盖八个主要阶段，包括聊天机器人的研发（research and development, R&D）（阶段1）、硬件制造（如GPU、TPU、超级计算机及服务设备/机器人）（阶段2）、全球商业物流（阶段3）、设施运营和维护（阶段4）、海量数据采集与管理（如通过高能耗的大型数据中心进行源数据管理）（阶段5）、LLM的训练和微调（阶段6）、线上/线下聊天机器人服务（阶段7），以及硬件材料的回收和废弃物处理（阶段8）。利用现有数据，文章分析了LLM赋能的智能聊天机器人生命周期能耗和碳排放管理八个主要阶段的潜在能耗和碳足迹。

图1 LLM赋能的智能聊天机器人生命周期能耗和碳排放管理示意图，涵盖从研发、硬件制造到服务及废弃物管理全过程。

在硬件制造阶段，LLM 赋能的智能聊天机器人所需的高性能 GPU、TPU、超级计算机等硬件设备的制造属于资源与能源双密集型过程。例如，英伟达公司预计在 2023 年内全球交付 55 万片最新旗舰 H100 GPU，而高性能的 H100 GPU 需要通过台积电 4 nm 工艺等高端且高能耗的设备制造。此外，集成电路制造过程中累计的能耗范围为 9~38 MJ·cm^-²，而金属开采与生产也是一个高能耗过程，全球约 38% 的工业能耗和约 15% 的电力消耗用于金属生产。

全球商业物流阶段涉及大量通过多种协调运输方式进行的全球运输。例如，训练拥有 500 亿参数和 3630 亿数据词元的轻量级 BloombergGPT 需要 512 块英伟达 A100 GPU，而 GPT-4 的训练使用了 1 万到 2.5 万块 A100 高性能 GPU，未来的 GPT-5 可能需要 3 万到 5 万块。现有数据显示，2022 年出货的专用 GPU 在一年内可能消耗约 9500 GW·h 的电力。

在 LLM 的训练和微调阶段，训练一个拥有 2.13 亿参数的单一 Transformer 架构会产生约 300 tCO₂-eq 的碳排放，相当于北京和纽约之间 125 次往返航班的排放量。GPT-3 的最终训练（拥有 1750 亿参数）消耗了 1287 MW·h 的电力，其碳足迹为 552 tCO₂-eq。而 GPT-4 的最终训练耗电量为 7200 MW·h，其碳排放约为 3088 tCO₂-eq。

图2 LLM训练与微调以及模型开发过程中的电力消耗与碳排放。新算法和技术有望提高LLM训练的能效。需要进行大量研究，以明确在LLM最终训练之外的计算过程中额外的能耗与碳足迹。

线上/线下聊天机器人服务阶段的能耗和碳排放也不容忽视。根据 TRG 数据中心的假设和估算数据，以及 2023 年 1 月的 5.9 亿次访问量，在九种不同情景下，ChatGPT 服务的总体月度电力消耗估算表明，有五种情景和八种情景的电力消耗分别超过了 GPT-4 和 GPT-3 的最终训练能耗。在最坏情况下，每月电力消耗达到 23.364 GW·h。如果基于 2023 年 8—10 月期间月均 15 亿次访问的峰值数据，按此发展趋势估计，在最坏情况下未来通过 Google 搜索使用 ChatGPT 服务的年电力消耗将高达 7.128 TW·h。

文章探讨了不同生命周期阶段间的交互和影响，指出各阶段的可视化关系和交互呈现为包含八个阶段的有向网络结构（如图3所示），对其分析需系统工程学知识及考虑内在因素：一是八个阶段涉及全球广泛参与者，其活动和交互会产生显著能耗与环境足迹，协同活动对实现最佳整体能源和环境绩效至关重要；二是图中箭头代表阶段间相互作用，如阶段 1 与阶段 2、5、6、7 存在多方面相互作用表明：①研发应与现有的智能制造技术保持一致；②研发可以改进数据需求和数据管理；③研发是提升LLM训练和微调效率的关键；④研发应始终旨在提高智能聊天机器人的服务质量，进而间接影响整体能耗和碳排放。阶段 2 与所有其他阶段相关联，阶段 7 收集的新数据经阶段 5 管理后用于阶段 6 的 LLM 训练和微调，阶段 8 的材料和电子设备回收再利用可通过减少阶段 2 的制造活动和阶段 3 的全球商业物流间接降低整个系统的能耗和碳足迹。

图3 降低LLM赋能的智能聊天机器人行业全生命周期能源消耗与碳足迹的途径。（a）全生命周期中八个主要阶段之间的关系和相互作用。每个箭头表示一个阶段（源）如何相互关联和（或）影响另一个阶段（汇）；（b）基于生命周期能源使用和碳排放分析，优化LLM赋能的智能聊天机器人行业管理的系统级解决方案示意图。

文章提出了一个系统级解决方案，通过三条战略路径优化该行业的管理，从而降低相关碳足迹。战略路径 I 是全面生命周期评估和动态报告，主要由专业环境团体负责，涵盖从研发到废弃物处理的全生命周期阶段，采用全系统方法进行评估和报告。战略路径 II 是通过激励措施加强生产者责任延伸，主要由前沿科技公司和研究机构负责，强调产品全生命周期的环境影响应被计入，并通过激励机制推动绿色设计和管理。战略路径 III 是长远发展行业协会与管理标准，由政府当局/机构和新兴协会以及研发公司和研究机构共同参与，通过制定相关标准和规范来引导行业的可持续发展。

文章指出，社会层面一直在关注由LLM赋能的智能聊天机器人应用和服务造成的隐私安全问题。前沿科技公司和研发机构（如OpenAI）也正持续着手解决类似问题。除此以外，在工程管理领域，文章建议以下几个方面仍值得持续研究：

①应始终致力于收集更加精确且具有高度时间和空间颗粒度的数据，当获得更全面的数据（涵盖中小型科技企业信息），即可在统筹考量所有生命周期阶段的基础上，开展基于生命周期评估（LCA）的动态环境核算；

②鉴于相关的隐含能耗和碳排放与多个生命周期阶段密切相关，值得进一步研究碳排放和能耗的时空异质性问题（特别是可再生能源基础设施），分析结果可以明确能耗和碳足迹热点，对于指导行业发展具有关键作用；

③LLM可用于支持环境、气候和可持续发展，这也意味着LLM能被用来优化其自身的设计、开发和管理，进一步利用改善后的LLM来促进其他领域的实践，从而在不同行业之间形成管理闭环；

④利用云服务和工业互联来促进节能减碳，并结合IIoT和区块链等新兴信息技术改进数据的追踪、收集和管理，从而提高量化分析的可信度；

⑤需要研究和设计主要利益相关方之间的相互作用以及拟定系统级解决方案内外的各种详细行动路径，同时意识到LLM赋能的智能聊天机器人行业在能耗和碳管理方面的改进还有很大的空间。

论文信息：

Peng Jiang, Christian Sonne, Wangliang Li, Fengqi You, Siming You. Preventing the Immense Increase in the Life-Cycle Energy and Carbon Footprints of LLM-Powered Intelligent Chatbots. Engineering, 2024, 40(9): 202–210

开放获取：

https://doi.org/10.1016/j.eng.2024.04.002

更多内容

Engineering 2025年8月刊目录 | 智能电网与能源专题，主动应对气候变化的高比例可再生能源电力系统专题

第十三届全国环境化学大会将设置《Engineering》期刊专场

让AI更智能，李静海院士团队提出“四一致”新范式

大语言模型+知识图谱：数控系统实现智能故障诊断