发布AI能耗评分

社区文章 发布于2025年2月11日

image/png

AI模型为从聊天机器人到搜索引擎的一切提供动力,但它们的能耗仍然不透明。一些大型模型需要多个云GPU才能运行,并消耗大量能源,而其他模型体积小,可以在笔记本电脑甚至手机上运行。

AI社区需要一种方法来比较不同任务中AI模型的能耗——AI能耗评分项目旨在实现这一目标,为衡量AI能耗提供清晰和标准化的基准,确保AI社区能够做出明智、可持续的选择。

AI能耗评分的关键特性

标准化能耗评级 ⚡

一个统一的框架根据AI模型在特定任务中的能耗来衡量和比较它们。这确保了评估模型效率时的清晰度和可靠性。

AI模型公共排行榜 📈

首次推出公共排行榜,对10个常见AI任务(包括文本和图像生成、摘要等)中的166个AI模型进行排名。被评估的模型包括LLaMa模型、Phi、Gemma、Mistral和SmolLM。

面向AI开发者的基准测试门户 💻

开发者可以提交他们的模型——无论是开源还是专有——在AI能耗评分框架下进行评估。开源模型会自动测试,而封闭模型通过安全的Docker环境进行评估,确保可复现性和公平比较。

可识别的能耗标签 ⭐

为了简化决策,AI能耗评分引入了1到5星的评级系统,类似于家用电器能效评级。给定任务中最节能的模型将获得最高的“五星”评级,引导用户做出可持续的选择。

image/png

AI行动峰会上的AI能耗评分 🇫🇷

我们将与Salesforce和Cohere的合作伙伴一起,在巴黎的AI行动峰会上展示AI能耗评分项目。届时,来自100多个国家的领导人以及私营部门和民间社会代表将齐聚一堂,探讨如何利用AI造福社会。

该倡议得到了峰会组织者和巴黎和平论坛的认可,有潜力改变行业标准,推动全球范围内节能AI模型的普及。

下一步是什么? 🚀

推出AI能耗评分只是一个开始。我们的目标是测试尽可能多的模型,特别是每天被数百万用户使用的专有模型。因此,我们将继续努力,特别是

  • 扩展AI能耗评分数据库,以评估更多模型和AI任务。
  • 鼓励全行业采用能效基准。
  • 与政策制定者合作,将可持续性纳入AI法规。
  • 教育AI用户和开发者,在技术选择中优先考虑效率。

社区

感谢您在能效方面所做的努力。这激起了我的好奇心!
为什么smolLM-135m和smolLm-1.7B在模型大小相差10倍的情况下,分数却几乎相同?这主要是由相同的上下文大小造成的吗?
您能否启用编码器-解码器模型?理论上它们应该更高效,因为输入只需编码一次,并且可以在每个解码步骤中重复使用。

注册登录 以评论