IT资讯 专家:训练一次 GPT-3 能耗相当于一辆车开 70 万公里

phelps · 2020-11-05 15:00:06 · 热度: 125

没投过票?千万别说你来过 OSC
https://www.oschina.net/project/top_cn_2020

苹果新品手机不送充电头的操作似乎在科技圈掀起了一股低碳环保的风潮。来自丹麦哥本哈根大学的技术团队推出了一个名为 Carbontracker 的开源项目,该项目可以预测训练 AI 模型的碳排放强度。

据悉,团队利用 Carbontracker 对当前最火热的人工智能语言模型 GPT-3 进行了测算。经测算,在使用 Nvidia GPU 集群组成的微软超算数据中心中训练一次 GPT-3 模型消耗的电量约为 19 万度,按照美国的碳排放标准计算大约产生了 85000 kg 的二氧化碳当量,相当于一辆汽车行驶 70 万公里(大约是地球与月球之间距离的两倍)的排放量。

Carbontracker 项目的创建者 Lasse Wolff Anthony 介绍,二氧化碳排放的估算值是根据 AI 模型训练过程中所用电力来源的平均碳强度(或预测的碳强度)加上运行该模型的硬件能耗计算得出的。Carbontracker 依靠几种 API 来检索实时碳排放强度(不同地区的发电设施能量转化率不同),如果没有该模型训练所在地区的 API,则默认为欧洲平均值。然后在 AI 模型训练期间定期查询这些 API 和硬件能耗,就能准确估算出总碳排放量。

Anthony 表示,能源损耗应该引起 AI 学术界的重视,因为自 2012 年以来,AI 研究的能源成本已经增加了 30 万倍。

 

延伸阅读

人类算力天花板?1750 亿参数的 AI 模型 GPT-3 引爆硅谷

以假乱真,大学生用 GPT-3 生成伪文章成功骗过众人

微软拿到 GPT-3 独家授权,“OpenAI 该改名‘ClosedAI’”

建议患者自杀,AI 教父:不要对 GPT-3 有不切实际的期望

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册