神经网络训练会释放60多万磅二氧化碳?MIT的方法让它降到1/1300

全文共1641字,预计学习时长6分钟

图源:unsplash

AI热已经持续了很长时间,但是有一个问题常常被我们忽略了——运行它的成本是极高的。大规模训练运行AI需要把海量的计算机服务器集中到服务器农场中,消耗巨大的电力来支持程序运转,这通常会排放大量的二氧化碳。

2019年六月,麻省大学的研究员Amherst发现,训练运行一款自然语言处理AI模型可以释放超过62.6万磅的二氧化碳,这几乎是一辆普通汽车在使用年限中释放二氧化碳的五倍!

现在,一篇新发表的论文提出了一个方法,可以减少这种形式的二氧化碳排放。

麻省理工大学的研究人员在四月份发表的论文中提出一种训练运行神经网络的新方法,该方法在调试运行神经网络时释放的二氧化碳仅为当前所用方法释放的1/1300。神经网络是大致模仿人脑功能的一套算法,用来处理自然语言以及解读其它类型的数据。

麻省理工学院电气工程与计算机科学助理教授韩松博士说:“现代深层神经网络(一种特定类型的神经网络)在使用过程中的碳排放量令我相当震惊。”

二氧化碳排放量如此高的一个原因是,从冰箱到手机到数据中心服务器,尽管几乎所有现代设备都使用计算机芯片,这些芯片却各不相同:计算能力不同、使用情况不同。

图源:Jaedoo Lee

为了让算法能在这些设备上运行,软件制造商需要给同一个算法建立不同的版本,这样就能兼容每款设备的特性。反复在不同设备调试同一个算法执行同一种任务的过程会消耗巨大的电能,非常浪费,还会产生更多的二氧化碳。

MIT团队提出的方法就像瑞士军刀一样功能强大。他们的算法可以用于硬件,不管是冰箱还是智能手机都没有问题。在一项测试中,研究人员在不同的手机以及GPU、CPU、专门用于服务器等不同种类的处理器中运行同一个算法,能得到相似的运行过程与结果。

在此之前,每一台设备都需要定制的算法。这款新系统可以使训练AI释放的二氧化碳量可以从几十万磅下降到几百磅。作为作者之一,韩松表示之前的算法是“巨大的能源浪费”。

他说:“训练一个神经网络执行机器翻译付出的代价不仅是大量的碳排放,还要花费1百万到3百万美元。经济与环境付出的代价都很昂贵,而且还不可持续。”

图源:unsplash

MIT推出的这款“一劳永逸神经网络”吸引了其他计算机科学家的注意。2月份,这款神经网络算法在低功耗图像识别挑战中获得了目标识别与图像分类两个领域的第一名,这项挑战由电气和电子工程师协会赞助,旨在促进高效节能的AI技术的开发。

陈亦然博士是杜克大学电气与计算机工程的副教授,也是这次挑战的组织者,他表达了自己对这个算法的喜爱:“这是一个非常有趣的想法。只需调试一次(神经网络)就能用于不同的设备。这毫无疑问就能节省大量的时间和能源。”

MIT研究人员下一阶段的目标是不断提高新系统性能,使其能快速在移动设备上运行,同时扩展功能使其可用于训练微控制器和微处理器。

AI技术确实有帮助人类应对气候变换的潜力。在2019年发表的一篇论文中,一支国际研究团队提出13种利用AI帮助人类适应气候变化并减轻不利影响的方法。

例如,研究人员声称AI能帮助人类预测可再生能源的供求关系、规划大规模的碳固存项目。

图源:unsplash

但是Amherst的研究却表明AI有可能通过增加人类碳足迹,从而总体加速气候变化。全球创建的数据越来越多,对更高效节能方法的需求只会不断增长,因为特定类型的AI可以对全部数据进行结构化和分类。

国际数据公司2018年发布的白皮书预计,到2025年全球数据量将达到175zb,是可观测宇宙中星星数量的175倍。这些数据都需要处理,而处理它们必然要耗费能源。

庞大的数据量表明我们要做大量的调试,要做大量的调试就要消耗巨大的资源。因此,从AI角度研究环境可持续发展,是具有重大意义的。

留言点赞关注

我们一起分享AI学习与发展的干货

如转载,请后台留言,遵守转载规范

版权声明:本文源自 网络, 于,由 楠木轩 整理发布,共 1580 字。

转载请注明: 神经网络训练会释放60多万磅二氧化碳?MIT的方法让它降到1/1300 - 楠木轩