神經網絡訓練會釋放60多萬磅二氧化碳?MIT的方法讓它降到1/1300

全文共1641字,預計學習時長6分鐘

圖源:unsplash

AI熱已經持續了很長時間,但是有一個問題常常被我們忽略了——運行它的成本是極高的。大規模訓練運行AI需要把海量的計算機服務器集中到服務器農場中,消耗巨大的電力來支持程序運轉,這通常會排放大量的二氧化碳。

2019年六月,麻省大學的研究員Amherst發現,訓練運行一款自然語言處理AI模型可以釋放超過62.6萬磅的二氧化碳,這幾乎是一輛普通汽車在使用年限中釋放二氧化碳的五倍!

現在,一篇新發表的論文提出了一個方法,可以減少這種形式的二氧化碳排放。

麻省理工大學的研究人員在四月份發表的論文中提出一種訓練運行神經網絡的新方法,該方法在調試運行神經網絡時釋放的二氧化碳僅為當前所用方法釋放的1/1300。神經網絡是大致模仿人腦功能的一套算法,用來處理自然語言以及解讀其它類型的數據。

麻省理工學院電氣工程與計算機科學助理教授韓松博士説:“現代深層神經網絡(一種特定類型的神經網絡)在使用過程中的碳排放量令我相當震驚。”

二氧化碳排放量如此高的一個原因是,從冰箱到手機到數據中心服務器,儘管幾乎所有現代設備都使用計算機芯片,這些芯片卻各不相同:計算能力不同、使用情況不同。

圖源:Jaedoo Lee

為了讓算法能在這些設備上運行,軟件製造商需要給同一個算法建立不同的版本,這樣就能兼容每款設備的特性。反覆在不同設備調試同一個算法執行同一種任務的過程會消耗巨大的電能,非常浪費,還會產生更多的二氧化碳。

MIT團隊提出的方法就像瑞士軍刀一樣功能強大。他們的算法可以用於硬件,不管是冰箱還是智能手機都沒有問題。在一項測試中,研究人員在不同的手機以及GPU、CPU、專門用於服務器等不同種類的處理器中運行同一個算法,能得到相似的運行過程與結果。

在此之前,每一台設備都需要定製的算法。這款新系統可以使訓練AI釋放的二氧化碳量可以從幾十萬磅下降到幾百磅。作為作者之一,韓松表示之前的算法是“巨大的能源浪費”。

他説:“訓練一個神經網絡執行機器翻譯付出的代價不僅是大量的碳排放,還要花費1百萬到3百萬美元。經濟與環境付出的代價都很昂貴,而且還不可持續。”

圖源:unsplash

MIT推出的這款“一勞永逸神經網絡”吸引了其他計算機科學家的注意。2月份,這款神經網絡算法在低功耗圖像識別挑戰中獲得了目標識別與圖像分類兩個領域的第一名,這項挑戰由電氣和電子工程師協會贊助,旨在促進高效節能的AI技術的開發。

陳亦然博士是杜克大學電氣與計算機工程的副教授,也是這次挑戰的組織者,他表達了自己對這個算法的喜愛:“這是一個非常有趣的想法。只需調試一次(神經網絡)就能用於不同的設備。這毫無疑問就能節省大量的時間和能源。”

MIT研究人員下一階段的目標是不斷提高新系統性能,使其能快速在移動設備上運行,同時擴展功能使其可用於訓練微控制器和微處理器。

AI技術確實有幫助人類應對氣候變換的潛力。在2019年發表的一篇論文中,一支國際研究團隊提出13種利用AI幫助人類適應氣候變化並減輕不利影響的方法。

例如,研究人員聲稱AI能幫助人類預測可再生能源的供求關係、規劃大規模的碳固存項目。

圖源:unsplash

但是Amherst的研究卻表明AI有可能通過增加人類碳足跡,從而總體加速氣候變化。全球創建的數據越來越多,對更高效節能方法的需求只會不斷增長,因為特定類型的AI可以對全部數據進行結構化和分類。

國際數據公司2018年發佈的白皮書預計,到2025年全球數據量將達到175zb,是可觀測宇宙中星星數量的175倍。這些數據都需要處理,而處理它們必然要耗費能源。

龐大的數據量表明我們要做大量的調試,要做大量的調試就要消耗巨大的資源。因此,從AI角度研究環境可持續發展,是具有重大意義的。

留言點贊關注

我們一起分享AI學習與發展的乾貨

如轉載,請後台留言,遵守轉載規範

版權聲明:本文源自 網絡, 於,由 楠木軒 整理發佈,共 1580 字。

轉載請註明: 神經網絡訓練會釋放60多萬磅二氧化碳?MIT的方法讓它降到1/1300 - 楠木軒