智東西（公眾號：zhidxcom）編 | 儲信儀
導語：OpenAI提出衡量機器學習演算法進展的基準測試方法，演算法效率每16月翻一番，吊打摩爾定律！
智東西5月6日訊息，昨日，OpenAI宣佈將開始追蹤效率最高的機器學習模型，該舉措推出了新的評價指標，可用以量化模型的擴充套件規模和整體效能，從而可實時公示效率最高的模型，為行業提供參考。
在前期調查期間，該公司發表了一份分析報告，指出與2012年相比，2019年的神經網路訓練到AlexNet水準所需的計算量減少到原來的1/44，相比之下，摩爾定律在相同時間內效率的增長只有11倍。這表明演算法效率在7年的時間裡每16個月翻一番。
分析結果表示，對於大量“吸金”的AI任務，演算法效率的提升比傳統的硬體效率提升的速度更快，因此演算法可節省更多算力，以此節省AI任務的執行成本，產生更多收益。
一、演算法多吃算力？每16個月效率翻倍推動人工智慧發展的有三個因素：演算法創新、資料和算力。傳統上，演算法的進展比算力和資料更難量化。演算法效率可以被定義為減少訓練特定功能所需的計算量。效率是衡量經典計算機科學問題（如排序）的演算法進度的主要方法。
OpenAI表示，除了關注時下最新的最佳AI模型之外，公開衡量效率將描繪出演算法進展的定量情況。這將透過重新關注AI的技術屬性和社會影響，為決策制定提供依據。
OpenAI在部落格中寫道：“演算法改進是推動AI發展的關鍵因素。儘管這比度量計算趨勢更難，但尋找能夠反映整體演算法進展的度量是很重要的。”演算法效率的提高使得研究人員可以在給定的時間和預算內進行更多有趣的實驗。分析表明，決策者應該增加對學術界計算資源的資助，以便學術研究成果能夠複製、再生以及擴充套件行業研究。
▲OpenAI觀察到16個月AI模型的效率倍增時間（任意給定時間的最低計算點用藍色表示，測量點用灰色表示）
OpenAI表示，在調查過程中，它發現谷歌的Transformer架構超越了以前由谷歌開發的最先進的模型——seq2seq，在seq2seq引入三年後，其計算量減少至原來的1/61。DeepMind的AlphaZero系統，從零開始自學如何掌握國際象棋、圍棋和日本將棋，一年後，它的計算量比該系統的前身AlphaGoZero的改進版少至1/8。而僅三個月後，OpenAI自己的Dota2玩法Rerun執行所需的訓練計算就減少至1/5，從而超過了基於OpenAI Five的模型。
▲AI“Rerun”和“OpenAI Five”對戰
OpenAI從對積體電路中電晶體數量每兩年翻一番的現象推測，演算法效率帶來的收益可能會超過摩爾定律。OpenAI表示：“新功能通常需要大量的計算才能獲得，由於流程改進，這些功能的改進版本部署起來會更有效率。”
▲AI計算趨勢及結果整合
二、多家機構將AI模型效率基準測試提上日程作為基準測試工作的一部分，OpenAI表示將從視覺和翻譯效率基準（特別是ImageNet和WMT14）開始，並考慮隨著時間的推移增加更多基準。測試工作不允許使用人為字幕、其他影象或其他資料，但是對用於翻譯或增強的訓練資料沒有任何限制。
OpenAI表示：“行業領袖、決策者、經濟學家和研究人員都在努力更好地瞭解AI的發展進步，並決定他們應該投入多少注意力，以及把注意力放在哪裡。測量工作可以幫助做出這樣的決定。”
論文研究指出，研究者觀察到硬體和演算法的效率在有意義的範圍內提高了一倍，這表明，一個好的AI進展模型應該整合兩者的度量。除此之外，研究人員還觀察到，以指數速度訓練高興趣任務的AI模型比摩爾定律訓練成本更低。
OpenAI並不是第一個公開提出對AI模型的效率進行基準測試的公司。去年，卡內基梅隆大學(Carnegie Mellon University)、艾倫人工智慧研究所(Allen Institute for AI)和華盛頓大學(University of Washington)的科學家們主張，除了準確性和相關衡量標準外，還應將效率作為AI學術論文更普遍的評估標準。其他的建議則要求針對機器學習專案進行行業級別的能量分析，以及以瓦為單位的計算標準進行評估。
宣告連結：https://openai.com/blog/ai-and-efficiency/
Github連結：https://github.com/openai/ai-and-efficiency
論文連結：https://cdn.openai.com/papers/ai_and_efficiency.pdf
結語:AI服務和技術逐漸強大
OpenAI開始公開追蹤AI模型效率，其模型的量化呈現可實時進行效率公示，為行業提供參考，選擇更為適合的效率提升方式。
演算法改進是推動AI發展的關鍵因素，AI演算法效率倍增，計算量成倍減少，演算法效率收益極大提升。演算法效率的提高為AI技術的提高創造了條件，這意味著我們正面臨AI技術無比強大的未來。
訊息來源：VentureBeat；OpenAI