智東西（公眾號：zhidxcom）編 | 儲信儀
導語：OpenAI提出衡量機器學習算法進展的基準測試方法，算法效率每16月翻一番，吊打摩爾定律！
智東西5月6日消息，昨日，OpenAI宣佈將開始追蹤效率最高的機器學習模型，該舉措推出了新的評價指標，可用以量化模型的擴展規模和整體性能，從而可實時公示效率最高的模型，為行業提供參考。
在前期調查期間，該公司發表了一份分析報告，指出與2012年相比，2019年的神經網絡訓練到AlexNet水準所需的計算量減少到原來的1/44，相比之下，摩爾定律在相同時間內效率的增長只有11倍。這表明算法效率在7年的時間裏每16個月翻一番。
分析結果表示，對於大量“吸金”的AI任務，算法效率的提升比傳統的硬件效率提升的速度更快，因此算法可節省更多算力，以此節省AI任務的運行成本，產生更多收益。
一、算法多吃算力？每16個月效率翻倍推動人工智能發展的有三個因素：算法創新、數據和算力。傳統上，算法的進展比算力和數據更難量化。算法效率可以被定義為減少訓練特定功能所需的計算量。效率是衡量經典計算機科學問題（如排序）的算法進度的主要方法。
OpenAI表示，除了關注時下最新的最佳AI模型之外，公開衡量效率將描繪出算法進展的定量情況。這將通過重新關注AI的技術屬性和社會影響，為決策制定提供依據。
OpenAI在博客中寫道：“算法改進是推動AI發展的關鍵因素。儘管這比度量計算趨勢更難，但尋找能夠反映整體算法進展的度量是很重要的。”算法效率的提高使得研究人員可以在給定的時間和預算內進行更多有趣的實驗。分析表明，決策者應該增加對學術界計算資源的資助，以便學術研究成果能夠複製、再生以及擴展行業研究。
▲OpenAI觀察到16個月AI模型的效率倍增時間（任意給定時間的最低計算點用藍色表示，測量點用灰色表示）
OpenAI表示，在調查過程中，它發現谷歌的Transformer架構超越了以前由谷歌開發的最先進的模型——seq2seq，在seq2seq引入三年後，其計算量減少至原來的1/61。DeepMind的AlphaZero系統，從零開始自學如何掌握國際象棋、圍棋和日本將棋，一年後，它的計算量比該系統的前身AlphaGoZero的改進版少至1/8。而僅三個月後，OpenAI自己的Dota2玩法Rerun運行所需的訓練計算就減少至1/5，從而超過了基於OpenAI Five的模型。
▲AI“Rerun”和“OpenAI Five”對戰
OpenAI從對集成電路中晶體管數量每兩年翻一番的現象推測，算法效率帶來的收益可能會超過摩爾定律。OpenAI表示：“新功能通常需要大量的計算才能獲得，由於流程改進，這些功能的改進版本部署起來會更有效率。”
▲AI計算趨勢及結果整合
二、多家機構將AI模型效率基準測試提上日程作為基準測試工作的一部分，OpenAI表示將從視覺和翻譯效率基準（特別是ImageNet和WMT14）開始，並考慮隨着時間的推移增加更多基準。測試工作不允許使用人為字幕、其他圖像或其他數據，但是對用於翻譯或增強的訓練數據沒有任何限制。
OpenAI表示：“行業領袖、決策者、經濟學家和研究人員都在努力更好地瞭解AI的發展進步，並決定他們應該投入多少注意力，以及把注意力放在哪裏。測量工作可以幫助做出這樣的決定。”
論文研究指出，研究者觀察到硬件和算法的效率在有意義的範圍內提高了一倍，這表明，一個好的AI進展模型應該整合兩者的度量。除此之外，研究人員還觀察到，以指數速度訓練高興趣任務的AI模型比摩爾定律訓練成本更低。
OpenAI並不是第一個公開提出對AI模型的效率進行基準測試的公司。去年，卡內基梅隆大學(Carnegie Mellon University)、艾倫人工智能研究所(Allen Institute for AI)和華盛頓大學(University of Washington)的科學家們主張，除了準確性和相關衡量標準外，還應將效率作為AI學術論文更普遍的評估標準。其他的建議則要求針對機器學習項目進行行業級別的能量分析，以及以瓦為單位的計算標準進行評估。
聲明鏈接：https://openai.com/blog/ai-and-efficiency/
Github鏈接：https://github.com/openai/ai-and-efficiency
論文鏈接：https://cdn.openai.com/papers/ai_and_efficiency.pdf
結語:AI服務和技術逐漸強大
OpenAI開始公開追蹤AI模型效率，其模型的量化呈現可實時進行效率公示，為行業提供參考，選擇更為適合的效率提升方式。
算法改進是推動AI發展的關鍵因素，AI算法效率倍增，計算量成倍減少，算法效率收益極大提升。算法效率的提高為AI技術的提高創造了條件，這意味着我們正面臨AI技術無比強大的未來。
消息來源：VentureBeat；OpenAI