網易互娛AI Lab的Athena AI在國際強化學習頂級賽中奪冠

近日，在NeurIPS會議上舉辦的MineRL 2021 Diamond Competition落下帷幕，來自網易互娛AI Lab的Athena AI憑藉高超的挖鑽技巧，在以《我的世界》遊戲為競技環境的比賽中拿下Intro賽道的冠軍以及Research賽道的亞軍。這是AI第一次在《我的世界》中挖掘到鑽石。

據悉，該比賽由CMU、OpenAI、DeepMind、Microsoft Research等機構聯合舉辦，是強化學習方向最負盛名的比賽之一。比賽自2019年起，每年在機器學習和計算神經科學領域頂級學術會議NeurIPS上舉辦，今年為第三屆。近年來該比賽吸引了包括騰訊AI Lab以及清華、北大、斯坦福大學等在內的眾多工業界和學術界的相關研究人員。

據瞭解，MineRL比賽要求參賽者在《我的世界》遊戲生存模式中，訓練出一個能夠從零開始收集各種資源、製作工具最後挖到鑽石的智能體。比賽劃分為Intro和Research兩個賽道，其中Intro賽道的比拼更加貼近遊戲AI開發中的真實場景，需要參賽者根據遊戲特性設計針對性的算法，最大限度地提升AI水平。

相關業內人士向記者表示，這一比賽對於AI訓練有四大難點，“首先是開放世界裏巨大的動作空間和狀態空間，其次是遊戲設定的複雜工具鏈，這兩大要素使得傳統AI訓練中，遍歷窮舉的算法無法施展，必須提升AI學習模型”，該人士表示，除此之外比賽還考驗AI的長期規劃能力以及有限數據下的學習能力，“官方提供的能提供給AI的數據有限且不完美，這要求AI學習模型的效率要提高。”

“這次網易團隊另闢蹊徑，放棄了依賴主辦方提供的人類數據，沒有采用分層強化學習等主流思路，而採用端到端的純強化學習方案”，據一位網易內部人士透露，此次比賽中，網易訓練的Athena AI通過合理地約束有效動作，達到了對狀態的搜索空間進行剪枝的目的，使得AI在不使用分層策略的情況下，依然能夠高效地達成目標。

據瞭解，網易互娛AI Lab成立於2017年，隸屬於網易互動娛樂事業羣，是遊戲行業領先的人工智能實驗室。AI Lab所提供的人工智能服務包括計算機視覺、自然語言處理、語音信號處理、遊戲AI多個方面。作為智能AI系統，網易互娛AI Lab研發的Athena AI目前已經落地應用於網易互娛旗下的多款遊戲。（記者 羅茂林）