作者：白楊
12月30日，騰訊宣佈其人工智慧球隊摘得了首屆谷歌足球Kaggle競賽冠軍。這是一場由Google Research與英超曼城俱樂部在Kaggle平臺上聯合舉辦的足球AI比賽，經過多輪角逐，騰訊AI Lab研發的絕悟WeKick版本以1785.8的總分成為冠軍球隊。
創立於2010年的Kaggle是全球最大的資料科學社群和資料科學競賽平臺，今年，也是Kaggle首次針對足球AI領域釋出賽題。
比賽使用Google Research Football強化Learning環境，基於開源足球遊戲Gameplay Football開發，採取11vs11的賽制，參賽團隊需要控制其中1個智慧體與10個內建智慧體組成球隊。
該賽事發布後，吸引了來自世界頂級院校和研究機構的1100多支隊伍參加，而騰訊此次派出的隊伍其實是11月底剛剛升級為完全體的“絕悟”，當時，騰訊“絕悟”首次精通了王者榮耀所有英雄的所有技能，此次參加足球賽，就是在其基礎上進行了一些針對足球的調整。
AI如何踢足球？
Google Football（on Kaggle）以流行的足球遊戲為模型，就像是一款由AI操作的FIFA遊戲，智慧體控制足球隊中的一個或所有足球運動員，學習如何在他們之間傳球，並設法克服對手的防守以進球。其競賽規則與普通足球比賽類似，比如目標都是將球踢入對方球門以及越位、黃牌和紅牌規則。
不同於常見足球影片遊戲的統一調控式NPC球隊，在本次Kaggle競賽中，每個球員都各由一個單獨的智慧體控制，而參賽的AI模型則根據比賽情況控制其中一個智慧體，與其他10個內建智慧體配合。這要求每個球員不僅需要觀察對手的行為，還需要留意己方隊員的情況，背後需要非常複雜的團隊協作和競爭策略作為支撐。
比如，當對方球員控球時，己方智慧體不僅要根據球場上雙方球員的分佈位置預測控球球員的下一步動作，還需要與己方其他球員協同如何合規地奪取足球的控制權。且由於球場動態瞬息萬變，因此高速的實時決策能力也是必需的。
此外，從零開始完全採用強化學習方法來訓練完整的足球AI實際上也相當困難。與MOBA遊戲中不斷有經濟、血量、經驗等實時學習訊號不同，足球的遊戲激勵非常稀疏，基本只能依靠進球，而稀疏激勵一直是目前強化Learning一大難題。
“絕悟”的冠軍之路
據騰訊方面介紹，絕悟WeKick版本首先採用了強化學習和自博弈（Self-Play）來從零開始訓練模型，並部署了一種非同步的分散式強化學習框架。雖然該非同步架構犧牲了訓練階段的部分實時效能，但靈活性卻得到顯著提升，而且還支援在訓練過程中按需調整計算資源，使其能適應 11 智慧體足球遊戲訓練環境。
由於MOBA遊戲和足球遊戲任務目標的差異，絕悟WeKick版本還採用了生成對抗模擬學習（GAIL）與人工設計的獎勵結合，在特徵與獎勵設計上進行了擴充套件和創新。
該方案利用了生成對抗訓練機制來擬合專家行為的狀態和動作分佈，使得絕悟WeKick版本可以從其它球隊學習。然後，再將 GAIL 訓練的模型作為固定對手進行進一步自博弈訓練，進一步提升策略的穩健性。
但這種透過自博弈強化學習得到的模型有一個天然的缺點：很容易收斂到單一風格。在實際比賽的時候單一風格的模型很容易發生由於沒見過某種打法而表現失常，最終導致成績不佳的情況。因此，為了提升策略的多樣性和穩健性，絕悟還採用了針對多智慧體學習任務的League（若干策略池）多風格強化學習訓練方案。
這種League多風格強化學習訓練方案的主要流程可簡單總結為先專精後綜合。
首先訓練一個具備一定程度競技能力的基礎模型，比如運球過人、傳球配合、射門得分；
接著基於基礎模型訓練出多個風格化模型，每個模型專注一種風格打法，在風格化模型訓練的過程中會定期加入主模型作為對手，避免過度堅持風格，丟失基本能力；
最後基於多個基礎模型訓練一個主模型，主模型除了以自己的歷史模型為對手以外，還會定期加入所有風格化對手的最新模型作為對手，確保主模型能夠適應風格完全不同的對手。
最終，基於絕悟完全體的架構遷移，定製化的框架改進，加上關鍵性的生成對抗模擬學習（GAIL）方案和 League （若干策略池）多風格強化學習訓練方案，使得絕悟實現了優於其它競爭AI球隊的優勢，成就了冠軍之路。