「最終,比賽結束的哨聲響起,各位觀眾,來自中國的WeKick足球團隊,獲得了本次挑戰賽的冠軍,讓我們恭喜他們。」
恩等一下,中國足球隊?奪冠?你沒看錯,在AI世界裏,來自中國的足球團隊WeKick,這次衝出了亞洲,在世界的舞台上,大放異彩。
他們獲得冠軍的這次賽事由Google Research和英超曼城足球俱樂部聯合舉辦,是信息學國際性挑戰賽舉辦平台Kaggle上的一項AI足球挑戰賽,全球一共有1138只隊伍參加。
經過激烈的角逐,最終,WeKick的賽事積分達到了1785.8分,這一優異成績讓他們在獲得冠軍的同時,也將其他競爭者遠遠地甩在了身後。
尤其值得一提的是,WeKick足球隊的戰鬥表現和戰鬥精神都可圈可點,最後一場比賽中,在落後兩球的不利情況下,他們連進三球,最終實現了大逆轉。
接下來,就讓我們看看這場比賽,以及AI足球隊是如何踢球的。
連進三球,成功逆轉
這場「AI操控足球的對抗」,是藉助Google Research Football的平台進行的。這個平台,其實就是足球控制類遊戲,長這樣:
不過,在AI眼中的對抗,就樸實無華了許多,數據的堆疊和展示,變成了這個樣子:
比賽中,我國的WeKick是紅色一方,對手SaltyFish是藍色一方,他們背後的數字,代表的是控制球員的球衣號碼,而足球,則是那個白色字母B。
好的,比賽開始,讓我們回到比賽現場。
對陣的雙方,分別是WeKick和SaltyFish 。在派出的隊員上,對陣的雙方數值一樣,是無差別的。此外,雙方也都沒有替補隊員。
開場第一次進攻,SaltyFish通過三腳「傳球」,便攻破了WeKick的球門。這進球,來得也太快了。
之後,SaltyFish在另外一次進攻中,雖然第一次射門被「撲出」,但是,比分還是進一步擴大了。
情況似乎有些糟糕,因為WeKick目前已經0比2落後了。
不過,倒也不用擔心,在一次「角球」中,WeKick扳回了一分。
在中場結束前,WeKick也通過一次精彩的「團隊配合」,成功將比分扳平。
最後,在70分鐘左右,WeKick利用一腳遠射,成功反超了比分。最終,比賽也以這個比分結束了。
「傳球」、「撲救」、「團隊配合」、「遠射」等等。這些正常足球場上會發生的操作,AI在遊戲中操作起來也是嫺熟無比。
這種操作技術和配合,要換做我啊,那肯定是隨隨便便......也辦不到的啊。
那麼,問題來了,這個如此強大的WeKick,又是何方神聖?
這個WeKick,究竟是個啥?
實不相瞞,這個WeKick的真面目,其實就是:「絕悟」。是的,不用懷疑,就是王者榮耀裏面的那個AI絕悟。
簡單理解的話,「絕悟」,是AI的一種底層架構與方法。
在王者榮耀的數據去訓練的話,就是王者榮耀裏的那個全英雄池的「絕悟完全體」,而如果用足球的數據去訓練,就是這次比賽的「WeKick」。
在賽後總結中,「絕悟」的研究團隊向大家揭秘了這個AI背後的秘密。它的出現,一共可以分為三步:
首先,是通過強化學習和自博弈(Self-Play),從零開始訓練模型。
利用這個方法進行模型訓練,是很常見的操作,本屆比賽中的多數參賽球隊,都採取了這個方法。
不過,對於足球運動,如果只由進球與否來決定成敗的話,其實並不利於模型的訓練。於是,「絕悟」的研究團隊在價值估計(獎勵模式)上,進一步進行細化。
比如:將攔截、出界、越位、過人、控球、傳球等各方面都納入考量,當然,進球這個最重要的評價標準也在其中。
評價標準多樣化之後,AI在訓練過程中能更快得到反饋,然後進行下一步操作。
簡單來説,類似於將一整份試卷細分成了不同的試題,然後制定了一套評審標準。AI,也需要先從基礎題型學起。
除了將獎勵細分化,由於足球是一項團體配合的運動,所以「絕悟」的研究團隊還使用了一種名為「生成對抗模擬學習」(GAIL)的技術來進行自博弈訓練。
這項技術,可以模擬一些難以細化定量描述的戰術,比如足球比賽中常見的「長傳反擊」、「控球滲透」等等。
通過模擬出不同戰術風格的對手,然後讓AI與其對抗,進行訓練和學習。
簡單理解的話,就是將不同題型依據不同的試卷風格進行排布組合,然後讓AI進行「模擬考」,在實戰中進一步學習。
在考試中,你是不是遇到過這樣一些奇怪的考題,然後是這種狀態:「啊,這種題型我沒見過啊,這是什麼鬼」?
AI也有類似的問題。自博弈訓練後,得出的結果往往是單一的,對應在考試中,就是形成既定的解題思維。
最後,研究人員使用「基於 League 的多風格強化學習」這個方法進行補充訓練,防止在賽場上見到一些奇怪的戰術,會讓AI一時間手足無措,自己先亂起來了。
這其實也是咱們普通人應付考試的時候,老師們經常會給出一些奇奇怪怪模擬試卷的原因。
研究者認為:基於 League 的多風格強化學習和基於 GAIL 的風格學習方法,是保證 WeKick 最終獲勝的兩大關鍵秘籍。
總而言之,這個來自中國的AI足球隊,奪得了世界挑戰賽的冠軍,這一消息讓關注中國足球的各路網友沸騰了。真人不行AI來湊,對此,國足表示,已退出直播間。
參考資料:
https://www.kaggle.com/c/google-football
https://ai.googleblog.com/2019/06/introducing-google-research-football.html
https://github.com/google-research/football
https://www.youtube.com/watch?v=F8DcgFDT9sc&feature=emb_logo
https://mp.weixin.qq.com/s/D2uu6vaaPfQSDeLEGlaoCw
來源:狂丸科學
編輯:Kun