談及辯論,在行的除了人類 BB King,還有“機器槓精”。
早在 2018 年 6 月,IBM 的 AI 辯手 Project Debater 擊敗以色列國際辯論協會主席 Dan Zafrir 和 2016 年以色列國家辯論冠軍 Noa Ovadia,一戰成名。
轉眼 3 年過去,號稱「首個能在複雜話題上與人類辯論的 AI 系統」的 Project Debater 更是出現在最新一期 Nature 雜誌封面上。
AI 走出「舒適區」2021 年 3 月 17 日,IBM Research 題為 An autonomous debating system(自主辯論系統)的論文正式發表於 Nature。
AI 被定義為“可以執行有智慧的生物所能完成的任務的機器” 。而眾所周知,爭論、辯論是體現人類智力的一個基本方式,也是人類眾多活動所必需的、人類社會共有的能力。因此,提升計算機對自然語言的理解和處理能力、發展論證技術,已成為 AI 研究的一個新興方向。
多年前,即便是最為先進的 AI,也不能很好地做到對人類話語進行分析、確定論據如何用於支持結論(這一過程被稱為論點挖掘)。
後來,隨着 AI 技術的進步和論證技術工程日益成熟,加之商業需求強烈,這一領域開始迅速發展。雷鋒網瞭解到,當前全世界有 50 餘個實驗室正在研究這一問題,其中就包括所有大型軟件公司的研究團隊。
來自英國鄧迪大學辯論技術中心(Centre for Argument Technology)的 Chris Reed 認為,這一領域之所以能呈現快速發展之勢的一個原因便是:AI 系統可識別大量文本中語言使用的規律,這已在許多應用中產生了變革,但其本身在論點挖掘方面卻並不成功。
繼續深究便能發現其原因:論點結構太多變、太複雜、太微妙,且常常太隱蔽,難以像句子結構那樣易識別。
基於這一大背景,IBM 提出了 Project Debater,即一個可以與人類打辯論的自主系統,這一系統通過掃描儲存了 4 億篇新聞報道和來自維基百科的內容。
論文中,IBM 對其系統架構進行了完整的描述、全面系統的評估。
值得一提的是,IBM 強調了 AI 與人類辯論、AI 在遊戲中挑戰人類之間的根本區別。
IBM 認為,後者是過去幾十年裏 AI 研究學者們主要追求的經典挑戰,它尚存在於 AI 的“舒適區”內——而 AI 與人類辯論顯然意味着 AI 已走出了“舒適區”,畢竟在辯論中人類仍佔上風,需要新的範式才能取得實質性進展。
正如 Chris Reed 評論的那樣:這一論文表明,該領域的研究已取得了長足進步。
Project Debater 成為工程壯舉在 Chris Reed 看來,Project Debater 是一個巨大的工程壯舉。
具體而言,Project Debater 涵蓋了:
文本中收集、解釋與論證相關的材料的新方法
修復句子語法的方法(主要是為了系統在論證時重新部署所提取的句子片段)
圍繞着關鍵主題,上述方法與人類預先準備的信息結合在一起,將提供相關的知識、論證和反駁。實際上,這個知識庫還將以人類預先寫好的句子片段作為補充,這樣一來,在打辯論時準備、介紹演示文稿也不在話下。
其主要流程是:
查詢相關論據的高傾向性句子;
使用神經模型,對句子代表論據的概率進行一個排序;
結合神經網絡、基於知識,對每個論點立場做一個分類。
Chris Reed 對 Project Debater 的評價是:
無論是作為一個 AI 系統,還是一項 AI 領域的重大挑戰,Project Debater 都是非常有野心的。
這背後的邏輯是,幾乎所有的 AI 研究都把眼光放得很高,而一個關鍵問題就在於獲取足夠的數據、計算出有效解決方案。對此,Project Debater 通過一種雙管齊下的方式解決了這一障礙:一方面,僅着眼於百餘個辯論主題;另一方面,從龐大的數據集中獲取材料作為支撐。
無疑,Project Debater 目前並非做到了完美的程度。
目前來看,或許這一系統最大的弱勢在於難以模仿人類辯手的連貫性和流暢性,其實這與其處理程序選擇、提取和組織語言的水平有關。
當然這種限制並不僅僅出現在 Project Debater 身上——儘管人們對論證的研究已經進行了兩千年,但人們對其結構仍然知之甚少。畢竟,對於一個連貫的論證推理模型而言,辯論研究的重點不同(是語言使用、認識論、認知過程還是邏輯有效性),關鍵特徵也將有很大的不同。
因此,什麼是好的論點模型,本身就是一大難題。
AI 辯手一戰成名Project Debater 在實戰中表現如何,想必密切關注 AI 領域發展的小夥伴早有耳聞。
首先在 2018 年 6 月 18 日,IBM 舊金山辦公室,Project Debater 迎戰兩位頂尖人類辯手:以色列國際辯論協會主席 Dan Zafrir 和 2016 年以色列國家辯論冠軍 Noa Ovadia。
在兩場以「4 分鐘開場演講-4 分鐘反駁-2 分鐘論證總結」為流程的辯論中,人類辯手首先發言,然後 Project Debater 進行反駁。
Project Debater 通過處理大量文本,就主題構建出了結構良好的演講,觀點清晰明確。據外媒 Engadget 報道,Project Debater 拋出了不少自方觀點,同時還根據對手發言做了流利的反駁。最終,Project Debater 比 Dan Zafrir 多獲得 9 票,贏得了比賽。
隨後在 2019 年 2 月 11 日,Project Debater 與 2016 年世界大學辯論錦標賽總決賽選手、2012 年歐洲大學辯論錦標賽冠軍 Harish Natarajan 現場較量,最終人類辯手獲得勝利。
2019 年 11 月 21 日,劍橋大學舉辦了一場辯題為“AI 誕生是否弊大於利”的比賽,Project Debater 再次迎戰人類辯手。
從結果來看,Project Debater 的支持率為 51%,以微弱的優勢取勝。
但拋開票數來看,不少人認為:
IBM AI 機器人在很多方面的表現遠遠比不上人類辯手,通過這場辯論賽可以明顯反映出,AI 辯手與人類辯手之間還存在着巨大的差距,比如句子的結構不正確,或發表無法令人信服的論點。
不過,當時 IBM 也對 Project Debater 做了新的改進,比如評估出質量更好的論點、檢測出人類辯手詞彙冗餘的論點,甚至基於一個笑話庫,變得幽默起來。
古羅馬時期,著名政治家、哲人西塞羅曾説過:
辯才是人類最光輝的美德之一。
自蘇格拉底時期起,辯論就是人類生活最為重要的一部分,理性、智慧之光閃耀其中。未來 AI 如何更好地擁有這項技能,我們拭目以待。
引用來源:
https://www.nature.com/articles/d41586-021-00539-5
https://www.nature.com/articles/s41586-021-03215-w
雷鋒網雷鋒網雷鋒網