美媒：超級智能機器終將掌控一切？

　　新華社北京1月20日新媒體專電 據美國每日科學網站1月11日報道，人工智能(AI)一直在取得更大的進步，一些科學家和哲學家對不可控制的超級智能AI的危險發出了警告。一個包括馬克斯·普朗克人類發展研究所人類與機器研究中心的科學家在內的國際研究團隊，用理論計算結果證明，控制超級智能AI很可能難以做到。這項研究結果發表在《人工智能研究雜誌》上。

　　報道稱，假設有人要為一個智能優於人類的AI系統編程，這樣它就可以獨立學習。與互聯網相連的AI可能會訪問人類的所有數據。它可以取代現有的所有程序，並在線控制全世界所有機器。這會導致一個烏托邦還是反烏托邦？AI能治癒癌症、帶來世界和平並防止氣候災難嗎？還是説它會摧毀人類並佔領地球？

　　研究報告的作者之一、馬克斯·普朗克人類發展研究所人類與機器研究中心數字動員小組負責人曼努埃爾·塞布里安説：“一個超級智能機器控制整個世界，這聽起來像是科幻小説。但是，已經有一些機器能夠獨立完成某些重要任務，而程序員不完全瞭解它們是如何學會的。因此，問題就出現了，這種情況是否會在某一時刻變得無法控制並對人類構成危險。”

　　對於如何控制超級智能AI，科學家們探索了兩種不同的想法。一方面，特別限制超級智能AI的能力，比如，把它與互聯網和其他一切技術設備隔開，這樣它就無法與外部世界接觸——但這將使超級智能AI的功能大大降低，無法滿足人類的要求。如果沒有這樣的選擇，從一開始就可以激勵AI去追求只符合人類最佳利益的目標，比如通過把道德原則編到它的程序中。但研究人員也表明，這些以及其他當代和歷史上控制超級智能AI的想法都有其侷限性。

　　在這項研究中，研究團隊構想了一種理論遏制算法，通過模擬AI的行為並在被認為有害的情況下予以制止，由此確保超級智能AI在任何情況下都不會傷害人類。但細緻的分析結果顯示，在目前的計算範式中，這種算法是無法建立的。

　　人類與機器研究中心主任伊亞德·拉萬説：“如果把問題分解成理論計算機科學的基本規則，那麼事實證明，命令AI不要毀滅世界的算法可能會無意中停止自己的運行。如果發生這種情況，你就不知道遏制算法是仍在分析威脅，還是已經停止以遏制有害的AI。事實上，這使得遏制算法變得不可用。”

　　報道認為，基於這些結果，遏制問題是不可計算的，即任何單一算法都無法找到一個判斷AI是否會對世界造成傷害的解決方案。