新華社北京1月20日新媒體專電 據美國每日科學網站1月11日報道，人工智慧(AI)一直在取得更大的進步，一些科學家和哲學家對不可控制的超級智慧AI的危險發出了警告。一個包括馬克斯·普朗克人類發展研究所人類與機器研究中心的科學家在內的國際研究團隊，用理論計算結果證明，控制超級智慧AI很可能難以做到。這項研究結果發表在《人工智慧研究雜誌》上。
報道稱，假設有人要為一個智慧優於人類的AI系統程式設計，這樣它就可以獨立學習。與網際網路相連的AI可能會訪問人類的所有資料。它可以取代現有的所有程式，並在線控制全世界所有機器。這會導致一個烏托邦還是反烏托邦？AI能治癒癌症、帶來世界和平並防止氣候災難嗎？還是說它會摧毀人類並佔領地球？
研究報告的作者之一、馬克斯·普朗克人類發展研究所人類與機器研究中心數字動員小組負責人曼努埃爾·塞布里安說：“一個超級智慧機器控制整個世界，這聽起來像是科幻小說。但是，已經有一些機器能夠獨立完成某些重要任務，而程式設計師不完全瞭解它們是如何學會的。因此，問題就出現了，這種情況是否會在某一時刻變得無法控制並對人類構成危險。”
對於如何控制超級智慧AI，科學家們探索了兩種不同的想法。一方面，特別限制超級智慧AI的能力，比如，把它與網際網路和其他一切技術裝置隔開，這樣它就無法與外部世界接觸——但這將使超級智慧AI的功能大大降低，無法滿足人類的要求。如果沒有這樣的選擇，從一開始就可以激勵AI去追求只符合人類最佳利益的目標，比如透過把道德原則編到它的程式中。但研究人員也表明，這些以及其他當代和歷史上控制超級智慧AI的想法都有其侷限性。
在這項研究中，研究團隊構想了一種理論遏制演算法，透過模擬AI的行為並在被認為有害的情況下予以制止，由此確保超級智慧AI在任何情況下都不會傷害人類。但細緻的分析結果顯示，在目前的計算正規化中，這種演算法是無法建立的。
人類與機器研究中心主任伊亞德·拉萬說：“如果把問題分解成理論計算機科學的基本規則，那麼事實證明，命令AI不要毀滅世界的演算法可能會無意中停止自己的執行。如果發生這種情況，你就不知道遏制演算法是仍在分析威脅，還是已經停止以遏制有害的AI。事實上，這使得遏制演算法變得不可用。”
報道認為，基於這些結果，遏制問題是不可計算的，即任何單一演算法都無法找到一個判斷AI是否會對世界造成傷害的解決方案。