警告：超級智能機器人正在逼近。
試想一下，某天早上我們醒來，驚訝地發現一個超級強大的人工智能出現了，並帶來了災難性的後果。
尼克·博斯特羅姆的《超級智能》和馬克斯·泰格馬克的《生命3.0》等書以及最近的一些文章都認為，惡意的超級智能會給人類帶來生存風險。
但猜測是永無止境地。最好問一個更具體的、更有經驗的問題：什麼能提醒我們超級智能已經近在眼前了？我們把這種預兆稱為AI領域的“煤礦裏的金絲雀”（類似預警）。如果AI程序開發出一種新基礎功能，那就相當於金絲雀的死亡，也就是AI即將取得突破的早期預警。
著名的圖靈測試可以作為這隻金絲雀嗎？艾倫·圖靈在1950年發明了這項測試，假設當一個人無法區分他在與人交談還是與電腦交談時，那麼這個AI就到達了人類水平。這個測試很重要，但它當不了金絲雀；確切地説，這是人類水平的人工智能出現的標誌。
許多計算機科學家相信，如果這種情況真的發生了，超級智能將很快到來。但我們在這個發展過程中還需要更多的突破。
AI在圍棋、撲克或雷神之錘3等遊戲中的表現可以稱為金絲雀嗎？不能。這些遊戲中所謂的人工智能實際上是人類在構建問題並設計出瞭解決方案。
AlphaGo戰勝人類圍棋冠軍，是DeepMind優秀的人類團隊的功勞，而不是機器的功勞，它只是運行了人類創造的算法。這就解釋了為什麼AI的成功需要多年的努力才能從一個小挑戰到下一個小挑戰。
即便是在幾小時內就達到了世界一流圍棋水平的AlphaZero，自2017年以來也沒有實質性地拓寬過它的學習範圍。像深度學習這樣的方法是通用的，但是它們需要大量人工干預才能成功地應用於特定任務。
從更大的角度來説，機器學習是過去十幾年里人工智能成功的核心標誌。然而，“機器學習”這個詞不太恰當。機器只擁有人類豐富多樣的學習能力中的一小部分。
説機器會學習，就像説小企鵝會捕魚一樣。但實際上，成年企鵝會游泳、捕捉、消化、反芻，並把食物放進它們孩子的嘴裏。而人工智能也在被人類科學家和工程師們“餵養”着。
與機器學習不同，人類學習會將個人動機（“我想不依賴父母獨自開車”）反映到到戰略學習計劃中（“週末參加駕駛培訓並進行練習”）。
一個人會給自己制定具體的學習目標（“練好側方停車”），收集和標記數據（“這次角度不對”），並且結合外部反饋和背景知識（“教練解釋如何使用外後視鏡”）。
人類會識別、設計和塑造學習問題。這些能力都無法被機器遠程複製。機器可以進行超人般的統計計算，但這僅僅是學習的最後一步。
機器可以進行超人般的統計計算，但這僅僅是學習的最後一步。那麼，自動生成學習問題，就是第一隻金絲雀。不過它看起來似乎還沒有任何即將死亡的跡象。
自動駕駛汽車是第二隻金絲雀。這一發明比埃隆·馬斯克等支持者所設想的更遙遠。AI在非典型情況下可能會導致災難性的事故，比如當碰上一個坐輪椅的人過馬路時。
開車比以往的人工智能任務更具挑戰性，因為它需要根據不可預測的現實世界以及與人類司機、行人和其他人的交互，做出對生命至關重要的實時決策。
當然，一旦自動駕駛汽車的事故率降低了，我們就應該安排受限制的自動駕駛汽車，但只有在AI達到人類水平的駕駛時，這隻金絲雀才能算做“暈倒了”。
AI已經能夠以超人的精確度分析醫學圖像，但這只是人類醫生工作的一小部分。AI醫生必須能夠做到與患者面談，考慮併發症，諮詢其他醫生等行為。
這些都是具有挑戰性的任務，需要讓AI理解人類、語言和醫學。這樣就不需要欺騙病人，讓他們以為AI是人，這是和圖靈測試不同的地方。
但當它面對大量任務和特殊情況時，必須接近人類醫生處理問題的能力。
雖然圖靈測試本身不是一個合適的金絲雀，但是測試的部分內容還是可以當做金絲雀看的。現有的人工智能無法理解人類和我們的動機，甚至無法理解一些基本的物理問題。
比如“一架大型噴氣式飛機能穿過窗户嗎?”我們可以通過與Alexa或谷歌Home這樣的人工智能交談幾分鐘來進行部分圖靈測試，這很快就會暴露出他們對語言和世界的有限理解。這個非常簡單的示例基於計算機科學家赫克託·萊韋斯克提出的Winograd模型。
目前的AI都是白痴學者：他們能夠成功地完成領域狹窄的任務，比如下圍棋或對核磁共振成像進行分類，但缺乏人類的普遍性和全能性。
每個白痴學者都是手工單獨創建的，它們離5歲孩子的全能性還差上幾十年的距離。相比之下，我提出的“金絲雀現象”則是人工智能領域的轉折點。
博斯特羅姆等理論家認為我們必須為概率非常低但後果嚴重的事件做好計劃，要把它們當成是不可避免的一樣。他們表示，這類事件後果非常嚴重，所以我們對其概率的估計並不重要。
這種觀點非常愚蠢，相當於17世紀哲學家布萊士·帕斯卡觀點的現代版本，它能讓任何事都説得過去。
帕斯卡認為，當做上帝是存在的那樣去做事是值得的，否則你就有可能陷入永恆的地獄。他用一個錯誤的巨大代價來論證一個特定的行動過程是“理性的”，即使它是基於一個高度不可能存在的前提。但基於巨大代價的爭論可能會支持相互矛盾的信念。
例如，有一個反基督教的上帝應許，基督徒的每一個行為都將受永恆地獄的懲罰。當然這也是絕對不可能發生的。
然而，從邏輯的角度來看，這和相信聖經中的上帝一樣合理。這一矛盾反映了以巨大代價為基礎的論點的缺陷。
這些“早期預警信號”（或者叫“金絲雀”）只是説明性的，並不全面，但它能夠顯示出我們離人類水平的AI還有多遠。
如果一個預警不成立，那麼在人類水平的AI出現之前，我們將有充足的時間來設計強大的“開關”，並找出我們不希望AI跨越的紅線。
沒有經驗教訓的人工智能末世論，會分散人們對解決現有問題的注意力，比如如何監管AI對就業的影響，還有如何確保AI在刑事判決或信用評分中的使用不會歧視某些羣體。
正如世界最著名的人工智能專家之一吳恩達所説：“擔心人工智能變壞，有點像擔心火星上的人口過剩。”在金絲雀開始走向死亡之前，他這句話完全正確。