邁克爾·克萊爾:將人類命運交到機器人手上會怎樣?

【文/邁克爾·克萊爾 譯/觀察者網 由冠群】

鑑於新冠肺炎癱瘓了驚人數量的美國現役軍人和當代武器裝備的殺傷力越來越大,美國軍方現已越來越頻繁地派遣智慧機器人去執行危險的作戰任務。這些機器人在軍中被稱為“自主武器系統”,其中包括機器人哨兵、戰場監視無人機和自主潛艇。換句話說,到目前為止,機器人裝置只是取代了常規戰場上的常用武器。

但現在,因為對機器人裝置信心大增,所以五角大樓正試圖將機器人武器化這一程序推向全新高度——不僅要用機器人系統取代普通士兵及其武器,而且還有可能要用機器人取代陸海軍的高階將領。

誠然,這些系統目前仍處於研發階段,但五角大樓現正將其列為國家緊急事項來加快推進其部署進度。根據五角大樓的最新規劃,現代軍隊總參謀部的每一個組成部分——包括作戰計劃、情報收集、後勤、通訊和決策——都將移交給由感測器、計算機和軟體組成的複雜集合體負責。所有這些組成部分隨後都會被整合進一個“綜合各個系統的系統”,即所謂的“聯合全域指揮控制系統”(Joint All-Domain Command-and-Control,簡稱 JADC2)。最終,這種多系統集合體可能真的會承擔起目前由美軍高階將領及其資深參謀所承擔的大部分職能。

邁克爾·克萊爾:將人類命運交到機器人手上會怎樣?

聯合全域指揮控制概念示意圖 圖片來源:美國陸軍訓練與條令司令部

當然,使用機器做出命令級決策並不是一個全新的概念。實際上,這一概念由來已久。在冷戰時期,隨著超高速洲際彈道導彈的問世,軍方戰略家和科幻小說作家都開始設想在人類無能為力的情況下由機器系統控制核武器發射。

例如,在斯坦利•庫布里克1964年執導的諷刺電影《奇愛博士》中,虛構的俄羅斯領導人季米特里•基索夫(Dimitri Kissov)透露,蘇聯已經安裝了一個“末日機器”,一旦蘇聯遭受美國的核打擊,這個機器就會自動啟動,清除掉地球上的所有人類。瘋狂反蘇的美國空軍軍官試圖挑起美蘇兩國間的戰爭,然而這一舉動卻成功觸發了這臺機器,最終導致人類滅絕。

事實上,由於擔心真的可能會遭受這種突然襲擊,蘇聯後來確實安裝了一個他們稱之為“周長”的半自動報復系統,該系統的設計假定是,一旦感測器探測到有核爆發生且與莫斯科的所有通訊聯絡都無法接通,該系統就會發射蘇聯的洲際彈道導彈。某些分析人士認為,升級版的周長系統仍處於執行狀態,我們現在依然生活在一個真真切切的奇愛博士世界中。

在另一部涉及此類自動化指揮系統的科幻電影中,即在1983年上映的《戰爭遊戲》(WarGames)中,馬修•布羅德里克(Matthew Broderick)飾演一名少年駭客,這部電影描述了一臺安裝在科羅拉多州北美防空司令部,名為“戰爭行動計劃響應系統”(簡稱WOPR,發音與“whopper”相同,譯註:whopper意為“彌天大謊”)的超級計算機。布羅德里克所飾角色侵入了這臺計算機並開始玩一款他自認為名叫“第三次世界大戰” 的遊戲,而計算機卻斷定蘇聯發動了實際攻擊,於是啟動了核報復程式。儘管這部電影是虛構的,但電影卻準確描述了美國核指揮控制與通訊系統(NC3)的多個側面,該系統那時以及現在都是高度自動化的。

這樣的裝置,無論是真實的還是虛構的,以今日標準衡量都是相對原始的,它只能判定美國是否在遭受核攻擊,並下令展開引發災難的核報復。而現在,得益於人工智慧和機器學習技術的巨大進步,機器已可以收集和評估海量的感測器資料,快速發現關鍵趨勢和模式,並有可能向作戰單位發出在何時向何地發起攻擊的命令。

作戰節奏加快與人類能力的有限性

美國戰略家認為,在高層決策圈,用智慧機器代替人類指揮已是大勢所趨,因為感測資訊的指數級增長,再加上戰爭節奏的不斷加快,使得人類幾乎不可能實時跟蹤戰場態勢的發展。如果對未來戰爭場景的設想是準確的,那些曾經需要持續數天或數週的戰鬥可能在未來只會持續幾小時,甚至幾分鐘。在此過程中,戰場資訊將透過海量的資料節點蜂擁而入,使參謀人員應接不暇。據說,只有先進的計算機系統才能處理如此多的資訊,並及時發出明智的作戰指令。

反應時間的縮短和感測資料的膨脹可能是所有戰鬥形式共同具有的特點,但這兩個特點尤其適用於最可怕的戰鬥形式——核戰爭。在這種戰鬥形式中,主戰兵器是洲際彈道導彈,在一枚導彈發射升空與落地爆炸之間,政治決策者有30分鐘的時間判斷這次可能的攻擊到底是真實發生的還是僅僅為一次錯誤的衛星判讀(在冷戰中偶爾會發生這種情況)。

而現在,似乎時間並沒有這麼多了。在高超音速導彈最近被髮明出來後,留給決策者的時間被縮短至5分鐘。在這種情況下,即使是最警醒的決策者也很難明智判斷出潛在攻擊的性質。因此,使用(某些)自動決策系統就變得有更有吸引力。

軍事觀察家亞當•洛瑟(Adam Lowther)和柯蒂斯•麥吉芬(Curtis McGiffin)在一家專注於國家安全的網站War on the Rocks上分析到,“攻擊時間縮短使得美國高層決策圈處於危險境地, 美國核指揮控制與通訊系統可能無法快速做出反應。因此,可能有必要開發一種基於人工智慧技術的系統,該系統具有預設定回應決策機制,能夠快速探測、決策和指揮戰略力量做出反擊,從而使攻擊時間縮短這個問題不會將美國置於不測之地。”

用一臺人工智慧技術驅動的裝置(本質上就是一臺更加智慧的末日機器或“戰爭行動計劃響應系統”)去評估敵方行為,然後以“預設定回應機制”為基礎去決定人類命運,這一想法自然在軍事分析圈中引發了不安(也應該引發我們的不安)。然而,美國戰略家仍主張,戰場評估和決策(無論是在常規戰爭還是在核戰爭中)任務應該越來越多地被委託給機器負責。

美國國會研究服務局(Congressional Research Service)在2019年11月《五角大樓思考總結報告》中指出:“人工智慧驅動的系統可能整合並分類來自不同渠道和位置的海量資訊,以識別模式並突出顯示有用資訊。隨著人工智慧系統日趨複雜日益成熟,人工智慧演算法可能還會實時分析戰場態勢,並向指揮官提供一系列可行的行動方案,從而使指揮官更迅速的應對複雜的戰場情況。”

重要的話是這句“實時分析戰場態勢,並向指揮官提供一系列可行的行動方案。” 這可能會給人留下這樣的印象:陸海軍的人類將領(更別提他們的總司令了)仍將掌握著決定本國軍隊和整個世界生死的決定權。假設在未來美國與中國和/或俄羅斯爆發這種攻擊時間可能極短的高烈度衝突,人類自己可能已不再有時間或能力分析戰場態勢,因此將依賴人工智慧演算法來進行此類評估。結果,人類指揮官可能會發現自己只是在贊同機器所做的決定,因而最終,他們也就變得可有可無。


建立機器人將軍

儘管美國高階將領們可能要擔心自己未來飯碗不保,但他們仍迅速行動去開發和部署自動化指揮機制——聯合全域指揮控制系統。在空軍監管下,這一計算機驅動的裝置集合體能從大量感測器(衛星、地面雷達、電子監聽站等)實時收集敵方情報資料,處理這些資料行成可操作的作戰資訊,並向衝突中的每一戰鬥單元和武器系統下達精確的攻擊指令——無論這些戰鬥單元和武器系統是屬於陸軍、海軍、空軍、海軍陸戰隊,還是新組建的太空戰和網路戰部隊。

聯合全域指揮控制系統的具體組成部分目前並不為外界所知,部分原因是它的許多元件系統仍處於保密狀態,還有部分原因是許多關鍵技術仍處於研發階段。美國空軍受命監管該專案,正與洛克希德•馬丁公司和其他大型國防承包商合作,一起設計和研發該系統的關鍵部件。

先進作戰管理系統(ABMS)就是該系統的一個組成部分,這是一個數據收集和分發系統,旨在向戰鬥機飛行員提供敵方位置的最新資料,並協助指導他們的戰術動作。另一個關鍵組成部分是陸軍的綜合防空和導彈防禦作戰指揮系統(IBCS),旨在將雷達系統連線到防空和導彈防禦發射器上,由該系統向發射器下達精確的射擊指令。久而久之,美國空軍及其多個承包商會嘗試將先進作戰管理系統、綜合防空和導彈防禦作戰指揮系統整合到一個龐大的系統網路中,這個系統網路將連線該國武裝部隊中的每一個感測器、射手和指揮官——正如一些人所說,這是一個軍事“物聯網”。

為了測試這一概念並提供一個未來如何運作的例項,美國陸軍今年8月在德國使用未來聯合全域指揮控制系統的元件(或模擬元件)進行了實彈炮兵演習。在第一階段的測試中,(假想的)俄軍位置衛星影象被髮送到陸軍地面終端,一個名為普羅米修斯(Prometheus)的人工智慧程式會對資料進行梳理,以選擇將遭受打擊的敵方目標。接下來,另一個名為SHOT的人工智慧程式會計算出最適合打擊這些目標的現有武器,並將此資訊和精確的射擊諸元傳送到陸軍的高階野戰炮兵戰術資料系統(AFATDS),此時將由人類指揮官決定是否要立即實施打擊。

在此次演習中,這些人類指揮官有足夠時間去思考是否進行打擊;而在實戰中,他們可能會把決定權交給機器,而這也正是系統設計者最初明確的設想。

在未來,陸軍計劃在一個名為“專案融合”的倡議下,對這一不斷髮展的技術進行更大膽的測試。參考公開的說法,專案融合將進行更多複雜的演習,涉及衛星、裝備先進作戰管理系統的空軍戰鬥機、陸軍直升機、無人機、火炮和戰術車輛。最終,所有這些都將形成聯合全域指揮控制系統的底層“架構”,將每個軍用感測器系統與每個作戰單元和武器系統連線起來,而將軍們的作用就只剩下閒坐一旁冷眼旁觀。

為什麼機器人將軍可能會出錯

鑑於現代戰爭的複雜性和未來戰爭節奏大大加快,美國戰略家急於用機器人指揮官取代人類指揮官當然可以理解。在理論上,陸海軍的機器人將軍能在短時間內處理數量驚人的資訊,在未來戰場上,它們能同時追蹤友軍和敵軍的動向,並設計出最合理的方式來應對敵人行動。但我們仍有理由懷疑機器決策者是否可靠,以及用它們來代替人類軍官是否明智。

首先,該領域的許多技術仍不成熟,幾乎所有技術都容易出現故障,這些故障既不易預測也難以理解。別忘了,即使是高階演算法也能被技術高超的專業人士愚弄或“欺騙”。

此外,與人類不同,人工智慧支援的決策系統將缺乏評估意圖或背景的能力。例如,敵軍的突然部署是否意味著迫在眉睫的攻擊?虛張聲勢?或者只是正常的部隊輪換?人類分析員可以利用他們對當前政治形勢和相關參與者的理解來幫助指導他們對局勢的評估。而機器缺乏這種能力,它們可能會假定最壞情況,先發制人的發動本應避免的軍事打擊。

為了讓決策演算法適合軍用而對其進行的“訓練”只會使這個問題複雜化。正如在訓練面部識別軟體時,如果過度使用白人男性影象會使其不善於識別非洲裔美國女性,軍方專業人員也會選擇過多的戰爭場景來訓練軍用決策演算法,從而造成演算法錯誤判斷真實情況。軍人天然就傾向於“做最壞的打算”,畢竟沒人願意被敵人偷襲而茫然無備。而這種偏見無疑將成為決策機器人提供的“備選行動方案”之一。

一旦這種偏見被納入決策演算法,未來駐紮在歐洲的美俄兩國軍隊或駐亞洲的美中兩國軍隊在發生衝突時,局勢發展將會變得無比兇險。畢竟,某些誤判或迅速發酵的地區性事件隨時都會導致這種衝突發生。比如,美國軍艦和中國軍艦在臺灣附近忽然發生衝突,或在波羅的海某國巡邏的美軍與俄軍巡邏隊發生摩擦。

雙方可能都無意引發全面衝突,雙方領導人通常都會透過談判來息事寧人。但切記,這些未來的衝突將不再是單純的人類之間的衝突。一旦未來出現此類意外,聯合全域指揮控制系統可能會探測到某些敵軍動向,進而認定盟軍面臨近在眼前的威脅,於是立即命令美軍飛機、導彈和大炮發起全面攻擊,升級衝突,使任何透過談判迅速達成和解的努力灰飛煙滅。

邁克爾·克萊爾:將人類命運交到機器人手上會怎樣?

庫布里克電影《奇愛博士》中設想的未來作戰室

在核戰時代,這種前景變得尤其可怕。強國間一爆發衝突就動用核武器不大可能,但不難聯想到這樣一個時刻,即強國間的常規戰爭打到一定階段,一方發現不動用核武器就無法避免失敗的命運。實際上,美國軍事理論一直堅持,當蘇軍(現在是俄軍)在歐洲發動大規模軍事進攻時,美軍應保留使用所謂戰術核武器阻止其進攻的權力。俄羅斯的軍事理論通常也被認為是含有類似選項。

在這種情況下,未來的聯合全域指揮控制系統可能會誤判敵軍動向,認定敵人正準備發動核攻擊,從而命令美軍核力量發動先發制人的打擊,引發第三次世界大戰。

戰爭是一項血腥而又令人厭惡的活動。近二十年來,那些打著“反恐戰爭”幌子的失敗戰爭已造成數千美國人傷亡(包括肉體上和精神上受到傷害),因此也就不難理解為什麼那些機器人擁躉這麼急切地想要給美國人換上另一套戰爭思路。

一開始,他們強調,尤其是在一個疫情肆虐的世界上,將戰場上的人類士兵換成機器人是最人道的,因為這樣可以減少人員傷亡(至少會減少戰鬥人員傷亡)。然而,這一觀點無法解釋下面這個問題——機器人士兵和無人飛行器無法在戰場上區分戰鬥人員與非戰鬥人員,因此也就難以相信它們會遵守戰爭法或國際人道主義法(這些法律至少在理論上會保護平民免遭無謂的傷害),因此也就該禁止在戰場上使用機器人。

儘管未來戰場可能會發生上述令人憂慮的變化,但用機器人替換掉人類陸海軍將領則完全是另一碼事。因為機器人做出的戰鬥決策將會危及大量平民的生命,因而涉及法律和道德的議題會大量出現,此外,使用機器人並不能保證一定會減少美國大兵在戰場上的傷亡。國家向某一企業投入數十億納稅人的錢,而實際用途卻有可能是毀滅我們的世界,那在投資前國會是否應該提出一些尖銳的問題,質疑一下研發自動化作戰決策系統是否明智?也許是時候該讓美中俄三國領導人限制或禁止部署高超音速導彈,以及其它任何能將人類存亡壓縮至短短几分鐘的武器系統,以免機器人自動做出致命的決定。

(觀察者網由冠群譯自TOMDISPATCH網站)

本文系觀察者網獨家稿件,文章內容純屬作者個人觀點,不代表平臺觀點,未經授權,不得轉載,否則將追究法律責任。關注觀察者網微信guanchacn,每日閱讀趣味文章。

版權宣告:本文源自 網路, 於,由 楠木軒 整理釋出,共 5795 字。

轉載請註明: 邁克爾·克萊爾:將人類命運交到機器人手上會怎樣? - 楠木軒