AI被一件T恤矇蔽“雙眼” 見識不夠是根本原因

本文轉自【科技日報】；

只要穿上一件印有特殊圖案的T恤，就能騙過AI人體檢測系統，從而達到“隱身”效果？

近日，這一場景真實上演。美國東北大學和麻省理工學院等研究機構，共同設計了基於對抗樣本技術的T恤。據研究人員介紹，這是全球首個在非剛性物體（如T恤）上，進行的物理對抗性實驗。AI人體檢測攝像頭無法準確地檢測出穿着該T恤的行人，無論衣服發生怎樣的褶皺或變形，都能達到“隱身”效果。

這件能讓人在AI人體檢測系統下“隱身”的T恤，其背後的原理是什麼？這種缺陷會不會導致安全問題，要如何解決？科技日報記者就此採訪了有關專家。

特殊圖案便能騙過AI的“眼睛”

在本次實驗中，一位穿着白T恤的男性和一位穿着黑T恤的女性從遠處走來，在AI人體識別攝像頭下，只能看到穿黑T恤女性的身影。

這是如何做到的？原來研究人員使用了一種被稱為對抗攻擊的方法來欺騙AI。仔細觀察，白T恤上印有不同的色塊，這些色塊在人眼看來與普通圖案無異，但對於機器來説，卻會造成一定干擾。

中國科學院自動化研究所王金橋研究員解釋説，科研人員對原T恤上的圖案進行修改，通過技術手段生成具有較強幹擾性的圖案替換原有圖案，改變了T恤原有的視覺外觀，使得AI模型對數據標籤的預測發生混淆和錯誤，從而到達攻擊的目的。

“攻擊者通過構造微不足道的擾動來干擾源數據，可以使得基於深度神經網絡的人工智能算法輸出攻擊者想要的任何錯誤結果。而這類被幹擾之後的輸入樣本被稱之為對抗樣本。”王金橋説。

對抗樣本在實際中主要用來檢驗一些安全係數較高的系統，通過對抗的方式來提高AI模型的安全性，抵禦可能面臨的安全風險。比如刷臉支付，它必須具有一定的抗攻擊能力，以便避免災難性的後果，比如不能讓攻擊者簡單地利用照片或者定向修改原輸入就能破解用户支付系統。

有實驗表明，對於一個正確分類的熊貓圖像，在加入特定對抗樣本的干擾之後，人眼看到的仍然是熊貓，但是AI圖像識別模型卻將其分類為長臂猿，且置信度高達99%。

不過，將對抗性圖案印在衣服上這種欺騙AI的方式有一個缺陷，只要圖案的角度和形狀發生變化，就會輕易被識破。過去在設計對抗樣本時，通常採用一些簡單的變換，比如縮放、平移、旋轉、亮度、對比度調整以及添加自適應的噪聲等。

王金橋解釋説，這些簡單的變換，在產生靜態目標的對抗樣本時往往比較有效，但是針對行人這種非剛體的動態目標則容易失效。動態目標由於運動以及姿態變化，將導致這些簡單變換髮生較大的改變，從而使得對抗樣本喪失原有的性質。

“相比過去設計的對抗樣本，本次攻擊的成功率更高。”福州大學數學與計算機科學學院、福建新媒體行業技術開發基地副主任柯逍博士指出，為應對人體移動造成的T恤形變，科研人員採用“薄板樣條插值”的方法來建模行人可能發生的各種形變。同時，在訓練階段使用T恤上棋盤圖案的格子來學習形變控制點位置變化關係，使得產生的對抗樣本更加真實，對人體形變的貼合度更高。

AI視覺系統受到多方因素干擾

除了對抗攻擊之外，在實際應用中的很多環境因素和人為因素，都可能導致AI人體檢測出現失誤。

如在自動駕駛場景下，由於天氣條件惡劣（如大雪、大霧等）或者光線及路況複雜，導致前方人員成像模糊等，會極大影響前方目標檢測性能。在監控場景下，可疑人員可能通過衣物、雨傘等的遮擋來干擾人工智能算法。

“排除本身緊急制動功能問題，具備行人檢測功能的汽車也存在着無法及時、準確地檢測出小目標人體等問題。”柯逍舉例説，美國汽車協會曾對具備行人檢測功能的多個品牌車輛做過一個測試，測試中用到的被撞目標包括成人假人與兒童假人。當車前出現兒童或汽車時速達到48千米時，僅一個品牌有一定概率檢測出行人，其餘3家品牌在兩個場景下均未檢測到行人。

為何在AI視覺識別技術下的目標檢測模型如此脆弱？“在人類眼中，輕微的圖像干擾並不會影響最終的判斷，但對於AI模型來説卻不是如此。”柯逍舉例説，有相關實驗表明，一個測

試表現良好的圖像檢測與識別分類器，並沒有像人類一樣學習與理解目標圖像真正底層的信息，而只是在訓練樣本上構建了一個表現良好的機器學習模型。

據瞭解，現有的AI視覺識別技術通常採用深度神經網絡，本質上是一種特徵深層映射，只是學習數據的統計特徵或數據之間的關聯關係，對數據量以及數據本身的豐富程度依賴較高，數據越多越豐富，則機器學習到的用於識別目標物的特徵越具有判識度，也越能反映關聯關係。

王金橋表示，但真實情況是，數據往往非常有限，使得神經網絡學習到的模式也比較有限，難以讓神經網絡模型“見多識廣”，導致其面對從未見過的數據時表現往往不盡如人意。另一方面，這種統計特徵分佈以及關聯關係，一旦被攻擊者獲知或者破解，就有可能針對性地修改輸入樣本，從而改變模型的輸出，達到攻擊的目的。

AI視覺失靈易引發安全問題

穿上特殊T恤，達到所謂的“隱身”效果，其實就是混淆AI的視覺系統。AI目標檢測技術的這種缺陷是否會導致安全問題的發生？

柯逍表示，美國汽車協會的汽車輔助駕駛案例中，行人被漏檢或者未能及時被檢測到，都可能導致交通事故的產生。此外，安防監控漏檢危險人物與物品也可能導致安全隱患，不法分子可以利用對抗攻擊來發現目標檢測系統的漏洞，並進行攻擊。

“安全問題的產生可能有模型本身缺陷問題，如泛化性能不足，訓練數據單一，存在過擬合等現象。此時，應當儘可能地豐富訓練數據，並在模型訓練過程中加入防止過擬合的技術手段等來提升模型的實戰能力。”王金橋認為，另一方面，實際系統中往往也需要考慮模型安全來增強結果可信度和模型的健壯性，加入攻擊模型的預判，提高對抗樣本的判別能力，從而降低安全風險。

當前，科研人員正不斷提出精度更高、速度更快的AI目標檢測模型，用於解決目標檢測技術存在的漏檢、誤檢、實時性與魯棒性不強等問題。對於未來技術安全的構建，還需要做哪些努力？

王金橋認為，人工智能目前總體還處於起步階段，現有的人工智能算法本質上還是學習簡單的映射關係，並未真正地理解數據背後內容及潛在的因果關係。因此，其理論創新和產業應用還面臨着諸多的技術難點，需要科研人員持續攻關，實現真正意義上的智能以降低應用的風險。

“其次，科研人員在進行技術研究以及新技術的應用過程中，應當儘可能地考慮各種安全問題，加入對抗樣本防攻擊模型，並做好相應的處理措施。”王金橋建議，從社會層面也應當建立和完善人工智能相關的法律法規，對技術的應用範圍加以引導，對可能出現的安全問題作出相應的指導和規範，營造更加全面和成熟的科技創新環境。