數據投毒致人工智能失控 AI殺毒軟件市場尚為一片藍海

一輛正常行駛的自動駕駛汽車，突然駛入了逆行車道；胸前貼一款特殊貼紙，猶如披上隱形斗篷，在監控系統中成功遁形；戴上一幅特製眼鏡，輕鬆騙過人臉識別系統後，用別人的手機也可實現刷臉解鎖或刷臉支付……

小心，這可能是遇上了難纏的AI病毒！

近日，清華大學人工智能研究院孵化企業推出了針對人工智能算法模型本身安全的RealSafe安全平台，據介紹，該平台可快速緩解對抗樣本的攻擊威脅。

人工智能感染的是什麼病毒？其安全問題有哪些特點？人工智能時代，殺毒軟件如何修煉才能化作身懷絕技的病毒獵手？

是敵又是友 對抗樣本戴着雙重面具

RealSafe人工智能安全平台，是針對AI在極端和對抗環境下的算法安全性檢測與加固的工具平台，包括模型安全測評、防禦解決方案兩大功能模塊。平台內置AI對抗攻防算法，提供從安全測評到防禦加固整體解決方案。

北京理工大學計算機網絡及對抗技術研究所所長閆懷志接受科技日報記者採訪時表示，上述平台目前側重於模型和算法安全性檢測與加固，可以説是人工智能算法的病毒查殺工具。

閆懷志説，針對人工智能系統實施對抗樣本攻擊的這類惡意代碼，常被稱為“AI病毒”。對抗樣本是指在數據集中通過故意添加細微的干擾所形成的輸入樣本，會導致模型以高置信度給出一個錯誤的輸出。

“其實在實驗室中，使用對抗樣本可以檢測許多訓練學習類人工智能方法的分類有效性，也可以利用對抗樣本來進行對抗訓練，以提升人工智能系統的分類有效性。”閆懷志告訴科技日報記者。也就是説，對抗樣本可以看成是訓練人工智能的一種手段。

“但是在現實世界，攻擊者可以利用對抗樣本來實施針對AI系統的攻擊和惡意侵擾，從而演變成令人頭疼的‘AI病毒’。”閆懷志表示，對抗樣本攻擊可逃避檢測，例如在生物特徵識別應用場景中，對抗樣本攻擊可欺騙基於人工智能技術的身份鑑別、活體檢測系統。2019年4月，比利時魯汶大學研究人員發現，藉助一張設計的打印圖案就可以避開人工智能視頻監控系統。

在現實世界中，很多AI系統在對抗樣本攻擊面前不堪一擊。閆懷志介紹，一方面，這是由於AI系統重應用、輕安全的現象普遍存在，很多AI系統根本沒有考慮對抗樣本攻擊問題；另一方面，雖然有些AI系統經過了對抗訓練，但由於對抗樣本不完備、AI算法欠成熟等諸多缺陷，在對抗樣本惡意攻擊面前，也毫無招架之力。

對訓練數據投毒 與傳統網絡攻擊存在明顯不同

360公司董事長兼CEO周鴻禕曾表示，人工智能是大數據訓練出來的，訓練的數據可以被污染，也叫“數據投毒”——通過在訓練數據里加入偽裝數據、惡意樣本等破壞數據的完整性，進而導致訓練的算法模型決策出現偏差。

中國信息通信研究院安全研究所發佈的《人工智能數據安全白皮書（2019年）》（以下簡稱白皮書）也提到了這一點。白皮書指出，人工智能自身面臨的數據安全風險包括：訓練數據污染導致人工智能決策錯誤；運行階段的數據異常導致智能系統運行錯誤（如對抗樣本攻擊）；模型竊取攻擊對算法模型的數據進行逆向還原等。

值得警惕的是，隨着人工智能與實體經濟深度融合，醫療、交通、金融等行業對於數據集建設的迫切需求，使得在訓練樣本環節發動網絡攻擊成為最直接有效的方法，潛在危害巨大。比如在軍事領域，通過信息偽裝的方式可誘導自主性武器啓動或攻擊，帶來毀滅性風險。

白皮書還提到，人工智能算法模型主要反映的是數據關聯性和其特徵統計，沒有真正獲取數據之間的因果關係。所以，針對算法模型這一缺陷，對抗樣本通過對數據輸入樣例，添加難以察覺的擾動，使算法模型輸出錯誤結果。

如此一來，發生文章開頭所談到的一類事故就不足為奇了。

此外，模型竊取攻擊也值得注意。由於算法模型在部署應用中需要將公共訪問接口發佈給用户使用，攻擊者就可以通過公共訪問接口對算法模型進行黑盒訪問，並且在沒有算法模型任何先驗知識（訓練數據、模型參數等）的情況下，構造出與目標模型相似度非常高的模型，實現對算法模型的竊取。

閆懷志在採訪中表示，AI安全更突出功能安全問題（safety），這通常是指人工智能系統被惡意數據（比如對抗樣本數據）所欺騙，從而導致AI輸出與預期不符乃至產生危害性的結果。“AI功能安全問題與傳統的網絡安全強調的保密性、完整性、可用性等信息安全問題（security），存在本質不同。”

預防“中毒”困難重重 AI技術也可構築網絡安全利器

閆懷志表示，目前種種原因導致了預防人工智能“中毒”困難重重，原因具體表現在三個方面。

一是很多AI研發者和用户並沒有意識到AI病毒的巨大風險和危害，重視並解決AI病毒問題根本無從談起；二是由於AI正處於高速發展階段，很多AI研發者和生產商“蘿蔔快了不洗泥”，根本無暇顧及安全問題，導致帶有先天安全缺陷的AI系統大量湧入應用市場；三是部分AI研發者和供應商雖然意識到了AI病毒問題，但由於技術能力不足，針對該問題並無有效的解決辦法。

“當然，網絡安全本來就是一個高度對抗、動態發展的領域，這也給殺毒軟件領域開闢了一個藍海市場，AI殺毒行業面臨着重大的發展機遇。”閆懷志強調，殺毒軟件行業首先應該具有防範AI病毒的意識，然後在軟件技術和算法安全方面重視信息安全和功能安全問題。

“以現實需求為牽引，以高新技術來推動，有可能將AI病毒查殺這個嚴峻挑戰轉變為殺毒軟件行業發展的重大契機。”閆懷志強調，AI技術既會帶來網絡安全問題，也可以賦能網絡安全。

一方面，人工智能的廣泛應用帶來了許多安全風險。由技術性缺陷導致的AI算法安全風險，包括可導致AI系統被攻擊者控制的信息安全問題；也可導致AI系統輸出結果被攻擊者任意控制的功能安全問題。

但另一方面，人工智能技術也可以成為構築網絡空間安全的利器，這主要體現在主動防禦、威脅分析、策略生成、態勢感知、攻防對抗等諸多方面。“包括採用人工神經網絡技術來檢測入侵行為、蠕蟲病毒等安全風險源；採用專家系統技術進行安全規劃、安全運行中心管理等；此外，人工智能方法還有助於網絡空間安全環境的治理，比如打擊網絡詐騙。”閆懷志説。

中國信息通信研究院安全研究所的專家稱，為有效管控人工智能安全風險並積極促進人工智能技術在安全領域應用，可從法規政策、標準規範、技術手段、安全評估、人才隊伍、可控生態等方面構建人工智能安全管理體系。

來源：科技日報