對抗樣本,即對輸入樣本故意新增一些人類無法察覺的細微干擾從而形成的新樣本,可以導致模型以高置信度給出一個完全錯誤的輸出。對抗樣本給深度學習領域帶來了極大的挑戰與實際危害,如針對面部識別系統缺陷的非法認證、醫療資料等領域的隱私竊取和自動駕駛系統的惡意控制等。因此,提升深度學習神經網路的魯棒性變得愈發重要。
對抗學習是目前提升模型魯棒性最有效的方式,其核心思路是針對當前的神經網路構建對抗樣本,然後透過不斷更新網路引數來學習對抗樣本。傳統對抗學習是基於極小極大演算法(Minimax),這是一種找出失敗的最大可能性中最小值的演演算法(即最小化對手的最大收益)。Minimax演算法假設了對手有完美決策能力,我方策略只能是在對方所能導致的最差情況中選擇最好的那種,因此其本質上是一種悲觀演算法。
在上述公式的內層中,透過最大化損失函式尋找最惡劣情況的對抗樣本;在外層中,透過學習對抗樣本來最小化損失函式。此公式被證明在提升模型魯棒性方面表現優異,但由於此演算法的“悲觀性”,也導致了學習過程中的諸多問題。如在最大化損失函式的過程中,此演算法並不在意模型對資料的分類是否正確,因此魯棒性的提升是以犧牲準確率為巨大代價的。除此之外,因為每次尋找對抗資料都需要多次反向傳播,所以學習過程十分耗時。那麼是否有可能對極小極大公式進行改進最佳化,使得模型能兼顧對抗魯棒性與準確性,並降低計算複雜度呢?
8月6日晚上8點,智東西公開課邀請到新加坡國立大學在讀博士張景鋒參與到「機器學習前沿講座」第4講,帶來主題為《基於對抗學習的模型魯棒性研究》的直播講解。張景鋒博士將從對抗學習在提升模型魯棒性中的研究與挑戰出發,詳解極小極大公式的原理及缺陷,並深入講解如何在兼得模型魯棒性與準確性的前提下,構建一種基於友好對抗樣本的對抗訓練模型—Friendly Adversarial Training(FAT)。
張景鋒是新加坡國立大學計算機學院的在讀博士,主要研究領域為人工智慧的魯棒性,在ICML等頂級會議發表多篇論文。張博士本科畢業於山東大學泰山學堂。
課程內容
主題: 基於對抗學習的模型魯棒性研究
提綱:
1. 對抗學習在提升模型魯棒性中的研究與挑戰
2. 基於極小極大最佳化的對抗學習原理
3. 基於友好對抗樣本的對抗訓練模型FAT的構建
講師介紹
張景鋒,新加坡國立大學計算機學院在讀博士。主要研究領域為人工智慧的魯棒性;在ICML等頂級會議發表多篇論文;本科畢業於山東大學泰山學堂。
直播資訊
直播時間:8月6日 20:00
直播地點:智東西公開課小程式
答疑地址:智東西公開課討論群
加入主講群
本次課程的講解分為主講和答疑兩部分,主講以影片直播形式,答疑將在「智東西公開課討論群」進行。
加入討論群,除了可以免費收看直播之外,還能認識講師,與更多同行和同學一起學習,並進行深度討論。
掃碼新增小助手曼曼(ID:zhidx006)即可申請,備註“姓名-公司/學校/單位-職位/專業”的朋友將會優先稽核透過哦~