圖片翻轉,沒那麼簡單

圖片翻轉,沒那麼簡單

今年秋天,林之秋從康奈爾大學畢業,開啓了自己的博士之路。

圖片翻轉,沒那麼簡單

圖片進行鏡像翻轉後,相當於得到了雙倍數據。

在2020CVPR(國際計算機視覺與模式識別會議)上,來自美國康奈爾大學四年級的中國留學生林之秋以第一作者身份提交的“VisualChirality”(視覺手性)論文榮獲大會最高級別榮譽“最佳論文”的提名,在全球科學界精英提交的6424篇論文中,僅有26篇獲得最佳論文提名,佔0.4%,林之秋是本次大會唯一一個還在本科階段的獲獎者,也是年齡最小的第一作者。

識別“AI換臉”

手性的定義為“一個物體無法與其鏡像相重合”,這種不對稱性在自然界中廣泛存在,並應用於不同領域。

神經網絡訓練需要大量標註數據,但數據總是有限的。為了用有限的標註數據來擬合函數,人們使用數據增強的方法來低成本地獲得更多標記數據。而鏡像翻轉是最常用的圖像數據增強方法之一,只需將所有圖片都進行一次鏡像翻轉,就相當於免費得到了雙倍數據。

但事情當然沒有這麼簡單。當翻轉了數據集裏的所有圖片時,神經網絡所擬合的函數還能代表原先的圖像分佈嗎?林之秋以第一作者身份提交的這篇論文,討論的正是這一問題。

神經網絡可以通過自監督訓練的方法,在判斷圖像翻轉的任務上達到非常高的精度,並能指出圖片中哪些區域可以被用於識別鏡像翻轉。

通過最新的神經網絡技術與嚴謹的數學證明,康奈爾團隊發現了數字圖像中一些人眼難以識別的微小對稱性,從最簡單的圖片鏡像翻轉出發,重新探討了神經網絡訓練下數據增強和圖片防偽的意義。“我們這項工作對於普通人來説意義不是特別大,因為這是一項人工智能中比較基礎和理論的研究。但對於前沿學術界來説意義很大,這或許也是這項工作最終能獲得最佳論文提名的原因。”林之秋説。

識別鏡像翻轉,為圖像防偽提供了技術應用空間,比如AI換臉。林之秋説:“網絡上的一些AI換臉、或者之前被人惡搞的外國政要換臉,儘管所生成的圖像對於人眼來説非常逼真,但我們的工作證明了,這類換臉技術可能會破壞數字圖像固有的對稱性模式,因此能被計算機準確監測和識別出來。”

科研填滿生活

2016年,在美國紐約州伊薩卡小鎮,羣山包圍之中,17歲的林之秋在康奈爾大學開啓了自己的科研生涯。

康奈爾課業繁重,競爭壓力很大。在高中階段提前自學完課程後,林之秋跳過了大一、大二的基礎課,並在兩年內修完了數學和計算機兩個專業的學分。這為他大三全力投入科研騰出了時間。

大學第一年所選的5門高年級課程全部拿到A ,多元微積分、線性代數、人工智能、高等抽象代數等多項專業課第一名,這是林之秋交出的成績單。

學業之外,他很喜歡幫教授做一些專業課助教的工作。幫忙代課、設計課程,每週花幾個小時為同學解答問題。在林之秋看來,這些經歷對他個人學業的提升也有幫助,可以讓他學到如何把知識化繁為簡,再深入淺出地分享給大家。

到了大三,林之秋已經當上了機器學習高階課程的助教,給博士生的期末試卷打分。大學畢業時,他憑藉GPA總分4.2,在學院數千名學生中名列前三,被授予學院最高榮譽,並代表學院在畢業典禮上舉旗。

他還同幾名美國同學一起,創辦了康奈爾歷史上第一個面向本科生的研究人工智能的社團,組織大家每週一起研讀最新的學術論文,一起做些研究。這個社團還幸運地拿到了臉書人工智能實驗室4萬美元的贊助,支持他們從事神經網絡研究。

做科研的忙碌,意味着不得不犧牲生活閒暇。林之秋在中學時就愛拳擊,利用業餘時間練過4年,還在“北京市青少年拳擊比賽”中獲得過67公斤級的亞軍。如今,他基本沒有時間再進拳擊房,不僅沒有時間重拾愛好,甚至有一次還因為趕會議,兩週時間裏每天坐在電腦前近20小時而犯了腰病,不得不去校醫院做康復訓練。出於對科研的興趣與熱愛,這一切從未讓他覺得辛苦。

前路道阻且長

2013年,當時已從谷歌離職,回國加入騰訊的著名計算機科學家吳軍在中關村舉辦了一次關於計算機未來應用的講座。林之秋早早地佔好了前排的位子,那時他剛上高一,這場講座讓他對計算機人工智能產生了興趣。

“講座中提到了摩爾定律,講到計算機的飛速發展會對人類文明所產生的深遠影響,比如互聯網大數據、醫療影像、機器人等。”出於對技術的憧憬,林之秋開始通過慕課等線上教育平台,提前自學微積分、數據結構與算法等大學計算機的基礎課程。

今年,林之秋進入專業排名世界第一的卡內基梅隆大學機器人學院攻讀博士學位,繼續從事人工智能研究。CVPR上的“最佳論文”提名對他來説是鼓勵,也是動力。“科研工作者往往不是靠外部壓力、而是靠內驅力來推動的。這種工作往往艱苦而漫長,因為在探索科學的過程中,正反饋出現的時候並不多,甚至很長一段時間內科研沒有任何進展。但這時,還是要相信自己提出的猜想並堅持下去。”事實上,這篇關於“鏡像翻轉”的研究也曾因“不夠有新意”被另一個會議的審稿人拒稿,讓林之秋很長一段時間內都在懷疑與反思——研究到底有沒有價值?能不能做出來?

現在,堅持最終有了結果,來自學界的認可讓他更堅定了從事人工智能科學的信心。

也有大型科技公司向林之秋拋出橄欖枝,待遇優渥,但被他拒絕了。林之秋説,他喜歡做學術,希望有朝一日能通過前沿理論研究進一步推動技術發展。道阻且長,行則將至,在這條科研路上,他正勇敢地乘風破浪前行。

版權聲明:本文源自 網絡, 於,由 楠木軒 整理發佈,共 2125 字。

轉載請註明: 圖片翻轉,沒那麼簡單 - 楠木軒