賓大蘇煒傑:從「匱乏」走向「豐富」

初識蘇煒傑,他與許多青年學者一樣,外表温文爾雅、略帶靦腆,但一談起學術和 AI 的未來發展,就充滿激情。

看他的簡歷,成長經歷一帆風順:本科就讀於富有盛譽的北京大學數學科學學院,接着在美國斯坦福大學攻讀博士,師從美國國家科學院院士、麥克阿瑟天才獎得主 Emmanuel Candès 和美國國家科學院和工程院雙院院士 Cynthia Dwork。緊接着跳過博士後階段,執教於培養了埃隆·馬斯克和沃倫·巴菲特的沃頓商學院,並聯合指導常青藤名校賓夕法尼亞大學在機器學習領域的發展。

他的團隊在機器學習優化算法、可信 AI 和高維數據分析等領域做出了許多原創甚至突破性的工作,部分成果已經應用於業界。但蘇煒傑謙虛地説,和同一階段的其他 AI 學者相比,他的論文數量算是少的。而事實是,他「相對較少」的工作已經讓他贏得了 NSF Career Award、斯隆研究獎和 SIAM 數據科學青年獎等眾多榮譽。能獲得其中一個獎項已經堪稱領域小牛,而蘇煒傑獲獎時的工作年限比平均還早兩三年。顯然,蘇煒傑是以「質量取勝」。

他指導過的學生已經或即將執教於北京大學、羅切斯特大學和曼徹斯特大學等名校的計算機系,以及供職於 Google 和 Facebook 等硅谷大廠的研究部門。儘管離博士畢業只有 5 年多時間,但蘇煒傑已經向「桃李滿天下」的夢想邁進了一大步。

在這些成績的背後,蘇煒傑的研究經歷是否一帆風順?又有哪些故事值得有志於 AI 的學生借鑑?


1、田園的成長經歷

儘管沒有相關統計數據,但在農村長大的知名 AI 青年學者比例想必是極少的。而蘇煒傑就是其中一員。

他談起農村成長經歷的話語中充滿着快樂。蘇煒傑從小就幫父母幹農活,在夏天和秋天播種和收割水稻期間學校會放「農忙假」,這時候摸田螺和抓黃鱔是他的最愛。平時放學回家路上,蘇煒傑要路過家裏的兩畝地,打開水渠給水稻灌溉。小學期間他家沒有房子住,全家就暫住在村裏廢棄了的供銷社老房子裏。令他感到欣喜的是,這個老房子中間有塊空地,他每天回家都能花很多時間種些花花草草。

在農村長大,幾乎沒有課業壓力,蘇煒傑有更多與自然親近的機會。但這無法掩蓋物質上匱乏的事實。相比於城區學校,蘇煒傑就讀的農村小學和初中教學資源要少很多,基礎設施比較差。比如,他的初中操場沒有400米跑道,體育課練跳遠時全校連個皮尺都沒有,更沒有機會接觸計算機,甚至初一開始學英語時都是用漢字注音。因此周圍的同學對讀書改變命運普遍信心不足、學習興趣也不大,經濟條件較好的同學經常中途轉學到城區學校。

現在,蘇煒傑曾就讀的這兩所學校因為農村適齡人口減少等原因,都已經關閉。

還有機會上的匱乏。他沒有讀過幼兒園,本應該開始讀小學時,因為教學資源不足,農村孩子必須晚一年上學,因此後來在高中和大學他一般都比同學年齡大一些。蘇煒傑笑着提到還出現過有人以為他是復讀生的誤會。

在匱乏中的成長經歷,讓蘇煒傑從小認識到生活的艱辛,特別珍視機會,感恩他人的幫助。

蘇煒傑所在的農村隸屬於寧波地區的餘姚市,這是中國經濟最發達的縣級市之一,有着濃厚的經商創業氛圍。特別是在農村,大家覺得得早點做生意賺錢更好,讀書是一種性價比很低的人生選擇。這也是江浙籍中科院院士自建國初比例持續下降的原因之一。

這些經歷,大概率會讓蘇煒傑走一條不一樣的道路。


2、在追求知識中走向「豐富」

改變蘇煒傑人生走向的第一個節點是在小學五年級。那一年,他的母親從村裏培養出大專生的鄰居那借了兩本教科書,一本關於微積分,另一本關於線性代數。在強烈的好奇心趨勢下,經過一年時間,他在沒有人幫助的情況下讀懂了這兩本書。之後,初一時父親帶着他去寧波和杭州買了不少高等數學和熱力學、量子力學、狹義相對論等物理書。浸潤在遠超他年齡的知識海洋中,蘇煒傑當時真正看懂的不多,但對知識的渴求已經在他心中深深紮根。

誠然,書籍是治癒匱乏最好的療法。蘇煒傑開始經常騎很久的自行車去市圖書館,借閲數學物理天文地理等各種書籍。通過閲讀《古今數學思想》和《為了人類心智的榮耀》等數學家傳記,蘇煒傑為高斯、歐拉、黎曼、龐加萊的事蹟而激動,為拉馬努金和愛多士等近代數學家的故事而傾倒。有一次,他想買價格200多元的《中國大百科全書》精粹版,等了半年才向父母提出來。那次他把厚厚的一本書放在自行車後座,從新華書店回家,是他印象中最快樂的一次騎行。

知識的豐富,很快帶來回報。從未接受過競賽訓練的蘇煒傑,初二那年參加初三組數學競賽獲獎,收到城區一所初中的邀請轉學。之後高中就讀於家鄉最好的餘姚中學。從此雖然老家一直在農村,但蘇煒傑的求學生涯永遠告別了田園時光。

更大的回報很快接踵而至。高一第一學期,蘇煒傑參加高三數學競賽,「劍一出鞘」,就獲得了省第六名,代表浙江省參加中國數學奧林匹克,這讓這個質樸的農村男生興奮得都不敢相信是真的。之後,蘇煒傑去了杭州、福州等地參加培訓,這也是他第一次真正意義上走出家鄉餘姚。跟來自全國各地的優秀同學交流過程中,他感受到了差距,特別是在見識和談吐方面的不及,讓當時的他對自己失去信心。

但最後蘇煒傑在決賽中發揮出色,獲得銀牌,名列浙江省第二名,保送清華大學數理基科班。這是他家鄉百萬人口縣級市第一次有高一學生保送清北,他還因此獲得了「寧波市十佳學子」的稱號,在家鄉引起了轟動。蘇煒傑至今在家鄉仍有很高的知名度。

高三那年,蘇煒傑再次代表浙江省參加中國數學奧林匹克,獲得全國第二名,保送北京大學數學科學學院,並進入國家集訓隊。大多數集訓隊隊員所在高中之前就有學長學姐進過國家隊,而蘇煒傑是其高中進入數學國家集訓隊的第一人,至今也是唯一一個。

因此,母校老師對他寄予厚望,希望他能成功進入 IMO 國家隊,為餘姚中學帶來第一塊學科競賽國際金牌。但在集訓隊的最後兩次選拔賽中,蘇煒傑發揮不理想,一步之遙與國家隊失之交臂。十多年過去了,他還對此略感遺憾,但不是因為個人榮譽的得失,而是因為辜負了高中母校的期望。

參加數學競賽讓這個農村男生獲得了不敢想象的豐富機會,儘管也有不少失利,但這更讓他珍視機會的來之不易。蘇煒傑感到自己很幸運,因為這一路他並沒有做任何規劃,只是單純地追隨他內心對數學之美的熱烈追求。


3、從數學夢到與AI結緣

在北大數院就讀的四年時光裏,匱乏隨之遠去,取而代之的是豐富的數學知識海洋。蘇煒傑盡情地投入這場盛宴,不敢有一絲懈怠。他基本不玩遊戲,每天就是跟在燕園第一週就在一起的女朋友、現在的妻子在圖書館自習中度過。

生活方面,北大給蘇煒傑提供了助學金,加上他每年獲得的最高獎學金,就可以完全承擔學費和生活費。這份恩情他一直記在心裏。

身處北大數院,就是與全國最優秀的同齡人共處一個集體。這種感覺是美妙的,有什麼問題,跟同學一交流,馬上就會豁然開朗,甚至意識到之前沒有注意到的問題,而且還會有一點壓力,這又會讓你更加努力。

北大對蘇煒傑的改變是多方面的,對他的思維方式打下深深的烙印。數學的思維是向深處探索的,直面真正有難度的問題,力求揭開事物的本質。蘇煒傑日後的科研風格也正是如此,長期專注於若干重要且基本的問題,很少做推廣別人的工作。

實現兒時數學夢近在咫尺,但隨着大四出國申請季的到來,蘇煒傑對未來產生了猶豫和陷入了抉擇的困難。數學無與倫比的純粹、簡潔和普適性深深地吸引着他,而申請純數學博士是成為一名數學家的必要條件,也是實現他數學夢的必經之路。同時,蘇煒傑在北大數院的方向也正是基礎數學,核心專業課平均分97分,名列年級第一,再加上他在丘成桐大學生數學競賽的出色成績,可以讓他申請到最好的基礎數學博士項目。

但此時的蘇煒傑,隨着年齡和閲歷的增加,有了不一樣的思考。

北大是綜合性大學,他有機會選修機器學習、計算數學和統計等課程和參加相關講座,還在林毅夫教授創辦的國家發展研究院獲得了經濟學雙學位。這些另一個維度的經歷讓蘇煒傑瞭解到數學在其他領域的作用,可以幫助解決重要的實際問題。

另一個因素是蘇煒傑在大三那年(2010年)暑假得到了在微軟亞洲研究院實習的機會, 此時機器學習方興未艾,在微軟亞研,蘇煒傑瞭解到機器學習的前沿方向和應用,產生了濃厚的興趣。當時大家還不怎麼使用 AI 這個詞,但回想起來,他對 AI 的初印象確是來自於這段實習經歷。這段經歷還讓蘇煒傑結交了很多計算機專業的同齡人,體會到了不同學科之間思考方式的差異。

賓大蘇煒傑:從「匱乏」走向「豐富」

圖注:2010年夏天,蘇煒傑(最左)在微軟亞洲研究院實習

但讓蘇煒傑決心走一條不一樣的路的最終決定因素是他的成長經歷。農村的成長經歷,讓蘇煒傑希望未來事業能跟業界更緊密些, 有機會能改善父母的生活。經過一番思想鬥爭,最後放棄了純數學作為個人事業。

蘇煒傑後來選擇了斯坦福大學統計系繼續他的學術夢,就不再是狹義上的數學家。但他未來的學術風格、思考問題的方式以及學術情懷,從來沒有離開過數學。


4、成熟於硅谷的 AI 學術風格

懷揣着對未來的憧憬,2011 年蘇煒傑飛躍大洋來到硅谷,在斯坦福最高博士生獎學金(Stanford Graduate Fellowship)的支持下開啓攻讀博士之旅。蘇煒傑所在的統計繫有二十位不到的教授,但卻有近十位是美國國家科學院院士,因此 「院士只是平均水平」。系裏的老師普遍在電子工程系、醫學院、計算機系、數學系有正式職位,是名副其實的數據科學。

此時的斯坦福和附近的谷歌等公司還處在 AI 即將快速發展的前夜。這種多元和動態完美結合的環境讓蘇煒傑能深入接觸機器學習和數據科學的前沿。

在斯坦福眾多頂級學者中,他選擇了 Emmanuel Candès 教授作為他的博士導師。Emmanuel 是真正的天才,他曾獲得麥克阿瑟天才獎等大獎,研究的內容橫跨計算數學、機器學習、統計、信息論、信號處理和優化等眾多領域,在很年輕的時候就當選為美國國家科學院院士。2020年,他還與陶哲軒一起獲得了當年的「IEEE Jack S. Kilby Signal Processing Medal」(信號處理領域最高榮譽)。

2014年,蘇煒傑在微軟研究院硅谷分部實習,導師是美國國家科學院和工程院雙院院士 Cynthia Dwork。她是一位初見就覺得是「我的朋友」的老太太,早年在密碼學和分佈式計算做出了奠基性的工作,開啓了工作量證明這個研究方向,為後來的區塊鏈奠定了部分理論基礎。近幾年 Cynthia 領導了可信 AI(特別是隱私數據保護和算法公平性)這個朝氣蓬勃的領域,蘇煒傑也在她的指導下進入了這個領域。從此,她一直給予蘇煒傑學術上的指導和支持,是他實際意義上的導師。同時,Cynthia 還是早期的一代女性計算機科學家,早年作為女性學習計算機需要克服諸多困難,蘇煒傑聯繫到自身從農村走來也多有坎坷,因此很有共鳴。

賓大蘇煒傑:從「匱乏」走向「豐富」

圖注:Cynthia Dwork

這兩位教授領域不同,但有相似的學術觀點,共同塑造了蘇煒傑今天的學術風格。這並不是説蘇煒傑從 Emmanuel 和 Cynthia 處學到很多具體知識點,坦率地講,作為北大數院的頂尖畢業生,他的知識儲備在本科基本已經完成。但學術遠遠不止於知識的積累,更重要的是學術風格的建立,理解什麼是好的學術。

首先,以解決問題為導向,而不因學科限制自己。Emmanuel當年與陶哲軒一起發明壓縮感知(Compressed Sensing)的時候,就是為了加速磁共振成像這個實際問題。這個工作兼具數學之美與實際之美,是非常罕見的。而在研究的過程中,他用到了信號處理、信息論、優化和統計等多個學科的思想和方法。Cynthia 早年的領域是理論計算機,但近些年在開啓隱私數據保護和算法公平性這些領域的時候深入引進了統計技術和社會學思想。

另一個很重要的一點是持久地做自己認為重要的課題。Emmanuel 告訴蘇煒傑,他基本不看 arXiv 上最新的論文,而是做自己認為重要的問題,且不輕易因為外界的聲音改變。如果過於緊跟潮流,總是在模仿,很容易迷失在浩如煙海的論文海洋之中,研究的內容很難有自己的特色,且無法產生深遠的影響力。Cynthia 十多年前剛開啓隱私數據保護這個領域時,領域內對此有不同聲音,但經過十多年的持續耕耘,現在已經在業界廣泛應用。

此外,要重質量而不是數量。蘇煒傑回憶,Emmanuel 好幾次跟他説自己不應該寫某些論文,希望從簡歷裏刪掉。當時蘇煒傑還挺驚訝,因為這些論文的引用量也有數百。獨立工作後他才明白,現在學術圈的問題是論文太多,但真正高質量的論文比例卻不高。Emmanuel 告誡他,一篇論文好不好,要看5年甚至10年以後是否還有參考價值。

這些言傳身教讓蘇煒傑受益匪淺,體現在他做科研也不侷限於某個具體學科,經常橫跨機器學習、優化和統計等多個領域,以及習慣於持續地研究問題,注重「種樹」而非「摘果」。「種樹」的成功率固然不高,但這類工作一旦成功,往往能給本領域提供新的問題和機會。

因為帶學生有壓力,他也有一些純粹只是為了發表而發表的論文,但他每年要求自己至少寫一篇「5年以後還有人讀」的論文。現在蘇煒傑有40餘篇論文,但他坦然説只有3、4篇是他真正喜歡的,具有長期價值。也正是這少量的幾篇高質量論文,讓蘇煒傑贏得了眾多榮譽,其成果已經在包括賓大、MIT、UC Berkeley、斯坦福、普林斯頓、耶魯、北大、UCSD、UIUC等眾多大學的數據科學和機器學習課程中講授。有朋友跟他説:「未來可以寫進教科書。」

除了學術,兩位導師在生活上對蘇煒傑也很關心。Emmanuel 有着法國學者常見的高冷氣質,但內心卻很關心學生,每學期都會邀請學生去他家參加派對,有一次得知蘇煒傑遇到經濟困難後曾提出經濟上的幫助。Cynthia 則經常問蘇煒傑工作開不開心,2017年她入職哈佛大學後,曾提到如果蘇煒傑想來「波士頓的那兩個學校」,隨時跟她説。


5、豐收篇

2016年,蘇煒傑博士畢業,論文獲得了首屆「斯坦福 Theodore Anderson 獎」。在 Emmanuel 和 Cynthia 兩位導師的推薦下,入職常青藤名校賓夕法尼亞大學,開始了在東海岸的獨立工作。

賓大蘇煒傑:從「匱乏」走向「豐富」

圖注:蘇煒傑和他妻子與Emmanuel Candes的合影

懷揣着對 AI 的熱情,以及深厚的數學情懷,蘇煒傑開始迎來學術上的豐收。

蘇煒傑的一個主要課題是揭開深度學習背後的機制,理解為什麼深度神經網絡有時候效果好、有時候不好。或許是因為數學背景出身,他除了重視提升效果,也強調「知其然,也要知其所以然」。

他對 AI 科技評論談道:

有人説深度學習是「鍊金術」。這對於人臉識別、下圍棋甚至蛋白質摺疊等也許沒有特別大的影響,但對於高風險的 AI 應用卻是至關重要的。最近 DeepMind 將深度強化學習應用到核聚變,結果令人興奮,但在沒有完全理解深度學習的機制之前,即使成功率達到99.99%,我們能承受最後變成一顆小型氫彈的0.01%的可能性嗎?

這是一個重要且非常活躍的科研領域,但還沒有一個理論獲得學界廣泛認可。經過多年思考,蘇煒傑和他團隊提出了一個深度神經網絡的「局域彈性」(local elasticity)理論,給神經網絡泛化、優化等性質提供了一個簡單的唯象理論。

這個理論可以用一個很簡單的例子來介紹:神經網絡看到一張波斯貓的圖片後更新了其參數,然後我們觀察神經網絡更新後在另一張圖片上預測的改變。實驗發現,改變的大小取決於新圖片跟波斯貓的相似度:變化在暹羅貓上最大,在老虎上其次,在汽車上最小。形象地説,深度神經網絡像橡皮泥一樣有局部的彈性。

直覺上,蘇煒傑相信這個唯象理論是通向最終理論的必經之路,但現在還不完善,還需要大量後續工作來深入研究。

相關論文:

  • The Local Elasticity of Neural Networks

  • Neurashed: A Phenomenological Model for Imitating Deep Learning Training

蘇煒傑認為數學理論還可以指導實際的 AI 問題。「There is Nothing More Practical Than A Good Theory」,一個好的理論價值的最直接體現在於能不能指導實際,節約人力物力。流體力學和空氣動力學就是一個很好的例子,現在可以用仿真來替代真實的風洞試驗。但 AI 領域很多方向還需要耗費巨大的人力物力來收集數據和訓練模型,比如最近很熱門的預訓練大模型;另一個例子是自動駕駛,現在離實際的落地應用還有很長一段距離,需要逐個解決無數個"黑天鵝問題"。

學界在這個方向上的工作都還很初步,但蘇煒傑團隊最近的一個工作算是邁了一小步。這個工作發表在《美國國家科學院院刊》(PNAS),對深度神經網絡進行了極大的簡化,着重分析了特徵與後繼層參數在網絡訓練中的相互作用。

賓大蘇煒傑:從「匱乏」走向「豐富」

論文地址:https://www.pnas.org/doi/epdf/10.1073/pnas.2103091118

運用這個框架,蘇煒傑發現了深度神經網絡在訓練數據不平衡時表現可能會非常差,特別是對數據量不夠的類別,其預測能力會非常隨機。這個發現完全是理論預測的,但通過實驗完美地確認有這個現象,然後針對性地提出瞭解決方案。這個工作説明,在一定程度上,數學是可以指導深度學習的實際應用的,但像這樣的工作目前在深度學習的研究中還是非常少見的。雷峯網

此外,數學對 AI 知識的梳理和傳承也是有很大作用的。恩格斯曾説過:「任何一門科學的真正完善在於數學工具的廣泛應用」。這句話或許稍有片面,但也可以看出數學對一個學科發展的重要性。為什麼埃及金字塔、瑪雅曆法、以及中國古代的很多技術會失傳?本質上是因為這些知識當時沒有被「數學化」,其傳承需要師徒手把手面對面教授繼承。相反,我們現在還可以很好地理解兩千年前的《幾何原本》,因為一個知識體系在被數學化後就是精準的,其傳承就可以超越時空。

但 AI 領域的許多知識目前處於一個「鍊金術」的狀態,知識是由大量的試錯、經驗總結起來的,缺乏體系,不完整,也存在相互矛盾的現象,這會造成年輕的學生很難掌握如此繁瑣的 AI 知識和經驗,很有可能再過幾十年這些花費巨大資源獲取的知識會被遺忘。

蘇煒傑有一個工作對一類 AI 領域的現象作了梳理和簡化。添加動量(momentum)是優化機器學習模型時常用的一個技巧,Hinton的一個重要工作指出添加動量可以顯著地加快優化深度神經網絡,目前也有很多解釋的工作,但大家還是覺得這個現象很神秘。通過和美國國家工程院院士 Stephen Boyd 、以及導師 Emmanuel 合作,蘇煒傑的一個工作指出可以用動力系統的連續觀點很直觀地解釋複雜的加速現象。

賓大蘇煒傑:從「匱乏」走向「豐富」

論文地址:https://jmlr.org/papers/volume17/15-084/15-084.pdf

這個工作因為明顯的幾何直觀性,在機器學習、優化和控制論等多個領域都有很大影響力,眾多學者用這個方法設計新的加速算法,並做了大量推廣工作。這其中就包括機器學習泰斗 Michael Jordan 和著名機器學習學者 Peter Bartlett。Michael Jordan 教授在 2018 年裏約國際數學家大會的 1 小時報告中,以大篇幅介紹了這個工作。

賓大蘇煒傑:從「匱乏」走向「豐富」

圖注:Michael Jordan在2018年國際數學家大會1小時報告上詳細介紹蘇煒傑的工作

蘇煒傑參加 NeurIPS 等機器學習會議時,經常碰到不認識的人看到他胸前的名牌後問「Are you the Su of the Su, Boyd, Candès?」雷峯網

蘇煒傑本科期間曾選修過經濟學雙學位,經濟學的思想體現在他近期一個旨在提高論文同行評議質量的工作。在這個工作中,蘇煒傑把對於預測精度的追求和效用函數的最大化分離,因此在更廣的意義上可以將博弈論的觀點有機地引進到很多機器學習的問題。這個框架與Michael Jordan近幾年倡導的「ML + Economics」不謀而合。蘇煒傑對推廣這個框架充滿信心,歡迎感興趣的學者和學生聯繫他。

相關論文:

  • You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring Mechanism



6、隱私數據保護


蘇煒傑進入隱私數據保護領域的引路人是 Cynthia Dwork。這個領域是數據科學和機器學習的結合點,具有很多優美的性質。

數據隱私的重要性在於,在這個大數據時代,如何妥善獲取和使用與真人相關的數據,漸漸成為亟需解決的問題。沒有人願意生個病、上個網、買件衣服都會被人隨意知曉,更別提手機裏沒有修過的自拍了。在數據日益成為AI核心組成部分的今天,保護數據隱私的重要性是基建性的。

可能有種錯覺是相比於中國用户,歐美用户更注重隱私,但這其實是不對的。蘇煒傑曾和 Cynthia 討論過這個問題,Cynthia 的觀點是隱私的重要性是獨立於文化的。幾年前國內某 IT 大佬曾公開宣稱中國用户不太注重數據隱私,第二天就導致其公司股票大降。隨着我國公民意識個人權益的不斷增強,數據隱私保護的重要性會越來越高。

差分隱私由 Cynthia 和合作者於 2006 年提出。除了差分隱私,現在隱私數據保護有安全多方計算、同態加密、聯邦學習等技術。聯邦學習是從「物理」上形式地保護了隱私,讓數據實現在本地計算,從而讓「散户心理上舒服」,但一般並不能在完全絕對意義上保護隱私,還需要和差分隱私結合。而差分隱私無論是理論還是實際應用,都是現在最成熟的的技術。硅谷眾多的旗艦大廠都已經使用差分隱私多年,Apple 的 iCloud 也用到了這項技術,2020 年美國人口統計也大規模地使用了差分隱私。

簡單地説,差分隱私要求數據集的單個用户的改變基本不影響算法輸出,從而嚴格保護每一個用户的隱私。為了實現保護,需要給算法添加噪音,噪音加的越大,隱私就越安全,但是隨之性能也會越差。在有限的隱私預算下,很多時候隱私算法的性能表現會不如人意。

關於這個問題,蘇煒傑曾跟學術圈研究隱私的人交流,他們一般認為隱私保護是第一位的;但工業界的從業人員認為算法的性能與隱私保護一樣重要,兩者需要取捨。蘇煒傑學經濟學時常聽到「everything has a price」(每一個物品都有一個價格),隱私也是。因此如果為了保護隱私而導致算法效率大幅下降,那麼是不可取的。

在保證隱私的前提下,為了提高算法精度,蘇煒傑和合作者提出的高斯差分隱私。

相關工作:

  • Gaussian Differential Privacy

  • Deep Learning with Gaussian Differential Privacy

這個工作的核心是從假設檢驗的角度來精準地刻畫隱私程度,從理論上嚴格證明了這個新框架具有多個最優性質。蘇煒傑的團隊還把高斯差分隱私應用到深度神經網絡的訓練,在同等隱私保護程度的條件下取得了比 Google Brain 更高的預測精度。

這個新的隱私數據分析框架已經納入TensorFlow,最近也受到了 Facebook(Meta)的關注。他的團隊已經跟 Meta 合作,希望能將高斯差分隱私部署到他們的廣告推薦系統中。這個工作既有理論上的優美保證,又能應用到實際提高機器學習算法的效率,對此蘇煒傑感到非常興奮的。


7、生活感悟

蘇煒傑在 AI 學術上的探索歷程,是一個寒門子弟從早期匱乏逐漸走向「豐富」的成功例子。但這背後也需要他克服更多的困難。

比如,博士第三年,蘇煒傑和妻子突然迎來了他們的第一個孩子,而他妻子不久前辭去了在國內本很有發展前景的工作。隨之而來的經濟壓力和科研時間的極大縮短,讓蘇煒傑只能迎頭而上。

賓大蘇煒傑:從「匱乏」走向「豐富」

圖注:蘇煒傑與他的大兒子

這段時間是蘇煒傑人生中最努力的時候,既要兼顧學術與家庭,又要解決物質與精神壓力,就只能白天照顧小孩、晚上熬夜搞學術。當時腦海裏就只剩下兩個字:努力。幸運的是,他堅持下來了,做出了讓 Emmanuel 和 Cynthia 非常欣賞的工作。

回想起那段時間,蘇煒傑還有一種「一步走錯則滿盤皆輸」的後怕感。那時他的學術剛剛起步,如果在壓力下,做不出成果,就不可能找到好的教職工作,那之前一路堅守的學術夢想就沒有意義了。

為了承擔生育與撫養小孩的費用,以及支付她妻子讀碩士的學費,蘇煒傑還通過做額外的助教來減輕經濟負擔。但即便如此,博士畢業時他的銀行存款已經是零,信用卡還透支了一萬五千美元。臨近畢業時導師建議他去做一年博士後,這對建立人脈和拓展研究方向都有幫助,但因為迫切需要一份正式工作的收入,蘇煒傑沒有考慮。雷峯網

基於這段經歷,蘇煒傑有一些對寒門子弟人生規劃的建議。如果有志於學術,但來自農村或家庭經濟一般,可能選擇跟業界聯繫緊密、就業相對容易的領域是個明智的選擇。除了個別領域,絕大多數領域的博士超過半數是無法在學術圈找到工作的,最終還是會在業界就業。而家庭經濟一般,往往很難承受學術工作找不到、業界工作也不匹配的風險。

對於計劃在業界就業的同學,蘇煒傑的建議是擇業時更要多地考慮這個方向是不是在上升期,因為處於上升期的領域更看重個人能力和拼搏精神,對社會關係的要求較低。從這個角度看,如果家庭經濟一般的同學有機會從事AI方面的工作,是一個很好的選擇。本科報專業的時候可以多考慮計算機、數學、統計與數據科學、電氣工程等方向。黃國平博士是一個很好的成功例子,蘇煒傑讀過他的故事,深有共鳴。



8、展望

蘇煒傑懷着兒時就有的數學情懷,做出了兼具理論優美和實際價值的工作。這在日益壯大的青年 AI 學者羣體中是很少見的。對於有志研究 AI 的同學,蘇煒傑建議可以多選一些數學基礎課程。此外,在「AI+Science」這個趨勢的背景下,也可以學一些生物、物理、化學等課程,增加知識維度。

蘇煒傑在可信 AI、優化、統計與數據科學、深度學習等多個領域都有原創性貢獻,這每一個標籤加上他身上也都恰如其分。但蘇煒傑並不喜歡被標籤限制住,在 AI 被數據驅動的浪潮中,不同的領域其實是在解決同一類問題,只不過在前後端的側重點有所不同。這些本應該在一起的領域由於歷史的原因被不同的期刊、會議、基金項目和院系所分割。

他特別欣賞斯坦福和 MIT 這兩所大學的模式。斯坦福通過正式的雙聘制度讓不同的學科交叉,而 MIT通過建立林肯實驗室、媒體實驗室等部門的方式打破學科壁壘,以解決具體實際問題為導向,這將是趨勢,蘇煒傑提到。

最後他對 AI 科技評論説道:

在這個激動人心的變革時代,每一位 AI 學者都在做同樣一件事情。這件事就是 2018 年 Michael Jordan 和張亞勤在烏鎮見面時説的同一句話:「我只是做數據分析的」。


版權聲明:本文源自 網絡, 於,由 楠木軒 整理發佈,共 10768 字。

轉載請註明: 賓大蘇煒傑:從「匱乏」走向「豐富」 - 楠木軒