天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

本科生搞科研到底能做出什麼成績?

最新被CVPR 2022收錄的一篇論文中,提供了一種新思路來解決深度學習中長尾分佈數據的分類問題,最終實現了新SOTA。

天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

文章一共5位作者,有博士生,也有來自新加坡A*STAR的高級研究員……

而排在一作位置的,是一位來自天津大學的本科生——李渤漣

厲害的是,這還不是這位“初生牛犢”的第一篇頂會論文,在此之前,他還中了一篇數據挖掘領域的頂會(WWW 2022),同樣是一作。

天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

本科生搞科研,勢頭已經這麼強了嗎?

大三進實驗室,大四就有2篇頂會在手

李同學來自天津大學智能與計算學部,今年大四

這篇CVPR文章,主要就是以新型集成(ensembling)學習策略來解決長尾分類的問題。

天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

長尾分佈大家都知道,對於這些數據的分類則是深度學習中十分常見的一個應用。

它的難點主要是樣本量極端不平衡尤其尾部樣本量過少,難以獲得有效的訓練結果。

目前,基於集成學習的方法顯示出巨大潛力,實現了SOTA性能。

但這種方法有兩個侷限性:

一是在failure-sensitive應用中的預測通常不可信,這對極容易出錯的尾部數據的影響非常大;

二是它會為所有樣本分配統一數量的資源(experts),這對於簡單樣本來説,造成了多餘、過高的計算成本。

因此,李渤漣等人提出,通過引入不確定性集成,來實現對尾部類別樣本的自動感知。

在此基礎上,提出為尾部類別樣本動態分配比頭部樣本更多的模型資源(experts),以兼顧性能與效率。

天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

△ 測試階段使用哈佛提出的DS理論形成joint uncertainty

最終,所得模型實現了對尾部類別樣本的自動化檢測與訓練調節,成為一個解決長尾分類問題的通用模型。

一系列分類、尾部檢測、面向對象檢測和故障預測等任務的綜合實驗證明,該模型的性能成功打敗現有的SOTA方法

天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

今年6月,李渤漣即將本科畢業,然後將直接以博士生的身份進入普渡大學學習,師從張如琪教授。

張如琪教授剛剛從康奈爾大學統計學博士畢業,在普渡大學擔任助理教授,她的研究方向為機器學習和數據科學中概率模型的構建。

天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

他是在大三的時候,憑着優秀的學習成績進入了學部的機器學習與數據挖掘實驗室

天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

在導師張長青(天津大學博導)的帶領下,李渤漣經過短短一年半的學習,就中標了兩篇頂會論文

可以説後生可畏。

越來越多的本科生開始發頂會

不過要説起本科生搞科研,其實大家應該有所注意,很多學校對於這件事越來越開放和重視:

在大三或者更低年級時,就會開放一些名額讓有潛力的學生進入實驗室,和研究生、博士生一起搞科研。

比如清華“星火班”就招募大二學生,北大也鼓勵學生從大二就開始開展科研項目,而像中科大等學校,對做出相應成績的本科生還會給予專門的獎學金

在這樣的情況下,已經有不少像李渤漣這樣的學生,在本科期間就發表上頂會了,可謂光環滿身。

比如我們熟悉的清華特獎得主、2016級本科生高天宇,大學四年期間就有四篇頂會在手:兩篇AAAI、兩篇EMNLP,還開過一個直播,專門傳授起自己的科研經驗。

天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

比如MIT本科生毛嘯,大四中標計算機理論頂會FOCS 2021,並摘得最佳學生論文獎。

再比如清華電子系本科生劉泓,3篇一作頂會;北大本科生吳克文不僅發頂會(ACM計算理論年會STOC),還拿下最佳論文獎;以及電子科大本科生王譚也有1篇一作CVPR 2020、浙大本科生任意同樣1篇一作ICML 2019……

類似的例子非常多。

可以説,本科生搞科研是越來越厲害了,大家覺得呢?

天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA

— 完 —

量子位 QbitAI · 頭條號簽約

版權聲明:本文源自 網絡, 於,由 楠木軒 整理發佈,共 1434 字。

轉載請註明: 天大本科生論文入選CVPR 2022,實現深度學習長尾分類新SOTA - 楠木軒