提到卷積神經網路大家可能並不陌生。
它是深度學習（Deep Learning）的經典演算法之一，自20世紀90年代以來，其在計算機視覺、自然語言處理領域不斷取得驚人的結果。
卷積神經網路（Convolutional Neural Networks，CNN）首次被用於文字識別演示是在1993年的貝爾實驗室（AT&T Bell Laboratories），其的演示者是有“CNN之父”之稱的Yann LeCun。
今天，LeCun在當年的演示影片再次被網友們挖出，並迅速登上了Reddit熱搜，收穫了近千人點贊。
有網友評論稱，在演示之前，像通用人工智慧（AGI）和其他難題一樣，這種文字識別被認為是不可能的完成的。
還有不少網友留言稱，他們是真正的工程師、向他們致敬！
據悉，這則影片展示了世界上首個用於文字識別的卷積神經網路，是之後CNN被廣泛應用於計算機視覺、自然語言處理領域的重要開端。
CNN：手寫數字識別任務20世紀90年代初，LeCun加入了當時世界上最負盛名的研究機構之一貝爾實驗室。彼時才32歲的他，與同事們建立了一個讀取並識別手寫數字的系統，該系統是一個典型的端到端影象識別系統。
演示影片中，系統快速且精準地識別出了手寫數字210-949-4038。據說，這是LeCun在貝爾實驗室的電話號碼。
另外，它在處理更密集更多樣的數字識別任務時也表現出了良好效能，這在90年代是非常難能可貴的。
影片中，參與這項實驗的研究人員還有實驗室負責人Rich Howard、和計算機專家Donnie Henderson。
據瞭解，這項程式碼開發主要是為了應用於NCR（National Cash Register Coporation）的支票讀取系統。
總體而言，由於數值計算能力有限、學習樣本不足，加上同一時期以支援向量機（Support Vector Machine, SVM）為代表的核學習（kernel learning）方法的興起，這一時期為各類影象處理問題設計的卷積神經網路還停留在實驗室研究階段。
不過，到了1998年，Yann LeCun及其合作者共同構建了更加完備的卷積神經網路LeNet-5，並在手寫數字的識別問題中取得了進一步的成功。截止90 年代末期，該系統已經處理了美國 10％-20％的支票識別。
其實，LeNet-5神經網路早在1989年已經被LeCun提出。LeNet的最初版本包含兩個卷積層，2個全連線層，共計6萬個學習引數，規模遠超TDNN和SIANN，且在結構上與現代的卷積神經網路十分接近 。
值得一提的是，LeCun 在1989年發表的《使用反向傳播和神經網路識別手寫數字》的論文中，在論述其網路結構時首次使用了“卷積”一詞，“卷積神經網路”由此誕生，之後LeCun便被業內稱為“CNN之父”。
MNIST資料集基於這項實驗，LeCun還建立了經典手寫資料集MNIST，它是用於研究機器學習、模式識別等任務的高質量資料庫，被Hinton稱為“機器學習界的果蠅”。
MNIST 手寫數字影象資料集作為機器學習基準已經使用了二十餘年。它包含訓練集和測試集，訓練集包含 60000 個樣本，測試集包含 10000 個樣本，每個樣本都是一張28 * 28畫素的灰度手寫數字圖片。
MNIST資料集包含各種（0~9）手寫數字
據悉，MNIST 資料集抽取自 NIST 資料庫。其中的訓練資料來自2000 名人口普查局僱員的手寫字元，測試資料來自500名在校生的手寫字元。由於測試集樣本較少，MNIST很難再提供有意義的置信區間。2019年6月，來自 Facebook 和紐約大學的研究者對該資料集進行了擴充套件和重建，在測試集中新增了50000 個樣本。對此，LeCun在推特上轉發稱，這個新資料集重生、恢復、擴充套件了MNIST。
目前該資料集包括以下四個檔案內容：
手寫數字識別是計算機視覺領域的一個基本專案，相當於傳說中機器學習入門的“Hello World”，因此MNIST資料集也被開發者廣泛使用。
深度學習之父Yan LeCun自1998年之後，LeCun一直深耕於深度學習領域，還發表了多項重要論文，如OverFeat檢測框架、CNN用於立體匹配、DropConnect方法等，總引用量超過了100000+。
2015年，他與蒙特利爾大學教授Yoshua Bengio、谷歌副總裁兼工程研究員Geoffrey Hinton合著發表了《深度學習》的綜述論文，並登上了Nature。
LeCun是CNN的重要推動者。2018年，Yann因“將反向傳播演算法引入了CNN（卷積神經網路），並且發明了權值共享、池化等技巧，讓CNN真正更為可用”還獲得了ACM（Association for ComputingMachinery， 國際計算機協會）頒發的2018圖靈獎。
在宣佈獲獎者時，ACM學會稱三位計算機科學家為“深度學習革命之父”，並指出，“三位科學家在概念和工程學方面取得的突破，讓深度神經網路成為計算的關鍵部分”。
圖靈獎有“計算機界的諾貝爾獎”之稱，由英國數學家艾倫·圖靈名字而來——因其發明了最早的人造計算機模型“圖靈機”。與之共同獲獎的還有Yoshua Bengio、Geoffrey Hinton。
值得一提的是，Hinton還是LeCun在多倫多大學讀博期間師的導師。Hinton主要研究使用神經網路進行機器學習、記憶、感知和符號處理的方法。當時的深度神經網路學科是個大冷門，LeCun對神經網路的研究受到了Hinton的不少的指導和幫助。
除此之外，LeCun還曾獲得IEEE神經網路先驅獎（2014）、IEEE PAMI傑出研究員獎（2015）。目前他是紐約大學資料科學中心創辦主任、Facebook副總裁兼首席人工智慧科學家。
在2020 AAAI 協會上，LeCun針對AI的未來發表了名為《Self-Supervised Learning》的主題演講，他認為深度學習已至瓶頸，而自監督學習才是AI的光明前景。他說，雖然在自動駕駛、語言翻譯、聊天機器人等方面，深度學習方法有著一席之地，但是卻無法創作出「真正的」人工智慧。
而自監督學習因為能更接近人類的學習程式，將會是未來的發展趨勢。
引用連結：
https://www.reddit.com/r/MachineLearning/comments/kuc6tz/d_a_demo_from_1993_of_32yearold_yann_lecun/
https://youtu.be/uXt8qF2Zzfo
雷鋒網雷鋒網雷鋒網