圖片來源@視覺中國
文丨學術頭條
如今，人工智能的發展如火如荼，廣泛應用到了圖像、自然語言、人機對話等各個領域，對各個產業進行了變革。
在移動應用中，人工智能廣泛使用的最大障礙之一是人工神經網絡的學習活動需要消耗大量能量，而解決這一問題的一種方法可以從大腦中獲得靈感。這是因為大腦具有超級計算能力，而且大腦神經元之間可以通過短的電脈衝或尖峯進行有效傳輸，極大節省了能量。
基於此思路，奧地利格拉茨工業大學的研究人員 Wolfgang Maass 和 Robert Legenstein 領導的工作組開發了一種稱為 e-propagation (簡稱 e-prop) 的新型機器學習算法。該算法可根據人腦模型進行學習，適應不斷變化的需求，其在線學習的特性也極大節省了能量。
該項研究的結果發表在近期的 Nature Communications 雜誌上。
大腦的神經網絡比人工神經網絡更節能通常我們將大腦中的神經元網絡與人工智能的深度神經網絡進行類比，然而人工智能的運作原理與人腦完全不同，其中最大的區別是神經元相互交流的方式。深度神經網絡的每一層以同步方式生成數字，而大腦通過異步發射的尖峯進行通信。
現代深度學習最早受生物學啓發，以神經元的單個計算單元的大型網絡之間的連接強度來編碼信息。人工神經網絡被組織成層，每個神經元通常連接到下一層中的每個神經元。信息以高度同步的方式在層之間傳遞，對數據進行預測，再與目標值進行比較，計算損失，之後再反向傳播，經過多次迭代調整網絡，得到準確的預測為止。
而對於大腦來説，生物神經元通過發射尖峯的電脈衝進行交流，每個神經元都按照自己的時間表進行交流。連接並沒有整齊地分成幾層，並具有許多反饋迴路，這意味着神經元的輸出通常最終會影響其輸入。
大腦這種基於峯值的方法在能源效率方面要比人工神經網絡高得多，一般訓練最強大的 AI 需要幾千瓦的電能，而大腦只需要 20 瓦。因此人們對人工神經網絡以及神經形態硬件（一種可以模仿大腦的物理組織和原理的計算機芯片）的興趣日益濃厚。
既然大腦傳遞信息能極大節能，那如果將人工神經網絡的思想應用到大腦中會發生什麼呢？我們可以看到，這裏存在一個問題，在大腦中的神經元進行反向傳播，相當於將信號在時間和空間上通過神經元之間的突觸向後發送，這顯然是不可能的。
新型機器學習算法這促使研究人員在實驗神經科學數據中研究已經清楚的兩個特徵：一個特徵是每個神經元以分子標記的形式保留了先前活動的記憶，並隨着時間的流逝而逐漸消失；另一個特徵是大腦使用像神經遞質多巴胺這樣的東西提供自上而下的學習信號，該信號調節神經元羣的行為。
奧地利的這支團隊利用了這兩種特徵進行最佳組合，創建了一種稱為 e-prop 的新學習算法，該算法無需對信號進行時間反向傳播。它的學習速度雖然比反向傳播慢，但趨近於反向傳播的性能。此外，e-prop 還適用於具有更復雜神經元模型的 RSNN。
更重要的是，該方法允許在線學習。這意味着，無需立即處理大量數據，而只是在數據可用時就從數據中學習。這極大地減少了所需的內存和能量，這使得在較小的移動設備中進行片上學習變得更加實用。
在大腦中，一般尖峯僅在網絡中的信息處理需要它們時才會變得活躍，而對於不那麼活躍的網絡，學習則是一種特殊挑戰，因為需要更長的觀察時間才能確定哪些神經元連接可以改善網絡性能，因此學習率很低。
而 e-prop 算法的出現解決這一問題。在該方法中，首先將自上而下的信號標記為學習信號，而每個神經元在所謂的資格跟蹤信號中記錄何時使用連接。利用這兩種信號以及突觸可塑性提供一個規範模型，由此產生的學習模型表明，許多生物神經元的一個特徵方面（即緩慢變化的隱藏變量的存在）為 RSNN 如何學習而沒有錯誤信號向後傳播的問題提供了一種可能的解決方案，即神經元導致合格性跡線在更長的時間跨度內向前傳播，因此能夠與後來出現的瞬時錯誤信號重合。
除此外，e-prop 理論為實驗發現的多巴胺信號多樣性對不同神經元羣體的功能作用提供了一個假設。以前的基於獎勵的學習理論要求將相同的學習信號發送給所有神經元，而對於 e-prop 來説，它是針對特定目標來發送的，因為神經元羣的自上而下的學習信號取決於其對網絡性能的影響（即損失函數）。
神經形態硬件的驅動力Maass 和 Legenstein 都相信，e-prop 將推動新一代移動學習計算系統的發展，這些系統無需編程，而是按照人腦模型進行學習，從而根據不斷變化的需求進行調整。其目的是確保這樣的計算系統不再僅僅通過雲來消耗大量能源，而是有效地將學習潛力的大部分整合到移動硬件組件中，從而節約能源。
該小組目前正在與英特爾的研究人員合作，將該方法與該公司的神經形態芯片 Loihi 的下一個版本集成，後者針對尖峯網絡進行了優化。他們還與曼徹斯特大學的人腦計劃研究人員合作，將 e-prop 應用於神經形態超級計算機 SpiNNaker。
要使這項技術與當今領先的 AI 的能力相提並論，還有很長的路要走。但是，如果它可以幫助我們開始接近我們在生物大腦中看到的效率，那麼不久，人工智能無處不在。
資料來源：
https://www.nature.com/articles/s41467-020-17236-y
https://singularityhub-com.cdn.ampproject.org/c/s/singularityhub.com/2020/07/27/a-new-brain-inspired-learning-method-for-ai-saves-memory-and-energy/amp/
https://www.azorobotics.com/News.aspx?newsID=11478