預處理過時了？GPU專家談深度學習未來

芯東西（公眾號：aichip001）

編譯 | 高歌

編輯 | 温淑

芯東西5月11日消息，美國GPU加速方案供應商D2S的董事長兼CEO Aki Fujimura認為，因為通用圖形處理單元（GPU）的計算能力已經進入新時代，深度學習（DL）可以不必花費大量的時間進行預處理。有時“浪費”一些算力可以減輕程序員的負擔，帶來“編程自由”。

他解釋稱，在算力足夠的前提下，GPU即使處理所有數據也比預處理花費的時間更少，在減輕負擔的同時也會提升計算效率。

Aki Fujimura曾在麻省理工獲得電氣工程學士學位和碩士學位，之後他在美國電子設計巨頭Cadence Design Systems擔任過首席技術官（CTO）。此外，Aki Fujimura還在多家企業擔任過高管職位。

2000年前後，通用圖形處理單元（GPU）出現，這意味着圖像處理技術的快速發展。黃仁勳開始帶領英偉達將GPU用於天氣、自動駕駛、半導體制造等各個領域。

在22nm和28nm芯片可以滿足很多應用的情況下，有很多的晶圓廠專注於繼續優化這些成熟的製程工藝。但是高性能計算、智能手機等領域仍然渴望更多的計算能力和速度，台積電、三星等頭部晶圓製造廠商也在加大投資，推動先進製程發展，使芯片製程變為3nm、2nm乃至更加先進。

隨着芯片技術的不斷進步，GPU的位寬不斷加大，其計算能力也在一直上漲。

這種情況下，有計算機科學家稱：“計算能力將很快不再是限制條件。”GPU在物聯網設備中的流行，也在某種程度上證明了GPU算力的充足。

之前，曾有機器學習領域的研究人員提出，只要計算速度夠快，沒有人會在意數據與權重從內存移動到處理單元，再將中間結果存儲回內存需要花費多長時間。

現在，雖然還是有很多研究集中在如何避免浪費計算能力上，但是也有一些工作開始探討如何在無限的計算能力下實現運算。有研究人員開始認為，在算力資源較為豐富的情況下，可以浪費部分算力資源來提升效率，這部分浪費是一種“有用的浪費”。

Aki Fujimura提到，這種“有用的浪費”看起來可能比較矛盾。可是在計算中，它體現了重要、新興的一類計算方法，即一開始就將算力假設為無限。現在，這類方法利用GPU豐富的算力使之前無法編寫的程序成為可能，Aki Fujimura認為，這可能將成為計算的未來。

D2S董事長兼CEO Aki Fujimura

在過去的十年中，人工智能（AI）解決方案層出不窮，深度學習（DL）的迅速崛起，大大推動了AI技術的發展。

深度學習是用於建立、模擬人腦進行分析學習的神經網絡，並模仿人腦的機制來解釋數據的一種機器學習技術。它的基本特點是試圖模仿大腦的神經元之間傳遞，處理信息的模式。

此前的編程方法旨在教會計算機“思考”（例如，使用if/then/else等邏輯語句），並且需要通過預處理數據來確定什麼是“重要的”，只向處理器發送“有價值的數據”進行計算，從而節約算力資源。

不過，為了做到這一點，使用者需要花費大量時間和精力來確定哪些計算資源是浪費的，確定後還要使用近似值來運行算法，而有時這種近似值會影響處理結果。

Aki Fujimura稱，深度學習則是通過訓練數十萬、百萬、上億個數據，來教會計算機“識別”。在“有用的浪費”這一思想指導下，深度學習可以跳過預處理階段，將全部數據發送給GPU，進行“蠻力計算”。在算力足夠的情況下，即使GPU處理的所有數據也會比預處理排除部分數據更快。因此深度學習非常適合基於GPU的計算。

這種新的方法不僅可以大幅提升計算速度，也減輕了程序員的負擔。這讓程序員不用花費大量時間對計算機進行預處理，使他們有更多的精力探索體系結構問題，而不是去思考計算邏輯。

最後，Aki Fujimura強調，基於GPU的“蠻力計算”，或許會為該行業帶來“編程自由”。

由於神經網絡需要的計算量非常大，在很長時間裏由於基礎設施技術的限制該技術的進展並不大。但GPU的出現則打破了這一困境，也造就了深度學習的蓬勃發展。

當今，隨着芯片技術的不斷進步，GPU算力也在不斷提升。上個月，英偉達的A100 GPU在數據中心基準測試中，性能表現相較CPU高出17-314倍。未來，GPU算力的提升，很可能會加速AI技術的發展，通過算力簡化程序開發者的負擔。

來源：EE Times