芯東西（公眾號：aichip001）
編譯 | 高歌
編輯 | 溫淑
芯東西5月11日訊息，美國GPU加速方案供應商D2S的董事長兼CEO Aki Fujimura認為，因為通用圖形處理單元（GPU）的計算能力已經進入新時代，深度學習（DL）可以不必花費大量的時間進行預處理。有時“浪費”一些算力可以減輕程式設計師的負擔，帶來“程式設計自由”。
他解釋稱，在算力足夠的前提下，GPU即使處理所有資料也比預處理花費的時間更少，在減輕負擔的同時也會提升計算效率。
Aki Fujimura曾在麻省理工獲得電氣工程學士學位和碩士學位，之後他在美國電子設計巨頭Cadence Design Systems擔任過首席技術官（CTO）。此外，Aki Fujimura還在多家企業擔任過高管職位。
一、晶片技術不斷提升，GPU算力持續增長2000年前後，通用圖形處理單元（GPU）出現，這意味著影象處理技術的快速發展。黃仁勳開始帶領英偉達將GPU用於天氣、自動駕駛、半導體制造等各個領域。
在22nm和28nm晶片可以滿足很多應用的情況下，有很多的晶圓廠專注於繼續最佳化這些成熟的製程工藝。但是高效能計算、智慧手機等領域仍然渴望更多的計算能力和速度，臺積電、三星等頭部晶圓製造廠商也在加大投資，推動先進製程發展，使晶片製程變為3nm、2nm乃至更加先進。
隨著晶片技術的不斷進步，GPU的位寬不斷加大，其計算能力也在一直上漲。
這種情況下，有計算機科學家稱：“計算能力將很快不再是限制條件。”GPU在物聯網裝置中的流行，也在某種程度上證明了GPU算力的充足。
之前，曾有機器學習領域的研究人員提出，只要計算速度夠快，沒有人會在意資料與權重從記憶體移動到處理單元，再將中間結果儲存回記憶體需要花費多長時間。
現在，雖然還是有很多研究集中在如何避免浪費計算能力上，但是也有一些工作開始探討如何在無限的計算能力下實現運算。有研究人員開始認為，在算力資源較為豐富的情況下，可以浪費部分算力資源來提升效率，這部分浪費是一種“有用的浪費”。
Aki Fujimura提到，這種“有用的浪費”看起來可能比較矛盾。可是在計算中，它體現了重要、新興的一類計算方法，即一開始就將算力假設為無限。現在，這類方法利用GPU豐富的算力使之前無法編寫的程式成為可能，Aki Fujimura認為，這可能將成為計算的未來。
D2S董事長兼CEO Aki Fujimura
二、“蠻力計算”將加速資料處理速度，減輕程式設計師負擔在過去的十年中，人工智慧（AI）解決方案層出不窮，深度學習（DL）的迅速崛起，大大推動了AI技術的發展。
深度學習是用於建立、模擬人腦進行分析學習的神經網路，並模仿人腦的機制來解釋資料的一種機器學習技術。它的基本特點是試圖模仿大腦的神經元之間傳遞，處理資訊的模式。
此前的程式設計方法旨在教會計算機“思考”（例如，使用if/then/else等邏輯語句），並且需要透過預處理資料來確定什麼是“重要的”，只向處理器傳送“有價值的資料”進行計算，從而節約算力資源。
不過，為了做到這一點，使用者需要花費大量時間和精力來確定哪些計算資源是浪費的，確定後還要使用近似值來執行演算法，而有時這種近似值會影響處理結果。
Aki Fujimura稱，深度學習則是透過訓練數十萬、百萬、上億個資料，來教會計算機“識別”。在“有用的浪費”這一思想指導下，深度學習可以跳過預處理階段，將全部資料傳送給GPU，進行“蠻力計算”。在算力足夠的情況下，即使GPU處理的所有資料也會比預處理排除部分資料更快。因此深度學習非常適合基於GPU的計算。
這種新的方法不僅可以大幅提升計算速度，也減輕了程式設計師的負擔。這讓程式設計師不用花費大量時間對計算機進行預處理，使他們有更多的精力探索體系結構問題，而不是去思考計算邏輯。
最後，Aki Fujimura強調，基於GPU的“蠻力計算”，或許會為該行業帶來“程式設計自由”。
結語：GPU算力提升或加快AI進步由於神經網路需要的計算量非常大，在很長時間裡由於基礎設施技術的限制該技術的進展並不大。但GPU的出現則打破了這一困境，也造就了深度學習的蓬勃發展。
當今，隨著晶片技術的不斷進步，GPU算力也在不斷提升。上個月，英偉達的A100 GPU在資料中心基準測試中，效能表現相較CPU高出17-314倍。未來，GPU算力的提升，很可能會加速AI技術的發展，透過算力簡化程式開發者的負擔。
來源：EE Times