芯東西(公眾號:aichip001)
編譯 | 高歌
編輯 | 温淑
芯東西5月11日消息,美國GPU加速方案供應商D2S的董事長兼CEO Aki Fujimura認為,因為通用圖形處理單元(GPU)的計算能力已經進入新時代,深度學習(DL)可以不必花費大量的時間進行預處理。有時“浪費”一些算力可以減輕程序員的負擔,帶來“編程自由”。
他解釋稱,在算力足夠的前提下,GPU即使處理所有數據也比預處理花費的時間更少,在減輕負擔的同時也會提升計算效率。
Aki Fujimura曾在麻省理工獲得電氣工程學士學位和碩士學位,之後他在美國電子設計巨頭Cadence Design Systems擔任過首席技術官(CTO)。此外,Aki Fujimura還在多家企業擔任過高管職位。
一、芯片技術不斷提升,GPU算力持續增長2000年前後,通用圖形處理單元(GPU)出現,這意味着圖像處理技術的快速發展。黃仁勳開始帶領英偉達將GPU用於天氣、自動駕駛、半導體制造等各個領域。
在22nm和28nm芯片可以滿足很多應用的情況下,有很多的晶圓廠專注於繼續優化這些成熟的製程工藝。但是高性能計算、智能手機等領域仍然渴望更多的計算能力和速度,台積電、三星等頭部晶圓製造廠商也在加大投資,推動先進製程發展,使芯片製程變為3nm、2nm乃至更加先進。
隨着芯片技術的不斷進步,GPU的位寬不斷加大,其計算能力也在一直上漲。
這種情況下,有計算機科學家稱:“計算能力將很快不再是限制條件。”GPU在物聯網設備中的流行,也在某種程度上證明了GPU算力的充足。
之前,曾有機器學習領域的研究人員提出,只要計算速度夠快,沒有人會在意數據與權重從內存移動到處理單元,再將中間結果存儲回內存需要花費多長時間。
現在,雖然還是有很多研究集中在如何避免浪費計算能力上,但是也有一些工作開始探討如何在無限的計算能力下實現運算。有研究人員開始認為,在算力資源較為豐富的情況下,可以浪費部分算力資源來提升效率,這部分浪費是一種“有用的浪費”。
Aki Fujimura提到,這種“有用的浪費”看起來可能比較矛盾。可是在計算中,它體現了重要、新興的一類計算方法,即一開始就將算力假設為無限。現在,這類方法利用GPU豐富的算力使之前無法編寫的程序成為可能,Aki Fujimura認為,這可能將成為計算的未來。
D2S董事長兼CEO Aki Fujimura
二、“蠻力計算”將加速數據處理速度,減輕程序員負擔在過去的十年中,人工智能(AI)解決方案層出不窮,深度學習(DL)的迅速崛起,大大推動了AI技術的發展。
深度學習是用於建立、模擬人腦進行分析學習的神經網絡,並模仿人腦的機制來解釋數據的一種機器學習技術。它的基本特點是試圖模仿大腦的神經元之間傳遞,處理信息的模式。
此前的編程方法旨在教會計算機“思考”(例如,使用if/then/else等邏輯語句),並且需要通過預處理數據來確定什麼是“重要的”,只向處理器發送“有價值的數據”進行計算,從而節約算力資源。
不過,為了做到這一點,使用者需要花費大量時間和精力來確定哪些計算資源是浪費的,確定後還要使用近似值來運行算法,而有時這種近似值會影響處理結果。
Aki Fujimura稱,深度學習則是通過訓練數十萬、百萬、上億個數據,來教會計算機“識別”。在“有用的浪費”這一思想指導下,深度學習可以跳過預處理階段,將全部數據發送給GPU,進行“蠻力計算”。在算力足夠的情況下,即使GPU處理的所有數據也會比預處理排除部分數據更快。因此深度學習非常適合基於GPU的計算。
這種新的方法不僅可以大幅提升計算速度,也減輕了程序員的負擔。這讓程序員不用花費大量時間對計算機進行預處理,使他們有更多的精力探索體系結構問題,而不是去思考計算邏輯。
最後,Aki Fujimura強調,基於GPU的“蠻力計算”,或許會為該行業帶來“編程自由”。
結語:GPU算力提升或加快AI進步由於神經網絡需要的計算量非常大,在很長時間裏由於基礎設施技術的限制該技術的進展並不大。但GPU的出現則打破了這一困境,也造就了深度學習的蓬勃發展。
當今,隨着芯片技術的不斷進步,GPU算力也在不斷提升。上個月,英偉達的A100 GPU在數據中心基準測試中,性能表現相較CPU高出17-314倍。未來,GPU算力的提升,很可能會加速AI技術的發展,通過算力簡化程序開發者的負擔。
來源:EE Times