芯東西（ID：aichip001）
編輯 | 温淑
GTIC 2020全球AI芯片創新峯會剛剛在北京圓滿收官！在這場全天座無虛席、全網直播觀看人數逾150萬次的高規格AI芯片產業峯會上，19位產學界重磅嘉賓從不同維度分享了對中國AI芯片自主創新和應用落地的觀察與預判。
在峯會下午場，Imagination Technologies公司副總裁&中國區總經理劉國軍，發表了題為《多核GPU與專用NNA推動從雲到端側智能應用》的演講。
Imagination Technologies公司副總裁&中國區總經理劉國軍
劉國軍講解了Imagination的產品設計思路。隨着AI賦能的時代來臨，從互聯網到物聯網、從指紋解鎖到高性能計算，各個領域對算力的需求高漲。後摩爾時代，異構加速計算成為滿足全球各領域算力需求的可行解決方案。CPU、GPU、FPGA、ASIC、專用AI加速器的異構融合，為提高算力開闢了新的方向。
面向算力需求，Imagination打造GPU IP和神經網絡加速器（NNA）IP的產品組合，分別着眼於AI計算的靈活性，以及高計算密度、低功耗需求。
Imagination分別於今年10月和11月，發佈了採用多核架構的最新B系列GPU IP和第四代NNA IP。在GTIC AI芯片創新峯會上，劉國軍亦分享了這兩款重磅新品的性能特點，其中B系列GPU IP包含四款產品，功耗較前代產品降低30%，面積縮減25%，算力可達6TFLOPS，能滿足從移動終端到自動駕駛應用的不同需求；而最新第四代NNA IP產品擁有全新多核架構，可提供600TOPS甚至更高的性能，能為大型神經網絡工作負載提供極低的帶寬和延遲。
以下為劉國軍演講實錄整理：
一、Imagination所有知識產權沒有源自美國Imagination Technologies是一家全球領先的戰略性獨立的IP供應商。
1994年，Imagination在倫敦交易所上市。NEC和ST micro的PC以及世嘉Dreamcast遊戲機，都採用過PowerVR 3D技術。後期公司GPU技術轉向移動端，並獲得了巨大成功。因為公司運營的成功，Imagination創始人和當時的CEO被英國伊麗莎白女王授予勳章。
基於GPU方面的成就，近十年Imagination一直致力於研發人工智能IP技術，並開發了人工智能產品線。
2017年，在失去了最大客户後，Imagination被中資背景的凱橋基金會全資收購。
去年年底，Imagination曾經的最大客户重新迴歸，與Imagination達成新的多年期授權協議。
Imagination有最核心的關鍵專利，公司專利技術多達1500多項。採用Imagination IP的芯片發貨量超過110億。在全球很多地方，Imagination設有研發人員和銷售機構。
還有一點很特別，目前Imagination所有的知識產權沒有源自美國，這在當前的形勢下很關鍵。
二、用“GPU+AI加速器”破解算力需求Imagination現有產品分兩大類。
一類是GPU圖形處理IP，可用於移動設備、物聯網、微控制器、數字電視和汽車等眾多市場領域。目前Imagination在全球移動GPU IP市場佔有率為36%，在汽車GPU IP領域佔到43%。Imagination今年剛推出的多核架構IMG BXT產品，能夠達到數據中心的性能水平。
同時在圖形渲染方面，Imagination是全球為數不多發佈了硬件光線追蹤技術的高科技公司。
Imagination還有一類產品是神經網絡加速器NNA IP。神經網絡加速器，簡單來講就是AI計算加速。
Imagination構建了一個通用的計算平台和專用的人工智能網絡加速的平台。此外還有以太網的數據處理器，這是汽車整體解決方案中的一個重要技術。
Imagination的GPU IP和NNA IP應用範圍很廣，可應用在移動、汽車、物聯、雲遊戲等各個領域。
GTIC AI芯片創新峯會的討論離不開算力。在信息與數據的社會，從互聯網上的幾十億數據，到物聯網上數萬億的設備互相連接，這其中的AI應用需要強大算力的支撐。應用端也是一樣，從一個指紋的識別到最高性能的計算，都需要算力來支撐。
傳統的CPU遠遠不能滿足當前從雲到端的算力需求。從雲端到邊端，到2024年，數據中心市場可以達到約1000億美元。在這當中，AI推理芯片在邊緣計算市場佔據了很大份額，達到約63.6%。
隨着AI邊緣推理應用向前發展，大家可以看到，移動互聯、工業、安防、物聯網、多媒體、自動駕駛等領域中的相關應用逐漸落地。
算力需求怎麼滿足？Imagination選取的是“GPU+AI加速器”的解決方案，用“GPU+NNA”面向自動駕駛和數據中心應用。
在邊緣計算場景，AI 芯片主要承擔推理任務。由於邊緣側場景多種多樣、各不相同，對於計算硬件平台的算力和能耗等性能需求也不同。因此，不同於雲端AI芯片需具備“高端、通用”的性能特點，應用於邊緣側的AI芯片需要針對特殊場景進行針對性設計，以實現最優的解決方案。
IMG的邊緣側推理解決方案將GPU和NNA相結合，靈活地將不同的工作負荷分配到最適合的硬件單元，最大限度地發揮不同硬件單元的性能。
今年十月份，Imagination在北京發佈B系列的GPU。隨後在11月，Imagination發佈第四代NNA IP。最新一代GPU IP和NNA IP有什麼特點？在AI芯片獲取算力方面，做出哪些提升？
劉國軍分享，B系列GPU IP共包含BXE、BXM、BXT、BXS四款產品，從低到高提供不同的性能。
其中，BXS是符合ISO 26262標準的汽車GPU IP內核，採用虛擬化技術及分塊區域保護技術，具備全新的功能和安全機制。這些功能都集成在硬件中，對於汽車GPU和自動駕駛應用而言，這種設計有利於提升安全性。
BXT採用多核架構，算力可達6TFLOPS、192Gigapixel/s，且具備可擴展性，可以去中心化。針對7nm、5nm製程，BXT可做特定優化，以滿足從移動終端到數據中心的使用需求。
新的架構在多核配置的時候，與傳統的配置有所不同。針對memory多核算力增加時的效率問題、memory的讀取存儲問題，Imagination也有比較好的解決方案。
對比市場上使用同樣半導體制造工藝的PCIe顯卡，IMG BXT具有更高的計算密度。這意味在同樣的硅片面積下，BXT可以提供更高的單精度（FP32）運算能力。
Imagination最新的4系列NNA IP也採用多核架構，這是NNA IP系列的第四代產品。
NNA IP系列第一代產品沒有發佈。第二代NNA IP產品PowerVR 2NX於2017年在深圳發佈。PowerVR 2NX單核IP運行在保守頻率800 MHz，能提供2048 MACs/cycle（行業標準性能指標）操作，即可達到每秒3.2萬億次推理操作。
紫光展鋭採用這款IP開發的虎賁T710芯片，在去年的Benchmark跑分中拿到第一名。
今年最新發布的第四代NNA IP計算效率和計算密度都十分傑出。4NX-MC4一個四核方案可提供50TOPS算力，由於具備可擴展性，基於最新NNA IP的解決方案可將算力擴展至200甚至500TOPS。
多核的特點是什麼？是可擴展。在整個計算過程中，多核架構可以做到近memory計算，降低延遲。另外，多核架構的各種調度和分配方式都十分靈活且可預測。
NNA IP可以多網絡運行，也就是説一個核可同時運行多個網絡，同一個網絡也可以切分到不同的核上去運行，這樣就可以預測計算的時間。Imagination有一個離線工具，來對特定應用作分配和調度。
根據各類實驗結果，Imagination的Tensor Tiling技術（ITT）平均可以降低90%的帶寬。
目前，Imagination正在為ITT技術申請專利，這項技術也被應用於4系列NNA IP。
ITT技術可以通過對計算任務進行tiling，充分利用片上存儲，提升數據處理效率，並節省訪問外部存儲的帶寬。利用本地數據的依賴性，ITT技術可將中間數據保存在片上存儲器中，最大限度地減少將數據傳輸至外部存儲器，從而將帶寬降低多達90％。作為一種可擴展的算法，ITT在擁有大量輸入數據的網絡上具有顯著優勢。
在Imagination的解決方案裏，GPU承擔計算任務，同時承擔渲染的任務；NNA承擔神經網絡計算任務。
GPU的渲染能力基於Imagination已經出貨多年的專利技術——硬件虛擬化。
藉助硬件虛擬化技術，一個GPU可以承擔多個屏的計算渲染任務，支持多個操作系統。同時，多個GPU之間有物理隔離，不會相互干擾。
這樣就實現了結合GPU的靈活性和NNA的效率，再加上memory，形成一個異構的計算平台。
這個異構計算平台具備非常靈活的任務分配和配置功能，上面是兩個GPU，下面是NNA，中間有內部的總線。這是一種非常有效的算力配置方法，能滿足從ADAS到自動駕駛的功能需求。
同時，Imagination提供統一的API，可以給開發者提供統一的接口去支持各種不同的網絡。對工作量和網絡類型的適配，都可以由統一的API支持。另外，GPU IP和NNA IP支持同一個開發工具，這方便了廣大開發者的使用。
以上是劉國軍演講內容的完整整理。除劉國軍外，在本屆GTIC 2020 AI芯片創新峯會期間，清華大學微納電子系尹首一教授，比特大陸、地平線、燧原科技、黑芝麻智能、壁仞科技、光子算數、知存科技、億智電子、豪微科技等芯片創企，全球FPGA領先玩家賽靈思，知名IP供應商安謀中國，全球EDA巨頭Cadence，以及北極光創投、中芯聚源等知名投資機構，分別分享了對AI芯片產業的觀察與思考。如感興趣更多嘉賓演講的核心乾貨，歡迎關注芯東西后續推送內容。