肇觀電子新款3D視覺芯片正式亮相：兼具高性能幾何計算和AI能力，還能支持200餘種數學計算

芯東西（ID：aichip001）

作者 | 温淑

編輯 | 心緣

芯東西1月21日報道，今天，上海AI芯片廠商肇觀電子正式發佈3D深度計算+AI加速芯片D163A。

成立不到五年間，肇觀電子迅速成長，已經推出N、D、V三個產品系列，分別覆蓋AIoT、3D視覺、車載三個應用領域。本次推出的D163A芯片，是肇觀電子自2020年上半年以來發布的第二款D系列3D視覺芯片，既可作為SoC主控芯片使用，亦可作為協處理器使用。

同時，這家由AMD“老將”創立的AI芯片廠商已完成5輪融資，累計融資金額超5億元。

在肇觀電子新品發佈首日，芯東西獨家採訪了肇觀電子創始人兼CEO馮歆鵬，瞭解D163A背後的黑科技，以及肇觀電子未來的產品規劃。

據馮歆鵬透露，D163A芯片在2020年第三季度已經開始量產，並在第四季度產量快速提升，接下來肇觀電子計劃推出一款V系列車規級芯片。

肇觀電子創始人、CEO馮歆鵬

在各種形態的機器人、AGV（自動導引車）、無人機、可穿戴設備等多個領域，3D視覺應用面臨着巨大的市場。

以機器人為例，理想狀態下，搭載3D視覺系統的機器人可以判斷出自身在空間中的位置，並能與其所處的環境進行互動。為了實現這一目標，產學界推出了雙目立體視覺、結構光、ToF（飛行時間傳感器）、激光雷達等多種技術路線。

顏色的冷暖代表的是物體離鏡頭的遠近

然而，現有的3D視覺解決方案往往無法為機器人等應用帶來足夠的環境感知能力。這是由於3D視覺應用面臨着生成數據量大、計算複雜度高、實時處理要求高等方面的挑戰。

馮歆鵬説：“相比2D視覺應用，3D視覺應用多出了一個維度的數據，因此整體數據的存儲、計算都變得非常複雜。同樣地，算法的處理也會更加複雜。”因此，3D視覺芯片需要具備較強的計算能力。

為破解3D視覺應用難題，肇觀電子歷經約三年的研發時間，推出D163A芯片。這款芯片可支持雙目立體視覺、結構光、ToF（飛行時間傳感器）、激光雷達等傳感器的數據計算。

馮歆鵬特別強調，與市面上常見的3D視覺芯片相比，D163A芯片的三大能力格外突出：高精度3D深度計算能力、幾何計算能力、AI計算能力。

據馮歆鵬分享，為了保證3D成像效果，D163A芯片採用了類似人眼視覺系統的設計方式。

他講道：“一般來説，人眼視覺系統是基於一些物理原理，來判斷物體在空間中的位置，比如通過左右眼看到物體的差別、通過不同時刻看到物體的差別來進行判斷等等。D163A芯片採用了類似人眼視覺系統的方式，通過在不同時間點、不同位置上觀察目標，獲取各種信息進行計算，最終計算出目標的空間位置。”

從結果來看，不論是在被動光雙目還是主動光雙目的場景中，D163A芯片均能提供較好的3D視覺效果。據悉，被動光雙目指的是採用可見光成像，不提供格外光源；主動光雙目指的則是主動發射紅外激光做補光用於成像。

在被動光雙目的場景中，D163A芯片在1280*720的高清晰度下，對處於近、中、遠距離的不同對象進行3D成像。結果顯示，D163芯片解決方案十分準確地反映出了實際的3D深度。

近距離的人臉深度圖

近距離的五指深度圖

可以看到，在近距離的人臉成像實驗中，被測人物張嘴，嘴外和嘴內的距離只有幾釐米，D163A仍可非常明顯地測出深度；在近距離的五指成像實驗中，五指張開的距離非常有限，但測出的圖像輪廓依然非常清晰。

中距離的前後物體展示

在中距離的前後物體展示實驗中，D163A成像的深度圖稠密度高、視角大、距離範圍大。基於D163A的單芯片系統方案，可以不依靠任何外部芯片或者PC機而獨立完成全部功能，從而達到極致精簡的系統成本。

陽光下遠距離的自然環境可見光圖和深度圖

在遠距離的自然環境成像實驗中，D163A成像的深度圖具有適應範圍廣、不受陽光干擾的特點。

另外，肇觀電子展示了D163A芯片在640*480高幀率下的成像效果，最終成像的深度圖準確反映了球在地上遠近滾動的不同深度。

被動光雙目場景中，陽光下球滾動的深度圖

被動光雙目場景中，在陽光下拍球的深度圖

在主動光雙目的場景中，D163A芯片的性能優於Intel Realsense。

在主動光雙目場景中，D163A（中）和Intel Realsense（右）的對比

除了具備高精度3D深度計算能力，D163A芯片還具備業界領先的數字信號處理能力。

具體來説，D163A芯片可以支持200餘種通用數學計算算子，其中包括三角函數、對數、快速傅立葉變換、HoG、SVM、RANSAC等等。

在應用中，D163A芯片可以實現各種複雜圖像特徵點的實時計算，可以同時運行特徵點計算和AI計算。

D163A芯片同時運行實時640×480像素的FAST角點計算和AI計算

AI計算性能方面，在INT8和FP16精度下，D163A運行各項網絡均可達到較高的每TOPs每秒處理幀數。

上–在INT8的精度下，D163A芯片跑各項網絡可以達到的每秒幀數；下–在FP16精度下，D163A芯片跑各項網絡可以達到的每秒幀數

計算精度方面，肇觀電子在PC NCNN FP32和板端INT8精度下對七種網絡進行測試，結果顯示D163A INT8量化網絡的精度損失均在1%以內。

針對7種算法網絡，D163A INT8量化網絡幾乎無精度損失

不僅如此，搭配肇觀電子推出的AI應用開發平台Infer Studio™，用户可實現對D163A的快速開發部署。

馮歆鵬分享，一位客户基於Infer Studio™開發平台，僅用時半天就完成了對D163A芯片的多項開發任務。

作為國產3D視覺賽道上的一位玩家，肇觀電子正憑藉D163A和更早發佈的N163A芯片快速鋪開市場。據馮歆鵬分享，D163A非常適合解算雙目立體視覺、結構光、ToF（飛行時間傳感器）、激光雷達等傳感器生成的數據。目前，D163A芯片已經在智能叉車、可穿戴設備、無人機、工業檢測等領域實現了商業閉環。

此外，在移動設備市場，肇觀電子亦有所規劃。據馮歆鵬分享，肇觀電子將承擔為3D產業鏈“賦能”的角色，通過與客户合作，推動芯片在模組、移動設備乃至更多領域內的落地。

展望未來，馮歆鵬認為在幾年內，3D視覺技術有望被應用到80～90%的智能設備上。同時他表示，面對一片市場藍海，肇觀電子將持續深耕市場、推動產品迭代。

“肇觀電子將聚焦於現有的產品組合，依據客户的需求和技術的發展，把幾個產品線越做越好，這是我們的目標。”他説道。

目前，3D視覺市場正在飛速發展。據市場研究機構賽迪顧問預測，到2022年，中國工業機器視覺市場規模將達到180億元，其中3D視覺技術和產品有望成為市場主流。

在這背後，工業機器人對於抓取目標的三維位置信息需求變大、自動駕駛應用對於環境感知能力的需求變高……許多領域均對3D視覺技術伸出“橄欖枝”。在國產3D視覺產業鏈中，肇觀電子等玩家的成長，亦印證了這一趨勢。

未來，3D視覺應用或將滲透進更多場景，我們拭目以待。