楠木軒

之江天樞正式開源!一文詳解天樞核心優勢

由 宿秀榮 發佈於 科技

數據驅動的智能技術是智能化浪潮的核心引擎,其關鍵在於大數據和高算力支撐的深度學習機制。開發並開源高性能的人工智能平台,是推動新一輪人工智能跨越發展的核心和基礎。

8月1日,由之江實驗室聯合北京一流科技、中國信通院、浙江大學等業內頂尖力量打造的之江天樞人工智能開源平台正式開源發佈。之江天樞平台也成為了國內首個由新型研發機構牽頭打造的國產自研人工智能開源平台,以至快至簡為特點,在超大規模模型訓練、模型煉知等技術上形成了獨特的優勢。

四大核心優勢

實現至快至簡

之江實驗室副主任、天樞平台總架構師鮑虎軍在發佈會上介紹了之江天樞人工智能開源平台的四大核心優勢,分別是開發友好、訓練高效、可視化分析和模型煉知。

一站平台 開發友好

“之江實驗室打造天樞平台的初衷就是希望給人工智能開發者提供完備的基礎工具,以更先進的深度學習框架提升人工智能技術的研發效率。”鮑虎軍説。

之江天樞平台秉持“開發友好” 的理念,打造了一站式AI開發平台,即使是“AI小白”也能迅速上手。天樞架構師單海軍博士介紹説:“天樞第一個版本支持從數據管理、模型開發、訓練管理到模型管理的全鏈路功能,數據管理還能實現數據的智能標註與數據增強。”

超大規模 自動並行

深度學習領域,算力是最重要的推動力。如何在超大規模的場景下讓模型訓練更高效地跑起來?“天樞平台瞄準行業痛點,打造了全新的分佈式計算引擎,使用多機多卡如同單卡一樣簡單自動並行,原生支持超大模型訓練,實現出色的運行效率。”單海軍介紹道。

之江天樞平台的分佈式訓練框架支持數據並行、模型並行、流水並行三種並行模式,能根據不同模型自動編排相適應的並行模式,同時具備出色的線性加速比,數據並行性能有了較大幅度的提升。

此外,天樞還自研了高效通信協議,原生支持RDMA;同時還支持多種深度學習編譯器,多芯片輕鬆實現軟件定義數據流,對AI芯片友好兼容。

可視分析 高效調參

值得一提的是,天樞構建的可視化分析平台能提供高效的訓練過程調參功能。“在模型訓練過程當中,開發者能夠直觀、實時地洞察模型結構、參數趨勢、降維分析等重要信息。通過可視化分析,輔助參數調整,從而改變訓練路徑。”單海軍説道。

模型重組 精煉知識

當前主流深度學習算法構建過程通常需要經過數據處理、模型開發和大規模訓練計算等步驟來生產模型,而本次天樞推出了全新的模型生產方式“模型煉知”,通過領先的模型重組煉知技術,實現靈活按需定製模型。“天樞的深度模型煉知框架具備度量功能,能夠自動度量多個視覺模型是否能夠進行重組,並通過逐層重組、共同特徵提取、多任務自適應分支解碼等,將不同模型結構進行重組,直接生產出一個全新的模型,應用在新的場景。”鮑虎軍詳細介紹了模型煉知方面的技術創新。

之江天樞正式開源!一文詳解天樞核心優勢

天樞平台功能演示

計算機視覺任務中有兩類比較常見的任務:一類是圖像語義分割,也就是對圖像中每一個像素點進行分類,確定每個點的類別(如屬於行人或車等);另一類是圖像深度估計,即對圖像中的目標深度進行預測。目前主流的算法,需要利用兩個單任務模型對兩個視覺任務分別進行處理。單海軍進一步解釋説:“在天樞模型煉知框架上,只要輸入兩個預訓練模型,框架能重組出一個新的多任務模型,該模型可以同時處理兩個任務,不僅提升了計算效率,降低了能耗,還增強了模型的能力邊界。”

揭秘天樞全景圖

自2018年10月啓動人工智能開源平台研發,到2019年1月獲國家發改委項目支持,再到2020年8月開源上線,之江天樞團隊近百名研發人員,歷時650余天,成功完成平台第一個版本的研發。

在後續版本中,天樞將進一步豐富算法庫,搭建面向視覺的AutoML平台,實現拖拽式模型開發。還將進一步優化分佈式訓練性能,不斷提高訓練規模與並行效率,最終形成去中心化式分佈式訓練。同時,高效的端側推理平台在研發計劃中,將完善部署環節,實現端側推理功能。

“接下去,天樞將保持半年一個版本發佈的迭代速度,不斷完善性能,更好服務於人工智能開發者。”單海軍表示。

重磅打造AI新生態

代碼託管平台首次亮相

“開放、協作、共贏”是天樞生態的關鍵詞。在天樞開源發佈會上,之江實驗室重磅推出了天樞平台生態專項開放課題,聯合學界、業界生態夥伴力量,以“基於衞星遙感數據的水環境立體化動態監測技術”“基於AI的醫療實體識別及異常預警”等課題為抓手,共同探索人工智能在智能視覺、智能交通、智能金融、智慧城市、智能醫療、智能機器人等六大產業領域的落地應用。

共建共享、聚力協作,開發者社區無疑是開源生態的重要一環。在天樞開源發佈會上,由中國信通院、中國人工智能產業發展聯盟和之江實驗室共同建設和運營的聚碼坊(CodeLab)開源社區也正式上線。聚碼坊以代碼託管為核心,以健全、實用的開源機制為基礎,以企業級高效協同開發功能撬動更大開源貢獻,推動開源生態建設,助力人工智能行業發展。

截至目前,天樞平台已經匯聚了阿里雲、螞蟻金服、新華三、海康威視等66家生態夥伴。在智能視覺領域,天樞平台賦能海康威視“視頻感知”國家新一代人工智能開放創新平台,提供智能設備操作系統全套工具鏈,讓算法開發更便捷;在語言智能領域,浙江大學基於之江天樞平台打造人機混合閲讀系統,以認知計算原理為基礎,讓機器變得更“聰明”;在智能金融領域,天樞與建信金融科技共同探索“AI+金融”新場景,通過感知與認知類技術進行智能化模型構建,讓用户體驗更友好。值得一提的是,為支持企業發展,有力擴展企業生態,天樞平台支持中小微企業免費使用,進一步推動人工智能技術向各行各業滲透應用。

http://tianshu.org.cn/

http://codelab.org.cn/

【來源:CSDN】

聲明:轉載此文是出於傳遞更多信息之目的。若有來源標註錯誤或侵犯了您的合法權益,請作者持權屬證明與本網聯繫,我們將及時更正、刪除,謝謝。 郵箱地址:newmedia@xxcb.cn