今年的2020華為全聯接大會,又是一次華為雲AI的大秀。無論是郭平、徐直軍的戰略部署,還是侯金龍和鄭葉來的具體演説,雲與AI無疑都是華為今天重金投入的新技術。
AI的背後是數據和應用,而這兩樣背後,都是專注創新的開發者在默默努力。從近兩年的雲&AI;行業趨勢看,“取悦開發者”是一個必然的趨勢,他們對技術的變化是最為敏感的,也是雲&AI;得以落地的關鍵環節。
也因此,圍繞開發者們構建的AI開發平台逐漸從幕後走到台前。從業內來看,頭部的幾家雲廠商們紛紛祭出大招,比如華為雲在2018年就推出ModelArts AI開發平台,阿里雲以ET大腦的方式構建各行業AI開放能力,騰訊雲則部署其AI平台雲智天樞TI Matrix,百度雲則持續推進EsayDL AI開發平台的應用。
在9月25日的華為全聯接大會的第三天,華為雲把重要信號留在了最後:宣佈華為雲ModelArts 3.0版本出爐。
無疑,這個新版本的推出又給AI開發者帶來了福利。
華為雲ModelArts 3.0的推陳出新
具體而言,現場發佈的這套ModelArts平台 3.0版本,支持10萬級別的企業任務同時運行,支持10萬級別的用户規模同時使用,為開發者創造良好的AI開發環境,使其專注做創新的事情。
一般而言,優秀的分佈式加速比是大規模集羣分佈式訓練的關鍵能力,也是促使用户選擇使用大規模集羣來加速AI業務的關鍵因素,華為雲ModelArts領先的分佈式加速比能力,在512芯片的集羣規模下成績為93.6秒,優於NVIDIA V100的120秒。
從功能上看,ModelArts 3.0版本相比之前帶來了4個小驚喜:
1. 華為雲EI骨幹模型:基於行業小樣本數據訓練高精度模型
過去需要大量專家經驗的模型選擇和參數調節,有了華為雲的全空間網絡架構搜索和自動超參優化技術,可以在無需人工干預的情況下高效完成。過去需要幾周甚至更長時間的模型訓練和部署,有了華為雲的計算資源調配和數據管理,可以縮短到幾小時內甚至幾分鐘完成。
2. 聯邦學習:打破數據孤島,推動行業聯合建模
數據是AI應用的基礎,只有基於多樣化的數據,才能實現AI智能感知。然而,在實際AI行業落地中,數據是分散在不同的數據控制者之間,這就導致了行業AI應用的數據孤島問題,使得AI算法訓練效果受到限制。
針對這個問題,華為雲ModelArts提供聯邦學習特性,用户各自利用本地數據訓練,不交換數據本身,只用加密方式交換更新的模型參數,實現聯合建模。
3. 模型智能評估、診斷:降低AI行業落地門檻
在ModelArts上使用模型評估功能,是在得到首次訓練的模型之後,先將模型推理結果、原始圖像和真實標籤送入模型評估模塊中,這個模塊會從數據、模型兩個方面對模型的綜合能力,包括精度、性能、可信和可解釋性進行綜合評估,最終針對可能存在的問題輸出一些改進模型能力的診斷建議。開發者在這些建議的幫助下,使模型達標,並最終部署成能實際應用的推理服務。
4. 高性能AI計算:資源靈活調度加速行業AI落地
作為AI平台雲服務,彈性訓練是ModelArts推出的核心能力之一,可以根據模型訓練速度的要求自適應匹配最佳資源數。
具體在產品上,ModelArts提供兩種模式:
一是Turbo模式,可以充分利用空閒資源加速已有訓練作業,在大多數典型場景下加速效率大於80%,訓練速度提升10倍,並且不影響模型收斂精度;
二是Economic模式,可以通過最大化資源利用率給開發者提供極致的性價比,在大多數典型場景下可以提升性價比30%以上,並且不影響模型收斂精度。
變與不變
可以看到,在新版本中,華為雲帶來了新的玩法,提供全流程極簡開發工具,即使是普通的業務人員,基於已有組件,通過拖拽方式即可構建應用。這背後,ModelArts平台的本質並無二致,依舊是圍繞着開發者的需求與痛點展開,通過AI模型不斷地和實際落地場景交互來得到更優的模型,進而提升AI開發流程的效率。
在1.0版本中(2018年),ModelArts解決了AI一站式開發的行業痛點,華為雲打造了一款比行業更快的AI平台,致敬開發者。
在2.0版本中(2019年),新增自動學習、端邊雲能力協同,ModelArts關鍵能力凸顯。ModelArts 2.0以全流程的極簡和自動化升級已有的AI開發模式,讓數據準備、算法開發、模型訓練、模型管理、模型推理全鏈條產生質的飛越。
而在3.0版本中(2020年),平台駛入深水區,輔助AI深入到各行業生產系統。目前華為雲已在10多個行業成功交付了600多個AI項目,積累了豐富的經驗。為了解決企業深入使用端到端生產而推出骨幹模型、聯邦學習等新功能。華為雲EI骨幹模型(EI-Backbone)技術,基於行業小樣本數據訓練高精度模型,提供了AI開發的新範式。
可見,版本的演進背後,是新技術趨勢不斷與行業生產結合,是數字世界供給與物理世界需求不斷碰撞的結果。
一直以來,深度學習分佈式訓練不斷髮展,各類模型的訓練對於計算設備的需求越來越大,不過由於各種原因,訓練作業的資源還沒有被充分利用。比如l訓練算法代碼本身質量不高、資源利用率低;模型大小和超參數的設置也會顯著地改變計算資源的利用率;資源池整體利用率有波動,類似於“峯谷電”,訓練作業的提交也有高峯期和低谷期,造成很大的資源浪費。
這就不得不提到彈性訓練。
彈性訓練作為ModelArts的核心能力之一,2年來一直在自我錘鍊,根據模型訓練速度的需求自適應實現資源的最佳分配。ModelArts提供兩種模式,一是Turbo模式,可以充分利用空閒資源加速已有訓練作業,訓練速度可提升10倍以上,並且不影響模型的收斂精度;二是經濟模式,可以通過最大化資源利用率給開發者提供極致的性價比,在大多數典型場景下可以提升性價比30%以上。
可見,智能並不是一蹴而就的,而是逐漸進化的,最終從AI開發環節進入到AI落地的每一個場景。
客户“用腳投票”背後的價值體現
客户是喜歡用腳投票的——這一點體現在ModelArts 的行業落地屬性上。有2個案例非常經典,一個是華為雲ModelArts支持候鳥保護計劃,另一個是華為雲ModelArts正在支持中科院構建斑馬魚的全腦圖譜。
注:候鳥保護,華為做了什麼
在另一個項目中,中科院正在基於ModelArts繪製斑馬魚腦聯接組的全息地圖,目前重構準確率和召回率已達95%。
中科院腦智卓越中心是一所將腦科學與智能技術相結合的研究實體,是一個瞭解大腦如何實現各種認知功能的一個機構,首先需要完成一個重要且必要的大科學工程,就是繪製全腦聯接圖譜。
其原理是:藉助斑馬魚幼魚透明的特點,機構可以應用鈣成像技術來觀察活體斑馬魚全腦10萬個神經元的時空放電,從而繪製從各種感覺輸入到行為輸出的全腦活動圖譜,並結合結構圖譜來發掘大腦如何工作的普適規律,進而進行腦功能模擬和理論研究。
通過和華為合作,應用華為雲ModelArts平台,使用用360條斑馬魚圖像樣樣本所包含的近20萬圖像塊的“金標準”標註數據,訓練出了從前期圖像分割到後期神經元形態追蹤的一整套網絡。
目前重構準確率和召回率已達95%,如果使用多機並行計算,從理論上推算下來,10萬個神經元的總重構時間可以從125年縮短至10天。如果再擴展到小鼠甚至非人靈長類如獼猴,降本增效方面將更加可觀。
當然,這離不開生命科學的知識和技術,也綜合交叉了數學等學科,但是計算機科學特別是AI領域的技術與知識,正成為人類的助手,幫助人類繪製腦圖譜,更幫助人類實現新領域的突破。
雲上開發必將成大勢,商業價值轉化也在加速
就像鄭葉來在現場提到的那樣,目前越來越多的人加入到開發者隊列裏來,而更好的工具將為他們創造更高的技術起點、更敏捷的構建能力、更廣闊的商業成功,未來“雲上開發”可以解決目前面臨的困難。
截止到目前,華為雲已經提供超過210個雲服務,服務全球150萬開發者,華為雲Marketplace和華為AppGallery已經做了強強聯合,TO B(SaaS扶持計劃)和TO C(HMS生態扶持計劃)兩條腿一起走,加速商業價值轉化。(雷鋒網雷鋒網雷鋒網)