2年，3個版本，華為雲ModelArts的變與不變
今年的2020華為全聯接大會，又是一次華為雲AI的大秀。無論是郭平、徐直軍的戰略部署，還是侯金龍和鄭葉來的具體演説，雲與AI無疑都是華為今天重金投入的新技術。
AI的背後是數據和應用，而這兩樣背後，都是專注創新的開發者在默默努力。從近兩年的雲&AI;行業趨勢看，“取悦開發者”是一個必然的趨勢，他們對技術的變化是最為敏感的，也是雲&AI;得以落地的關鍵環節。
也因此，圍繞開發者們構建的AI開發平台逐漸從幕後走到台前。從業內來看，頭部的幾家雲廠商們紛紛祭出大招，比如華為雲在2018年就推出ModelArts AI開發平台，阿里雲以ET大腦的方式構建各行業AI開放能力，騰訊雲則部署其AI平台雲智天樞TI Matrix，百度雲則持續推進EsayDL AI開發平台的應用。
在9月25日的華為全聯接大會的第三天，華為雲把重要信號留在了最後：宣佈華為雲ModelArts 3.0版本出爐。
無疑，這個新版本的推出又給AI開發者帶來了福利。
華為雲ModelArts 3.0的推陳出新
具體而言，現場發佈的這套ModelArts平台 3.0版本，支持10萬級別的企業任務同時運行，支持10萬級別的用户規模同時使用，為開發者創造良好的AI開發環境，使其專注做創新的事情。
一般而言，優秀的分佈式加速比是大規模集羣分佈式訓練的關鍵能力，也是促使用户選擇使用大規模集羣來加速AI業務的關鍵因素，華為雲ModelArts領先的分佈式加速比能力，在512芯片的集羣規模下成績為93.6秒，優於NVIDIA V100的120秒。
從功能上看，ModelArts 3.0版本相比之前帶來了4個小驚喜：
1. 華為雲EI骨幹模型：基於行業小樣本數據訓練高精度模型
過去需要大量專家經驗的模型選擇和參數調節，有了華為雲的全空間網絡架構搜索和自動超參優化技術，可以在無需人工干預的情況下高效完成。過去需要幾周甚至更長時間的模型訓練和部署，有了華為雲的計算資源調配和數據管理，可以縮短到幾小時內甚至幾分鐘完成。
2. 聯邦學習：打破數據孤島，推動行業聯合建模
數據是AI應用的基礎，只有基於多樣化的數據，才能實現AI智能感知。然而，在實際AI行業落地中，數據是分散在不同的數據控制者之間，這就導致了行業AI應用的數據孤島問題，使得AI算法訓練效果受到限制。
針對這個問題，華為雲ModelArts提供聯邦學習特性，用户各自利用本地數據訓練，不交換數據本身，只用加密方式交換更新的模型參數，實現聯合建模。
3. 模型智能評估、診斷：降低AI行業落地門檻
在ModelArts上使用模型評估功能，是在得到首次訓練的模型之後，先將模型推理結果、原始圖像和真實標籤送入模型評估模塊中，這個模塊會從數據、模型兩個方面對模型的綜合能力，包括精度、性能、可信和可解釋性進行綜合評估，最終針對可能存在的問題輸出一些改進模型能力的診斷建議。開發者在這些建議的幫助下，使模型達標，並最終部署成能實際應用的推理服務。
4. 高性能AI計算：資源靈活調度加速行業AI落地
作為AI平台雲服務，彈性訓練是ModelArts推出的核心能力之一，可以根據模型訓練速度的要求自適應匹配最佳資源數。
具體在產品上，ModelArts提供兩種模式：
一是Turbo模式，可以充分利用空閒資源加速已有訓練作業，在大多數典型場景下加速效率大於80%，訓練速度提升10倍，並且不影響模型收斂精度；
二是Economic模式，可以通過最大化資源利用率給開發者提供極致的性價比，在大多數典型場景下可以提升性價比30%以上，並且不影響模型收斂精度。
變與不變
可以看到，在新版本中，華為雲帶來了新的玩法，提供全流程極簡開發工具，即使是普通的業務人員，基於已有組件，通過拖拽方式即可構建應用。這背後，ModelArts平台的本質並無二致，依舊是圍繞着開發者的需求與痛點展開，通過AI模型不斷地和實際落地場景交互來得到更優的模型，進而提升AI開發流程的效率。
在1.0版本中（2018年），ModelArts解決了AI一站式開發的行業痛點，華為雲打造了一款比行業更快的AI平台，致敬開發者。
在2.0版本中（2019年），新增自動學習、端邊雲能力協同，ModelArts關鍵能力凸顯。ModelArts 2.0以全流程的極簡和自動化升級已有的AI開發模式，讓數據準備、算法開發、模型訓練、模型管理、模型推理全鏈條產生質的飛越。
而在3.0版本中（2020年），平台駛入深水區，輔助AI深入到各行業生產系統。目前華為雲已在10多個行業成功交付了600多個AI項目，積累了豐富的經驗。為了解決企業深入使用端到端生產而推出骨幹模型、聯邦學習等新功能。華為雲EI骨幹模型(EI-Backbone)技術，基於行業小樣本數據訓練高精度模型，提供了AI開發的新範式。
可見，版本的演進背後，是新技術趨勢不斷與行業生產結合，是數字世界供給與物理世界需求不斷碰撞的結果。
一直以來，深度學習分佈式訓練不斷髮展，各類模型的訓練對於計算設備的需求越來越大，不過由於各種原因，訓練作業的資源還沒有被充分利用。比如l訓練算法代碼本身質量不高、資源利用率低；模型大小和超參數的設置也會顯著地改變計算資源的利用率；資源池整體利用率有波動，類似於“峯谷電”，訓練作業的提交也有高峯期和低谷期，造成很大的資源浪費。
這就不得不提到彈性訓練。
彈性訓練作為ModelArts的核心能力之一，2年來一直在自我錘鍊，根據模型訓練速度的需求自適應實現資源的最佳分配。ModelArts提供兩種模式，一是Turbo模式，可以充分利用空閒資源加速已有訓練作業，訓練速度可提升10倍以上，並且不影響模型的收斂精度；二是經濟模式，可以通過最大化資源利用率給開發者提供極致的性價比，在大多數典型場景下可以提升性價比30%以上。
可見，智能並不是一蹴而就的，而是逐漸進化的，最終從AI開發環節進入到AI落地的每一個場景。
客户“用腳投票”背後的價值體現
客户是喜歡用腳投票的——這一點體現在ModelArts 的行業落地屬性上。有2個案例非常經典，一個是華為雲ModelArts支持候鳥保護計劃，另一個是華為雲ModelArts正在支持中科院構建斑馬魚的全腦圖譜。
注：候鳥保護，華為做了什麼
在另一個項目中，中科院正在基於ModelArts繪製斑馬魚腦聯接組的全息地圖，目前重構準確率和召回率已達95%。
中科院腦智卓越中心是一所將腦科學與智能技術相結合的研究實體，是一個瞭解大腦如何實現各種認知功能的一個機構，首先需要完成一個重要且必要的大科學工程，就是繪製全腦聯接圖譜。
其原理是：藉助斑馬魚幼魚透明的特點，機構可以應用鈣成像技術來觀察活體斑馬魚全腦10萬個神經元的時空放電，從而繪製從各種感覺輸入到行為輸出的全腦活動圖譜，並結合結構圖譜來發掘大腦如何工作的普適規律，進而進行腦功能模擬和理論研究。
通過和華為合作，應用華為雲ModelArts平台，使用用360條斑馬魚圖像樣樣本所包含的近20萬圖像塊的“金標準”標註數據，訓練出了從前期圖像分割到後期神經元形態追蹤的一整套網絡。
目前重構準確率和召回率已達95%，如果使用多機並行計算，從理論上推算下來，10萬個神經元的總重構時間可以從125年縮短至10天。如果再擴展到小鼠甚至非人靈長類如獼猴，降本增效方面將更加可觀。
當然，這離不開生命科學的知識和技術，也綜合交叉了數學等學科，但是計算機科學特別是AI領域的技術與知識，正成為人類的助手，幫助人類繪製腦圖譜，更幫助人類實現新領域的突破。
雲上開發必將成大勢，商業價值轉化也在加速
就像鄭葉來在現場提到的那樣，目前越來越多的人加入到開發者隊列裏來，而更好的工具將為他們創造更高的技術起點、更敏捷的構建能力、更廣闊的商業成功，未來“雲上開發”可以解決目前面臨的困難。
截止到目前，華為雲已經提供超過210個雲服務，服務全球150萬開發者，華為雲Marketplace和華為AppGallery已經做了強強聯合，TO B（SaaS扶持計劃）和TO C（HMS生態扶持計劃）兩條腿一起走，加速商業價值轉化。（雷鋒網雷鋒網雷鋒網）