AWS:機器學習的趨勢是提供端到端的解決方案

【環球網科技報道 記者 勃潺】2016年,亞馬遜雲服務(AWS)開始推出機器學習服務,當時推出的服務數量只有3個,但從2017年開始,AWS推出的機器學習服務數量便開始有了爆發式的增長,每年連續發佈將近200個機器學習服務,從全球範圍來看,有超過10萬的客户使用機器學習功能服務,行業覆蓋金融、汽車、醫療、工業製造等多元領域。

“機器學習可以説是我們這一代最具顛覆性的技術。”在今年的2020亞馬遜re:Invent大會上,AWS副總裁Swami Sivasubramanian如此評價機器學習的重要性。僅在2020年,AWS便已經發布了250個新功能應用。從Tensorflow到PyTorch,從SageMaker到最新發布的Amazon Neptune ML,從基礎構架到頂層應用,AWS認為,在往後演進過程中,AI SaaS也會有越來越多的服務,它機器學習呈現的趨勢是將會提供端到端的解決方案。

打造紮實的機器學習底層構架

2016年,AWS發佈了三款AI SaaS類服務,從而開啓了機器學習的加速創新。從Swami的角度來看,機器學習的基礎就是兩件事情,一個是機器學習的框架,一個是機器學習所依賴的底層算力的基礎架構。

從框架來看,無論是Tensorflow還是PyTorch都處於不斷演變和迭代的過程中,對於應用者來説,不同的框架能夠滿足不同的需求,同時,多個框架的應用組合能夠有效的提高工作效率。

在堅實的基礎裏面很重要的就是算力。不一樣的機器學習的負載對於計算力的需要和對於成本的需求並不相同。針對不同的需求,AWS推出M5、R6g等比較通用的機型,而P4d則採用了Nvidia100的GPU,是在訓練裏面性能達到極致的一款機型,在推理和預測方面,Inf1用的是AWS的自研芯片AWS Inferentia,也是AWS性價比最極致的芯片。

AWS在機器學習方面的基礎設施的選擇,從CPU、GPU來看覆蓋了英特爾、英偉達、ARM等合作伙伴,同時也有自研芯片。AWS大中華區雲服務產品管理總經理顧凡介紹:“我們把所有選擇放在這裏的核心目的就是計算有沒有創新,計算一直在重塑和創新,其中一個但就是量體裁衣,幫你客户做的更精準,針對你客户定製化的需求把量體裁衣做到極致,計算一直在重塑和創新。”

AWS認為,計算、算力,針對機器學習仍然在創新,仍然在迭代,那個創新和迭代當中,其中一個非常重要的點就是選擇,因此,AWS把選擇給到客户,這些選擇永遠圍繞着更合適的性能和更合適的一個成本去推進。

面對更加複雜的一些機器學習的超大規模的模型,AWS此次推出分佈式訓練Distributed Training,這一功能讓分佈式訓練的速度能夠提升40%,甚至更多。

據顧凡介紹,分佈式訓練功能能夠幫助客户進行按照數據和模型進行拆解,從而達到更大的性能和節省更多的開發時間。從時間成本來看,這一功能在面對T53超複雜的模型、自然語言處理的模型時,在PyTorch上需要5.9天,而在以往,可能要花幾個月的時間才能完成這樣的工作量。

縮短機器學習的路徑

如何讓科學家、開發工程師在相同的時間內交付更多的模型、迭代更多的模型?AWS認為要給這些客户一個捷徑,讓他們更加易於使用以及更加方便地去管理整個機器學習工作流裏面的每一步。

因此,對於AWS來説,Amazon SageMaker一直都在不停的迭代,其中兩個核心思路是:一是在機器學習的每一步當中,無論是從數據的準備、處理,到去訓練一個模型,到快速地要去做實驗,讓SageMaker成為工具,讓這個工具幫到客户更加的易於使用和提升效率。二是如何把這些工具、這些點串起來,放在一個環境下、一個UI下、一個工作流下,能夠提升效率。

在最近的12個月中,Amazon SageMaker發佈了接近50個新功能。值得關注的是,SageMaker一個重點的創新點在於快速地幫助用户將原始數據轉化成模型裏面的核心特徵,從而讓客户不必通過繁雜的代碼去進行開發。

如果涉及到一些單一或複合的特徵,怎麼把原始數據不同的數據源、不同的格式,快速地轉換出來,能夠把特徵提取出來,則是Data Wrangler要解決的問題。

同時,針對特徵存儲、訪問的特點不一樣,SageMaker推出了一個新的功能叫Feature Store,一方面可以解決特徵的一致性問題,在訓練和預測方面用的都是同一套特徵。另一方面,能夠解決訓練和預測中對特徵數據存儲不同的需求。

新功能迭代的簡單邏輯是:將SageMaker的每一個步驟做得越來越細、做得越來越易用,同時將複雜的機器學習工作流串聯起來。

讓更多的人使用機器學習

不會機器學習技能的人,要如何使用機器學習?在AWS看來,從更廣泛的機器學習的開發者,到數據庫、數據分析,甚至是一些業務人員,都在第三個大圈裏面, AWS將幫助這些人通過機器學習技術將想法落地。

AWS將機器學習能力跟數據庫進行嫁接,讓數據庫開發者、數據分析師沿用數據庫查詢的方式,幫助他們將機器學習的想法落地到業務應用中。Amazon Aurora是AWS著名的關係型數據庫服務,AWS針對Aurora推出了新功能Amazon Aurora ML。數據庫開發者發起數據庫查詢(SQL)時,只要選擇一個機器學習模型,就會喚醒機器學習服務,Aurora ML自動將查詢結果交給機器學習模型進行推理,返回結果。

同時,AWS把Neptune和機器學習徹底打通,用户能夠直接用機器學習的模型去訪問Neptune裏面的圖數據。

此外AWS推出BI工具QuickSight,針對很多的數據表,直接分析背後的要點、故事線,幫客户更好的讀懂這樣一個報表。

這背後是QuickSight集成了非常多的機器學習的圖像深度學習、NLP技術、文字結構的理解、解析語義,最終來生成一個SQL的代碼。這一切都是AWS希望我們把東西做到極致的易用性。

讓數據庫和機器學習實現互動,讓更多的人蔘與到機器學習當中來,顧凡將這種場景進行了這樣的描繪:“發揮你的聰明才智,把這些主意真正做出來,而不需要非要懂機器學習,因為他就懂SQL。”

解決端到端的實際應用問題

合適的工作要用合適的工具,同時找到有針對性的定製化的工具,這裏就涉及到一個趨勢:機器學習的服務也在往行業的場景會去做更多的定製化。

“擴圈”舉措之一,便是推出開箱即用的解決方案。在re:Invent大會上,AWS發佈了五項用於工業領域的機器學習服務,分別是Amazon Monitron、Amazon Lookout for Equipment、AWS Panorama一體機、AWS Panorama SDK和Amazon Lookout for Vision。這是AWS首次推出開箱即用的工業領域機器學習解決方案。

Amazon Monitron和Amazon Lookout for Equipment通過機器學習支持預測性維護。Amazon Monitron面向沒有建立傳感器網絡的客户,提供由傳感器、網關和機器學習服務組成的端到端機器監控系統,檢測異常並預測何時需要維護工業設備。Amazon Lookout for Equipment面向已經擁有傳感器、但不希望自己構建機器學習模型的客户,由AWS為其構建模型並返回預測結果,檢測異常設備行為。

機器學習需要一個堅實的基礎,AWS要幫客户找到捷徑,以及讓機器學習的能力不光提供給數據科學家和開發工程師,甚至能夠延展到跟數據庫打交道以及跟數據分析打交道的工作者,最後真正對於一些行業裏面共通的,甚至跨行業的業務問題,AWS希望能夠做一些端到端的解決方案,徹底把機器學習做好。

“別看機器學習現在所有人都在用,演進的也很快,但是從歷史長河中去看還在早期階段,”顧凡表示:我們説AWS在機器學習裏面的願景始終沒有變過,它的願景就是希望把機器學習作為一個工具,要交到所有企業的手中。

版權聲明:本文源自 網絡, 於,由 楠木軒 整理發佈,共 3217 字。

轉載請註明: AWS:機器學習的趨勢是提供端到端的解決方案 - 楠木軒