記得 2016 年前後,正是 VR 虛擬現實產業最如火如荼的時候,那時候各種品牌的大塊頭 VR 頭顯如雨後春筍冒出來。小編也曾用 VR 看過電影,玩過遊戲,當時欣喜地認為這就是未來。但是沒過一兩年,VR 之火似乎就突然消退了。
以 Chinajoy 的數據看,2016 年參展的 VR/AR 廠商還有 70 多家,到 2017 年就只剩下了 20 家,到目前,人們似乎很久沒看到讓人驚豔的虛擬現實產品了。
是虛擬現實產業不行了嗎?其實並非如此,根據 2019 世界 VR 產業大會的報告,2018 年到 2023 年,中國和世界的 VR 產業規模都會保持穩定的增長節奏,並且目前 VR 的概念、技術也在不斷進化,目前主流已經是融合 VR、AR、MR 的 XR(擴展現實)。
而 XR 正在低調蓄力,等待讓產業規模進化到新層次的機會,這個機會有 5G,也有 AI,其實這兩者是緊密聯繫的。關於 5G 對 XR 的賦能,此前IT之家已經講過很多,而到了 AI,可能有小夥伴就疑惑了,XR 能和 AI 產生什麼交集呢?今天我們就來説一説。
當分佈式 AI 碰上無界 XR,這裏有巨大的想象空間我們先來想一想目前 XR 的痛點是什麼,其實最關鍵的是兩個:其一是設備笨重,其二,除了看看視頻玩玩遊戲外,能做的事太少,而且就是玩遊戲也是傻瓜式的,畫面差,人機 AI 傻。
而在 5G 時代,由於網絡的高速率和低時延屬性,很多運算和處理工作都可以交給雲端完成,這有助於 XR 設備的輕薄化,而隨着 AI 的加入,一些更復雜的運算也可以通過 XR 設備端和雲端協同的方式來實現,從而讓 XR 設備能幹更多事。
例如在 AI 的輔助下,我們用 XR 眼鏡玩遊戲,畫面可以更加精緻,人機對戰時,電腦也不會那麼傻了。此外,我們以前在手機完成的很多事,也可以在 XR 眼鏡裏完成,例如戴着 XR 眼鏡看地圖導航,路線直接顯示在地上,那是多麼直觀的體驗;還有戴着 XR 眼鏡,就可以識別萬物,例如告訴我們某種花是什麼花,某個景點叫什麼名字等。這些都是 XR 和 AI 結合後,眼下很快就能實現的用例。
那麼問題來了,我們需要怎樣的 AI 來賦能 XR 呢?説到 AI,大家也許首先會想到智能手機上各種有趣的應用,例如人臉識別、拍照時的場景優化、語音實時翻譯等等。
目前這些應用大多出現在安卓手機上,而在安卓陣營,這些功能大多又由高通驍龍移動平台的 AI Engine 提供。關於 AI Engine,IT之家此前已經介紹過很多次,例如大家可以參考《釋放 5G 潛力!通過高通,看懂終端側 AI 的重要性》這篇文章進行了解。
可以想到的是,在 XR 平台,AI Engine 仍然會發揮重要的作用,例如高通在去年年末推出的驍龍 XR2 平台上,就融入了人工智能引擎 AI Engine,AI 性能相比前一代提升 11 倍。
所以,在 XR 平台上的 AI Engine 就是簡單將手機端的 “移植”過去嗎?顯然不是,XR 對 AI 能力的需求、功耗的限制等,和手機端都不同。況且即便是在手機側,未來的 AI 方向也會和現在不同。
為什麼這麼説呢?其實,我們經常在講,5G 時代就像一張大網,將電視機、汽車、冰箱、洗衣機、空調、無人機、音箱、甚至電錶水錶等等海量設備,無數終端,都網羅在內,當然,也包括 XR 頭顯設備。
理論上,這些終端設備都應該擁有 AI 的能力,或者説都是智能的。只有這樣,5G 的萬物互聯才能真正構造全場景的智慧體驗。
這麼多的設備彼此聯動,需要強大的 AI 運算能力,更何況,未來我們對 “智能”的要求會越來越高,這這些不僅僅是靠終端上的 AI Engine 就能實現的。
我們所説的終端上的 AI 叫做終端側 AI,顧名思義,它的意思就是數據的採集、計算、決策都在前端設備本地進行,優點是隱私性高,可靠性高和時延低,缺點是 AI 性能有限。
與終端側 AI 相對的是雲端 AI,它的數據訓練、處理都是在雲端進行,因此可以進行大規模的 AI 運算,但是相較終端側 AI 會有時延。
5G 萬物互連的時代,我們要做到的,就是綜合雲端 AI 和終端 AI 的優勢,讓他們更好地協同。於是,分佈式 AI 就產生了。
首先,我們要確保 AI 分佈在無線邊緣,同時,還要讓邊緣的海量終端隨時能夠以極低的時延觸達到雲。
簡單説,就是讓雲靠近邊緣的終端,將大數據訓練以及時延不敏感的內容和存儲在雲端進行,而 AI 的具體執行交給無線邊緣的海量終端上,兩者在高速率低時延的 5G 網絡中相輔相成,互相協同,讓海量終端越來越聰明。
而高通就是分佈式 AI 的先行者和踐行者。他們擁有基於驍龍異構計算能力的高效硬件,包括 CPU、GPU、DSP/HVX,還有最先進的神經網絡算法以及軟件工具,在此基礎上,高通還推出了自己的分佈式技術架構,例如其中有一個技術就是在終端側通過多台終端的分佈式架構,進行人工智能系統的訓練,形成一個邊緣的雲。再加上高通強大的 5G 網絡,將終端側 AI 與雲端 AI 無縫的連接起來了。
在這些技術的加持下,高通就能夠將邊緣雲和終端側 AI 有效地結合起來,以積極的顛覆性方式,推動包括無界 XR 在內的各種終端的變革。
具體到無界 XR,這時候的 XR 終端就可以通過邊緣雲在計算、存儲、渲染和內容等各個方面得到增強,實現最佳的沉浸式體驗和更多的顛覆性用例,例如直接用 XR 設備進行畫面逼真的大型 3A 遊戲,實時在線電競,甚至是視頻通話時直接渲染出對方的 3D 模型在眼前,彷彿面對面的交流,或者在更專業的領域,籃球運動員戴上 XR 眼鏡,就可以實時模擬出賽場的隊友進行戰術演練,或者用 XR 實時分析運動員投籃姿勢的準確性等等,帶來巨大的想象空間。
聯動上下游,分佈式 AI + 無界 XR 變革各行各業從上面的分析不難看出,XR、AI 和 5G 其實三者緊密相連,梳理一下彼此的關係,應該是這樣:5G 高速率低時延的網絡讓分佈式 AI 成為可能,而分佈式 AI 驅動海量物聯網終端向着更智能的方向進化,其中 XR 就是最典型、最先受益的終端案例,它和 AI 的結合可以給消費者以及不同行業更加智能、更加互聯、更加沉浸式的未來,推動遠程教育培訓、醫療及設備維護等各行各業的變革。
這個過程中,必須要有一個角色能夠把 AI 和 XR 融合起來,然後聯動產業鏈的上下游,進而驅動各行業變革。高通,就是這個角色的積極扮演者。
例如高通推出的驍龍 XR2 平台就將分佈式的 AI 技術帶到了 XR 領域,從而幫助設備廠商、開發者開發出豐富多樣的創新設備和應用。驍龍 XR2 是全球第一個同時融入 AI 和 5G 連接的 XR 平台,它的 CPU 和 GPU 性能相比上代均有 2 倍的提升,AI 性能則提升 11 倍,同時它還是全球首個支持七路並行攝像頭、且具備計算機視覺專用處理器的 XR 平台。
例如教育行業,在自然地理課上,當學生們戴上驍龍 XR2 平台的 XR 眼鏡,頭顯就會實時感知學生周圍的環境,然後根據環境特徵將周圍渲染 “改造”成熱帶雨林環境,讓學生們彷彿置身於雨林中,從而更深刻地瞭解到雨林的各種知識。類似這種用例離不開強大的 AI 計算機視覺感知能力和畫面渲染能力,需要邊緣雲計算和終端 AI 的彼此配合才能完成。
在醫護行業也是如此,當醫生在做手術時佩戴搭載驍龍 XR2 平台的 XR 設備,就可以在視野範圍內看到由 XR 眼鏡提供的所有信息,包括病人的實時重要生命體徵數據到基於病人檢查數值構建的器官 3D 影像等等,這樣醫生就不用向過去一樣頻繁地轉移視線,從而能將精力集中在手術上,提升手術的成功率。
甚至驍龍 XR2 的頭顯還可以在強大的 AI 學習能力加持下,視線物體探測和分類功能,幫助醫生在手術過程中提前發現可能需要檢查的部位。這在以前是難以想象的。
今天 2 月,高通就推出了基於驍龍 XR2 平台的 XR 頭顯參考設計,這個參考設計能夠簡化複雜技術,幫助設備商縮短研發週期,降低開發難度,更快推出對應的終端產品。
而很快在 9 月 16 日,驍龍 XR2 就在 Oculus Quest 2 終端上實現首次商用,相信隨着接下來驍龍 XR2 在更多終端上出現,它能夠進一步激發 XR 設備的無限潛力,慢慢地推進 XR 變革各行各業的進程。
除了在技術和產品上的努力,高通也在積極和開發者等 XR 產業的參與者建立緊密的合作,他們正在針對設備廠商的 SDK 進行優化,幫助技術人員充分發揮 XR2 平台等底層芯片的性能;高通還推出了 Qualcomm XR 企業計劃 (XEP),為優秀的 XR 行業開發者和技術人員提供專門的培訓和指導,此外他們還建立了 Qualcomm Development Network(QDN)開發者社區,在社區上,開發者們可以進一步瞭解高通在 XR 領域的技術路線和產品,更能直接獲取一些開發工具和資源,幫助他們在 XR 平台上開發出更有創造力的應用。
結語“5G 具有變革行業和改善生活的巨大潛力,AI 技術也將進一步增強 XR 服務和應用,將用户體驗推向新的境界。我們相信,未來,XR+AI+5G 的深入融合將驅動新一輪的產業變革,助力眾多傳統產業升級轉型,變革娛樂、購物和學習體驗,還將對教育、建築、工業、醫療等行業產生深遠影響。”
在今年的高通 XR 生態合作伙伴大會暨第二屆 XR 創新應用挑戰賽頒獎典禮上,高通全球副總裁侯明娟如是説。這句話很好地概括了 “XR+AI”將會在未來迸發出怎樣的產業變革力量,又會怎樣改變我們的生活。而高通,正在憑藉領先的技術實力和對產業上下游資源的整合能力,推動這個時代更快地向我們走來。相信在萬物智能互聯的將來,XR 會迎來真正的屬於自己的時代。