如何讓虛擬人物動起來?「DeepMotionBrain」開發了真人驅動+自主生成的運動智能
人工智能現階段主要是通過計算機來模擬人的思維過程,強調對人腦的模擬,其在行業中的應用也以模仿人腦對視覺、聽覺等的處理判斷過程實現,比如各種場景下的AI視覺識別、AI語音助手。在智力模仿之外,人的動作可以被模仿嗎?動畫、動捕技術已經可以實現對人類動作的逼真再現,如果沒有動作樣本數據輸入的情況下,虛擬人物或者機器人可以像人一樣自主做動作並根據環境變化自動調整運動軌跡嗎?有一家創業公司DeepMotionBrain正在將這一設想變為現實。
DeepMotionBrain於2014年成立於美國舊金山,創始人Kevin He曾先後擔任暴雪娛樂魔獸世界引擎程序員、ROBLOX分佈式物理平台技術總監和迪士尼中核手遊工作室CTO。Kevin He表示,運動智能可以理解為通過動捕、攝像頭識別等形成人類動作資源庫,並且將現實中人、動物的動作都拆解出來,再基於這個資源庫,結合AI、深度學習等技術任意生成所需的新的動作。生成的動作就可以與虛擬偶像、虛擬客服以及動畫角色等結合,讓虛擬形象也擁有自如運動的能力。
現階段,DeepMotionBrain的技術已經用於為C端消費者打造虛擬分身(Avatar),幫企業客户生產虛擬客服,以及參與遊戲製作。
創始人Kevin He介紹,公司2019年跟三星達成合作,為三星的Galaxy S10智能手機制作數字化身角色App,即AR emoji,同時也在跟新西蘭的沙河遊戲公司Dry Cactus(橋樑沙河遊戲Poly Bridge的開發者)合作為下一代基於高仿真角色物理模擬的沙河遊戲提供引擎技術。技術上,DeepMotionBrain跟英特爾達成了關於Motion Brain技術研發方面的合作,將藉助英特爾高端後台服務器的算力研究智能運動大腦。此外,Epic Games最近頒給DeepMotionBrain一項名為Epic Grant的研發資金,用來支持DeepMotionBrain技術在VR方面的研究和應用。
三星 AR emoji
DeepMotionBrain的技術路徑可以分為兩種:
技術路徑圖
1)Perceptive Motion Brain基於視覺的運動智能
該技術是基於動捕設備,或者通過攝像頭拍攝、已有視頻解析等將真人的動作投射到虛擬形象上。DeepMotionBrain想打造普適性工具,其技術僅依靠普通攝像頭就能捕捉真人動作,其與三星合作的AR emoji技術也源於此。目前,該技術還能用於真人驅動的虛擬形象直播和動畫短片製作,以及對真人動作的刻畫和解析,例如在健身、舞蹈領域可用來解析學員動作的準確程度,在醫療領域通過對於監測人的異常動作(如跌倒)來判斷其健康狀態。公司已經推出了雲端動畫自動生成的服務。
動作採集
動作呈現
2)Generative Motion Brain自主生成的運動智能
Perspective Motion Brain是目前常見的虛擬形象的動作生成技術路線。然而,如果想打造虛擬偶像,虛擬形象還是要擺脱真人驅動,實現自主行動。DeepMotionBrain的Generative Motion Brain即是解決虛擬形象自主生成動作的問題。
Generative Motion Brain首先要基於一套物理引擎的搭建。具體來説,Generative Motion Brain會首先解析人體的骨骼和肌肉結構,然後為虛擬形象設計相應的運動關節,再通過自研物理模擬算法來實現虛擬形象對真實動作的還原。在積累真實的運動數據過程中,虛擬形象不斷模仿真人的動作,並最終形成自主運動能力。這種自主運動可以根據指令直接做動作,對於客觀環境變化或者外界刺激也會做出真實反應。
對外界環境自主反應
Kevin He將Generative Motion Brain比喻為幫虛擬形象形成了“小腦”,會根據環境、大腦的命令來自主生成、調節動作。而一旦虛擬形象能自主生成動作,其與真人的互動體驗將會更豐富。比如,虛擬偶像可以與粉絲擊掌、擁抱,遊戲裏的虛擬角色在跟玩家互動、角色與角色之間互動時產生真實的反應。此外,通過對真人的物理模擬,DeepMotionBrain僅靠較少數量的追蹤器即可對VR玩家進行全身追蹤,目前公司也已參與到相關VR遊戲的開發中。
全身追蹤
Kevin He表示,Perceptive Motion Brain與Generative Motion Brain這兩種技術路線不是孤立的,而是互相促進的。Generative Motion Brain需要大量的真人動作數據做積累,而Perceptive Motion Brain通過視頻、攝像頭即可解析、獲取大量動作數據,能為Generative Motion Brain提供低成本訓練數據。而當Generative Motion Brain比較成熟之後,可以自動生成動作反哺給Perceptive Motion Brain來訓練其識別、投射的準確度,比如為其定製某些特殊環境下並不常見的動作行為。
DeepMotionBrain成立以來已融資近千萬美金,最新一輪由三星的Samsung Venture領投。公司已進入中國市場,目前正在積極尋求跟虛擬形象製作、遊戲開發、動畫製作等領域合作的機會。