金磊 發自 凹非寺
量子位 | 公眾號 QbitAI
誰能想到,“搶鏡”這事,還能發生在虛擬人身上 ……
就在剛剛過去的五四特別節目中,這樣的一幕便真真兒地上演了:
不難看出,他們並不只是舞台上的配角,而是和李一桐、趙珈婧雲等明星一道,共同演繹着青春、釋放着活力。
而且舞台的鏡頭也會時不時的給到他們,來一個特寫:
不得不感嘆……這年頭,連虛擬人都有實力和真人“搶鏡”了。
這些虛擬人,到底是什麼來頭?眼尖的友友們或許早就發現了他們都出自騰訊之手,沒錯,他們分別是:
- 星瞳,來自QQ炫舞
- 吉莉,來自和平精英
- 童和光,騰訊NExT Studios工作室原創虛擬IP
但比起在台上跟明星一起唱跳,更為驚豔的是他們接下來的一波操作——閃現!
上一秒還在演播廳,下一秒就直接“閃現“到了中國人民大學、北京航空航天大學、武漢大學三所高校,在操場上與學生們共同演繹各種舞蹈。
足跡堪稱橫跨了大江南北。
不止於此,騰訊還為節目準備了一個分會場——TMELAND。
在這個佔地13萬平米的虛擬空間中,年輕人們可以通過avavtar形象小人在TMELAND廣場上觀看節目直播,還能與TMELAND的眾多島民們一起歡呼、舞蹈、打卡。
這場面,青春洋溢,好不熱鬧。
不過,相較於TMELAND我們更想深入探究本次節目中在虛實之間來去自由的三個虛擬人的實力究竟如何。
台上一分鐘,台下十年功和人類一樣,虛擬人要想在大型活動上表演節目,那也需得是“台上一分鐘,台下十年功”。
如同現實中的人際相處一樣,大眾對虛擬人的接受度往往也是憑藉“第一印象”。人物形象是否能夠通過高質量擬人化,為用户帶來足夠自然逼真的親切感、關懷感與沉浸感,往往決定了虛擬人的受歡迎程度。
然而,所謂畫鬼容易畫人難,人類的視覺感官對同類形象、特別是對同類的面部高度敏感,似像非像的虛擬人很容易讓人陷入“恐怖谷”效應。
即使突破了靜態下擬真的瓶頸,如何讓虛擬人自然地動起來,也是一大難題,人類能從彼此的表情、肢體中讀取豐富的非語言信息,反過來講,虛擬人表情和動作中些微的不自然都會很容易被察覺到。
不過,遊戲技術的創新,也在推動着虛擬人制作技術不斷進步,現在的Unreal Engine、Creation等遊戲引擎已經基本上使虛擬人實現了從“很像到很真”的跨越。
本次節目中的虛擬人童和光,便是基於Unreal Engine引擎開發。製作過程中,為了讓人物擁有更細膩、豐富的表情,騰訊NExT Studios團隊運用自研的xFaceBuilder®數字角色製作管線,混合骨骼和Blendshape方案,為童和光打造了超過700張臉部表情,實現了超精細製作。
同時,製作團隊還將Maya的動畫綁定系統抽象化,無縫跑在Unreal Engine上,實現了Maya和Unreal Engine的統一,在實時臉部動捕獲中得到了更好的臉部動畫。
不僅如此,為了讓人物更真實,製作團隊基於遊戲引擎在髮絲建模技術上採用了LookDev流程,先讓髮型師製作真實發型,送進照相建模實驗室掃描得到頭髮的3D模型,然後再結合頂級遊戲公司的解決方案對髮質進行定製;衣服細節上,都是由專業服裝設計師設計版型,服裝設計軟件製作,並基於HumanIK的骨骼綁定加SHAPES BlendShape修型方案,最終使其呈現出更真實的細節。
解決了形象問題之後,對於虛擬人動作流暢性和靈活性的問題,製作團隊選擇了自研的xMoCap®動捕動畫全流程生產管線來解決。
這套管線集角色綁定、動作捕捉、動畫工具、資產管理和動捕數據庫為一體,能夠很好的支持大型團隊協作、雲端海量資產管理、高保真3D角色動畫生產等工作,符合超寫實數字人的製作需求。
一段QQ炫舞星瞳的熱舞,便可以看出在這一管線之下,虛擬人動作的自然度:
同樣,《和平精英》數字代言人“吉莉”在舞台上的肢體表現也非常流暢。
目前,騰訊在虛擬人生產製作全流程上,已經積累了不少自有知識產權專利,這些積累對虛擬人生產製作起到了極大的降本增效作用。
據瞭解,本次五四特別節目給到製作團隊的時間只有一個月。正是因為此前豐富的虛擬人技術積累,這些內容才可以按時保質地製作出來。
透過虛擬人制作“好、快、省”的表象,從支撐其發展的底層技術來看,最早開始讓虛擬人進入常態化和大規模應用的就是遊戲行業。遊戲行業在長期發展過程中一直在探究的一個命題,就是如何讓一個個NPC的表情、動作、神態更像真人。
因此虛擬人技術快速發展的背後,離不開遊戲領域多年來積累的人物建模、動作捕捉、實時渲染、實時交互等技術,這些技術匯聚成製作管線,讓虛擬人技術逐步走向成熟,逐漸走入大眾的視野。虛擬人能夠實現“從很像到很真”,本質上是遊戲技術外溢的結果。
現在談遊戲技術,格局得打開些不過,遊戲技術外溢的成果可不僅僅侷限在虛擬人行業,遊戲作為文化產業的重要組成部分,其技術創新也在推動着文化產業不斷演進。
以大家熟知的中軸線為例,中軸線擁有7.8公里的宏大面積,700多年的歷史沉積,數千年的文化傳承,想讓大眾快速、全面地瞭解、認識中軸線背後獨特的文明和傳統,並非一件易事。對此,快速發展的互聯網和遊戲技術,提供了一種全新解決方案。
2021年12月,騰訊與北京市文物局共同啓動了“數字中軸”項目。其中,最重要的舉措之一,就是騰訊將自己累積多年的遊戲技術開放出來,包括遊戲引擎技術、物理仿真技術以及雲遊戲技術等,直接助力北京中軸線數字展陳體系建設,讓更多普通人能夠通過全新視角,體驗北京中軸線的壯美與活力。
除了文化產業,遊戲技術也在影響着前沿科技的發展。
以引爆深度學習熱潮的AlphaGo為例,它正是在下棋(Game)這一遊戲場景中完成了打敗人類的“壯舉”。
回顧AI的發展史,可以説AI從誕生至今,其背後一直有着遊戲的影子,電子遊戲一直是AI發展的重要推動力和體現AI實力的重要場景。
1944年,馮·諾依曼在《博弈論與經濟行為》一書中,首先提出了兩人對弈的Minimax算法;
1947年,圖靈編寫出了第一個下棋程序;
1950年,香農發表《計算機下棋程序》一文,開啓計算機下棋的理論研究。
1951年,圖靈的好朋友克里斯托弗·斯特拉切(Christopher Strachey)寫出了世界上第一個視覺遊戲checkers。
……
時至今日,從OpenAI Five 到 AlphaStar ,這些 AI在某個遊戲中擊敗了職業人類玩家依然是決策智能領域快速發展的標誌。
但遊戲技術的影響力遠不止此,其價值的創造力早已擴展到了實體產業。
騰訊依靠數字孿生,助力自動駕駛技術落地就是一個很好的例證。
在自動駕駛的產業發展過程中,現實道路環境測試,是非常重要的一個環節。行業內一直有一個量產應用必須要跑完“110億英里”里程的共識,相當於往返地球與太陽4.9次。
很顯然,這樣的目標不可能在現實生活中達成。於是,虛擬仿真技術便成為了這一問題的突破口。
針對自動駕駛模擬仿真測試需求以及行業痛點,騰訊推出了內置高精度地圖、虛實結合、線上線下一體的自動駕駛模擬仿真平台TAD Sim。
作為業內首個由遊戲技術和真實數據雙擎驅動的虛擬仿真平台,TAD Sim在真實性、全面性、可視化、輕量化、標準化等方面均處於行業領先地位,能夠很好的滿足自動駕駛在虛擬世界進行測試和學習的需求,極大降低了相關成本。
而自動駕駛,也僅僅是遊戲技術“外溢”到實體產業的一個縮影。
毫不誇張地説,現在遊戲技術已經被廣泛地應用到了基礎設施、智慧城市、治理規劃等領域。
例如,51WORLD利用源自遊戲引擎的數字孿生技術,對“媽灣港”10萬餘個集裝箱進行了超大規模箱體的動態生成與同步,首次實現了港口行業在數字孿生全要素場景下的動態數據實時驅動,以及5G環境下港口全量工業設備的態勢感知。
再比如,北京數字政通基於遊戲引擎打造的“晶石”孿生平台及新城市大腦產品,融合了數字政通在城市運行“一網統管”方面的業務能力,將孿生能力與實際業務訴求進行深度結合,能夠通過1:1還原的數字孿生場景,藉助虛實結合、天空地一體化、預測分析等手段,有效提升城市精細化、智能化管理的能力。
從更高層面來看,現在的遊戲早已超脱了最初的“限定”,成為了文化與科技的共生體,將在數實融合領域展現出更多元的價值。
過去的幾十年裏,軟件和硬件相互交纏發展,不斷碰撞,推動着遊戲內容、體驗和技術能力的不斷革新,現在的遊戲技術已經發展成為了涉及計算機圖形學、運動學和動力學、多功能感知、人工智能和虛擬現實等多個學科的前沿交叉領域。
從文化層面來看,遊戲既是文化的重要載體,也是文化創造的工廠之一;從科技層面來看,遊戲對前沿科技而言,扮演的是“試驗田”和“推進器”的角色。其本質已經由早期的“娛樂產業”演變成了文化產業與科技產業的“交織體”,成為了當下的文化科技成果之一。
不久前,騰訊董事會主席兼首席執行官馬化騰在《關於加強文化科技成果深度應用與自主創新的建議》中指出,文化科技融合是文化強國與科技強國兩大戰略的交叉領域。
文化科技成果不僅在文化產業得到廣泛應用,在文化產業之外的應用也不斷豐富,溢出效應開始顯現,為科技創新帶來新方向,並推動數字經濟與實體經濟融合發展。
而遊戲作為文化與科技的共生體,正在開啓這個世界的無限可能。
— 完 —
量子位 QbitAI · 頭條號簽約