作者/寧飛虹
作為女團安菟的一員，留歌以個人名義參加了《跨次元新星》的選拔，一曲勁舞后，留歌講述自己出道後遇到的挫折與堅持，此時鏡頭切換，留歌的媽媽抹著眼淚說終於看到自己女兒站在舞臺上。
這是選秀節目中常見又不起眼的一幕，小娛在此提及，是因為其還有這樣的特殊性：留歌不是真人，是一個虛擬數字人；留歌的媽媽是一名工程師，它是留歌能與觀眾見面的關鍵人物。
這些工程師在幕後工作時，會直接吐槽類似人物穿模這樣的技術瑕疵，比如Angelababy與自己的戰隊在休息室互動時，其中一位工程師直接說寐魚的“衣服破了”，還讓導演組減少複雜的互動環節。
達瓦未來科技首席技術官朱子威告訴小娛，節目在開拍前進行了三次技術測試，第一次測試動捕，第二次測試AR。要實現實時虛擬舞臺表演，大致經過下圖呈現的技術流程，其中IP方提供資產，建模和材質是基本；達瓦未來科技提供動捕技術和全流程虛擬製片技術，蜜枝科技提供AR舞臺秀製作技術。
蜜枝科技在各方的合作中起到的最大作用是構建一個技術pipeline（流程標準）。在劉勇看來，“不同技術進行系統整合需要一定的磨合期，《跨次元新星》作為先行者，一定會暴露出還不夠成熟的地方。但這個節目相當於拋磚引玉，它將虛擬和真人之間的隔閡膜給捅破了，讓人們關注並投入到一個全新的世界，這個過程的意義才比較重大”。
在快速擴張的虛擬市場，在節目內和節目外，小娛好奇這些核心技術是如何將虛擬演出展現給大眾的。
如何保證角色不穿模？
“選手太照騙了！”《跨次元新星》剛播出時，慕容淺、二孃等角色出場後，由於實際建模與海報相差太多，引來了一波吐槽。
一個虛擬角色的建模好壞，直接影響到後續技術環節的實現程度。比如顧城這個角色，被節目組戲稱為“鐵金剛頭”，是因為他的頭髮沒有骨骼動不了。“如果骨骼少，做物理的時候就很難完成得好。”朱子威說。
他認為節目中物理效果最好的是蘇芷羽的裙襬，整體的服飾及形態很流暢地在滑動。戍心淵是一隻狐狸形象，它的五條尾巴“一根尾巴上有二十根骨頭”，走起路來的擺動就能非常順滑。
技術方面臨的一個基本難點是，綜藝的工作模式與動畫流程完全不同，很難有一個完全確定的分鏡臺本提供給技術製作團隊，在實際拍攝時考驗的是臨場反應和超短時間的問題解決能力。
“很多拍攝決策是現場就決定的，基本定下方案後就馬上執行，從動作捕捉的離線動畫快速製作流程到實時表演出片，二十幾個選手要10天內全部做完，而且還是直接給到模型後適配到系統裡讓它可以實時表演。”朱子威表示。
表演時怎麼不卡頓，角色不飄走？
節目技術方還面臨另一個難點是虛擬⼈物和真實場景融合度，以及舞臺秀舞美氛圍的呈現。這主要依靠AR系統去解決，做好3D虛擬燈光和真實燈光的匹配等。
“節目現場有多臺AR攝像機，都必須同步，如果不同步，就會導致內部資料包括高度、深度和左右、前後全都出差錯，”劉勇說道。Vizrt和Zero Density是節目的AR渲染引擎，蜜枝科技要做的是把UE4引擎跟演出、燈光加上AR攝像機，保證其能與AR渲染引擎系統連線順暢。“這一套流程和解決方案的開發和經驗積累才是最複雜的。”
“我們在現場精確計算了各聯路之間的延時（毫秒級），包括硬體的延時和軟體的延時，並透過技術手段對延時進行補償處理，才能讓畫面同步呈現給觀眾。” 另外一個難點是九個AR機位的跟蹤校準，需要九臺渲染主機對真實世界的理解都是一樣的。定位不準人就飄走了；跟蹤一壞，虛擬人物與特效的疊加合成就會出現偏差，這都會影響觀看體驗。
“舞臺的控臺對接、AR系統的對接等這些技術及軟體都不是現成的，需要去自主進行適配和研發。”劉勇提到。
在節目外，虛擬演出場景已經有不少案例，比如說唱歌手Travis Scott在遊戲《堡壘之夜》裡開的虛擬演唱會。從技術維度而言，除了伺服器端荷載壓力外，虛擬演唱會最需要解決的是實時渲染技術。
“現在的瓶頸是，有更好的硬體使得實時播出效果越來越好，但這肯定需要動用更多的計算能力或採用更加激進、巧妙的最佳化辦法，這要通過歷史資料的經驗總結，得到一個不需要去計算、透過查表就可以得到的結果。”
不過當下虛擬偶像市場，娛樂公司、技術公司以及娛樂內容製作方，對虛擬角色打造、虛擬數字人的應用場景理解都不盡相同，對於演出這一面向C端的商業化形式，看法也不一。
虛擬數字技術的商業化，C端演出是大方向嗎？
前幾年，虛擬偶像市場剛起步，不少公司在孵化虛擬IP時基於日本的成功經驗，二次元形象是常見的選擇，不過這些IP總是會面臨使用者“抄襲日本”的指責，三四年過去很多IP都銷聲匿跡了。
“去你的二次元，咱們短時間內做不出能打敗日本的東西。”一位業內人士對此市場狀況評價道。
在二次元虛擬市場，存在一個隱形鄙視鏈。第一級是初音未來，第二級是日本《偶像大師》等形象，第三級是國內以洛天依為代表的vsinger系列。“在中國現在要想再做二次元虛擬偶像，是要從審美鄙視鏈的底端走上來，需要的時間更長，起碼要保證3-5年的養成期。”劉勇說道。
不過，劉勇意識到一個二次元虛擬偶像的養成在日本需要五到六年的時間，初音未來用了6年時間才火起來，洛天依在有初音未來的前提下，也花了4年時間才爆火。“所以我們轉變為更大眾化娛樂的邏輯，從做內容的角度拉回到做演出，做演出這件事情是做偶像的一個不二之選。”
蜜枝科技現在主要提供虛擬演出技術服務，“AR、全息，純CG，包括遊戲、動畫中的演出部分，其實都有整套技術方案去解決，在虛擬演出技術服務上我們自己就能做到千萬級別。”劉勇說道。
劉勇認為當下大眾市場遠沒有到一個完全接受的程度，在5年後或許才能迎來一個爆發期，“但這需要一個觸發性的事件，類似於90年代末初音未來演出禁止引發的‘初音未來消失事件’，使得初音未來真正成為大眾二次元代表，讓社會意識到虛擬偶像的需求及價值”。
不同於技術公司，娛樂公司重在內容輸出和IP運營上。次世文化創始人陳燕認為，“我們一直希望行業跳出虛擬偶像這4個字，不管是主觀意識對虛擬偶像的定義侷限還是技術應用場景，我們放大到一個虛擬數字人的整體賽道上去看，你會發現更多待開發領域。”
陳燕認為虛擬數字人是虛擬娛樂產品的一種品類，而現階段，他不會刻意入場相對泛二次元領域的虛擬歌姬、VTuber及傳統大眾傳統認知的“虛擬偶像”賽道，而是在其他細分領域打造了超寫實KOL 翎LING，虛擬DJ purple以及韜斯曼、冷巴等明星虛擬形象。
在與魔琺科技合作開發LING的過程中，次世文化把控住角色及世界觀設定、人物屬性，包括首發物料、分發平臺、人物延展方式、商業化路徑等。“LING身上有國潮的文化底子，這是泛大眾文化領域期待看到的虛擬人產品；LING身上的時尚感也很強，這是我想讓包括特斯拉等時尚型別品牌看到的。”
陳燕認為未來1-2年內，to B還是虛擬人行業的核心變現及應用路徑，“短期內，我們還是想把’人’先做好，但我們也在嘗試搭建的虛擬娛樂場景，希望在未來3-5年內給虛擬人更多to C的機會，完成更多使用者虛擬身份認知的可能”。
由此看來，虛擬數字人的應用場景與商業化變現，在技術成熟的前提下，當下該做B端的生意還是直接走向C端，還需要更長時間的觀察和檢測。