8月4日，由訊飛輸入法、科大訊飛蘇州研究院（以下簡稱訊飛蘇研院）攜手蜃樓志STUDIO出品的方言保護計劃公益短片《姑蘇瑣記·天仙子》正式上線。片中“天仙子——雨笙”一角的畫外音皆由科大訊飛的AI蘇州方言合成系統配音完成，婉轉悠揚與真人言談無異。除此之外，片中另一驚喜是訊飛蘇研院首次推出的古風高保真數字孿生虛擬人，以巨果娛樂藝人張曦悅為建模原型，打造數字世界的第二分身。
此次虛擬人整體打造，也是訊飛蘇研院首次將AI技術與影視技術打通，塑造出的高保真孿生形象，對比常見的虛擬人，團隊的著眼點從“更美”轉換到“更真”，為未來元宇宙中人的形象，拓寬了想象空間。
高保真數字孿生虛擬人——把住細節，力求真實
為真人打造其孿生形象，首先需要原型人物進入由百餘臺高畫質單反組成的相機陣列中，陣列系統在0.1秒內完成人體資訊採集後，再透過AI演算法進行自動化建模，根據不同的精度要求，建模時長可相應調整。初步生成白模後，確認人體的主要特徵資訊齊全，此時一個完整的3D人體模型便打造完成。
完成“骨骼”建立，就要進入“皮相”打造，材質和紋理如何栩栩如生，細節到絨毛、皺紋和眼袋等，就是虛擬人與真人無二致的關鍵所在。孿生數字人皮膚的製作是一項複雜的工程，模型師製作材質球，從固有色、粗糙度、次表面散射、高光、凹凸等維度為虛擬人制作材質，保證虛擬人精細到臉部的絨毛都能清晰可見。在完美復刻原型細節的同時，還需進一步上妝，完成她所承擔的角色需求。這不僅需要考慮皮膚結構、光線影響、透視與反射等技術向問題，對訊飛模型師的“美妝”能力，也是極大的挑戰。
人體的大部分外在表徵資訊可由相機陣列瞬時採集並由演算法構建完成，但是為了保證模型的完整性、真實度和便於後期驅動，模型師會為虛擬人單獨製作眼球、牙齒、舌頭和毛髮，根據真人的模樣製作後再和虛擬人身體相匹配。
此次，虛擬人“雨笙”的形象是身著宋制傳統服飾的古裝形象，相比於現代日常妝造，古裝造型的結構和首飾會更加複雜，並且有嚴格的制式要求。給虛擬人做髮型的過程宛如髮型師給真人盤頭，同樣是將一頭披散的長髮盤成雙鬟髮髻，不同之處在於，訊飛蘇研院虛擬人團隊的模型師需要在軟體裡用一雙虛擬的手——導線來實現，先用導線生成毛髮，再透過改變其形狀做成參照的髮型，也為後續驅動做好了準備。
細節是真與實的邊界，把握不好細節還原的尺度可能會造成“恐怖谷效應”，觀看者也難以對虛擬人產生情感聯結，時刻感知到“TA”是個假人。若想虛擬人更加真實，除了身體構造的還原，影響其合理性的諸如材質、光線等因素，也需要訊飛蘇研院虛擬人團隊的技術人員們對照現實條件去進行復原。而將一個虛擬空間的虛擬人放置進現實環境中，打破次元壁的方法之一便是參照真實環境來進行布光。首先模型師會分析環境的光源資訊，分析出主光源和輔光源，再將調好的光線引數佈置到虛擬人身上，由此來生成明暗對比、光影等，實現虛擬人與真實環境融為一體。而如拍攝時攝影師會透過打光來顯瑜遮瑕一般，模型師也可透過特定的布光方式給虛擬人打光，人為干預光線條件而促使虛擬人在視覺上的美化。
AI助力方言傳承，堅持初心是保證內容的引擎
《姑蘇瑣記·天仙子》是AI蘇州方言系列風物短片的收官之作，此前已推出《姑蘇瑣記·金縷衣》和《姑蘇瑣記·懶畫眉》，引發了全網方言保護熱潮，收穫了學術界、文藝界及Z世代的肯定，看到了一群為愛發電的年輕人為方言保護與傳承付出的努力。蜃樓志沿襲了以往考究的傳統文藝風格，從服化道到片中的美術道具皆根據史實資料設計，更是找到了完全仿照宋代制式的蘇州博物館的墨戲堂拍攝了室內戲份，對細節的堅持和對作品的“錙銖必較”才促使了一部部優質作品的誕生。
此次虛擬人的真人原型是巨果娛樂旗下藝人張曦悅，其是在圈內小有名氣的古風漢服UP主——“阿時愛吃紅燒肉”，因漢服、古風、復原妝造出圈。成立於2015年的巨果娛樂致力於藝人經紀、影視開發、品牌專案、音樂版權等領域的合作，此次與訊飛蘇研院聯動合作打造張曦悅的數字孿生虛擬人，也是看中了元宇宙熱潮，希望搭上元宇宙快車，以開放的姿態積極擁抱科技新潮。
科大訊飛將在虛擬人領域持續發力，未來想象無限
訊飛蘇研院在科大訊飛總部的技術基礎之上，開展了高保真數字孿生虛擬人半自動乃至全自動化生產路徑的開發，期待能突破技術黑箱的限制。錨定文旅行業賽道，在蘇州熱土之上，為千載文化所加持，落地更多產品想象
元宇宙概念大熱，虛擬人被認為是元宇宙的入場券，近幾年，虛擬人的產值和市場佔有率正逐步擴大，虛擬人的應用場景也正待更豐富更深度的開發。此次推出的高保真數字孿生虛擬人是訊飛蘇研院首次亮相的高度寫實虛擬人，建造虛擬人的過程儘量減少人為干預，力求還原最接近真人的形象和符合現實條件的細節把控。未來，虛擬人勢必會發揮更強的勢能，而訊飛蘇研院瞄準了“造人”這一賽道，將持續發力，不斷推出更具場景多樣性、功能豐富性的AI數字虛擬人。
短片中的虛擬人以古風造型的“天仙子”一角亮相，溫婉爾雅，栩栩如生，但這並不會限制其應用場景的開拓和功能的豐富。無論是習得一技之長，講好江南故事，讓更多“Z世代”的青年人透過她來重新發現傳統藝術之美；亦或是透過內容短片與線上互動，實現虛擬與真實世界連結的想象，總之技術當骨架、文化作血肉，終歸無限可能。未來，“雨笙”將逐步實現訊飛蘇研院與更多合作方對其的想象，在自己垂直的領域生根發芽，找到屬於自己的一方舞臺。