她能隨時變換髮型,她能隨時更改服裝,她能穿梭於演播室的不同虛擬場景中……然而,她卻不是真人,她是全球首位人工智能驅動的3D版AI合成主播。
“大家好,我叫新小微,是由新華社聯合搜狗公司推出的全球首位3D版AI合成主播,我將為大家帶來全新的新聞資訊體驗。”
一段“未來感”十足的視頻播報畫面讓人眼前一亮,全球首位3D版AI合成主播在全國兩會開幕前夕正式亮相,這是繼全球首位AI合成主播、站立式AI合成主播、AI合成女主播、俄語AI合成主播之後,新華社智能化編輯部聯合搜狗公司最新研發的智能化產品。
“新小微”是如何誕生的?
“新小微”的原型是新華社記者趙琬微,採用最新人工智能技術“克隆”而成。從外型上看,“新小微”高度還原真人髮膚,在立體感、靈活度、可塑性、交互能力和應用空間等方面,較前一代AI合成主播(2D形象)有了大幅躍升。在特寫鏡頭下,甚至連頭髮絲和皮膚上的毛孔都清晰可見。
3D版AI合成主播,是如何誕生的?
“‘新小微’的研發,經歷了極其複雜的過程。”據項目負責人介紹,研發人員進行了海量數據採集工作。趙琬微戴着數據採集頭盔,幾百個攝像頭對其身體部位360度全方位“打點”掃描,採集每一處細節,並對其多種形態的表情和動作進行細緻入微的捕捉記錄。
“就像拼樂高一樣,我們對‘新小微’的各個部位和表情進行了模塊化處理,然後重新組裝。”項目負責人解釋説,通過算法實時驅動、渲染構建出來的3D數字人物模型,表情唇動、肢體動作和語言表達實現了高度契合。
據介紹,目前絕大部分“能動”的3D數字人,主要是靠真人驅動。而“新小微”採用的是人工智能驅動,輸入文本後,AI算法便可實時驅動“新小微”,生成的語音、表情、唇動更接近於真人。
“新小微”實現了哪些升級進化?
和前一代AI合成主播相比,“新小微”實現了從單一景深機位到多機位多景深、微笑播報到多樣化精微表情播報等進步,播報形態可通過不同角度全方位呈現,立體感和層次感明顯增強。
“前一代AI合成主播只能在坐姿或站姿下做一些簡單的手勢。‘新小微’不僅能走動和轉身,還能擺出各種複雜動作和姿態,靈活性大大提升了。”項目負責人介紹。
此外,“新小微”以其“微模塊化”的特性,實現了靈活“變妝”。她的髮型、服飾均能根據不同新聞和場景變換,這些功能也是前一代AI合成主播所不具備的。
“可以説,3D版AI合成主播在多方面都更加智能化了,在人工智能的實時驅動下,可實現功能持續自我更迭。”項目負責人説。
“新小微”將開啓怎樣的未來想象?
作為新聞界首位由人工智能驅動、3D技術呈現的AI合成主播,“新小微”在今年全國兩會期間可量化生產新聞播報視頻。
只需要在機器上輸入相應文本內容,“新小微”就能播報新聞,並根據語義生成相對應的面部表情和肢體語言。
“隨着後期自我更迭和進化,‘她’的工作空間會更大。”項目負責人説,隨着3D虛擬場景不斷拓展,“新小微”將走出演播室,在不同場景中更好地滿足新聞呈現的多樣化需求。
2018年11月7日,新華社聯合搜狗公司發佈全球首位AI合成主播,“克隆”出與真人主播擁有同樣播報能力的“分身”。此後又不斷迭代升級和擴容,業界評論這是人工智能技術在新聞領域的開拓性應用。
作為新華社AI合成主播家族的最新成員,3D版AI合成主播在今年全國兩會期間將通過新華社客户端為廣大網友帶來全新的新聞資訊體驗,也將進一步助力新華社智能化編輯部建設,推動媒體融合向縱深發展,為新聞生產的“未來場景”開闢新空間。
延伸閲讀
小夥用AI技術復原老北京街景視頻 網友驚呼穿越了
“這就是100年前的北京嗎?太逼真了,好像穿越到那時候一樣。”近日,一段經過人工智能復原的北京100年前的影像視頻引起網友的興趣。視頻的發佈者胡文谷告訴北京青年報記者,原始視頻是100年前外國人拍攝的北京街景,是黑白的,幀數也很低。他通過人工智能,讓整部視頻清晰度更高,並上色成為彩色視頻。他表示,正收集上海的老視頻資料,希望未來能夠再復原出上海等其他中國城市的樣貌,讓大家愛上中國的歷史。
人工智能修復老北京街景影像
近日,一段百年前北京市井的影像資料在社交媒體上“走紅”。視頻中,老石橋上車水馬龍人來人往、集市上生意興隆,身着長衫的人們互相作揖問好,甚至可以聽到商家的吆喝聲和京韻大鼓的唱段。更讓人驚喜的是,與以往此類影像的黑白配色不同,整段視頻均為彩色的,視頻的流暢度也與現代的視頻相似,沒有老視頻那種“快進”的感覺。有網友評論稱:“看到這段視頻,感覺就好像穿越到了100年前的北京一樣。”
這是歷史學家找到的全新影像嗎?11日上午,北青報記者聯繫到發佈這段視頻的北京90後小夥兒胡文谷。他表示,這段視頻來自一個加拿大的數據庫,其錄製時間為1920年到1926年,拍攝者應該是一位當年曾來北京探訪的外國人。
胡文谷説,原視頻的幀數很低,每秒只有6到10幀,如果按現在的播放速度來播放,很容易給人“快進”的感覺。此外,原有的視頻受到當時的條件限制,都是黑白的。他發佈的視頻無論是上色、補幀還是提高清晰度,均是利用現代的人工智能實現的。
胡文谷回憶,第一次看到這段視頻時,他就感覺非常好奇,“雖然我從小就在北京長大,但100多年前的北京到底是什麼樣子,也是看了原來的視頻才有了直觀的認識。但這段視頻相比現在的視頻來説,技術上太老了,我正好接觸過一些利用人工智能復原老視頻的技術,就想給這段視頻做一個復原。”
補幀、上色、提升清晰度由三款軟件完成
胡文谷介紹,修復視頻先後用了3個人工智能軟件,“第一個是修復幀數的,把原本6到10幀的視頻給修復成適合現代技術的60幀視頻。第二個軟件負責加強一些關鍵幀的分辨率,第三軟件負責給原本的黑白視頻‘上色’。”
胡文谷解釋説,人工智能就是模擬人類的大腦,最開始的時候,人工智能的“大腦”是空的,通過人類給人工智能圖片、視頻等,告訴這些軟件“狗是什麼顏色”“衣服是什麼顏色”“樹是什麼顏色”,慢慢地,人工智能就有了自己的“想象力”,當我們把黑白視頻發給人工智能,它們就能代替我們的“大腦”,將它想象的顏色復原到視頻裏,從而做出彷彿穿越到100年前北京的街景視頻。“其實不論是上色、補幀還是提高分辨率,人工智能應用的原理都是差不多的。”
胡文谷説,相比人工進行修復,人工智能修復的速度要快得多。“像這樣的一段視頻,我前後花了幾天的時間製作,而如果是人工來進行復原,時間可能就至少要幾個星期了。”不過胡文谷坦言,目前這些人工智能軟件多是由外國人開發的,“他們沒有進行過老北京市井方面的學習,所以一些地方上色後還是會讓人覺得不太對,今後我會考慮培訓這些人工智能瞭解老北京的風土人情,讓這些復原的視頻更貼近北京的歷史原貌。”
與百年前的北京人“相遇”很神奇
胡文谷家在北京宣武區虎坊橋一帶,從小他就對北京文化非常感興趣。近年來,他在美國紐約工作,臨出國之前還特意去北京的幾處景點參觀。而網友對“老北京”的熱情也讓胡文谷非常意外。“我當天把視頻發到網上後,就去另一個房間健身了,結果等我健身回來,發現轉發量已經破萬了,真是沒想到。”
胡文谷介紹,目前他正在收集一些上海的老視頻資料,並跟一些上海的朋友請教,希望再復原一個上海的老視頻,將更多中國的歷史復原給觀眾。同時,胡文谷也希望更多的人能夠參與到利用人工智能復原歷史的過程之中。