她能隨時變換髮型,她能隨時更改服裝,她能穿梭於演播室的不同虛擬場景中……然而,她卻不是真人,她是全球首位人工智慧驅動的3D版AI合成主播。
“大家好,我叫新小微,是由新華社聯合搜狗公司推出的全球首位3D版AI合成主播,我將為大家帶來全新的新聞資訊體驗。”
一段“未來感”十足的影片播報畫面讓人眼前一亮,全球首位3D版AI合成主播在全國兩會開幕前夕正式亮相,這是繼全球首位AI合成主播、站立式AI合成主播、AI合成女主播、俄語AI合成主播之後,新華社智慧化編輯部聯合搜狗公司最新研發的智慧化產品。
“新小微”是如何誕生的?
“新小微”的原型是新華社記者趙琬微,採用最新人工智慧技術“克隆”而成。從外型上看,“新小微”高度還原真人髮膚,在立體感、靈活度、可塑性、互動能力和應用空間等方面,較前一代AI合成主播(2D形象)有了大幅躍升。在特寫鏡頭下,甚至連頭髮絲和皮膚上的毛孔都清晰可見。
3D版AI合成主播,是如何誕生的?
“‘新小微’的研發,經歷了極其複雜的過程。”據專案負責人介紹,研發人員進行了海量資料採集工作。趙琬微戴著資料採集頭盔,幾百個攝像頭對其身體部位360度全方位“打點”掃描,採集每一處細節,並對其多種形態的表情和動作進行細緻入微的捕捉記錄。
“就像拼樂高一樣,我們對‘新小微’的各個部位和表情進行了模組化處理,然後重新組裝。”專案負責人解釋說,透過演算法實時驅動、渲染構建出來的3D數字人物模型,表情唇動、肢體動作和語言表達實現了高度契合。
據介紹,目前絕大部分“能動”的3D數字人,主要是靠真人驅動。而“新小微”採用的是人工智慧驅動,輸入文字後,AI演算法便可實時驅動“新小微”,生成的語音、表情、唇動更接近於真人。
“新小微”實現了哪些升級進化?
和前一代AI合成主播相比,“新小微”實現了從單一景深機位到多機位多景深、微笑播報到多樣化精微表情播報等進步,播報形態可透過不同角度全方位呈現,立體感和層次感明顯增強。
“前一代AI合成主播只能在坐姿或站姿下做一些簡單的手勢。‘新小微’不僅能走動和轉身,還能擺出各種複雜動作和姿態,靈活性大大提升了。”專案負責人介紹。
此外,“新小微”以其“微模組化”的特性,實現了靈活“變妝”。她的髮型、服飾均能根據不同新聞和場景變換,這些功能也是前一代AI合成主播所不具備的。
“可以說,3D版AI合成主播在多方面都更加智慧化了,在人工智慧的實時驅動下,可實現功能持續自我更迭。”專案負責人說。
“新小微”將開啟怎樣的未來想象?
作為新聞界首位由人工智慧驅動、3D技術呈現的AI合成主播,“新小微”在今年全國兩會期間可量化生產新聞播報影片。
只需要在機器上輸入相應文字內容,“新小微”就能播報新聞,並根據語義生成相對應的面部表情和肢體語言。
“隨著後期自我更迭和進化,‘她’的工作空間會更大。”專案負責人說,隨著3D虛擬場景不斷拓展,“新小微”將走出演播室,在不同場景中更好地滿足新聞呈現的多樣化需求。
2018年11月7日,新華社聯合搜狗公司釋出全球首位AI合成主播,“克隆”出與真人主播擁有同樣播報能力的“分身”。此後又不斷迭代升級和擴容,業界評論這是人工智慧技術在新聞領域的開拓性應用。
作為新華社AI合成主播家族的最新成員,3D版AI合成主播在今年全國兩會期間將透過新華社客戶端為廣大網友帶來全新的新聞資訊體驗,也將進一步助力新華社智慧化編輯部建設,推動媒體融合向縱深發展,為新聞生產的“未來場景”開闢新空間。
延伸閱讀
小夥用AI技術復原老北京街景影片 網友驚呼穿越了
“這就是100年前的北京嗎?太逼真了,好像穿越到那時候一樣。”近日,一段經過人工智慧復原的北京100年前的影像影片引起網友的興趣。影片的釋出者胡文谷告訴北京青年報記者,原始影片是100年前外國人拍攝的北京街景,是黑白的,幀數也很低。他透過人工智慧,讓整部影片清晰度更高,並上色成為彩色影片。他表示,正收集上海的老影片資料,希望未來能夠再復原出上海等其他中國城市的樣貌,讓大家愛上中國的歷史。
人工智慧修復老北京街景影像
近日,一段百年前北京市井的影像資料在社交媒體上“走紅”。影片中,老石橋上車水馬龍人來人往、集市上生意興隆,身著長衫的人們互相作揖問好,甚至可以聽到商家的吆喝聲和京韻大鼓的唱段。更讓人驚喜的是,與以往此類影像的黑白配色不同,整段影片均為彩色的,影片的流暢度也與現代的影片相似,沒有老影片那種“快進”的感覺。有網友評論稱:“看到這段影片,感覺就好像穿越到了100年前的北京一樣。”
這是歷史學家找到的全新影像嗎?11日上午,北青報記者聯絡到釋出這段影片的北京90後小夥兒胡文谷。他表示,這段影片來自一個加拿大的資料庫,其錄製時間為1920年到1926年,拍攝者應該是一位當年曾來北京探訪的外國人。
胡文谷說,原影片的幀數很低,每秒只有6到10幀,如果按現在的播放速度來播放,很容易給人“快進”的感覺。此外,原有的影片受到當時的條件限制,都是黑白的。他釋出的影片無論是上色、補幀還是提高畫質晰度,均是利用現代的人工智慧實現的。
胡文谷回憶,第一次看到這段影片時,他就感覺非常好奇,“雖然我從小就在北京長大,但100多年前的北京到底是什麼樣子,也是看了原來的影片才有了直觀的認識。但這段影片相比現在的影片來說,技術上太老了,我正好接觸過一些利用人工智慧復原老影片的技術,就想給這段影片做一個復原。”
補幀、上色、提升清晰度由三款軟體完成
胡文谷介紹,修復影片先後用了3個人工智慧軟體,“第一個是修復幀數的,把原本6到10幀的影片給修復成適合現代技術的60幀影片。第二個軟體負責加強一些關鍵幀的解析度,第三軟體負責給原本的黑白影片‘上色’。”
胡文谷解釋說,人工智慧就是模擬人類的大腦,最開始的時候,人工智慧的“大腦”是空的,透過人類給人工智慧圖片、影片等,告訴這些軟體“狗是什麼顏色”“衣服是什麼顏色”“樹是什麼顏色”,慢慢地,人工智慧就有了自己的“想象力”,當我們把黑白影片發給人工智慧,它們就能代替我們的“大腦”,將它想象的顏色復原到影片裡,從而做出彷彿穿越到100年前北京的街景影片。“其實不論是上色、補幀還是提高解析度,人工智慧應用的原理都是差不多的。”
胡文谷說,相比人工進行修復,人工智慧修復的速度要快得多。“像這樣的一段影片,我前後花了幾天的時間製作,而如果是人工來進行復原,時間可能就至少要幾個星期了。”不過胡文谷坦言,目前這些人工智慧軟體多是由外國人開發的,“他們沒有進行過老北京市井方面的學習,所以一些地方上色後還是會讓人覺得不太對,今後我會考慮培訓這些人工智慧瞭解老北京的風土人情,讓這些復原的影片更貼近北京的歷史原貌。”
與百年前的北京人“相遇”很神奇
胡文谷家在北京宣武區虎坊橋一帶,從小他就對北京文化非常感興趣。近年來,他在美國紐約工作,臨出國之前還特意去北京的幾處景點參觀。而網友對“老北京”的熱情也讓胡文谷非常意外。“我當天把影片發到網上後,就去另一個房間健身了,結果等我健身回來,發現轉發量已經破萬了,真是沒想到。”
胡文谷介紹,目前他正在收集一些上海的老影片資料,並跟一些上海的朋友請教,希望再復原一個上海的老影片,將更多中國的歷史復原給觀眾。同時,胡文谷也希望更多的人能夠參與到利用人工智慧復原歷史的過程之中。