她能随时变换发型,她能随时更改服装,她能穿梭于演播室的不同虚拟场景中……然而,她却不是真人,她是全球首位人工智能驱动的3D版AI合成主播。
“大家好,我叫新小微,是由新华社联合搜狗公司推出的全球首位3D版AI合成主播,我将为大家带来全新的新闻资讯体验。”
一段“未来感”十足的视频播报画面让人眼前一亮,全球首位3D版AI合成主播在全国两会开幕前夕正式亮相,这是继全球首位AI合成主播、站立式AI合成主播、AI合成女主播、俄语AI合成主播之后,新华社智能化编辑部联合搜狗公司最新研发的智能化产品。
“新小微”是如何诞生的?
“新小微”的原型是新华社记者赵琬微,采用最新人工智能技术“克隆”而成。从外型上看,“新小微”高度还原真人发肤,在立体感、灵活度、可塑性、交互能力和应用空间等方面,较前一代AI合成主播(2D形象)有了大幅跃升。在特写镜头下,甚至连头发丝和皮肤上的毛孔都清晰可见。
3D版AI合成主播,是如何诞生的?
“‘新小微’的研发,经历了极其复杂的过程。”据项目负责人介绍,研发人员进行了海量数据采集工作。赵琬微戴着数据采集头盔,几百个摄像头对其身体部位360度全方位“打点”扫描,采集每一处细节,并对其多种形态的表情和动作进行细致入微的捕捉记录。
“就像拼乐高一样,我们对‘新小微’的各个部位和表情进行了模块化处理,然后重新组装。”项目负责人解释说,通过算法实时驱动、渲染构建出来的3D数字人物模型,表情唇动、肢体动作和语言表达实现了高度契合。
据介绍,目前绝大部分“能动”的3D数字人,主要是靠真人驱动。而“新小微”采用的是人工智能驱动,输入文本后,AI算法便可实时驱动“新小微”,生成的语音、表情、唇动更接近于真人。
“新小微”实现了哪些升级进化?
和前一代AI合成主播相比,“新小微”实现了从单一景深机位到多机位多景深、微笑播报到多样化精微表情播报等进步,播报形态可通过不同角度全方位呈现,立体感和层次感明显增强。
“前一代AI合成主播只能在坐姿或站姿下做一些简单的手势。‘新小微’不仅能走动和转身,还能摆出各种复杂动作和姿态,灵活性大大提升了。”项目负责人介绍。
此外,“新小微”以其“微模块化”的特性,实现了灵活“变妆”。她的发型、服饰均能根据不同新闻和场景变换,这些功能也是前一代AI合成主播所不具备的。
“可以说,3D版AI合成主播在多方面都更加智能化了,在人工智能的实时驱动下,可实现功能持续自我更迭。”项目负责人说。
“新小微”将开启怎样的未来想象?
作为新闻界首位由人工智能驱动、3D技术呈现的AI合成主播,“新小微”在今年全国两会期间可量化生产新闻播报视频。
只需要在机器上输入相应文本内容,“新小微”就能播报新闻,并根据语义生成相对应的面部表情和肢体语言。
“随着后期自我更迭和进化,‘她’的工作空间会更大。”项目负责人说,随着3D虚拟场景不断拓展,“新小微”将走出演播室,在不同场景中更好地满足新闻呈现的多样化需求。
2018年11月7日,新华社联合搜狗公司发布全球首位AI合成主播,“克隆”出与真人主播拥有同样播报能力的“分身”。此后又不断迭代升级和扩容,业界评论这是人工智能技术在新闻领域的开拓性应用。
作为新华社AI合成主播家族的最新成员,3D版AI合成主播在今年全国两会期间将通过新华社客户端为广大网友带来全新的新闻资讯体验,也将进一步助力新华社智能化编辑部建设,推动媒体融合向纵深发展,为新闻生产的“未来场景”开辟新空间。
延伸阅读
小伙用AI技术复原老北京街景视频 网友惊呼穿越了
“这就是100年前的北京吗?太逼真了,好像穿越到那时候一样。”近日,一段经过人工智能复原的北京100年前的影像视频引起网友的兴趣。视频的发布者胡文谷告诉北京青年报记者,原始视频是100年前外国人拍摄的北京街景,是黑白的,帧数也很低。他通过人工智能,让整部视频清晰度更高,并上色成为彩色视频。他表示,正收集上海的老视频资料,希望未来能够再复原出上海等其他中国城市的样貌,让大家爱上中国的历史。
人工智能修复老北京街景影像
近日,一段百年前北京市井的影像资料在社交媒体上“走红”。视频中,老石桥上车水马龙人来人往、集市上生意兴隆,身着长衫的人们互相作揖问好,甚至可以听到商家的吆喝声和京韵大鼓的唱段。更让人惊喜的是,与以往此类影像的黑白配色不同,整段视频均为彩色的,视频的流畅度也与现代的视频相似,没有老视频那种“快进”的感觉。有网友评论称:“看到这段视频,感觉就好像穿越到了100年前的北京一样。”
这是历史学家找到的全新影像吗?11日上午,北青报记者联系到发布这段视频的北京90后小伙儿胡文谷。他表示,这段视频来自一个加拿大的数据库,其录制时间为1920年到1926年,拍摄者应该是一位当年曾来北京探访的外国人。
胡文谷说,原视频的帧数很低,每秒只有6到10帧,如果按现在的播放速度来播放,很容易给人“快进”的感觉。此外,原有的视频受到当时的条件限制,都是黑白的。他发布的视频无论是上色、补帧还是提高清晰度,均是利用现代的人工智能实现的。
胡文谷回忆,第一次看到这段视频时,他就感觉非常好奇,“虽然我从小就在北京长大,但100多年前的北京到底是什么样子,也是看了原来的视频才有了直观的认识。但这段视频相比现在的视频来说,技术上太老了,我正好接触过一些利用人工智能复原老视频的技术,就想给这段视频做一个复原。”
补帧、上色、提升清晰度由三款软件完成
胡文谷介绍,修复视频先后用了3个人工智能软件,“第一个是修复帧数的,把原本6到10帧的视频给修复成适合现代技术的60帧视频。第二个软件负责加强一些关键帧的分辨率,第三软件负责给原本的黑白视频‘上色’。”
胡文谷解释说,人工智能就是模拟人类的大脑,最开始的时候,人工智能的“大脑”是空的,通过人类给人工智能图片、视频等,告诉这些软件“狗是什么颜色”“衣服是什么颜色”“树是什么颜色”,慢慢地,人工智能就有了自己的“想象力”,当我们把黑白视频发给人工智能,它们就能代替我们的“大脑”,将它想象的颜色复原到视频里,从而做出仿佛穿越到100年前北京的街景视频。“其实不论是上色、补帧还是提高分辨率,人工智能应用的原理都是差不多的。”
胡文谷说,相比人工进行修复,人工智能修复的速度要快得多。“像这样的一段视频,我前后花了几天的时间制作,而如果是人工来进行复原,时间可能就至少要几个星期了。”不过胡文谷坦言,目前这些人工智能软件多是由外国人开发的,“他们没有进行过老北京市井方面的学习,所以一些地方上色后还是会让人觉得不太对,今后我会考虑培训这些人工智能了解老北京的风土人情,让这些复原的视频更贴近北京的历史原貌。”
与百年前的北京人“相遇”很神奇
胡文谷家在北京宣武区虎坊桥一带,从小他就对北京文化非常感兴趣。近年来,他在美国纽约工作,临出国之前还特意去北京的几处景点参观。而网友对“老北京”的热情也让胡文谷非常意外。“我当天把视频发到网上后,就去另一个房间健身了,结果等我健身回来,发现转发量已经破万了,真是没想到。”
胡文谷介绍,目前他正在收集一些上海的老视频资料,并跟一些上海的朋友请教,希望再复原一个上海的老视频,将更多中国的历史复原给观众。同时,胡文谷也希望更多的人能够参与到利用人工智能复原历史的过程之中。