基於AI算法的4K修復,讓大聖更高清。
回憶殺!大鬧天宮、斬妖除魔的齊天大聖孫悟空,就要以高清形象重返到我們面前。
被譽為國漫巔峯製作的《大鬧天宮》影片,是由上海美術電影製片廠於1961年到1964年製作的彩色動畫長片,歷年來已斬獲國內外大獎無數,豆瓣評分高達9.4,成為歷代人的寶貴記憶。
在60餘年後的今天,它將重現江湖,再次迎來自己的高光時刻。4K修復版《大鬧天宮》於2月15日(元宵節)上線於西瓜視頻和鮮時光平台,用户均可免費觀看,該影片修復工作由字節跳動旗下的火山引擎提供技術支持。
此次《大鬧天宮》高清歸來,究竟是獻情懷還是秀技術?這背後又有多少你不知道的事呢?
費時費力的艱鉅工作近年來,4K修復概念走進大眾的視野,從《海上鋼琴師》到《哈利·波特與魔法石》再到《天書奇譚》,已有多部4K修復後的經典老片登陸全國院線,在影片上映時幾乎都會引發大眾的高度關注,勾起一代又一代人的回憶。
它們的戰績也十分亮眼,《哈利·波特與魔法石》上映四天票房過億,《天書奇譚》在上映11天后累計票房達2170萬……從票房中便可以看到,老片重映的確有其市場價值,也因此,許多院線和視頻網站都紛紛加入了4K修復陣營。
之前西瓜視頻在“經典中視頻4K修復”發佈會上表示,未來一年將修復百部經典動畫。而上海國際電影節更是從2011年起便攜手積家共同開展電影修復項目,還有中國移動旗下咪咕公司、愛奇藝、優酷等的入局。
然而,老片重映在這幾年,似乎總離不開“炒冷飯”、“消費經典”的標籤,但陸玖財經和業內人士進行溝通後瞭解到,炒冷飯也沒你想的那麼香,它並不是簡單的經典重現,4K修復其實是一項繁重且複雜的工作。
中國電影資料館的修復師王崢曾比喻:“對電影修復師來説,他們的工作就是與幀率賽跑。”電影通常為每秒24幀,修復一部10萬幀的電影,就相當於要處理15萬張圖。
可見,人工修復老片其實屬於勞動密集型工作,非常的費時費力。許多修復師都坦言,一部老電影的修復所經歷的一系列過程,其中的複雜、艱難程度不亞於製作一部新片。很多老動畫片以膠片為存儲介質,會因時間推移出現褪色、劃痕、噪點等問題,修復師有時候遇到棘手的問題,可能一天只能修 24 幀,也就是一秒。
這其中的成本也很高,有數據顯示,普通的 2K 修復(分辨率 2048×1556)完全依賴人工大概需要兩個星期才能完成一部,花費在30萬元左右。上海電影製片廠修復師吳雲嶽曾表示:“4K的分辨率高達4096×3112,工作量相當於2K修復的4倍。”
那麼,4K 修復(分辨率 4096×3112)的工作量按照4倍來算,可能需要兩三個月、甚至半年的時間才能完成一部。
AI技術如何讓老片煥發新生?AI技術的出現,在大幅減輕修復師勞力的同時,甚至比人工更具優勢,它已成為老片修復的最優解。
火山引擎多媒體實驗室研究員趙世傑表示,深度學習等AI技術的興起,大幅提升了老片修復的質量和效率。人工做不到的一些修復效果,AI可以做到,人工處理慢的一些修復過程,AI算法結合強大的算力可以加速數萬倍。
很多老片,由於當時製作的條件限制,加上膠片保存過程中的老化,各位在追憶往昔再觀看時,往往都會發現不少畫質問題,影響觀感。陸玖財經在與業內人士交流後得知,對於畫質,業內一般從清晰度、流暢度、色彩以及瑕疵四個維度進行考慮。
具體到這四個方面,AI是如何讓老片煥發新生的呢?
先説清晰度。從專業的角度來説,分辨率其實是衡量影片清晰程度的重要參數,分辨率越高那麼清晰度越高。由於老片製作受設備和條件限制,分辨率規格一般都是720p、540p甚至更低,然而目前的屏幕很多都支持到了4K以上,大家已經習慣了當下的高分辨率影片,所以很多人想再看經典時,就會覺得影片清晰度很差,觀感不佳。
火山引擎方面應用了建立在機器學習方式上的超分辨率重建和去模糊算法技術,其對海量高清和低清視頻的數據對進行分析,使得算法模型可以學習到高清視頻的特性,從而能夠完成視頻從低清到高清的轉換,並且生成缺失的細節。這樣一來,視頻的分辨率就可以從720p提升到4K,大幅提高清晰程度。
再説流暢度。影響流暢度的主要是視頻的幀率,幀率越大越流暢,目前大多影片幀率都在25幀以上,有的能達到60甚至120幀。因為製作成本的限制,許多老的影片拍攝或者手繪的幀數較少,導致影片卡頓感強,而近年來興起的插幀技術可以實現低幀率視頻向高幀率視頻的轉換。火山引擎採用的智能插幀算法通過分析前後幀的運動和內容,對中間幀進行生成,將原先不足15的幀率,提升至60以上,大幅提升流暢度。與此同時,其還使用塊光流進行優化,實現更精準的插幀結果。
而色彩方面,色彩失真、畫面昏暗是老片存在的普遍問題。由於膠片儲存有着極高的存放要求,一旦儲存不當就會產生物理化學損傷,這些損傷在數字化後就會被放大,導致失真等各種色彩問題,並且老片製作時通常基於舊的播放場景和製作標準,採用較窄的色域和較低的亮度動態範圍,導致亮度動態範圍普遍比較低,畫面看起來比較昏暗。
火山引擎的色彩增強方案進行了有針對性的處理。一方面,其基於AI進行畫面色偏檢測和修復,另一方面,應用SDRtoHDR色彩增強方案,可以將畫面動態範圍和色域映射到更大的空間,結合用户顯示設備的能力,獲得最佳顯示效果。
最後是瑕疵處理,老片的瑕疵類型複雜而且程度更嚴重,對於技術而言是不小的考驗。為此火山引擎結合了傳統信號處理以及深度學習算法,對於較小的雪花顆粒噪聲,使用傳統算法進行處理;對於較大的壞點和劃痕,則使用機器學習算法進行識別和修補。算法能夠強力地修復瑕疵,並且保留原有紋理不受影響。
但是算法並不是萬能之神,為了防止“誤傷”藝術效果,消除瑕疵的算法通常不會設置很高的強度,因此會漏掉一部分瑕疵,由人工輔助標註。
火山引擎方面向陸玖財經透露,對那些損傷嚴重的老片來説,徹底消除瑕疵需要投入大量人力。以其修復的《葫蘆兄弟》為例,在消除瑕疵的過程中,設計師們就看了20萬幀的畫面。
文化傳承離不開企業助推老片修復不是炒冷飯或是秀技術,它本質上還是企業承擔自身社會責任的體現。
對此,西瓜視頻總裁任利鋒曾表示,修復經典是傳承,也是用新技術最大化還原作品,帶給大家新的感受和認知,不管是修復動畫片,還是修復老影像,歸根到底,都不只是為了提高它的清晰度,“我們想要修復的是這些內容背後的記憶,呈現幾代人因為這些記憶隔空產生的共鳴和火花”。
人們常説:經典永不褪色,但這些經典老片在歲月中,已是傷痕累累,目前仍然受困於畫質問題,難以滿足人們如今的觀影體驗。欣慰的是,目前已有許多企業參與進來,重新打開中國經典影像的寶藏,使佳作重煥光影魅力,讓觀眾得以重温影史碩果。
4K技術是幫助經典流傳下來的重要途徑,它既降低了成本,又節省了人力,讓老電影有機會重新煥發生機,通過對影片聲、畫等的處理,能夠更清晰、直觀地保存人類智慧的結晶,為今後更好地繼承電影文化做足準備,對於社會發展所起的作用頗具價值。
據陸玖財經瞭解到,《大鬧天宮》的創作前後持續四年。當時並沒有電腦,全憑手繪,比如片子中孫悟空拔下三根毫毛,變出三個分身與哪吒激戰的情節,5秒的鏡頭就需要畫出一百多張原畫稿,全片的手稿就有十多萬張。
西瓜視頻相關負責人表示,《大鬧天宮》是老一輩動畫人匠心的代表。時隔多年,老動畫難免會出現清晰度低、色彩失真、瑕疵等畫質問題。修復工作是一種傳承和守護,西瓜視頻在力求保留影片原汁原味的同時,帶給觀眾畫面、聲音上的優質體驗。
西瓜視頻方面向陸玖財經表示,截至目前,已有《舒克和貝塔》等36部動畫完成4K修復,此前的計劃正在如期推進中,西瓜視頻App的少兒放映廳頁面目前已上線“超清修復”版塊,百部經典作品的 4K修復版正陸續在該版塊上線。
企業將自身技術優勢應用於老片修復工作,從服務公益中,更好地彰顯出社會責任和擔當。