魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

AI修圖到底有多強?

前幾日,Adobe Max 大會剛剛結束,Photoshop 2021版便登上了國外各大媒體版面。

其原因是,新版Ps工具中內建了AI驅動工具,諸如“天空置換”等高難度修圖問題,現在點點滑鼠就可以輕鬆實現,而且效果遠超手動操作。

無論是拍人拍景或是其他,“天空”都可以說是攝像中的關鍵元素。比如,一張平平無奇的景色圖加上落日餘暉的天空色調,是不是有內味了?

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

對於短影片愛好者來說,如果也能達到如此處理效果豈不是更佳?

沒錯,今天小編就是要給大家介紹一款基於原生影片的AI處理方法,不僅可以一鍵切置換天空背景,還可以打造任意“天空之城”。

AI影片修復新玩法

這項AI處理方法來自密歇根大學的一位華人博士後的最新研究。該方法基於視覺技術可一鍵調整影片中的天空背景和天氣轉換。

比如,《星際迷航》等科幻電影中經常出現的浩瀚星空、宇宙飛船,也可以利用這項技術融入隨手拍的影片中。

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

公路片秒變科幻片,畫面毫無違和感。

影片中的藍色的天空背景也隨飛船變成了灰濛濛的色調,一種世界末日的即視感有木有?

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

當然它的玩法還不止如此。

動漫迷也可以建立自己的移動城堡。喜歡《天空之城》《哈爾的移動城堡》的朋友應該對這一幕應該非常熟悉。

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

又或者在影片中掛一個超級月亮,又是另一番景象。

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

好像只要腦洞夠大,利用這項AI技術,影片創作就有無限種玩法。

另外,它還具備天氣轉換的功能,比如晴空萬里、陰雨綿綿、雷雨交加等各種天氣都可以在影片中隨意切換。

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

喜歡玩Vlog的朋友聽著是不是非常心動了?研究人員表示,現在已經在考慮將其製作成外掛/指令碼的形式,方便相關從業者或行業使用。

在此之前,這項技術的AI程式碼已經在Github開源,懂技術的朋友可以優先安裝體驗了~

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

Github地址:https://github.com/jiupinjia/SkyAR

技術原理

不同於傳統研究,研究人員提出了一種完全基於視覺的解決方案。它的好處就是可以處理非靜態影象,同時不受拍攝裝置的限制,也不需要使用者互動,可以處理線上或離線影片。

上述實驗影片,均是透過手持智慧手機和行車記錄儀在野外拍攝的。經過該方法處理後,其在影片質量、運動動態、照明轉換方面都達到了較高的保真度。比如在浮動城堡,超級月亮樣例中,使用單個NVIDIA Titan XP GPU卡,該方法可以在輸出解析度為640 x 320時達到24 fps的實時處理速度,在854 x 480時達到接近15 fps的實時處理速度。

具體來說,該方法分為三個核心模組:

  • 天空遮罩框架(Sky Matting Network):用於檢測影片幀中天空區域的影片框架。該框架是採用了基於深度學習的預測管道,能夠產生更精確的檢測結果和更具視覺效果的天空濛版。

  • 運動估計(Motion Estimation):用於恢復天空運動的運動估計器。天空影片需要在真實攝像機的運動下進行渲染和同步。

  • 影象融合(Image Blending):用於將使用者指定的天空模板混合到影片幀中的Skybox。除此之外,還用於重置和著色,使混合結果在其顏色和動態範圍內更具視覺逼真感。

完整框架如下圖:

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

天空遮罩框架:利用深卷積神經網路(CNN)的優勢,在一個畫素級迴歸框架下對天空冰雹進行預測,該框架可以產生粗尺度和細尺度的天空濛版。天空遮罩框架由一個分段編碼器( Segmentation Encoder )、一個掩模預測解碼器(Mask Prediction Decoder)和一個軟細化模組(Soft Refinement Module)組成。其中,編碼器的目的是學習下采樣輸入影象的中間特徵表示。解碼器被用來訓練和預測粗糙的天空。最佳化模組同時接收粗糙的天空濛版和高解析度輸入,並生成一個高精度的天空濛版。

運動估計:研究人員直接估計了目標在無窮遠處的運動,並建立了一個用於影象混合的天空盒(Skybox),透過將360°天空盒模板影象混合到透視視窗來渲染虛擬天空背景。

假設天空模式的運動是由一個矩陣M2R33來模擬的。 由於天空中的物體(如雲、太陽或月亮)應該位於同一個位置,假設它們的透視變換引數是固定值,並且已經包含在天空盒背景影象中,然後使用迭代Lucas-Kanade和金字塔方法計算光學流,從而可以逐幀跟蹤一組稀疏特徵點。對於每對相鄰幀,給定兩組2D特徵點,使用基於RANSAC的魯棒模糊估計來計算具有四個自由度(僅限於平移、旋轉和均勻縮放)的最佳2D變換。

影象融合:在預測天空濛版時,輸出畫素值越高,表示畫素屬於天空背景的機率越高。在常規方法中,通常利用影象遮罩方程,將新合成的影片幀與背景進行線性組合,以作為它們的畫素級組合權重。

但由於前景色和背景色可能具有不同的色調和強度,因此直接進行上述方法可能會導致不切實際的結果。 因此,研究人員應用重新著色和重新照明技術將顏色和強度從背景轉移到前景。

實驗結果

研究人員採用了天空電視臺上的一個數據集。 該資料集基於AED20K資料集構建而成,包括多個子集,其中每個子集對應於使用不同方法建立真實的填空遮罩。

本次試驗使用“ADE20K+DE+GF”子集進行了培訓和評估,該訓練集中有9187張影象,驗證集中有885張影象。以下為基於該方法的影片天空增強效果:

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

最左邊是輸入影片的起始幀,右邊的影象序列是不同時間段下的輸出效果

天氣轉換的效果,分別為晴到多雲,晴到小雨,多雲到晴天以及多雲到多雨。

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

需要強調的是,在合成雨天影象時,研究人員透過螢幕混合在結果的頂部新增動態雨層(影片源)和霧層。 結果顯示,只需對skybox模板和重新照明因子稍作修改,就可以實現視覺逼真的天氣轉換。

與CycleGAN的比較結果。CycleGAN是一種基於條件生成對抗網路的非成對影象到影象轉換方法。在定性方面,該方法表現出更高的保真度。

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

第一行為兩個原始的輸入幀;第三行為CycleGAN結果

在定性比較上,PI和NIQE的得分值越低越好。

魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片

可以看出,該方法在定量指標和視覺質量方面都優於CycleGAN。 

更多論文詳細內容,可參見:https://arxiv.org/abs/2010.11800

相關作者

Zhengxia Zou,是該項研究的第一作者,目前是密歇根大學安娜堡分校的博士後研究員 。

他於2013年和2018年獲得北京航空航天大學的學士學位和博士學位,後加入密歇根大學,其研究興趣包括計算機視覺在遙感、自動駕駛以及影片遊戲中的相關應用。

近幾年,其發表的多篇相關論文被ACM、CVPR以及AAAI頂會收錄。

對於該項研究,Zhengxia Zou認為,除了影片領域的應用外,還有一個潛在應用空間—資料擴充。 他說,

資料集的規模和質量是計算機視覺技術的基礎,在現實場景中,即使ImageNet、MS-COCO等大規模資料集,在應用中也存在取樣偏差帶來的侷限,而該方法對於提高深度學習模型在檢測、分割、跟蹤等各種視覺任務中的泛化能力具有很大的潛力。

不過,目前研究也存在一定的侷限性,主要體現在兩個方面,

  • 一是天空遮罩網路無法檢測到夜間影片中的天空區域。

  • 二是當影片中某段時間內沒有天空畫素,或者沒有紋理時,天空背景的運動就無法精確建模。

其原因是用於運動估計的特徵點被假定為位於同一位置,並且使用距離第二遠的特徵點來估計運動會不可避免地引入誤差。

因此,在未來的工作中,研究會著重於三個方向進行最佳化:第一是自適應天空光照;第二是魯棒背景運動估計;第三是探索基於天空渲染的資料增強對目標檢測和分割的有效性。

引用連結:

https://jiupinjia.github.io/skyar/

https://www.reddit.com/r/MachineLearning/comments/jh9wej/r_this_ai_finally_lets_you_fake_dramatic_sky/

雷鋒網雷鋒網雷鋒網

版權宣告:本文源自 網路, 於,由 楠木軒 整理釋出,共 3196 字。

轉載請註明: 魔幻黑科技!華人學者推出影片修復AI,可換天造物,秒變科幻大片 - 楠木軒