AI説白了就是一種通過機器代替人力的技術,離我們最近並且常用到的應該是美圖這類軟件吧。眾所周知,在美顏相機、美圖秀秀等軟件誕生之前,照片的美化需要專業美工設計師通過PS進行調整。現在與以往不同,很多美圖App都加入了“一鍵AI修圖”功能,省去了傳統PS修圖複雜的操作流程。
隨着5G時代的到來,推動了AI技術的進一步發展,近些年網上出現了“AI換臉”的技術,令人目瞪口呆。AI能夠直接捕捉一個人的面部動作形態,再換算到另一個人的臉上,這樣一來,即使在直播,也可以在視頻中達到以假亂真的地步。
這不是最厲害的,近日有網友利用AI技術開發了一款“一鍵去除馬賽克”的軟件,發佈沒多久,這款軟件便迅速躥紅網絡。如此神奇的技術,它到底是怎麼實現的呢?
反馬賽克技術解析
在科普這種技術之前,我們先要搞清楚馬賽克這個概念。早期的馬賽克指的是古希臘的拼貼鑲嵌工藝,現在指將影像特定區域的色階細節劣化並造成色塊打亂的效果,讓人看不清具體的畫面。
馬賽克就像一把雙刃劍,對於那些需要用到馬賽克的影片來説,它通過模糊或遮擋敏感信息,不僅能夠保護個人隱私,還可以去除某些暴力、恐怖等不適畫面。而對於觀影者來説,可能就不那麼友好了,這就好比手機上的劉海屏一樣,一部分內容被遮住的感覺實屬難受。
目前,比較火的反馬賽克軟件有兩款,分別是JavPlayer和PULSE。
JavPlayer利用深度學習的視頻超分變率算法,針對視頻中的每一幀圖進行採樣,然後通過AI算法還原馬賽克的像素點。可能會有小夥伴表示疑惑,那還原後的圖像會不會是假的?
答案:不是。因為這款軟件還原圖像是通過大量CPU和GPU的AI運算,把馬賽克模糊再鋭化,然後插值補償損失得到的源圖像。不過,需要注意的是,JavPlayer只能修復薄碼視頻,這也就意味着馬賽克格子比較大,丟失的像素相對較少,這樣插值補償出來圖像誤差也會較小。
杜克大學去馬賽克的方法有所不同,他們開發了一種名為PULSE的算法,雖然也是用的視頻超分辨率算法,可以將低分辨率圖像變高清,但它填補的不是像素,而是先生成高清大圖,然後降低圖片分辨率與原始圖進行對比,從中找出匹配度最高的圖像。
只需幾秒鐘,PULSE算法便可將一張16×16像素的低分辨率圖像提升到1024×1024級別,效果確實很好。只不過還原後的圖像與原圖誤差很大,比如下面這張打了馬賽克的奧巴馬,使用PULSE算法後卻變成了一個白人。
簡單點來講,PULSE算法就是通過AI算法合成一張與原圖匹配度最高的照片,而非在原圖之上進行修復還原,這點還是與JavPlayer有很大區別的。
反馬賽克技術的多領域運用
當然,反馬賽克技術不僅限於修復圖片或視頻,其他領域也得到了廣泛的運用。
為了在光線追蹤技術中提升高質量圖像的輸出速度,也需要對圖像做降噪處理,英偉達在這方面就做得很好。此前,英偉達與麻省理工學院,以及阿爾託大學的人工智能研究人員一起創建了名為Noise2Noise的項目。
該項目團隊從mageNet數據庫中獲取500000張圖像,對它們做增噪處理。然後利用這些圖像做降噪處理,以此來訓練AI的降噪能力。
Noise2Noise在醫療領域非常適用,例如對核磁共振圖像掃描,它能夠用於圖像的降噪,方便醫生查看更清晰的圖像。
另外,英偉達的DLSS 2.0技術與Noise2Noise類似,都可以利用AI對圖像進行修復。加入了DLSS 2.0技術後,顯卡便可以將1080P的畫面模擬到4K顯示。
除英偉達外,Adobe在反馬賽克技術上也頗有研究。
去年6月,Adobe正式宣佈了PS反向還原技術,利用AI算法和機器學習,可判斷出圖片是否被修改過,確認圖像變化後,該技術會將圖像還原到修改前的模樣。也就是説,哪怕圖像打了馬賽克,也可以把它還原回來。
其實,去馬賽克就是一種圖像增強技術。這就好比vivo X50系列配備的超清修復功能,可以將老照片修復,同時在vivo相冊中實現文檔去影和照片去路人功能。
總結
就目前來看,市面上沒有任何一種可以完全有效去除馬賽克的技術。現階段的技術都是通過AI在數據庫中模擬比對相似的圖像,雖然有些技術是在原圖基礎之上進行修復,但實質上那並不是原圖,AI能做到的只是無限接近,修復後的圖像並不能與原圖劃等號。
總的來説,打了馬賽克的圖像,你可以將它理解為刪除了圖像的子像素。一旦子像素丟失,即便是AI也無法計算出它的原樣。因此,沒有哪款工具可以做到真正意義上的去馬賽克。
不過,有一説一,除了網友開發的反馬賽克工具外,其實很少有科技公司關心AI技術是否真的能夠去碼,它們的最終目的是讓低分辨率的圖像變高清,反馬賽克只不過是順帶完成的任務罷了。