IT之家6月29日消息 微軟研究院團隊 Ziyu Wan、Bo Zhang等人開發了一種新的基於AI的算法,用於通過深度學習方法恢復遭受嚴重毀壞的老舊照片。
與可以通過監督學習解決的常規還原任務不同,真實照片的毀壞很複雜,並且合成圖像和真實舊照片之間的域間隙使網絡無法運用。
IT之家獲悉,他們的新技術通過利用真實照片和大量合成圖像配對,提出了一種新穎的三重態域翻譯網絡。具體來説,他們訓練兩個變體自動編碼器(VAE)將舊照片和乾淨照片分別轉換為兩個潛在空間。並使用合成配對數據學習這兩個潛在空間之間的轉換。
由於域間隙在緊湊的潛伏空間中是封閉的,因此這種轉換可以很好地推廣到真實照片。為了解決一張舊照片中混合的多種退化問題,他們設計了一個全局分支,該分支具有針對結構化缺陷(例如劃痕和灰塵斑點)的非局部塊,以及針對非結構化缺陷(例如噪聲和模糊度)的局部分支。兩個分支融合在潛在空間中,從而提高了從多個缺陷還原舊照片的能力。提出的方法在恢復舊照片的視覺質量方面優於最先進的方法。
請參見下面的視頻中演示的技術:
遺憾的是,微軟目前尚未提供一個演示站點來試用展示該技術。