馬斯克又被玩壞了，這個「變臉」AI比StyleGAN還溜

給人像「P」上濃密的鬍鬚，需要多久？

這個AI只需要一秒，而且效果逼真，看不出一點破綻。

最近，一則馬斯克的惡搞視頻在YouTube上火了。

一位油管博主用AI【P】出了多個版本的馬斯克，重點是效果驚人。比如，這個中年光頭版。

恐怕連馬斯克本人見了都會相信吧？

還有長髮飄飄的馬斯克。不得不説，女版馬斯克也散發着一股女強人的氣質。

這個AI是來自Adobe Research和阿卜杜拉國王科技大學（KAUST）的一項最新研發成果—StyleFlow算法。

它非常更擅長在合成圖像或真實圖像的基礎上重新編輯面部屬性。除了上述馬斯克的面部毛髮、年齡、性別處理外，它還可以改變拍照角度、光照、人物表情等等。

值得一提的是，StyleFlow不僅可以用於人像處理，也可以修改汽車等其他圖像屬性。

比如這款【特斯拉】圖像可以一秒切換車身顏色。

接下來，我們來看看這個硬核AI是如何做到的？

提到Style系列不免讓人想到StyleGAN，經常關注雷鋒網的小夥伴可能會了解，StyleGAN是GAN的變種，它通過生成器和鑑別器的相互battle，也可以達到令人驚歎的面部合成效果。

而StyleFlow可以説是StyleGAN圖像合成的進階版。

研究人員在論文中稱，GANs（如StyleGAN）在保證高質量輸出的條件下，使用（語義）屬性控制生成過程的選項有限。同時，由於GAN潛在空間的糾纏性質，沿着一個屬性執行編輯很容易導致沿着其他屬性的改變。

因此，他們提出了基於屬性條件採樣（Attribute-Conditioned Sampling）和屬性控制編輯（Attribute-Controlled editing）的StyleFlow。

其中，屬性條件採樣，是對具有目標屬性的高質量真實圖像進行採樣；屬性控制編輯，是指編輯給定圖像，並使其具有目標屬性，同時最好地保留源圖像的特性。

以下為StyleFlow實現兩種任務的完整框架：

z表示先驗分佈變量，w表示StyleGAN的中間權重向量。

從源圖像開始，通過使用反向推理和一系列CNF（Continuous Normalizing Flow）功能模塊的正向推理來支持屬性條件編輯。

另外，需要注意的是，反向推理和正向推理是由ODE解算器通過計算時間變量上的CNF函數來解決的。

CNF（連續歸一流）功能塊可以作為神經網絡塊來實現。其中，以屬性向量at為條件的學習函數，既可以可用於正向推理，也可以用於反向推理。

基於以上原理，研究人員通過使用StyleFlow對給定圖像進行了屬性條件採樣。論文中展示了固定目標姿勢下戴眼鏡女性的圖像（上）；面部有毛髮的50歲男性圖像（中）；固定姿勢下5歲男孩的微笑圖像（下）三類屬性的抽樣結果。

可以注意到採樣的質量非常高，未編輯的屬性在很大程度上保持不變，它驗證了網絡能夠學習底層的語義表示，並進一步用於對圖像進行語義編輯。

接下來，研究人員使用StyleGAN生成的人臉和汽車的潛在空間對StyleFlow進行了評估，並展示了對各類屬性進行細粒度分離編輯的結果。

他們採用了兩個評估數據集FFHQ和LSUN Car。前者是1024×1024高分辨率人臉圖像數據集，由70000張圖像組成，這些圖像在種族、年齡和配件方面都是不同的。LSUN-Car是一個512×384分辨率的汽車圖像數據集，由16185幅圖像組成，這些圖像在汽車姿態、顏色和類型方面有很大的差別。

在定性比較上，StyleFlow對人像角度、光照、表情、性別和年齡的處理，與現有Image2StyleGAN 、InterfaceGAN 、GANSpace 方法相比均表現出了一定的優越性。

在定量比較上也同樣如此。下圖展示了StyleFlow與其他方法在人臉分類器（Geitgey 2020）評估下得出的SOTA結果。StyleFlow在燈光、姿勢、表情等屬性上基本達到了最高值。

以下是在循環編輯一致性方面，StyleFlow的編輯方法在不同排列下基本保持一致（各個屬性中使用了平均誤差）。

更多詳細內容可參見論文：https://arxiv.org/pdf/2008.02401.pdf 

引用鏈接：

https://rameenabdal.github.io/StyleFlow/

https://github.com/RameenAbdal/StyleFlow

https://www.youtube.com/watch?v=LRAUJUn3EqQ&feature=youtu.be 

雷鋒網雷鋒網雷鋒網