Adobe把GAN搞成了縫合怪，憑空P出1024解析度全身人像 | CVPR 2022

換臉見多了，換身材的見過嗎？

給定一張臉，就能自動換一個下半身，服飾、身材、膚色都毫無PS痕跡：

核心技術當然還是我們熟悉的GAN，但不同的是，現在身體的每個部分都能被PS了。

從臉，膚色、服飾、頭髮等身體各個部位，甚至到肢體動作，都能被隨意設計和組合，最終“縫”成一張1024 × 1024解析度的全身照片：

而且這張“縫合怪”還完全沒有拼接行為帶來的陰影和邊界：

怎麼做到的？把用於生成人體不同部位的GAN“拼”起來。

這就是Adobe團隊最新提出的一種結合多個預訓練的GAN進行影象生成的新方法，論文目前已被CVPR 2022接收：

接下來就一起來看看他們到底是如何實現的。

用PS的方式GAN出個人體

如我們開頭所說，這是一種將多個GAN拼接起來使用的方法，研究團隊將其稱之為InsetGAN。

共分為兩類GAN：

• 全身GAN（Full-Body GAN），基於中等質量的資料進行訓練並生成一個人體。
• 部分GAN，其中包含了多個針對臉部、手、腳等特定部位進行訓練的GAN。

這兩類GAN的合作方式類似於PS：全身GAN是一張已經有打底線稿的畫布，而部分GAN則是一張一張疊在上面的圖層。

但不同邊界的“圖層”在疊到畫布上時，一定會有出現對齊問題。

比如，將一張臉新增到身體上時，在膚色的一致性、衣服邊界和頭髮披散的自然性上可能出現細節的扭曲和丟失，或出現偽影（Artifacts）：

如何才能更好地協調多個GAN，讓它們產生一致的畫素呢？

研究團隊設計了這樣一種架構：

他們首先引入了一個邊界框檢測器，檢測部分GAN生成的特定區域在底層畫布，也就是全身GAN生成的區域中的位置，經過裁剪後再將特定區域嵌入。

這一過程相當於找到了兩個區域之間的一種隨機潛碼（latent code），使得所選區域的邊界能夠和嵌入區域相匹配，以實現無縫合成。

同時，他們還會對這兩個區域進行下采樣（Downsample），再次增加影象畫素內容的一致性。

基於這種方法，InsetGAN可以在訓練後生成多張完整人像，同時膚色、頭髮和相關姿勢都能作出相應調整：

研究團隊也與之前的生成全身人像的方法CoModGAN做了比較，都是基於左側的人體進行面部的替換，顯然，InsetGAN生成的面部更加自然：

作者介紹

論文共有6位作者，5位來自Adobe研究院，還有1位來自阿卜杜拉國王科技大學（KAUST）。

其中有Adobe的首席科學家Jingwan Lu，是PS 2020中智慧肖像、皮膚平滑、著色和神經風格化等過濾器的主要演算法貢獻者，也是RealBrush筆刷合成器的開發者。

她目前領導的團隊主要致力於利用大資料和生成性AI（比如GAN）來進行視覺內容的創造。

所以，準備好足不出戶換身材了嗎？（手動狗頭）

論文地址：

https://arxiv.org/abs/2203.07293

參考連結：

[1]https://www.youtube.com/watch?v=YKFYEt5hvOo

[2]http://afruehstueck.github.io/insetgan/