最近,如果你經常刷影片網站,可能會刷到一些非常神奇卻又帶感的東西,具體來說就是各種人物,例如孫悟空啊、蒙娜麗莎啊,居然都開口唱歌,就像下面的影片:
這影片自然不可能是原片,顯然是加工生成的。那麼這種影片是怎麼做出來的呢?
其實它用到了一個開源的AI專案“Yanderify”。這是一個可以將影片和照片合成、讓照片按照影片人臉一樣,表情動起來的神奇專案,就如Yanderify專案頁面中的這個動圖所演示的那樣。
從左到右,分別是照片原圖、影片原片以及合成生成的影片。那麼Yanderify具體要怎麼操作?今天就來給大家講講!
首先,Yanderify是基於Python的專案,我們先需要安裝Python。點選下面連結進入Python官網,下載安裝即可。
Python官網:https://www.python.org
如果你的作業系統是64位的,那麼最好下載64位的Python。以Windows系統為例,Python官網的下載按鈕預設可能會提供32位的安裝包,這時候你可以進入到Download-Windows頁面中,找到64位的安裝包下載。
接著,進入Yanderify的GitHub頁面。
Yanderify:https://github.com/dunnousername/yanderifier
在其中找到“Release”鏈點,下載最新發布的Zip包即可。
Yanderify無需安裝即可執行,解壓後,雙擊“Start Yanderify”。
執行“Start Yanderify”
Yanderify的介面非常簡單,一個命令列視窗+一個毫無裝飾的GUI。我們所需要做的,就是選擇一張圖片素材和一段影片素材,然後設定輸出路徑。另外,Yanderify對硬體有一些要求。
Yanderify支援N卡的GPU加速,但要求型號高於GTX750,而且有2G以上的視訊記憶體;而如果你用的是A卡的話,Yanderify沒法使用GPU加速,需要勾選“Use CPU”的選項。
Yanderify的介面
選擇一個影片、一張照片作為素材
在素材的選擇上,注意不能選擇規格太過高畫質的圖片和影片,不然可能軟體會崩潰。
點選“Go”,Yanderify就開始合成素材了。不過如果你是第一次使用Yanderify,那麼它還會先下載兩個檔案。這兩個檔案的下載速度比較慢,這裡把這兩個檔案的下載地址貼出來,大家可以用下載工具下載。
首次使用需要下載倆檔案,比較慢
https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth
https://www.adrianbulat.com/downloads/python-fan/2DFAN4-11f355bf06.pth.tar
下載完畢後,關閉Yanderify,把兩個檔案放到以下目錄。
C:/Users/使用者名稱/.torch/models
可以手動下載這兩個檔案,放到相應資料夾
然後開啟Yanderify,就可以正常使用了。
合成中……
到了這裡,合成就完成了
Yanderify的效果如何?筆者簡單合成了一個小影片,僅供大家參考……
原圖&合成
好了,教程到此為止。這個AI的原理是利用機器學習,來識別影片和影象的臉部運動,然後將圖片按照影片,處理成為動畫。
如果你覺得好玩,不妨親手試試吧,惡搞一下朋友還是很有趣的,但可不要用它來傳播虛假資訊!