DeepFake換臉詐騙怎麼破？讓他側個身
Pine 發自 凹非寺
量子位 | 公眾號 QbitAI
DeepFake被用到了電信詐騙裏，該怎麼破？
讓他轉過頭，看看他的側臉就好了。
DeepFake一直以來都存在着這樣一個漏洞：當偽造的人臉完全側着（轉90°）時，真實性就會急劇下降。
為什麼會出現這樣的結果呢？
外網有這麼一篇文章，解析了為什麼在側臉的情況下，面部偽造的效果大打折扣。
使用DeepFake換臉，當人臉是側角度時，真實性會急劇下降。
這是因為大多數基於2D的面部對齊算法，視捕捉到側視圖的特徵點數量僅為主視圖的50%-60%。
以“Joint Multi-view Face Alignment in the Wild”中的Multi-view Hourglass面部對齊模型為例。
通過從面部識別特徵點，以此為學習數據來訓練模型。
從圖中可以看出，正面對齊時識別到68個特徵點數量，而在側面對齊時，僅僅識別到39個特徵點數量。
側面輪廓視圖隱藏了50%特徵點，這不僅會妨礙識別，還會干擾訓練的準確性以及後續人臉的合成。
DeepFake專家Siwei Lyu博士表示：
對於當前的DeepFake技術來説，側臉確實是一個大問題。面部對齊網絡（facial alignment network）對於正面效果非常好，但對於側面效果不太好。
這些算法有一個基本的限制：如果你只覆蓋你的臉的一部分，對齊機制就可以很好地工作，並且在這種情況下非常強大，但是當你轉身時，超過一半的特徵點丟失了。
換臉要達到比較逼真的效果，還得經過大量的訓練，這意味着需要有足夠的訓練數據。
外網就有人通過訓練大量的數據，將傑瑞·宋飛人臉替換到到《低俗小説》(1994) 中的場景中。
獲得的側臉圖像也很難看出破綻：
但是達到如此逼真的效果，是經過了大量數據的訓練，在上述這個例子中，電視節目“Seinfeld”就為此次訓練提供了長達66個小時的可用鏡頭。
而相比之下，除了電影演員之外，普通人的影像資料都少之又少，並且在平時拍照記錄時，很少有人會記錄完全呈90°的側臉照。
因此，通過DeepFake偽造的人臉很輕易就在側臉時露出破綻。
也有網友在Hacker News上調侃道：
最近去一家不知名的銀行辦了張卡，竟然需要我的側身照，當時我還很疑惑，現在我終於知道為什麼了。
視頻通話時判斷對方是不是DeepFake偽造的，除了通過側臉判斷，還有一個小方法：用手在面前晃動。
如果是偽造的人臉，手與臉部圖像的疊加可能會出現錯亂，並且手在晃動過程中會出現延遲現象。
△在換臉寡姐和X教授時，手和麪部疊加發生錯亂
實時的DeepFake都會面臨這樣一個問題：需要將真實的遮擋物疊加到不真實的面部圖像上，一般稱這個操作為“遮罩”或“背景去除”。
並且，實時DeepFake模型需要能夠根據要求隨意執行摳圖，達到可令人信服的水平。
但往往也會有很多混淆的遮擋物來影響“摳圖”的過程，比如説具有人臉特徵的遮擋物會給模型造成“困擾”，使其“摳圖”過程很難進行。
用手在偽造的臉前晃動，遮擋物的快速移動會給“摳圖”帶來很大的困難，從而造成很大的延遲，並且會影響疊加的質量。
One More Thing換臉犯罪並不遙遠，已經有媒體報道過有嫌疑犯通過DeepFake換臉進行IT工作的遠程面試，以試圖侵入公司，獲取他們的客户或財務數據，以及企業IT數據和專業信息等。
美國聯邦調查局（FBI）曾致函其互聯網犯罪投訴中心，稱收到過多起投訴，有人利用竊取的信息和深度偽造的視頻、語音申請遠程技術工作。
在聯邦機構5月份報告中描述的案例中，一些換臉嫌疑人通過幾層空殼公司進行操作，這使得識別他們的身份變得更加困難。
參考鏈接：[1]https://metaphysic.ai/to-uncover-a-DeepFake-video-call-ask-the-caller-to-turn-sideways/[2]https://news.ycombinator.com/item?id=32384653[3]https://arxiv.org/pdf/1708.06023.pdf[4]https://gizmodo.com/deepfakes-remote-work-job-applications-fbi-1849118604
— 完 —
量子位 QbitAI · 頭條號簽約