AI 換臉的核心技術是什麼？除視頻換臉 App 外還有哪些其它應用場景？
AI 換臉一度熱潮，圖片換臉始終不火，最近陸續出現兩款 AI 視頻換臉 App，內測體驗了一下方向很有趣，他們的技術或者其他方面對未來發展有什麼區別呢？
你能想像交換了臉的蒙娜麗莎和奧黛麗·赫本嗎？
這種魔幻的效果是如何實現的呢？
我們邀請到微軟亞洲研究院視覺計算組的高級研究員「陳棟」為大家從技術層面分析一下AI換臉。
換臉在科研領域實際上是一個很早就被研究的問題，其本身的定義是將輸入人臉換到目標人臉中，並使輸出人臉保持目標人臉的表情、角度、背景等屬性。如圖1所示，輸入人臉圖片是著名影星赫本，目標人臉圖片是蒙娜麗莎，輸出結果是一張將原蒙娜麗莎圖片中的身份換成赫本的照片。
換臉看起來簡單，實際上的技術難點比較多，下面將逐一介紹：
1. 輸出人臉的身份是否與輸入人臉的身份一致。這實際上是決定一個換臉成功最為關鍵的因素之一。對於輸入人臉的提供者而言，換臉的趣味性就在於將自己的人臉換入目標圖片中，這樣會讓自己有代入感。
2. 輸出人臉的表情、角度、背景等屬性是否與目標人臉一致。這其實也是一個非常具有挑戰性的問題，如果我們仔細觀看AI換臉的視頻，會發現它合成的人臉並沒有表現得和目標視頻中人臉的表情、雙眸方向、嘴型等細節一樣生動。
3. 圖像合成質量。圖片合成質量是指合成圖片的清晰度、真實性、是否存在人工合成的痕跡（artifacts）。一張合成質量高的圖片應該可以騙過人的眼睛，讓人覺察不到它是合成的。
4. 輸出視頻時間連續性。輸出視頻時間連續性是指在用合成圖片製作成視頻後，視頻抖動越少，連續性越好。但是現在視頻中的換臉技術基本上採用的是將視頻中的每一幀換臉，然後再組合在一起，由於沒有幀間連續性的保證，輸出視頻會出現一些幀間抖動的問題。
5. 可拓展性。拓展性好的演算法可以將任意輸入人臉圖片的身份換入目標人臉圖片中。而現有的一些演算法需要針對輸入人臉和目標圖片進行訓練纔可以進行換臉。
6. 處理遮擋、大角度等極端情況的目標人臉的能力。在換臉過程中，目標人臉可能會出現遮擋或者大角度的側臉，這樣輸出人臉應該也是含有遮擋或者是大角度的，這其實對生成模型的挑戰非常大。
下面結合這些技術難點介紹一下最近的一些換臉的相關工作：
首先要介紹的是DeepFakes。DeepFakes是一種隨著深度學習大火的面部替換演算法。在訓練階段，它需要人A和B的多個面部圖像。它分別為人A和B訓練兩個自動編碼器網路。兩個編碼器網路共享權重，兩個解碼器使用不同的權重。當訓練過程完成時，我們可以將從人A產生的潛在特徵傳遞給解碼器B。解碼器B將嘗試從關於人A的信息生成人B的面部圖像，這樣就完成了換臉這個任務。
DeepFakes在輸入身份和被換身份的圖片足夠多同時足夠多樣的情況下保身份和保屬性的能力不錯，生成圖片質量也還可以。但是當輸入身份和被換身份圖片不夠的時候，保身份和保屬性的能力均會有所下降，同時生成圖片的質量也會下降。DeepFakes這個項目中設計了一些針對有遮擋、大角度的臉的處理方法，所以有不錯的處理遮擋、大角度等極端情況的目標人臉的能力。另外，由於DeepFakes沒有針對視頻連續性設計演算法，所以其合成的視頻的連續性可能會有一些問題。DeepFakes最大的缺點就是可拓展性差，DeepFakes只能對訓練中已經「見過」的人臉進行合成，不具備外插能力。這也成了限制DeepFakes演算法商用的重要原因。
另外，我們自己在CVPR 2018上的工作「Towards Open-Set Identity Preserving Face Synthesis」也可以完成換臉這個任務。如圖2所示，我們提出了一個基於GAN的框架，其中，I網路用來提取圖片的身份信息，A網路用來提取網路的屬性信息（如角度、表情、背景等），G通過提取的信息生成一張新的圖片，C網路用來保證生成的圖片和輸入圖片的身份信息一致，D網路用來保證生成的圖片是一張真實的圖片。這樣我們可以將輸入人臉x^s的身份換入x^a中。
通過在MS-Celeb-1M上的訓練，我們的模型能夠在開放數據集上生成保持身份信息的圖片。在開放數據集上得到的結果如下圖所示：
圖中，(a)是提供身份信息的圖片，(b)是提供屬性信息的圖片，(c)是模型生成的結果，同一行的圖片具有相同的身份信息，同一列的圖片具有相同的屬性信息。從生成圖片中可以看到，我們的模型既保持了與(a)相同的身份信息，又保持了與(b)相同的屬性信息。
這項工作在保身份和保屬性上有不錯的表現，同時可拓展性很好，可以實現對任意輸入人臉的換臉。再者由於GAN的存在，合成圖片的質量也算不錯，但是由於沒有針對合成視頻連續性進行專門優化，所以在合成視頻時也會存在一些問題。另外這種基於GAN的方法在碰到遮擋和大角度時合成的圖片質量會存在問題。當然這些可以使用DeepFakes項目中的一些技巧進行處理。
參考文獻
[1] Bao J, Chen D, Wen F, et al. Towards open-set identity preserving face synthesis[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 6713-6722.
https://arxiv.org/pdf/1803.11182.pdf?arxiv.org[2] Deepfakes_faceswap project: https://github.com/deepfakes/faceswap
本賬號為微軟亞洲研究院的官方知乎賬號。本賬號立足於計算機領域，特別是人工智慧相關的前沿研究，旨在為人工智慧的相關研究提供範例，從專業的角度促進公眾對人工智慧的理解，並為研究人員提供討論和參與的開放平臺，從而共建計算機領域的未來。
微軟亞洲研究院的每一位專家都是我們的智囊團，你在這個賬號可以閱讀到來自計算機科學領域各個不同方向的專家們的見解。請大家不要吝惜手裡的「邀請」，讓我們在分享中共同進步。
也歡迎大家關注我們的微博和微信 (ID:MSRAsia) 賬號，瞭解更多我們的研究。
發佈於 2019-09-19繼續瀏覽內容
知乎發現更大的世界打開
Chrome繼續
費特楊Federated Learning 研究員，AI從業者
謝邀，核心是利用機器學習來替換視頻中的面部。
簡單介紹下原理，我們將原視頻中的人物面部信息簡稱為FaceA，將要被替換人物的面部信息簡稱為FaceB，主要步驟為：
【人臉偵測和識別】首先讓機器通過含有FaceA的視頻定位並識別到其中的人臉特徵值，通過深度學習將FaceA還原到正面、平行均勻光照、標準亮度的場景下。接下來對含FaceB的視頻進行相同操作，將FaceB也還原到正面、平行均勻光照、標準亮度的場景下。
【確定變換矩陣】接下來對原視頻的人臉信息進行定位與偵測，並進行特徵提取（以下簡稱FeatureA），然後用FeatureA與FaceA對比，找出FaceA轉換到FeatureA的所需扭曲、光照等變換的矩陣（以下簡稱TransferA）。
【人臉替換】對FaceB進行基於TransferA的變換，也就是把FaceB還原到原視頻的拍攝角度及光源場景下，形成新的人臉信息FeatureB,使用FeatureB對FeatureA進行替換。
接下來，重複以上操作在每一幀的信息上，直到視頻結束即可。
可以看到，目前實時換臉的技術，還只能用在人正面面向鏡頭且不劇烈運動的場景，因為如果TransferA非常複雜,對其進行計算的時間要求較高，基本無法達到實時換臉的效果。具體技術我在另一個問答裏也有講到：
如何看待 AI 換臉軟體「ZAO」的爆火？?www.zhihu.com
其實相關技術不算稀奇，美圖秀秀、PS等軟體，大家都應該接觸良久了。像美圖秀秀這些軟體這兩年多的「一鍵美化面孔」就有點運用到圖像處理技術，不過侷限在靜態圖片。
大概17年底吧，R站上冒出來一段知名女星的18禁視頻，但事實上視頻主角從來沒拍攝過這類影片（你們的蓋爾·加朵也是受害人之一，視頻點贊甚至破了100k），這就是動態視頻人臉識別及替換出道之作了，由「Deepfakes」網友選送。後來，R站承受不住投訴和輿論壓力，直接封殺了Deepfakes賬號，這下捅馬蜂窩了，Deeepfakes直接就在Github開源了AI換臉項目代碼，這門技術進而「發揚光大」。
初步看了下Github，類Deepfaks（比如Faceswap, DeepFacelab等等）的開源項目數量不下十幾個，其中Faceswap項目在Github上的更新與討論十分熱烈,26K的Stra數。
deepfakes/faceswap?github.com
前幾年還和朋友討論過，視頻偽造的技術難度很大，是個很難完成的任務,不過隨著這些年AI技術的發展，AI換臉甚至AI換一切的技術都必然出現。也因此，我們可能在上傳自己正面照片的時候都要注意了，從隱私條款到水印加持，需要對自己的隱私保護產生意識。畢竟，這種證件照對於類Deepfakes是非常好的訓練素材,可以隨時被不法份子利用。只有技術才能對抗技術，我們都知道聯邦學習能夠實現數據不出本地，或許後邊能為濫用的AI技術起到一定的防範作用。這也是我研究聯邦學習的原因之一。
另外，目前這類換臉技術雖然限制條件還比較多，但隨著發展，對金融業普遍採用的諸如：視頻信息採集留證、人臉身份識別等風控手段是極大的挑戰，再預言下，監管機構後面會出臺相應文件，對於需要留證的視頻材料強制進行簽名、加密等防篡改保護。
以上，有用記得點個贊同。
謝邀，核心是利用機器學習來替換視頻中的面部。
簡單介紹下原理，我們將原視頻中的人物面部信息簡稱為FaceA，將要被替換人物的面部信息簡稱為FaceB，主要步驟為：
【人臉偵測和識別】首先讓機器通過含有FaceA的視頻定位並識別到其中的人臉特徵值，通過深度學習將FaceA還原到正面、平行均勻光照、標準亮度的場景下。接下來對含FaceB的視頻進行相同操作，將FaceB也還原到正面、平行均勻光照、標準亮度的場景下。
【確定變換矩陣】接下來對原視頻的人臉信息進行定位與偵測，並進行特徵提取（以下簡稱FeatureA），然後用FeatureA與FaceA對比，找出FaceA轉換到FeatureA的所需扭曲、光照等變換的矩陣（以下簡稱TransferA）。
【人臉替換】對FaceB進行基於TransferA的變換，也就是把FaceB還原到原視頻的拍攝角度及光源場景下，形成新的人臉信息FeatureB,使用FeatureB對FeatureA進行替換。
接下來，重複以上操作在每一幀的信息上，直到視頻結束即可。
可以看到，目前實時換臉的技術，還只能用在人正面面向鏡頭且不劇烈運動的場景，因為如果TransferA非常複雜,對其進行計算的時間要求較高，基本無法達到實時換臉的效果。具體技術我在另一個問答裏也有講到：
如何看待 AI 換臉軟體「ZAO」的爆火？?www.zhihu.com其實相關技術不算稀奇，美圖秀秀、PS等軟體，大家都應該接觸良久了。像美圖秀秀這些軟體這兩年多的「一鍵美化面孔」就有點運用到圖像處理技術，不過侷限在靜態圖片。
大概17年底吧，R站上冒出來一段知名女星的18禁視頻，但事實上視頻主角從來沒拍攝過這類影片（你們的蓋爾·加朵也是受害人之一，視頻點贊甚至破了100k），這就是動態視頻人臉識別及替換出道之作了，由「Deepfakes」網友選送。後來，R站承受不住投訴和輿論壓力，直接封殺了Deepfakes賬號，這下捅馬蜂窩了，Deeepfakes直接就在Github開源了AI換臉項目代碼，這門技術進而「發揚光大」。
初步看了下Github，類Deepfaks（比如Faceswap, DeepFacelab等等）的開源項目數量不下十幾個，其中Faceswap項目在Github上的更新與討論十分熱烈,26K的Stra數。
deepfakes/faceswap?github.com前幾年還和朋友討論過，視頻偽造的技術難度很大，是個很難完成的任務,不過隨著這些年AI技術的發展，AI換臉甚至AI換一切的技術都必然出現。也因此，我們可能在上傳自己正面照片的時候都要注意了，從隱私條款到水印加持，需要對自己的隱私保護產生意識。畢竟，這種證件照對於類Deepfakes是非常好的訓練素材,可以隨時被不法份子利用。只有技術才能對抗技術，我們都知道聯邦學習能夠實現數據不出本地，或許後邊能為濫用的AI技術起到一定的防範作用。這也是我研究聯邦學習的原因之一。
另外，目前這類換臉技術雖然限制條件還比較多，但隨著發展，對金融業普遍採用的諸如：視頻信息採集留證、人臉身份識別等風控手段是極大的挑戰，再預言下，監管機構後面會出臺相應文件，對於需要留證的視頻材料強制進行簽名、加密等防篡改保護。
以上，有用記得點個贊同。
謝邀
核心技術 是從開源演算法演變而來，詳細可參見另一個回答 。
ZAO app背後的演算法模型是怎樣的??www.zhihu.com
還可以作為 創作素材，圖片轉動圖 等多種用途
找到素材
摳圖
超解析度 加alignment
希望換臉的照片
轉換到同一姿態
換
將廣泛用於各大衛視娛樂節目以及影視行業。
比如：
吳秀波下次再出事，北京衛視的後期就不用大過年的加班了。
試了一下，特別好玩，毫無違和感，看好！不過要注意法律風險。
這是我
看到熱門的zao於是兩個app都下載體驗，雖然都是換臉明星，但是用的技術還是很大區別，顏技深度學習圖像處理，加上在伺服器端處理，時間上會有所損耗，但是2d的處理融合效果會好一些，而zao的則是類似3d的技術將圖片轉化，模型放在手機端處理，速度快，就是需要高配的手機系統才能玩。
方向上感覺兩家也大有不同，zao是陌陌的，肯定朝著相同的社交模式去走，顏技的話感覺像是在做影視類的短視頻，和抖音快手的方向更接近，調性不同還是有差異化可以走。
有一些經典的思路可以供參考
言有三：【每週CV論文推薦】換臉演算法都有哪些經典的思路？?zhuanlan.zhihu.com
人臉偽造/換臉演算法目前在一定程度上已經達到了以假亂真的效果，這個課題的研究也是由來已久，本次我們來介紹其中的幾種重要思路。
作者編輯 | 言有三
1 基於3D模型和光流的方法
早期的換臉演算法其實不是我們這裡要說的換臉演算法，而應該稱之為面部表情遷移演算法，其中基於多張圖像/視頻序列的方法非常流行，以華盛頓大學的Suwajanakorn等人的研究為代表，主要是基於3D模型和稠密光流變換，我們公眾號4年前有過簡單的解讀，可以參考三維人臉重建入門。
文章引用量：40+
推薦指數：?????
[1] Suwajanakorn S, Seitz S M, Kemelmacher-Shlizerman I. What makes tom hanks look like tom hanks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 3952-3960.
[2] Thies J, Zollhofer M, Stamminger M, et al. Face2face: Real-time face capture and reenactment of rgb videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2387-2395.
2 基於形狀擬合的演算法
基於形狀擬合的方法是最直觀的換臉演算法，即檢測到的關鍵點然後計算兩個人臉形狀之間的變形，再添加圖像融合等後處理技術，目前在天天P圖等應用中的換臉演算法如此。
[3] https://github.com/hrastnik/FaceSwap
3 基於風格遷移的演算法
換臉演算法保留了被換臉的表情，姿態，形狀，同時使用了新臉的紋理，要實現的就是紋理的遷移，這可以使用已經較為成熟的風格遷移演算法。
文章引用量：60+
推薦指數：?????
[4] Korshunova I, Shi W, Dambre J, et al. Fast face-swap using convolutional neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3677-3685.
4 基於圖像翻譯的演算法
換臉演算法是一個人臉到人臉的圖像翻譯問題，所以Pix2Pix，CycleGAN等模型自然可以直接被應用，在添加了人臉掩膜，姿態，光照等信息的監督下可以獲得非常逼真的換臉結果。
推薦指數：?????
[5] Jin X, Qi Y, Wu S. Cyclegan face-off[J]. arXiv preprint arXiv:1712.03451, 2017.
5 基於自編解碼模型的演算法
GAN等生成模型已經被廣泛應用於人臉的編輯，我們在上期文章中給大家做過不少的相關介紹，可以參考【雜談】GAN對人臉圖像演算法產生了哪些影響？。
當前最流行的Deepfakes就是在使用同樣的編碼器的約束下，分別訓練A圖像和B圖像的編解碼器。使用時將A的特徵輸入解碼器B從而實現換臉，感興趣的可以參考開源代碼[7]進行嘗試。
推薦指數：?????
[6] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.
[7] https://github.com/deepfakes/faceswap
6 如何獲取文章與交流
找到有三AI開源項目即可獲取。
https://github.com/longpeng2008/yousan.ai
文章細節眾多，相關的人臉數據集在以及論文閱讀交流在有三AI知識星球中進行，感興趣可以加入。
https://t.zsxq.com/f6EmIYR (二維碼自動識別)
總結
本次我們簡單介紹了換臉的幾種思路，隨著條件GAN等生成式模型的發展，編輯後的人臉精度越來越高，技術雖好，不要使壞噢。
本質是基於視頻圖像的人臉融合演算法模型
參考GitHub上的開源模型：DeepFaceLab
最大的應用場景就是通過科技手段幫助某些流量明星提升演技…
以後看偶像劇第一步就是把女主臉換成自己，男主換成最喜歡的明星
想想就很快落
別的不知道，我已經被我同事換臉的效果驚呆了！
現在這個產品在出現24h之內的情況下，伺服器在線製作換臉視頻的排隊已經達到了兩萬個。
這個軟體絕對是未來一段時間內的現象級產品！
你和明星的差距只是一個機會系列PS：視頻上傳已獲得同事小哥的同意，嚴禁轉載！違者必究！
我覺得可以用在服裝行業。
比如，在線虛擬試衣服軟體，不用親自試穿，直接選擇衣服。
我不知道，我只知道，這個軟體讓我認不清自己是好看還是不好看了
有時候感覺很驚艷，下一瞬間我又被自己丑哭
好像逐漸能找到自己適合的妝發和表情
費雯麗，對不起赫本，對不起海瑟薇，對不起對不起！
以後流量明星就可以請有演技的替身演戲然後換臉了，可以騰出更多時間圈錢。
很奇怪，反正我的臉放上去像個小孩子一樣 。國外的還好，古裝視頻簡直emmmm
推薦閱讀：
