AI 换脸的核心技术是什么？除视频换脸 App 外还有哪些其它应用场景？
AI 换脸一度热潮，图片换脸始终不火，最近陆续出现两款 AI 视频换脸 App，内测体验了一下方向很有趣，他们的技术或者其他方面对未来发展有什么区别呢？
你能想像交换了脸的蒙娜丽莎和奥黛丽·赫本吗？
这种魔幻的效果是如何实现的呢？
我们邀请到微软亚洲研究院视觉计算组的高级研究员「陈栋」为大家从技术层面分析一下AI换脸。
换脸在科研领域实际上是一个很早就被研究的问题，其本身的定义是将输入人脸换到目标人脸中，并使输出人脸保持目标人脸的表情、角度、背景等属性。如图1所示，输入人脸图片是著名影星赫本，目标人脸图片是蒙娜丽莎，输出结果是一张将原蒙娜丽莎图片中的身份换成赫本的照片。
换脸看起来简单，实际上的技术难点比较多，下面将逐一介绍：
1. 输出人脸的身份是否与输入人脸的身份一致。这实际上是决定一个换脸成功最为关键的因素之一。对于输入人脸的提供者而言，换脸的趣味性就在于将自己的人脸换入目标图片中，这样会让自己有代入感。
2. 输出人脸的表情、角度、背景等属性是否与目标人脸一致。这其实也是一个非常具有挑战性的问题，如果我们仔细观看AI换脸的视频，会发现它合成的人脸并没有表现得和目标视频中人脸的表情、双眸方向、嘴型等细节一样生动。
3. 图像合成质量。图片合成质量是指合成图片的清晰度、真实性、是否存在人工合成的痕迹（artifacts）。一张合成质量高的图片应该可以骗过人的眼睛，让人觉察不到它是合成的。
4. 输出视频时间连续性。输出视频时间连续性是指在用合成图片制作成视频后，视频抖动越少，连续性越好。但是现在视频中的换脸技术基本上采用的是将视频中的每一帧换脸，然后再组合在一起，由于没有帧间连续性的保证，输出视频会出现一些帧间抖动的问题。
5. 可拓展性。拓展性好的演算法可以将任意输入人脸图片的身份换入目标人脸图片中。而现有的一些演算法需要针对输入人脸和目标图片进行训练才可以进行换脸。
6. 处理遮挡、大角度等极端情况的目标人脸的能力。在换脸过程中，目标人脸可能会出现遮挡或者大角度的侧脸，这样输出人脸应该也是含有遮挡或者是大角度的，这其实对生成模型的挑战非常大。
下面结合这些技术难点介绍一下最近的一些换脸的相关工作：
首先要介绍的是DeepFakes。DeepFakes是一种随著深度学习大火的面部替换演算法。在训练阶段，它需要人A和B的多个面部图像。它分别为人A和B训练两个自动编码器网路。两个编码器网路共享权重，两个解码器使用不同的权重。当训练过程完成时，我们可以将从人A产生的潜在特征传递给解码器B。解码器B将尝试从关于人A的信息生成人B的面部图像，这样就完成了换脸这个任务。
DeepFakes在输入身份和被换身份的图片足够多同时足够多样的情况下保身份和保属性的能力不错，生成图片质量也还可以。但是当输入身份和被换身份图片不够的时候，保身份和保属性的能力均会有所下降，同时生成图片的质量也会下降。DeepFakes这个项目中设计了一些针对有遮挡、大角度的脸的处理方法，所以有不错的处理遮挡、大角度等极端情况的目标人脸的能力。另外，由于DeepFakes没有针对视频连续性设计演算法，所以其合成的视频的连续性可能会有一些问题。DeepFakes最大的缺点就是可拓展性差，DeepFakes只能对训练中已经「见过」的人脸进行合成，不具备外插能力。这也成了限制DeepFakes演算法商用的重要原因。
另外，我们自己在CVPR 2018上的工作「Towards Open-Set Identity Preserving Face Synthesis」也可以完成换脸这个任务。如图2所示，我们提出了一个基于GAN的框架，其中，I网路用来提取图片的身份信息，A网路用来提取网路的属性信息（如角度、表情、背景等），G通过提取的信息生成一张新的图片，C网路用来保证生成的图片和输入图片的身份信息一致，D网路用来保证生成的图片是一张真实的图片。这样我们可以将输入人脸x^s的身份换入x^a中。
通过在MS-Celeb-1M上的训练，我们的模型能够在开放数据集上生成保持身份信息的图片。在开放数据集上得到的结果如下图所示：
图中，(a)是提供身份信息的图片，(b)是提供属性信息的图片，(c)是模型生成的结果，同一行的图片具有相同的身份信息，同一列的图片具有相同的属性信息。从生成图片中可以看到，我们的模型既保持了与(a)相同的身份信息，又保持了与(b)相同的属性信息。
这项工作在保身份和保属性上有不错的表现，同时可拓展性很好，可以实现对任意输入人脸的换脸。再者由于GAN的存在，合成图片的质量也算不错，但是由于没有针对合成视频连续性进行专门优化，所以在合成视频时也会存在一些问题。另外这种基于GAN的方法在碰到遮挡和大角度时合成的图片质量会存在问题。当然这些可以使用DeepFakes项目中的一些技巧进行处理。
参考文献
[1] Bao J, Chen D, Wen F, et al. Towards open-set identity preserving face synthesis[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 6713-6722.
https://arxiv.org/pdf/1803.11182.pdf?arxiv.org[2] Deepfakes_faceswap project: https://github.com/deepfakes/faceswap
本账号为微软亚洲研究院的官方知乎账号。本账号立足于计算机领域，特别是人工智慧相关的前沿研究，旨在为人工智慧的相关研究提供范例，从专业的角度促进公众对人工智慧的理解，并为研究人员提供讨论和参与的开放平台，从而共建计算机领域的未来。
微软亚洲研究院的每一位专家都是我们的智囊团，你在这个账号可以阅读到来自计算机科学领域各个不同方向的专家们的见解。请大家不要吝惜手里的「邀请」，让我们在分享中共同进步。
也欢迎大家关注我们的微博和微信 (ID:MSRAsia) 账号，了解更多我们的研究。
发布于 2019-09-19继续浏览内容
知乎发现更大的世界打开
Chrome继续
费特杨Federated Learning 研究员，AI从业者
谢邀，核心是利用机器学习来替换视频中的面部。
简单介绍下原理，我们将原视频中的人物面部信息简称为FaceA，将要被替换人物的面部信息简称为FaceB，主要步骤为：
【人脸侦测和识别】首先让机器通过含有FaceA的视频定位并识别到其中的人脸特征值，通过深度学习将FaceA还原到正面、平行均匀光照、标准亮度的场景下。接下来对含FaceB的视频进行相同操作，将FaceB也还原到正面、平行均匀光照、标准亮度的场景下。
【确定变换矩阵】接下来对原视频的人脸信息进行定位与侦测，并进行特征提取（以下简称FeatureA），然后用FeatureA与FaceA对比，找出FaceA转换到FeatureA的所需扭曲、光照等变换的矩阵（以下简称TransferA）。
【人脸替换】对FaceB进行基于TransferA的变换，也就是把FaceB还原到原视频的拍摄角度及光源场景下，形成新的人脸信息FeatureB,使用FeatureB对FeatureA进行替换。
接下来，重复以上操作在每一帧的信息上，直到视频结束即可。
可以看到，目前实时换脸的技术，还只能用在人正面面向镜头且不剧烈运动的场景，因为如果TransferA非常复杂,对其进行计算的时间要求较高，基本无法达到实时换脸的效果。具体技术我在另一个问答里也有讲到：
如何看待 AI 换脸软体「ZAO」的爆火？?www.zhihu.com
其实相关技术不算稀奇，美图秀秀、PS等软体，大家都应该接触良久了。像美图秀秀这些软体这两年多的「一键美化面孔」就有点运用到图像处理技术，不过局限在静态图片。
大概17年底吧，R站上冒出来一段知名女星的18禁视频，但事实上视频主角从来没拍摄过这类影片（你们的盖尔·加朵也是受害人之一，视频点赞甚至破了100k），这就是动态视频人脸识别及替换出道之作了，由「Deepfakes」网友选送。后来，R站承受不住投诉和舆论压力，直接封杀了Deepfakes账号，这下捅马蜂窝了，Deeepfakes直接就在Github开源了AI换脸项目代码，这门技术进而「发扬光大」。
初步看了下Github，类Deepfaks（比如Faceswap, DeepFacelab等等）的开源项目数量不下十几个，其中Faceswap项目在Github上的更新与讨论十分热烈,26K的Stra数。
deepfakes/faceswap?github.com
前几年还和朋友讨论过，视频伪造的技术难度很大，是个很难完成的任务,不过随著这些年AI技术的发展，AI换脸甚至AI换一切的技术都必然出现。也因此，我们可能在上传自己正面照片的时候都要注意了，从隐私条款到水印加持，需要对自己的隐私保护产生意识。毕竟，这种证件照对于类Deepfakes是非常好的训练素材,可以随时被不法份子利用。只有技术才能对抗技术，我们都知道联邦学习能够实现数据不出本地，或许后边能为滥用的AI技术起到一定的防范作用。这也是我研究联邦学习的原因之一。
另外，目前这类换脸技术虽然限制条件还比较多，但随著发展，对金融业普遍采用的诸如：视频信息采集留证、人脸身份识别等风控手段是极大的挑战，再预言下，监管机构后面会出台相应文件，对于需要留证的视频材料强制进行签名、加密等防篡改保护。
以上，有用记得点个赞同。
谢邀，核心是利用机器学习来替换视频中的面部。
简单介绍下原理，我们将原视频中的人物面部信息简称为FaceA，将要被替换人物的面部信息简称为FaceB，主要步骤为：
【人脸侦测和识别】首先让机器通过含有FaceA的视频定位并识别到其中的人脸特征值，通过深度学习将FaceA还原到正面、平行均匀光照、标准亮度的场景下。接下来对含FaceB的视频进行相同操作，将FaceB也还原到正面、平行均匀光照、标准亮度的场景下。
【确定变换矩阵】接下来对原视频的人脸信息进行定位与侦测，并进行特征提取（以下简称FeatureA），然后用FeatureA与FaceA对比，找出FaceA转换到FeatureA的所需扭曲、光照等变换的矩阵（以下简称TransferA）。
【人脸替换】对FaceB进行基于TransferA的变换，也就是把FaceB还原到原视频的拍摄角度及光源场景下，形成新的人脸信息FeatureB,使用FeatureB对FeatureA进行替换。
接下来，重复以上操作在每一帧的信息上，直到视频结束即可。
可以看到，目前实时换脸的技术，还只能用在人正面面向镜头且不剧烈运动的场景，因为如果TransferA非常复杂,对其进行计算的时间要求较高，基本无法达到实时换脸的效果。具体技术我在另一个问答里也有讲到：
如何看待 AI 换脸软体「ZAO」的爆火？?www.zhihu.com其实相关技术不算稀奇，美图秀秀、PS等软体，大家都应该接触良久了。像美图秀秀这些软体这两年多的「一键美化面孔」就有点运用到图像处理技术，不过局限在静态图片。
大概17年底吧，R站上冒出来一段知名女星的18禁视频，但事实上视频主角从来没拍摄过这类影片（你们的盖尔·加朵也是受害人之一，视频点赞甚至破了100k），这就是动态视频人脸识别及替换出道之作了，由「Deepfakes」网友选送。后来，R站承受不住投诉和舆论压力，直接封杀了Deepfakes账号，这下捅马蜂窝了，Deeepfakes直接就在Github开源了AI换脸项目代码，这门技术进而「发扬光大」。
初步看了下Github，类Deepfaks（比如Faceswap, DeepFacelab等等）的开源项目数量不下十几个，其中Faceswap项目在Github上的更新与讨论十分热烈,26K的Stra数。
deepfakes/faceswap?github.com前几年还和朋友讨论过，视频伪造的技术难度很大，是个很难完成的任务,不过随著这些年AI技术的发展，AI换脸甚至AI换一切的技术都必然出现。也因此，我们可能在上传自己正面照片的时候都要注意了，从隐私条款到水印加持，需要对自己的隐私保护产生意识。毕竟，这种证件照对于类Deepfakes是非常好的训练素材,可以随时被不法份子利用。只有技术才能对抗技术，我们都知道联邦学习能够实现数据不出本地，或许后边能为滥用的AI技术起到一定的防范作用。这也是我研究联邦学习的原因之一。
另外，目前这类换脸技术虽然限制条件还比较多，但随著发展，对金融业普遍采用的诸如：视频信息采集留证、人脸身份识别等风控手段是极大的挑战，再预言下，监管机构后面会出台相应文件，对于需要留证的视频材料强制进行签名、加密等防篡改保护。
以上，有用记得点个赞同。
谢邀
核心技术 是从开源演算法演变而来，详细可参见另一个回答 。
ZAO app背后的演算法模型是怎样的??www.zhihu.com
还可以作为 创作素材，图片转动图 等多种用途
找到素材
抠图
超解析度 加alignment
希望换脸的照片
转换到同一姿态
换
将广泛用于各大卫视娱乐节目以及影视行业。
比如：
吴秀波下次再出事，北京卫视的后期就不用大过年的加班了。
试了一下，特别好玩，毫无违和感，看好！不过要注意法律风险。
这是我
看到热门的zao于是两个app都下载体验，虽然都是换脸明星，但是用的技术还是很大区别，颜技深度学习图像处理，加上在伺服器端处理，时间上会有所损耗，但是2d的处理融合效果会好一些，而zao的则是类似3d的技术将图片转化，模型放在手机端处理，速度快，就是需要高配的手机系统才能玩。
方向上感觉两家也大有不同，zao是陌陌的，肯定朝著相同的社交模式去走，颜技的话感觉像是在做影视类的短视频，和抖音快手的方向更接近，调性不同还是有差异化可以走。
有一些经典的思路可以供参考
言有三：【每周CV论文推荐】换脸演算法都有哪些经典的思路？?zhuanlan.zhihu.com
人脸伪造/换脸演算法目前在一定程度上已经达到了以假乱真的效果，这个课题的研究也是由来已久，本次我们来介绍其中的几种重要思路。
作者编辑 | 言有三
1 基于3D模型和光流的方法
早期的换脸演算法其实不是我们这里要说的换脸演算法，而应该称之为面部表情迁移演算法，其中基于多张图像/视频序列的方法非常流行，以华盛顿大学的Suwajanakorn等人的研究为代表，主要是基于3D模型和稠密光流变换，我们公众号4年前有过简单的解读，可以参考三维人脸重建入门。
文章引用量：40+
推荐指数：?????
[1] Suwajanakorn S, Seitz S M, Kemelmacher-Shlizerman I. What makes tom hanks look like tom hanks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 3952-3960.
[2] Thies J, Zollhofer M, Stamminger M, et al. Face2face: Real-time face capture and reenactment of rgb videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2387-2395.
2 基于形状拟合的演算法
基于形状拟合的方法是最直观的换脸演算法，即检测到的关键点然后计算两个人脸形状之间的变形，再添加图像融合等后处理技术，目前在天天P图等应用中的换脸演算法如此。
[3] https://github.com/hrastnik/FaceSwap
3 基于风格迁移的演算法
换脸演算法保留了被换脸的表情，姿态，形状，同时使用了新脸的纹理，要实现的就是纹理的迁移，这可以使用已经较为成熟的风格迁移演算法。
文章引用量：60+
推荐指数：?????
[4] Korshunova I, Shi W, Dambre J, et al. Fast face-swap using convolutional neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3677-3685.
4 基于图像翻译的演算法
换脸演算法是一个人脸到人脸的图像翻译问题，所以Pix2Pix，CycleGAN等模型自然可以直接被应用，在添加了人脸掩膜，姿态，光照等信息的监督下可以获得非常逼真的换脸结果。
推荐指数：?????
[5] Jin X, Qi Y, Wu S. Cyclegan face-off[J]. arXiv preprint arXiv:1712.03451, 2017.
5 基于自编解码模型的演算法
GAN等生成模型已经被广泛应用于人脸的编辑，我们在上期文章中给大家做过不少的相关介绍，可以参考【杂谈】GAN对人脸图像演算法产生了哪些影响？。
当前最流行的Deepfakes就是在使用同样的编码器的约束下，分别训练A图像和B图像的编解码器。使用时将A的特征输入解码器B从而实现换脸，感兴趣的可以参考开源代码[7]进行尝试。
推荐指数：?????
[6] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.
[7] https://github.com/deepfakes/faceswap
6 如何获取文章与交流
找到有三AI开源项目即可获取。
https://github.com/longpeng2008/yousan.ai
文章细节众多，相关的人脸数据集在以及论文阅读交流在有三AI知识星球中进行，感兴趣可以加入。
https://t.zsxq.com/f6EmIYR (二维码自动识别)
总结
本次我们简单介绍了换脸的几种思路，随著条件GAN等生成式模型的发展，编辑后的人脸精度越来越高，技术虽好，不要使坏噢。
本质是基于视频图像的人脸融合演算法模型
参考GitHub上的开源模型：DeepFaceLab
最大的应用场景就是通过科技手段帮助某些流量明星提升演技…
以后看偶像剧第一步就是把女主脸换成自己，男主换成最喜欢的明星
想想就很快落
别的不知道，我已经被我同事换脸的效果惊呆了！
现在这个产品在出现24h之内的情况下，伺服器在线制作换脸视频的排队已经达到了两万个。
这个软体绝对是未来一段时间内的现象级产品！
你和明星的差距只是一个机会系列PS：视频上传已获得同事小哥的同意，严禁转载！违者必究！
我觉得可以用在服装行业。
比如，在线虚拟试衣服软体，不用亲自试穿，直接选择衣服。
我不知道，我只知道，这个软体让我认不清自己是好看还是不好看了
有时候感觉很惊艳，下一瞬间我又被自己丑哭
好像逐渐能找到自己适合的妆发和表情
费雯丽，对不起赫本，对不起海瑟薇，对不起对不起！
以后流量明星就可以请有演技的替身演戏然后换脸了，可以腾出更多时间圈钱。
很奇怪，反正我的脸放上去像个小孩子一样 。国外的还好，古装视频简直emmmm
推荐阅读：
