最近AI视频明星换脸很火,deep fake做的很逼真。如果用演算法造假的明星视频再配上语音模仿的话,就可以以假乱真为所欲为。请问有没有什么演算法能够检测是否应用了AI换脸功能,深度学习Ai应该做不到百分百没有缺陷,能否检测当前视频的不和谐处给出一个可能运用了换脸功能的概率


说一个传统方法吧,之前在做活体检测的时候用过,ELA(Error Level Analysis),通过对压缩后和压缩前图像杂讯层面的difference分析,可以用来辨别图片中是否有后期编辑过的部分。

换脸任务应该属于将视频帧中的部分区域(即头部)用生成的人脸去代替,或者用别的人脸代替?那么编辑后的照片通过ELA分析后应该会显现出异常杂讯响应。具体的如何通过原图的一致性和杂讯图的非一致性判断那个区域被编辑过可以参考下面链接:

FotoForensics?

fotoforensics.com图标


我来答题啦。事实上,大约 30% 经过 AI 换脸的合成照片、合成视频是人类仅凭肉眼无法识别的,很容易被当作真实信息进行再次传播,这已成为一个亟待解决的社会性问题。

但是AI可以鉴别AI。

为了解决这个问题,学界与业界正在研究如何利用 AI 技术去反向鉴别图像、视频的真伪。AI 换脸与换脸鉴别如同一场攻防战,处于防守方的换脸鉴别想准确预测进攻方的路线,是非常困难的。

除了 DeepFake,市场上存在多种换脸技术,不同演算法生成的图像结果千差万别,难以使用同一个换脸鉴别模型解决所有换脸技术的进攻。与此同时,换脸鉴别模型还需要对目前不存在、但未来可能出现的换脸技术也具有判别力,如何去预测未来换脸技术的发展方向,提前布防,也是重要课题。

目前,最常被使用的 AI 换脸演算法有三种:DeepFake、FaceSwap 和 Face2Face。其中,DeepFake 基于大家所熟知的 GAN 技术,对于它所生成的脸,人类的识别率大约为75%*。FaceSwap 是一个学习重建脸部特征的深度学习演算法,可以对给出的图片进行模型替换,人类对于此类换脸的识别率也是75%左右*。Face2Face 则是用其他真实的人脸去替换原本的人脸,不涉及人脸的生成,对于它制造的脸,人类的识别率只有41%*。作为目前学术界最大的合成视频资料库之一,由慕尼黑技术大学创建的 FaceForensics 资料库涵盖了经过以上三种换脸演算法编辑的公开视频,以供学术研究使用。

多年来,微软亚洲研究院在人脸识别、图像生成等方向都拥有领先的演算法和模型。在 CVPR 2018上,微软亚洲研究院视觉计算组发表了论文「Towards Open-Set Identity Preserving Face Synthesis」,其中的技术能够利用开放数据集中的数据,逼真地合成保留图中人脸身份信息的图像。这些技术积累让研究员们对「进攻方」的技术原理有深刻的理解,进而能够更有针对性地研发换脸鉴别演算法。

图1:微软亚洲研究院开发的模型分别提取蒙娜丽莎和赫本图片中的身份信息和属性信息进行合成

因此微软亚洲研究院研发的换脸鉴别演算法,基于 FaceForensics 资料库的测试结果均超越了人类肉眼的识别率以及此前业界的最好水平*:对于 DeepFake的识别率达到了99.87%,对于 FaceSwap 的识别率为99.66%,对于Face2Face 的识别率为99.67%。

表1:针对已知换脸演算法的识别测试结果

更重要的是,一般的换脸鉴别方案需要针对每一种换脸演算法研发专门的换脸鉴别模型,想要鉴别一张图像的真伪,需要逐个尝试所有模型。这个演算法则可以用一个通用模型,去鉴别不同类型的换脸演算法所制造的脸。与此同时,研究员还对人脸合成时难以处理的细节进行检查,如眼镜、牙齿、头发边缘、脸部轮廓,将它们作为演算法关注的重点,从而提高识别准确率。相比其他同类技术,这一换脸鉴别演算法很好地应对了动态幅度大、有遮挡、有表情变化的难题。

除了准确识别已知演算法合成的图像、视频,换脸鉴别的另一大挑战是应对尚未出现的新演算法。将现有的换脸鉴别演算法直接用于新演算法时,它们的有效性往往会显著下降。为此,微软亚洲研究院提出了一种通用换脸鉴别方法。为了更好地考察这一演算法对未知换脸演算法的鉴别能力,研究团队用真实图像对模型进行了训练,再让其辨别多种未知换脸演算法生成的图像。实验结果表明,与基线演算法相比,新演算法对各类换脸演算法的识别率均有大幅提升。随著研究团队对模型的进一步优化,通用鉴别模型一定能越来越精确地帮助我们应对新演算法所带来的问题和挑战。

表2:针对未知换脸演算法的识别测试结果

AI 技术正在给人类的工作和生活带来颠覆性变革,但类似 DeepFake 这样的技术所带来的隐私泄露、虚假信息等问题也共生共存,这也是新技术发展的必经之路。

微软总裁 Brad Smith 在谈及其新书《工具与武器:数字时代的希望与危险》时所说,「如果你的技术改变了世界,你就有责任帮助世界应对这些变化。当我们深入研究这些问题时就会发现,其实大多数问题与过去有相似之处,例如广播出现时遭遇了公众反抗,相机的发明让人类担心隐私被侵犯。不同只在于今天的变化速度更快。」

我们研发换脸鉴别模型,是希望用技术手段去应对新技术所带来的问题,但这还不够,从更广的范围看,所有的技术开发者都应承担起相应的责任。因此微软强调要设计负责任和可信赖的 AI。在整个社会层面构建负责任和值得信赖的 AI 也需要全行业乃至整个社会的共同努力,将创造技术、使用技术、管理技术以及受技术影响的人和组织汇聚在一起,才能确保最终以负责任的方式去设计 AI,真正造福人类。

*R?ssler, Andreas, et al. Faceforensics++: Learning to detect manipulated facial images, 2019


本账号为微软亚洲研究院的官方知乎账号。本账号立足于计算机领域,特别是人工智慧相关的前沿研究,旨在为人工智慧的相关研究提供范例,从专业的角度促进公众对人工智慧的理解,并为研究人员提供讨论和参与的开放平台,从而共建计算机领域的未来。

微软亚洲研究院的每一位专家都是我们的智囊团,你在这个账号可以阅读到来自计算机科学领域各个不同方向的专家们的见解。请大家不要吝惜手里的「邀请」,让我们在分享中共同进步。

也欢迎大家关注我们的微博和微信 (ID:MSRAsia) 账号,了解更多我们的研究。

发布于 2019-11-04继续浏览内容知乎发现更大的世界打开Chrome继续驭风者驭风者?

北京航空航天大学 计算机科学与技术硕士在读

关于检测视频里是否用了AI视频换脸演算法,读这一篇很有用。

驭风者:Deep Learning for Deepfakes CreationDetection阅读笔记?

zhuanlan.zhihu.com图标


关于检测视频里是否用了AI视频换脸演算法,读这一篇很有用。

驭风者:Deep Learning for Deepfakes CreationDetection阅读笔记?

zhuanlan.zhihu.com图标

直接上论文

F. Matern, C. Riess and M. Stamminger, "Exploiting Visual Artifacts to Expose Deepfakes and Face Manipulations,"2019 IEEE Winter Applications of Computer Vision Workshops (WACVW), Waikoloa Village, HI, USA, 2019, pp. 83-92.

doi: 10.1109/WACVW.2019.00020


双轨演算法检测

这种演算法能识别未经修改的图像和单像素级图像里的假图像,鉴定准确率在 71% 到 95% 之间,具体鉴定情况取决于使用的样本数据集。

例如,假设将一只鸟的普通图像粘贴到一个空树枝的图片上。

图像经过修改的部分周围的边界往往包含著操作过的痕迹

在这种情况下,逐像素演算法可能会将鸟爪周围的像素标记为有问题的,而编码器演算法会在更大的图像中进行鉴别,识别更大范围内的异常。只要这两种神经网路标记出鸟周围图像的同一区域,乔杜里团队的演算法就会把鸟和树枝的照片归类为可能的 Deepfake 照片。

来源:能把你伪造成色情电影主角的「换脸 AI」,可以用新方法两步破解了

侵删


拿神经网路训练一个识别AI换脸的。

然后换脸演算法再增加一个loss参数对抗识别。然后可以再训练一个识别新的换脸系统的。然后可以再训练。。。

同意匿名的答案,哈哈哈哈哈


老爹:要用魔法来打败魔法。


拿神经网路训练一个识别AI换脸的。

然后换脸演算法再增加一个loss参数对抗识别。

然后可以再训练一个识别新的换脸系统的。

然后可以再训练。。。

不要怀疑,真的可以这么玩。囧


推荐阅读:
相关文章