基于卷积LSTM的视频中Deepfake检测方法
信息技术与网络安全
李永强，白 天
(中国科学技术大学 软件学院，安徽 合肥230026)
摘要： 以Deepfake为代表的伪造人脸技术，使用少量的人脸数据就能将视频中的人脸替换成为目标人脸，从而达到伪造视频的目的。此类技术的滥用将带来恶劣的社会影响，需要使用检测技术加以制裁。针对这一问题，已有若干检测算法被提出。现有方法具有一定局限性，单帧检测算法忽略了Deepfake动态缺陷；当数据存在缺陷时，模型可能会陷入“学会特定脸”的陷阱中。提出了一种对视频数据中的Deepfake检测方法，使用结合CNN和LSTM的卷积LSTM，判断视频真伪。提出了一种基于人脸特征点的cutout方法，能抑制网络学会特定脸。实验表明，在不同场景下，准确度对比基准算法均有提升。
中图分类号： TP18
文献标识码： A
DOI： 10.19358/j.issn.2096-5133.2021.04.005
引用格式： 李永强，白天. 基于卷积LSTM的视频中Deepfake检测方法[J].信息技术与网络安全，2021，40(4)：28-32.
文献标识码： A
DOI： 10.19358/j.issn.2096-5133.2021.04.005
引用格式： 李永强，白天. 基于卷积LSTM的视频中Deepfake检测方法[J].信息技术与网络安全，2021，40(4)：28-32.
Deepfake detection method in videos based on convolutional LSTM
Li Yongqiang，Bai Tian
(School of Software Engineering，University of Science and Technology of China，Hefei 230026，China)
Abstract： The face forgery technology represented by deepfake can replace the face in video with the target face by using a small amount of face data, so as to achieve the purpose of forgery video. The abuse of this kind of technology will bring adverse social effects, which need to be punished by using detection technology. The existing methods have some limitations, single frame detection algorithm ignores the dynamic defect of deepfake; when the data has defects, the model may fall into the trap of "learning specific face". In this paper, we propose a forgery face detection method in video, which uses the convolutional LSTM combined with CNN and LSTM to judge if a video is original or manipulated by deepfake. In addition, we propose a cutout method based on landmarks, which can inhibit the network from learning specific face. Experiments show that the accuracy of the baseline algorithm is improved in different scenes.
Key words : Deepfake detection；computer vision；deep learning
0 引言
近年来，基于深度学习技术的图像生成技术迅速发展，视频人脸伪造技术也随之日趋成熟。利用此类技术的人脸伪造技术已经可以欺骗普通人类[1]。但这些技术的滥用也引发了一些社会问题，因为这些技术可以利用公众人物公开的视频、图像素材，伪造公众人物出场的虚假视频，发布虚假的言论，或伪造色情影片，破坏名誉。由于Deepfakes项目[2]的广泛流传，这一类技术常被通称为Deepfake。为了避免Deepfake技术的滥用，许多研究团体做出了卓越的贡献。ROSSLER A等人发布了包含大量Deepfake数据的公开数据集FaceForensics++[1]，以帮助研究人员研究检测算法。Facebook开展了DFDC(Deepfake Detection Challenge)比赛并公布了训练数据集[3]。
本文详细内容请下载：http://www.chinaaet.com/resource/share/2000003474
作者信息：
李永强，白 天
(中国科学技术大学 软件学院，安徽 合肥230026)
此内容为AET网站原创，未经授权禁止转载。