融合传统特征与神经网络的深度伪造检测算法
信息技术与网络安全
杨雨鑫1,周 欣1,2,熊淑华1,何小海1,卿粼波1
(1.四川大学 电子信息学院,四川 成都610065;2.中国信息安全测评中心,北京100085)
摘要: 人脸深度伪造检测技术对于打击虚假图像/视频泛滥具有至关重要的意义。提出了一种融合传统特征与神经网络的检测算法,算法结合了传统特征具有可解释性与神经网络高准确率的优点,利用图像灰度共生矩阵以及XceptionNet组成双特征提取模块,然后在全卷积网络中充分考虑双流融合特征信息,最终根据网络多损失实现图像真伪分类判决。在FaceForensics++数据集上进行了训练和测试,实验结果表明,相比现有深度学习算法,检测准确率有明显提升。而且由于引入的纹理特征具有一定的可解释性,表现出良好的鉴别性能。
中图分类号: TP181
文献标识码: A
DOI: 10.19358/j.issn.2096-5133.2021.02.006
引用格式: 杨雨鑫,周欣,熊淑华,等. 融合传统特征与神经网络的深度伪造检测算法[J].信息技术与网络安全,2021,40(2):33-38,44.
文献标识码: A
DOI: 10.19358/j.issn.2096-5133.2021.02.006
引用格式: 杨雨鑫,周欣,熊淑华,等. 融合传统特征与神经网络的深度伪造检测算法[J].信息技术与网络安全,2021,40(2):33-38,44.
Research on deepfakes detection combining traditional features and neural network
Yang Yuxin1,Zhou Xin1,2,Xiong Shuhua1,He Xiaohai1,Qing Linbo1
(1.College of Electronics and Information Engineering,Sichuan University,Chengdu 610065,China; 2.China Information Technology Security Evaluation Center,Beijing 100085,China)
Abstract: DeepFakes detection is significant to combat the spread of forgery video. Aiming at the task of deepfakes detection, a method combining traditional features and neural network is proposed. The method combines the interpretability of traditional features and high accuracy of the neural network. This paper used the gray level co-occurrence matrix and XceptionNet to form two feature extraction modules, then learned the dual-stream fusion feature information in the fully convolutional network. The image was distinguished according to multiple losses in the network finally. Our method was tested over benchmarks of the FaceForensics++ datasets. The experimental results show that compared with the state-of-the-art deep learning algorithms, the detection accuracy has been significantly improved. It shows promising discrimination performance due to the introduction of texture feature interpretability.
Key words : deepfakes;image forensics;feature fusion;gray level co-occurrence matrix(GLCM);convolutional neural network(CNN)
0 引言
深度伪造是利用深度学习算法生成伪造人脸图像/视频技术的总称。这种视觉合成技术根据实现方式的不同,具体细分为DeepFake、Face2Face[1]、FaceSwap[2]等。该技术可以将图像中已有的面部表情和动作提取出来,合成另一张人脸替代原图脸部区域,最终制造出人眼难以区分的虚假图像/视频。
2019年,SnapChat和ZAO等应用程序实现了用户与电影明星换脸的功能,深度伪造技术快速进入公众视野并引发关注。与此同时,普通人可以利用开源的深度伪造程序生成逼真的人脸图像/视频,使得众多公众人物陷入遭受深度伪造技术攻击的风险之中。龙坤[3]等人从国家政治安全、经济安全、社会安全、国民安全方面论述了深度伪造技术带来的潜在危害,美国国防高级研究计划署也在同年针对虚假图像/视频发起检测项目。因此,针对深度伪造算法生成图像的检测工作变得越来越重要。
本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003376
作者信息:
杨雨鑫1,周 欣1,2,熊淑华1,何小海1,卿粼波1
(1.四川大学 电子信息学院,四川 成都610065;2.中国信息安全测评中心,北京100085)
此内容为AET网站原创,未经授权禁止转载。