信息安全研究 ›› 2025, Vol. 11 ›› Issue (3): 231-.

• 学术论文 • 上一篇    下一篇

基于ConvNeXt的伪造人脸检测方法

何德芬江倩金鑫冯明苗圣法易华松   

  1. (云南大学软件学院昆明650504)
    (跨境网络空间安全教育部工程研究中心(云南大学)昆明650504)
  • 出版日期:2025-03-18 发布日期:2025-03-30
  • 通讯作者: 江倩 博士,副教授,硕士生导师.主要研究方向为机器学习、图像处理、信息安全、生物信息. jiangqian_1221@163.com.
  • 作者简介:何德芬 硕士研究生.主要研究方向为网络安全、计算机视觉、图像伪造检测、图像篡改检测、图像处理. 2991087273@qq.com 江倩 博士,副教授,硕士生导师.主要研究方向为机器学习、图像处理、信息安全、生物信息. jiangqian_1221@163.com. 金鑫 博士,副教授,硕士生导师.主要研究方向为人工神经网络理论与应用、图像处理、遥感信息处理. xinxin_jin@163.com 冯明 硕士研究生.主要研究方向为红外图像彩色化、计算机视觉. 18310076737@163.com 苗圣法 博士,副教授,硕士生导师.主要研究方向为机器学习、智慧物流、智能风控、结构健康监测. miaosf@ynu.edu.cn 易华松 硕士研究生.主要研究方向为计算机视觉、伪造图像检测、图像篡改检测与定位. yihuasong@stu.ynu.edu.cn

Fake Face Detection Method Based on ConvNeXt

He Defen, Jiang Qian, Jin Xin, Feng Ming, Miao Shengfa, and Yi Huasong   

  1. (School of Software, Yunnan University, Kunming 650504)
    (Engineering Research Center of Cyberspace, Yunnan University, Kunming 650504)
  • Online:2025-03-18 Published:2025-03-30

摘要: 由深度生成模型生成的虚假图像越发逼真,这些图像已经超越了人眼的识别能力.这种模型已成为编造谎言、制造舆论等非法活动的新工具.虽然当前研究者已经提出了很多检测方法检测伪造图像,但泛化能力普遍不高,因此,提出了一种基于ConvNeXt的伪造人脸检测方法.首先在ConvNeXt的第2个和第3个下采样模块后添加极化自注意(polarization selfattention, PSA)模块,使网络具有空间注意力和通道注意力的性能.其次在ConvNeXt的尾部设计一个信息富余模块(rich imformation block, RIB),以丰富网络学习到的信息,通过该模块对信息进行处理后再进行最终的分类.此外,网络训练使用的损失函数是交叉熵损失与KL(KullbackLeibler)散度的结合.在当前主流的伪造人脸数据集上作了大量的实验,实验结果表明该方法在FF++高质量数据集上无论是准确率还是泛化性都超过所有对比方法.

关键词: 神经网络, 深度学习, 伪造人脸, 特征提取, 伪造图像检测

Abstract: The fake images generated by deep generative models are becoming increasingly realistic, surpassing the human eye’s ability to detect them. These models have become new tools for illegal activities, such as fabricating lies and creating public opinion. Although current researchers have proposed many detection methods to detect fake images, their generalization ability is typically limited. To address this issue, we proposed a fake face detection method based on ConvNeXt. Firstly, we add a PSA(polarization selfattention) module after the second and third downsampling modules of ConvNeXt, enhancing the network’s spatial and channel attention performance. Secondly, a RIB(rich imformation block) is designed at the end of ConvNeXt to enrich the information learned by the network. The information is processed through this module before final classification. Furthermore, the loss function used in network training is a combination of CrossEntropy loss and KL(KullbackLeibler) divergence. Extensive experiments on the current mainstream fake face datasets demonstrate that our method surpasses all comparative methods in accuracy and generalization on the FF++ C23 dataset.

Key words: neural network, deep learning, fake face, feature extraction, fake image detection

中图分类号: