论文研读｜针对文生图模型的AIGC检测

　　前言：人工智能生成内容的鉴别（AIGC检测）是当前研究的热门领域之一。本篇文章将介绍几篇针对文生图模型的AIGC检测相关工作。

相关研究

1. 基于预训练模型特征提取的方法

　　Utkarsh Ojha等人（University of Wisconsin-Madison，USA）的研究发现，基于GAN生成<a href="https://www.ecreat.cn/tag/%e6%95%b0%e6%8d%ae” target=”_blank”>数据训练的分类器只能识别出由GAN生成的虚假图像，而将所有其他图像（包括由扩散模型生成的图像）归类为真实图像。这导致决策边界发生偏离，使得基于GAN数据训练的检测方法无法有效检测扩散模型生成的图像。为了解决这个问题，作者提出了基于预训练模型特征提取的方法进行检测。该方法首先通过预训练模型（如CLIP-ViT）提取待检测图像的特征，然后利用K近邻算法或轻量级分类器进行真实性判断。实验证明，这种方法能够有效检测扩散模型生成的图像。

2. 基于DDIM重建误差的检测方法

　　Zhendong Wang等人（中科大）的研究发现，生成图像在重建前后的距离比真实图像要小。基于这一观察，作者提出了基于DDIM重建误差的检测方法。该方法通过计算待检测图像在重建前后的误差来判断其真实性。实验结果表明，该方法在检测扩散模型生成的图像方面取得了显著效果。此外，作者还提到了另一篇相关工作LaRE^2（CVPR 2024），对DIRE进行了改进。

3. 基于AutoEncoder重建损失的检测方法

　　Jonas Ricker等人（Ruhr University Bochum，Germany）的研究针对Latent Diffusion Model，使用AutoEncoder重建损失进行鉴别。该方法通过计算待检测图像在使用AutoEncoder重建前后的误差来判断其真实性。与DIRE不同的是，该方法不需要训练后续的分类器，从而提高了检测方法的可扩展性。实验结果表明，该方法在检测Latent Diffusion Model生成的图像方面取得了良好效果。

4. AIGC图像检测的Benchmark数据集与评估

　　Zeyu Lu等人（上海交大）的研究提出了一个AIGC图像检测的Benchmark数据集Fake2M，并对人工检测和模型检测两类AIGC检测方法进行了评估。评估结果表明，AIGC检测仍然面临诸多挑战，需要不断探索和改进检测方法。

后记

　　本文介绍的几种针对文生图模型生成图像的检测方法，或是借助强大的预训练特征提取器进行二分类，或是从生成模型的内在机制出发，将重建损失作为判别标准进行检测。这些方法都利用了距离信息作为衡量依据，无论是K近邻算法、重建误差还是AutoEncoder重建损失，都在向我们传达一个信息：尽管生成模型生成的内容再逼真，也总会留下一些可以认定其为虚假的痕迹，等待我们去探索、去发现。

参考文献

• Towards Universal Fake Image Detectors that Generalize Across Generative Models. CVPR 2023.
• DIRE for Diffusion-Generated Image Detection. ICCV 2023.
• LaRE^2: Latent Reconstruction Error Based Method for Diffusion-Generated Image Detection. CVPR, 2024.
• AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error. CVPR, 2024.
• Seeing is not always believing: Benchmarking Human and Model Perception of AI-Generated Images. NeurIPS, 2023.