在人工智能领域,通过丰富的训练数据和足够的训练时间,我们可以实现令人惊叹的面部替换效果,例如将新垣结衣的视频替换为石原里美。虽然理论上可以同时进行反向替换,但实际操作中,大部分换脸代码采用src和dst的命名方式,前者代表目标面部,后者代表被替换的面部。简而言之,src提供五官特征,dst提供场景背景。
项目介绍
官网:faceswap.dev
文档:theaisummer.com/deepfakes
视频介绍:点击这里查看
项目地址:github.com/deepfakes/faceswap
项目原理
Deepfakes是一种利用先进GAN模型合成媒体的技术,能够替换图像或视频中的面部。虽然植入假面的技术并不新颖,但最近的Deepfakes方法通过利用最新进展,实现了更逼真的面部操作。
2.1 脸合成
在脸合成类别中,目标是使用GAN创建逼真的不存在的面孔。StyleGAN是一种流行方法,它学习高级属性(如姿势和身份)的分离,同时支持无监督和随机变化,并允许直观的、比例特定的合成控制。
为了检测假合成图像,研究人员开发了各种方法。例如,《关于数字人脸操纵的检测》一书中,作者使用注意层提取被操纵的区域,并通过网络输出真假的二元决策。
2.2 面对交换
换脸是当下最流行的面部操作类型。目标是检测换脸后的图像或视频是否真实。face取证++是假视频的一个流行数据库,其中使用了FaceSwap和DeepFake FaceSwap技术。FaceSwap通过面部对齐、高斯-牛顿优化和图像混合来实现换脸。
DeepFake FaceSwap方法基于两个自动编码器和一个共享编码器,分别训练以重建源和目标面部的训练图像。为了创建假图像,将训练好的源人脸编码器和解码器应用于目标人脸,并使用泊松图像编辑混合输出与图像的其余部分。
在检测假图像时,XceptionNet在人脸交换检测中表现优异,其优势基于深度卷积。
2.3 面部特征和表情
面部属性和表情操纵包括修改面部属性(如发色、肤色、年龄、性别)和面部表情(快乐、悲伤、愤怒)。FaceApp是一个受欢迎的例子,它使用GAN进行图像到图像的翻译。StarGAN是另一种有效方法,它使用单个模型跨多个属性域训练,而不是为每个域训练多个生成器。
项目推荐原因
- 图像和视频的人脸交换:不仅支持静态图片的人脸交换,还能对视频中的人脸进行交换,保持连续性。
- 丰富的功能和灵活性:提供多种交换细节控制和后处理选项,适用于不同场景和创作需求。
- 开源和社区支持:作为开源项目,鼓励用户参与和贡献,提供与社区分享经验、提问和改进的机会。
搜索公众号添加:datanlp,了解更多AI与机器学习资源。