如何使用Stable Diffusion实现艺术写真，Stable Diffusion使用InstantID插件实现AI写真

最近收到不少网友关于AI写真方面的留言，希望能写一些关于AI写真方面的文章。个人关注AI写真有一段时间了，网上也看到了不少写的文章教程和案例，作为一个AI绘画的狂热爱好者，自然也少不了去操作实践一下，关于AI写真，后面我会作为专题来写一系列的文章，把自己在实际操作过程中的点点滴滴记录下来，希望能对大家有所帮助。

所谓AI写真，简单来说，就是使用AI工具生成人物的写真照片，这里我们主要使用的AI工具是Stable Diffusion。AI实现艺术写真有很多种玩法，今天我们介绍AI进行艺术写真最简单的一种实现方式：插件换脸法。

插件换脸法是借助插件工具去识别人物五官特征，特别是人脸特征，然后生成一张新的照片，新的照片和原图片的人脸尽可能保持一致。

这里用到的插件就是InstantID。关于InstantID的基础知识和安装方法，可以参照之前的文章【Stable Diffusion【ControlNet】：使用InstantID插件实现人物角色一致性】。

一. InstantID实现插件换脸的制作方法

【第一步】：大模型的选择

InstantID插件支持的大模型是SDXL的大模型，所以大模型大家不要选择基于SD 1.5训练的大模型。这里我们使用LEOSAM HelloWorld|SDXL真实感大模型,最新的版本是V5.0。

这里我们的VAE模型选择”None”。

【第二步】：提示词的编写

正向提示词：

Prompt：high quality,masterpiece,rich details,realistic photography,8k,high-definition image quality,

1 girl,solo,brown eyes,brown hair,long hair,dress,earrings,white dress,fields,flowers,fields of flowers,looking at the audience,

outdoors,pink flowers,

提示词：高品质，杰作，细节丰富，摄影逼真，8k，高清画质，

一个女孩，独唱，棕色眼睛，棕色头发，长发，衣服,耳环,白色连衣裙,

田野，鲜花，鲜花的田野，看着观众，户外，粉色的花朵，

反向提示词：

easynegative,ng_deepnegative_v1_75t,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),((watermark)),

文生图相关参数设置

• 采样器：DPM++2M Karras
• 采样迭代步数：30
• 图片宽高：建议设置为1024左右。
• 提示词引导系数（CFG）：3-5之间

【第三步】ControlNet插件InstantID模型设置

这里需要使用2个ControlNet单元。

ControlNet单元0：上传写真人物的原图

这里我们使用神仙姐姐的照片生成AI艺术写真照片。

注意这里的图片最好也是1024左右的大小。

相关参数设置如下：

• 控制类型：选择”Instant_ID”
• 预处理器：instant_id_face_embedding
• 模型：ip-adpter_instanid_sdxl
• 控制权重：1

ControlNet单元1：上传人脸定位照

上传任意一张照片，它的作用是控制最终出图的人物脸部位置。我们可以和第一张图片一样。

相关参数设置如下：

• 控制类型：选择”Instant_ID”
• 预处理器：instant_id_face_keypoints
• 模型：control_instant_id_sdxl
• 控制权重：0.5左右（0.45-0.5）

【第四步】图片的生成

点击【生成】按钮，我们来看一下最终生成的图片效果。

二. 改变人物服装背景

我们可以通过修改正向提示词更换图片中人物服装，背景等元素。

提示词1：圣诞写真

Prompt：high quality,masterpiece,rich details,realistic photography,8k,high-definition image quality,

1 girl,solo,exquisite hairstyle,brown hair,long hair,Christmas clothing,Christmas dress,bow,Christmas hat,Christmas,festive atmosphere,indoor,upper body,christmas lights,tree,gift box,roses,ribbons,Christmas decorations,lighting,fireplace,warm,

提示词：高品质，杰作，细节丰富，摄影逼真，8k，高清画质，

1个女孩，独唱，精致的发型，棕色头发，长发，圣诞服装，圣诞礼服，蝴蝶结，圣诞帽，圣诞，喜庆气氛，室内、上半身、圣诞彩灯、圣诞树、礼盒、玫瑰、彩带、圣诞装饰品、灯饰、壁炉、暖炉、

提示词2：婚纱

Prompt：high quality,masterpiece,rich details,realistic photography,8k,high-definition image quality,

1 girl,solo,exquisite hairstyle,crown,headscarf,hair bun,

White wedding dress,long dress,jewelry,looking at the audience,

提示词：高品质，杰作，细节丰富，摄影逼真，8k，高清画质，

1个女孩，独唱，精致的发型，皇冠，头巾，发髻，

白色婚纱，长裙，珠宝，看着观众，

三. 改变人物动作姿势

我们可以通过ControlNet的单元1变更人物的动作姿势。只需要替换掉ControlNet的单元1的上传的人物图片即可。

生成的图片效果如下。

四. 总结

插件换脸法实现AI艺术写真，优点是操作起来非常简单，人脸效果的保持一致还是比较出色的。但是也存在有些不足之处。

（1）InstantID插件只使用于SDXL大模型，限制了很多LORA模型的使用，因为很多LORA模型是基于SD 1.5基础模型训练的。

（2）生成的图片整体缺乏真实感，尤其是色调渲染感觉不是很到位，这个暂时不清楚是大模型的原因还是插件本身的原因。大家如果有更好的大模型或者参数设置可以留言交流沟通一起讨论学习哦。

好了，今天的分享就到这里了，希望今天分享的内容对大家有所帮助。