输入提示词后,文本编码器将提示词编译成特征向量,VAE编码器将这些特征向量传入潜空间内。在潜空间内,特征向量不断经过降噪处理,最后通过VAE解码器将降噪后的特征向量解码成由像素组成的图片。
通常选择默认的VAE模型。
解码编码的模型
CLIP值的影响
CLIP值越大,提前停止的速度越快,提示词被数字化的层数越少,提示词的相关性越小。反之,CLIP值越小,越能丰富提示词。CLIP终止层数一般为2。
其他功能
- Hires.fix:高清修复
- Refiner:当渲染到80%时,切换另一个模型进行渲染
- CFG:一般设置为5-10,数值越小,AI的自由度越高;数值越高,生成结果越靠近提示词
- 随机种子:确保在不同电脑上使用相同的提示词和随机种子可以生成相同的图片
- 迭代步数:步数越高(20-30),图片质量越高;但步数过高可能导致失真,并消耗更多时间,有时还没有效果
ADetailer
用于修复人物的脸部细节。
采样方法:DPM++2M
权重设置
数字越高,权重越高,画面会着重描述该部分。
短句与长句
起手式
提示词顺序越靠前,权重越高。
提示词污染与融合
使用break
隔开提示词以防止颜色等相互渗透。使用预设起手式并添加进提示词。通过插件快速选择自己想要的提示词。将参考图拖入图生图界面并增加提示词。例如:masterpiece, best quality, 1girl, police, glamour, in summer, street, coat
。增加coat
提示词后,通过原图再次生成图片。GAN 4X Anime6B适合动漫放大(GAN即生成式对抗网络)。重绘幅度在0.3-0.5为安全区间,0.5-0.7为AI自由发挥的领域。放大倍数x2,从512变为1024。文生图界面的放大需要锁定种子。再次点击小图标来到图生图界面进行再次放大无需锁定种子。模型放大功能可以从512缩放到1024。最初通过线条处理还原参考图的方法只有Canny,但Canny硬边缘可能导致图片出现莫名其妙元素。Softedge模型能够更好勾勒主体。开启插件ControlNet、PIDiNet与HED。HED保留图片更多细节,完整性好(适用于建筑、场景);PIDiNet能够更好保留主体,忽视细节(适用于人物)。使用真实系模型描述二次元图片。Lineart多用于线稿上色动漫类图像处理;MJ生成线稿。点击爆炸按钮后下载插件;如控制台显示git网络失败,手动下载到相应目录解压。最好保持宽高比与原图一致。姿态控制方面,DW_OpenPose_Full效果最好;根据参考图调整图片高宽一致;场景处理使用Softedge+Depth;控制线条分布+深度;预处理使用HEDsafe、Softedge;负面提示词去除与建筑相关的finger部分;通过提示词改变教堂颜色;人物处理使用Softedge、OpenPose、Depth、IPAdapter;线条分布、绑定骨骼、空间关系、面部特征迁移/风格一致性;参考图模糊时分区块重采样使结果图细节更丰富;将图片拖入ControlNet单张图片再次Tile可以看到叶子的纹路;IPAdapter可以去Hugingface里下载并根据后缀放在指定目录;换脸、材质迁移、风格迁移等功能;生成参考图后进行风格转换;生成成功后高清放大直接更换风格甚至根据动漫角色画风变换;使用ControlNet Unit1、IPAdapter生成骨骼图;写提示词增加LoRA使结果更靠近目标图片;室内设计选择大模型Architecturerealmix并设置相关提示词生成毛坯房与精装修图;生图标准包括画质与风格设置以及避免生成低质量图片的标志;画笔选择与步数设置一般保持在15-25步之间过高效果提升不大;SD挂LoRA+汉化工作流处理图片元数据并通过拉取图片获得工作流;ComfyUI大部分问题可以通过离线安装解决google搜索日志查看报错信息缺模型安装模型缺插件安装插件等处理流程。