一键AI换脸,小红书和北大合作的InstantID

AI百科2周前发布 快创云
12 0

  大半天的时间里,我成功为我的comfyUI安装了几个插件,包括备受挑战的ReActor。尽管安装ReActor过程繁琐,涉及多个分散的模型目录,但我最终还是通过错误提示一一解决了这些难题。然而,随着Face ID和InstantID的兴起,这个换脸插件的使用频率已大大降低,因此在此不再赘述其WebUI下的用法(之前已有所介绍)。

  我坚持安装ReActor,更多是出于工作流的需求和个人的“强迫症”。今天,我想重点分享一下instantID在comfyUI中的优化使用。此插件由小红书、北大等团队联合研发,在AI绘画和视频领域有着广泛的应用,且背后不乏华人团队的贡献。我对中国在AI领域的未来充满信心,相信我们能够紧跟全球步伐,稳居第二。

  对于一些人担忧中国AI技术落后于美国的观点,我认为这无需过分焦虑。科技发展的道路是漫长且曲折的,只要我们能保持同步前进,就不必过分担忧。当前,在理论路线日益清晰的情况下,深入研究和应用才是关键。

  InstantID的工作原理可概括为三个核心部分:ID Embedding、Image Adapter和IdentityNet。这些部分协同工作,使得用户可以通过文本提示生成符合身份特征的图像。在comfyUI中,我们可以采用优化节点的方式,降低显存占用,提高使用效率

  接下来,我将详细介绍如何在comfyUI下安装和使用instantID插件:

安装步骤

一、在comfyUI管理器中安装节点

  1. 搜索instantID,找到ZHO-ZHO-ZHO大神提供的插件进行安装。此步骤需要下载大量模型文件,仅完成初步安装。

二、相关模型安装

  1. IP-Adapter模型:这是腾讯团队开发的适配器模型,与ControlNet配合使用可控制人物姿态。根据需求选择SD1.5或SDXL版本,并拷贝至相应目录。
  2. ControlNet模型:同样拷贝至指定目录。
  3. 人脸识别和分析模型:安装antelopev2模型和其他通用换脸插件的insightface模型。

  请注意,如果显卡小于16G,不建议安装过多模型,以免运行不畅。

三、创建基础工作流

  1. 添加InstantID节点并连接大模型和采样器。
  2. 在InstantID处拖出Load InstantID Model,选择ip-adapter.bin或ip-adapter_sdxl.bin。
  3. 使用insightface进行面部分析,建议选择CPU版本以节省资源。
  4. 连接ControlNet模型并选择合适的参数。
  5. 加载图片并连接到相应的节点。

四、开始生成图像

  1. 提供一个示例提示词以生成特定形象的图像,如“一个像仙女姐姐的美人鱼”。
  2. 另一个示例是“一个很像范爷的女生”。

模型下载

  所有需要的模型文件均可从以下链接下载:
模型下载链接

  希望以上内容能帮助你在comfyUI中更好地使用instantID插件。

© 版权声明

相关文章