AI绘画教程 » Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

发表于: AI绘画教程. 评论 (1)
Sponsor

最近AI换脸又火起来了, 小红书 InstantX 团队发布了一款最新的换脸技术 InstantID和之前的主流的训练 lora 换脸不同,InstantID 只需要上传一张图就可以实现换脸以及姿势替换!

Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

一 InstantID  介绍

Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

InstantID 主要分为了三部分

  • ID Embedding:通过预训练的面部识别模型,将语义人脸特征提取为 Face Embedding。这种嵌入包含了丰富的语义信息,如面部特征、表情、年龄等,为后续的图像生成提供了坚实的基础。
  • Image Adapter:引入轻量级的适配模块,将提取的身份信息与文本提示结合。通过解耦的交叉注意力机制,图像和文本能够独立地影响生成过程,同时保持身份信息的同时允许用户对图像风格进行精细控制。
  • IdentityNet:小红书提出的 IdentityNet 是 InstantID 的核心部分。它利用强语义条件和弱空间条件编码参考面部图像的复杂特征。生成过程完全由 Face Embedding 引导,无需文本信息。只更新新添加的模块,而保持预先训练的文本到图像模型冻结,以确保灵活性

概括来说:

  1. InstantID 使用 ID Embedding 提取用户输入的提示词和面部图像的关键信息。
  2. 接着 Image Adapter 将这些信息进行融合
  3. IdentityNet将这些融合后的信息生成新的图像

下面介绍的是使用 Stable Diffusion 如果集成使用 InstantID

目前只支持 SDXL 模型,controlNet 需要升级到V1.1.440版本

二 使用步骤

模型下载

Instant ID提供了两个 ControlNet 模型,考虑到大家的网络原因,我直接放在了网盘,直接后台回复 模型 获取下载链接

  • ip-adapter_instant_id_sdxl.bin
  • majicmixRealistic_v7.safetensors

下载完之后放在你的 {A1111_root}/models/ControlNet 目录下,重启 webui 后在 ControlNet 页面可以看到 InstantId 这个选项 (如果找不到这个选项,需要升级下自己 ControlNet 版本,然后重启即可)

Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

参数配置

模型:DreamShaperXL (需要使用一个 sdxl 模型)
提示词:a 20 yo woman,long hair,dark theme,soothing tones,muted colors,high contrast,(natural skin texture,hyperrealism,soft light,sharp),red background,simple background,
尺寸:1024x1526
步数:30
CFG提示词引导系数:5

ControlNet 配置

第一个ControlNet 上传包含全脸的图片,用于提取脸部信息Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程其中:

  • 预处理器:instant_id_face_embedding
  • 模型:ip-adapter_instant_id_sdxl
  • 控制权重:(0.2-1)之间,越大,出图效果比较模糊,越小图片和原图的脸部就越不像

第二个ControlNet上传姿势图片,用于提取姿势信息注意:姿势图片可以和第一个ControlNet 不需要是同一个人Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程其中:

  • 预处理器:instant_id_face_keypoints
  • 模型:control_instant_id_sdxl
  • 控制权重:(0.5-1)之间,越大,出图效果比较模糊,越小图片和原图的脸部就越不像

配置完后直接出图,看看效果,效果还是非常不错的Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

在换一个提示词,其它不变

提示词
1girl,sweater,white background
Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

再换一个姿势背景,其它的不变Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

出图效果Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程

由于我只使用了 DreamShaperXL 来出图,所以出图的风格比较单一,你可以可以使用任意类型的模型和姿势来出图,效果都杠杠的~

InstantID 换脸技术,快快试玩起来~

来源:AI绘图精选(ID:enjoyddday)

需要学习Midjourney的可以看这里
↓ ↓

赞助商链接
赞助商链接
设计达人微信交流社区:shejidaren888
喜欢这篇文章吗?欢迎分享到你的微博、QQ群,并关注我们的微博,谢谢支持。
版权:除非注明,本站文章均为原创文章,转载请联系我们授权,否则禁止转载。

+ 添加评论One Response to “Stable Diffusion InstantID 炸裂!只需要一张图就可以换脸 | 详细教程”

  1. 晓皮皮 - 回复

    牛逼啊


{ 发表评论 }