AI绘画教程 » LCM-LoRA跑图神器,让SD跑图速度提升一倍

LCM-LoRA跑图神器,让SD跑图速度提升一倍

发表于: AI绘画教程. 评论
Sponsor

今个一起来看看最近一直比较流行的 LCM-LoRA 模型,只需要四个迭代步数就可以生成质量不错的图片,可以大大的加快Stable Diffusion跑图的效率!

一、LCM-LoRA

用LCM-LoRA跑图神器,让SD跑图速度提升一倍

潜在一致性模型 Latent Consistency Model (LCM) 在潜在扩散模型中应用了一致性模型Consistency Model(CM)相同的原理(CM 是一类新型扩散模型,经过训练可一步生成图像),从而实现极少的步数出图

一般情况需要为每一个大模型训练一个新的 LCM,非常不方便

而 LCM-LoRA 是使用一致性方法通过稳定扩散基础模型(v1.5 和 SDXL)训练的 LoRA 模型。

它可以与任何自定义检查点模型一起使用,将图像生成速度加快到仅需四个迭代步数。

也就是说 LCM-LoRA 和普通的 LoRA 使用方式一样,支持 v1.5 和 SDXL,且只需要4步即可出图

二、下载

想要支持 v1.5 和 SDXL,需要下载各自版本的 LoRA,考虑到大家的网络原因,大家可以直接回复 lora 获取网盘地址按需下载

  • v1.5: lcm-lora-sdv1-5.safetensors
  • SDXL: latent-lcm-lora-sdxl.safetensors

下载完成后将 LoRA 放在 stable-diffusion-webui/models/Lora 中

三 上手体验

SD1.5 模型对比

不使用 LCM-LoRA

模型:majicMIX realistic v6提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting采样方法:Euler尺寸:512x512步数:20CFG:7

用LCM-LoRA跑图神器,让SD跑图速度提升一倍

因为分辨率只有512,且没有高清修复,质量一般般。

使用 LCM-LoRA

模型:majicMIX realistic v6提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,<lora:LCM_LoRA_Weights_SD15_v1.0#2567_4104_4823@8f90d840e0:1>, // 替换成自己下载的 LoRA采样方法:Euler尺寸:512x512步数:4CFG:1.2

需要注意的是,步数我们需要控制在 2~8 之间,CFG 在 1~2 之间。

用LCM-LoRA跑图神器,让SD跑图速度提升一倍

整体效果和不使用 LCM-LoRA 几乎没太大区别,但步数却只需要 4 步即可,但却只用了不到2s的时间

SDXL 模型对比

不使用 LCM-LoRA

模型:sd base sdxl提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,采样方法:Euler尺寸:1024x1024步数:20CFG:7

用LCM-LoRA跑图神器,让SD跑图速度提升一倍

SDXL 整体效果要比 SD1.5 要好上一些,但磨皮效果太明显了,在来看看加上 LCM-LoRA 之后的效果

使用 LCM-LoRA

模型:sd base sdxl提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,<lora: LCM-LoRA for 基础模型升级版S-D-X-L_v1.0#lcm_xl@c3dbf7eb26:1>, // 替换成自己下载的 SDXL LoRA采样方法:Euler尺寸:1024x1024步数:4CFG:1.2

用LCM-LoRA跑图神器,让SD跑图速度提升一倍

emmm…  怎么说,有点难评,LCM-LoRA 的细节反而比没有 LoRA 的 SD base 的图效果好。

目前来看 SDXL 上应用 LCM-LoRA 的效果和场景相对于 SD1.5 来说还有一些提高。

四、参数对比

迭代步数

前面参数的配置主要设计到 迭代步数 和 CFG,官方建议的参数

  • 迭代步数:2~8
  • CFG:1~2

我们通过 X/Y/Z 脚本来看看效果(使用 SD1.5 测试),在 CFG 在 1~2 之间 使用 Euler 采样方法,步数在4~10 之间效果都还是挺给力!为了追求性价比,出图质量也不错的情况下应该选择更少的步数

用LCM-LoRA跑图神器,让SD跑图速度提升一倍

高清修复

再来跑一张高清修复的对比。其它参数都不变的情况下,使用 Latent 方法算法。最后耗费的时间相差一倍多。使用 LCM-LoRA 只需要 3s ,不使用的情况则需要 7.5s

用LCM-LoRA跑图神器,让SD跑图速度提升一倍

五 应用场景

LCM-LoRA 的出现可以大大的降低我们跑图、试图的时间成本,同时能保证不错的质量,抽到我们想要的图之后,也可以拿到种子,再重新跑出高质量的图。

下面是一些常用的场景

  • X/Y/Z 跑图:平时我们需要测试各种参数时,都会使用 X/Y/Z 来跑图,使用 LCM-LoRA 极大的降低了花费的时间。上面我们跑的例子,生成了60张图,只需要了1.30分的时间.
  • 其它跑图:比如 AnimateDiff
  • 实时 Prompt:当我们想要测试提示词的影响时,需要出图的高实时性,那么 LCM-LoRA 也是能派上大用场
  • 实时绘画渲染:这个相信大家都知道,实时涂鸦,然后生成实时图片
  • 实时投影渲染:在进阶一些就是投影视频/摄像头进行渲染

本文分享的 LCM-LoRA 模型就介绍到这里,如果你想要了解学习这些场景,可以留言哦~

来源:AI绘图精选

需要学习Midjourney的可以看这里
↓ ↓

赞助商链接
赞助商链接
设计达人微信交流社区:shejidaren888
喜欢这篇文章吗?欢迎分享到你的微博、QQ群,并关注我们的微博,谢谢支持。
版权:除非注明,本站文章均为原创文章,转载请联系我们授权,否则禁止转载。

{ 发表评论 }