你不能错过的 Stable Diffusion 真人照片转插画教程
前段时间看朋友在网上花钱找别人把自己的照片转卡通头像,我觉得这么简单的事情完全没必要花钱。然后自己做了几个真人照片转绘的模型发到了网上。
发布之后用的人挺多,但还有些网友就这么简单的几步都不会做。一个问题重复回答了很多遍了,为了不再重复回答,我决定写个简单的教程示范一下。看不懂也没关系,只要按着我的步骤一步一步操作,肯定能做出我的效果。
如果看完教程还看不懂,也做不了,那只能说你和sd无缘了。
我们先来看效果对比图。
然后是步骤,首先打开sd,选择示例大模型和lora模型。
大模型和lora下载地址:
大模型下载以及在线使用: PureCGrealistic_3.0
lora下载以及在线使用: 扁平风格插画(支持照片转绘)
更多模型请去我的主页挑选 我的主页
我这里选择的是在线生图来示范:
把这两个模型加入模型库,然后选择立即生图。如果想用别人的模型可以从网站首页挑选 LiblibAI·哩布哩布平台(如果是本地操作直接选择模型即可)
进入sd文生图界面分别输入正反提示词(看不懂可以使用百度翻译)
正向
masterpiece,bset quality,high quality,
1girl,dress,medium hair,brown hair,cloud,solo,flower,shirt,looking at viewer,
反向
bad_prompt_version2,badhandv4,
sketches,(worst quality:2),(low quality:2),(normal quality:2),lowers,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,bad anatomy,DeepNegative,(fat:1.2),facing away,looking away,tilted head,bad anatomy,bad hands,text,error,logo,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,(watermark:2),character watermark,username,blurry,bad feet,cropped,poorly drawn hands,poorly drawn face,mutation,deformed,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,extra fingers,fewer digits,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,bad body,bad proportions,gross proportions,text,error,missing fingers,missing arms,missing legs,extra digit,extra arms,extra leg,extra foot,EasyNegative,ng_deepnegative_v1_75t,badhandv4,
选好大模型,然后记得勾选lora模型。VAE和跳过层级跟我选择一样的就行。
采样方法,迭代步数以及相关设置也和我下面的设置保持一致就行,生成图片数量可以随意,我是在线出图,所以一次拉到最大。如果本地的话,显存不够可以一次生成一张。
然后往下拉,勾选controlnet,展开的菜单里面拖入想转换的照片,设置和我的保持一致。
设置完毕后点击开始生图就可以得到结果了。
接下来说一些技巧
正向提示词如果只加入质量提示词,不加入任何人物,场景相关提示词,那出图效果就比较随机。如果原照片人物背景比较复杂,那大概率会还原照片原本的背景。
比如正向提示词只输入下面的这些
masterpiece,bset quality,high quality,
出图效果。
我们再加一点变化,让人物变成金发,蓝色眼睛,,衣服换成红色毛衣。背景加一点枫叶。然后试试效果。
masterpiece,bset quality,high quality,
1girl,dress,long hair,blonde hair,solo,blue eyes,red sweater,looking at viewer,makeup,smile,maple leaf,closed mouth,red lips,
这次我们换一个带背景的图试试,加入枫叶,树木和光照提示词。
masterpiece,bset quality,high quality,
1girl,dress,long hair,black hair,solo,brown eyes,open coat,makeup,maple leaf,red lips,outdoors,tree,sunlight,closed mouth,ponytail,
效果如图:
以上就是文章的全部内容,祝大家玩的开心。如果还有疑问可以在评论区留言。
注意:文章内所有示例图片均来自网络,如有侵权请联系删除。作者提供的模型仅作为练习和交流娱乐使用,任何人不得用作者提供的模型来出图售卖或者进行任何商业用途,任何人因为私自贩卖模型,或者模型生成的内容产生的后果均由使用者自行承担。
2024年3月9日更新
更新一个新的插画lora模型
lora模型地址:二次元插画-Spring
推荐的大模型 DreamAnime
这个lora是使用2d大模型训练出来的所以画风更加扁平,不过人物也更偏向于二次元。喜欢这种风格的话可以试试。
另外有人问真人照片有口罩等遮挡物怎么消除?
这里我给出两个方案。
1:用canny模型生成线稿,然后放到ps里面擦除口罩保存线稿,然后再拖回sd出图。
2:使用controlnet的depth模型,然后把控制权重降低(调到多少合适自己试,我下图是用的0.6),这样也可以去掉人物脸部的遮挡物。(如果要还原背景或者更换背景,可以自己输入背景相关的提示词。毕竟控制权重低了背景会根据提示词产生比较大的变化。)
比如这样
其实canny模型对这种全身照也可以用同样的方法。比如这样
这个方法如果是脸部特写的照片可能就不行了,不过也可以试试,毕竟照片不一样可能效果也不一样,行不行试一试就知道了。
行了,先更新这么多,如果再想到什么再继续更新。
作者:NingLO | 来源:知乎
赞助商链接