Stable Diffusion模型目前有版本1和版本2,2个都是开源的。但1版本使用的是OpenAI的CLIP,2版本用的是OpenCLIP,它是CLIP的开源版本。虽然从解码提示词的角度来说,Stable Diffusion1.5的版本比Stable Diffusion2的版本要表现得更好些,因此,我们比较推荐的是Stable Diffusion1.5版本。
这种不再使用CLIP的转变,可能会为项目贡献者提供一些保护,避免潜在的责任问题,鉴于即将到来的知识产权诉讼浪潮肯定会影响此类模型,这一点很重要。
几类模型详解
1.大模型/底模型-属于基础模型也叫预调模型
首先介绍的是大模型,是SD能够绘图的基础模型。安装完SD软件后,必须搭配基础模型才能使用。不同的基础模型,其画风和擅长的领域会有侧重。


2.Lora模型-属于微调模型
如果把基础模型比喻作一座房子的地基,那么Lora模型就好比在这个地基上盖起来的房子。我们通常也称为微调模型,用于满足一种特定的风格,或指定的人物特征属性。在数据相似度非常高的情形下,使用微调模型,可以节省大量的训练时间和训练资源,就可以产出我们需要的结果

获得:
要想获得不同的lora,可以是到网络上C站或国内的AI图站下载。下载后的lora文件直接放到Stable Diffusion安装目录的models的lora目录里。刷新后就可使用。

使用:
点击lora调用按钮后,在tag栏就可以看到一个词条,然后再继续编辑描述语即可。

3.VAE美化模型
VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调。

有的大模型是会自带VAE的,比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反。
4.Embeddings和Hypernetworks个性化模型
Embeddings-也是属于微调模型,Hypernetworks则不太用了。
Embeddings叫文本反转,通过仅使用的几张图像,就可以向模型教授新的概念。用于个性化图像生成。与lora模型一样,Embeddings也必须配合基础模型使用。


模型下载处
C站 网址(需科学上网): https://civitai.com/

国内模型下载处-AI图站: https://aituzhan.com/
这个站点或许可以淘到不少C站下架了的模型,还是相当不错的。
介绍几个大模型
这里介绍几款基础模型给大家,在文字结尾有百度链接也可以下载到,或者自行到上面推荐的2个站点下载。
lofi_V2pre.safetensors
这是一款不输于chilloutmix_Ni.safetensors(最常用的用于绘制亚洲女性的基础模型)
写实风格,善于人物。

revAnimated_v121.safetensors
这款模型作图效果很好,还能搭配很多不同lora达到很强的表现效果。

v1-5-pruned-emaonly.safetensors
1.5版本官方模型
cuteRichstyle15_cuteRichstyle.ckpt
可爱人物像模型,这个模型不仅需要调用模型,在tag中还需要调用到触发词:cbzbb

Waifu-diffusion
很出名的模型,用来生成Novel AI类似风格的图片。日漫风格的模型。
