AI

Stable Diffusion的各类模型介绍

Stable Diffusion模型目前有版本1和版本2,2个都是开源的。但1版本使用的是OpenAI的CLIP,2版本用的是OpenCLIP,它是CLIP的开源版本。虽然从解码提示词的角度来说,Stable Diffusion1.5的版本比Stable Diffusion2的版本要表现得更好些,因此,我们比较推荐的是Stable Diffusion1.5版本。

这种不再使用CLIP的转变,可能会为项目贡献者提供一些保护,避免潜在的责任问题,鉴于即将到来的知识产权诉讼浪潮肯定会影响此类模型,这一点很重要。

几类模型详解


1.大模型/底模型-属于基础模型也叫预调模型

首先介绍的是大模型,是SD能够绘图的基础模型。安装完SD软件后,必须搭配基础模型才能使用。不同的基础模型,其画风和擅长的领域会有侧重。

2.Lora模型-属于微调模型

如果把基础模型比喻作一座房子的地基,那么Lora模型就好比在这个地基上盖起来的房子。我们通常也称为微调模型,用于满足一种特定的风格,或指定的人物特征属性。在数据相似度非常高的情形下,使用微调模型,可以节省大量的训练时间和训练资源,就可以产出我们需要的结果

获得:

要想获得不同的lora,可以是到网络上C站或国内的AI图站下载。下载后的lora文件直接放到Stable Diffusion安装目录的models的lora目录里。刷新后就可使用。

使用:

点击lora调用按钮后,在tag栏就可以看到一个词条,然后再继续编辑描述语即可。

3.VAE美化模型

VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调。

有的大模型是会自带VAE的,比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反。

4.Embeddings和Hypernetworks个性化模型

Embeddings-也是属于微调模型,Hypernetworks则不太用了。

Embeddings叫文本反转,通过仅使用的几张图像,就可以向模型教授新的概念。用于个性化图像生成。与lora模型一样,Embeddings也必须配合基础模型使用。

模型下载处


C站 网址(需科学上网): https://civitai.com/

国内模型下载处-AI图站: https://aituzhan.com/

这个站点或许可以淘到不少C站下架了的模型,还是相当不错的。

介绍几个大模型


这里介绍几款基础模型给大家,在文字结尾有百度链接也可以下载到,或者自行到上面推荐的2个站点下载。

lofi_V2pre.safetensors

这是一款不输于chilloutmix_Ni.safetensors(最常用的用于绘制亚洲女性的基础模型)

写实风格,善于人物。

revAnimated_v121.safetensors

这款模型作图效果很好,还能搭配很多不同lora达到很强的表现效果。

v1-5-pruned-emaonly.safetensors

1.5版本官方模型

cuteRichstyle15_cuteRichstyle.ckpt

可爱人物像模型,这个模型不仅需要调用模型,在tag中还需要调用到触发词:cbzbb

Waifu-diffusion

很出名的模型,用来生成Novel AI类似风格的图片。日漫风格的模型。