AI

【stable diffusion】图生图-局部重绘的用法

1.什么是局部重绘


局部重绘是不改变整体图片的构图的情况下,对图片的某个区域进行重绘,局部重绘是利用蒙版进行区分需要处理的区域以及不需要处理的区域

蒙版:在图像处理中,蒙版可以用于执行各种操作,如图像分割、目标检测、边缘检测和图像合成等。蒙版通常被用来定义感兴趣的区域或掩盖不需要处理的区域

2.局部重绘和涂鸦有什么不同


  1. 涂鸦是会全图进行重绘,但是局部重绘不会进行全图重绘,只会根据选项对蒙版部分或者非蒙版区域进行重绘
  2. 涂鸦支持多种颜色混合使用,并根据颜色智能识别出相近的元素进行绘制,局部重绘只有蒙版概念,没有颜色概念,我们看到的黑色并不是绘制颜色,只是方便识别选定区域

3.操作界面讲解


3.1.蒙版模糊

蒙版模糊 可以简单的理解为 当蒙版模糊的数值越低,蒙版外部的像素在蒙版内占比越低,数值越高,外部像素在蒙版内占比越高,与外部的像素过渡越自然

  • 蒙版模糊=0 蓝色区域与旁边的像素会有明显的断层
  • 蒙版模糊=4 过渡会显得很自然,
  • 蒙版模糊=12 蓝色已经全部消失了

蒙版模糊并不是越高越好,需要根据蒙版区域大小和过渡效果反复调试

3.2.蒙版模式

  • 1.重绘蒙版内容:只重绘黑色区域
  • 2.重绘非蒙版内容:重绘非黑色区域
正向提示词:
masterpiece, best quality, sea 

3.3.蒙版蒙住的内容

先说总结

  • 填充:AI自由发挥,与原图的蒙版内的元素没有任何关系,主打的就是按照提示词天马行空
  • 原图:AI受限于蒙版内的元素,会根据提示词和蒙版内的元素共同合作创作
  • 潜变量噪声:AI自由发挥,不受限于原图元素,但是细节会更加丰富
  • 潜变量数值零:AI自由发挥,但是会比填充丰富一点
  • 和原图的相似度从大到小进行排序:原图->填充->潜变量数值零->潜变量噪声

3.4.重绘区域

重绘区域需要和宽度,高度进行联动说明

重绘区域是全图时,蒙版像素=(宽度*高度) * (蒙版区域占全图的百分比)

重绘区域是仅蒙版时,蒙版像素=宽度*高度

而且使用仅蒙版时,会有一个 选项叫 “仅蒙版模式的边缘预留像素”,”仅蒙版模式的边缘预留像素” 就是参考附近的像素值,数值低 和原图的贴合度越低, 数值越高,和原图的贴合度就越高

需要注意的是

“仅蒙版模式的边缘预留像素” 在潜变量噪声模式下:数值越小,则像素密度越大,数值越大,则像素密度越小,简单来说 填充的像素密度越高,所生成的内容就越丰富,但是这并不是密度越高越好,主要是看蒙版的区域大小,当蒙版区域过小时,会图中图的问题,而如果蒙版区域较大,高密度的填充会使内容更加完善

4.局部重绘的应用(面部修复)


在sd生成图片时经常会出现面部崩坏的情况,这种问题的出现大多数情况是 因为AI在生成面部的时候,因为像素不够用了,导致面部细节过于粗糙,此时我们可以利用仅蒙版去修复面部崩坏

正向提示词 :

masterpiece, best quality, Pretty face

参数:

缩放模式:拉伸

蒙版模糊:10

蒙版蒙住的内容:原图

重绘区域:仅蒙版

仅蒙版模式的边缘预留像素:100

采样方法(Sampler):DPM++ 2M SDE Karras

采样迭代步数(Steps):30

重绘幅度(Denoising):0.9