前言
本文主要介绍SD1.5和SDXL模型的inpaint局部重绘,当然除此之外还有更好的Flux和QwenImage模型的局部重绘,会比SD1.5等早期模型做得更好。从早期的基础模型开始有助于我们了解跟深层次的原理,小模型对硬件配置要求和时间成本也有更好的优势。对于那些新模型原理基本都是差不多的,当然在后续也会有对应模型的局部重绘教程。
遮罩Mask
遮罩被广泛应用到图形设计和影视剪辑领域,在confyui中局部重绘中,遮罩用于区分重绘区域和非重绘区域。
初识遮罩
1、新建一个空白的工作流,分别加入图像加载节点(load image),和遮罩预览节点(MaskPreview),把加载图像节点的遮罩输出,连接到遮罩预览节点,然后任意上传一张图像,如图所示:
基础局部重绘
接下来以下面图像为例,意在将图中的蛋糕区域重绘为红烧肉(Braised Pork),如图所示:
vae编码局部重绘
1、加载一个默认的工作流,选择一个sd1.5的模型,我这个以sd1.5官方基础模型为例,然后输入合适的提示词,提示词内容为需要重新绘制的内容。例如:Braised Pork。
2、为图像蛋糕区域涂抹遮罩,添加VAE编码(局部重绘)节点VAE Encode (for Inpainting),将图像、遮罩、vae与节点输入相连。latent输出与采样器相连。如图所示:
局部重绘inpaint模型
除了类似controlnet这样将模型分离出来的,还有与unet模型融合在一起的inpaint模型。这类型模型无需借助任何低三方模型,可以直接对图像进行重绘。
这里分享两个带有inpaint的模型,分别是sd1.5基础模型和麦橘写实的inpaint模型。
存放路径:ComfyUI\models\checkpoints
网盘下载:https://pan.quark.cn/s/e4b1f4549d82
工作流搭建
使用带有局部重绘的unet模型,搭建工作流与基础模型与前文提到的vae编码局部重绘完全一样,不同的只是unet模型。完整工作流,如图所示:
使用controlnet局部重绘
在上一个小节中我们接触到了controlnet控制,局部重绘也可以通过controlnet来控制,首先得下载inpaint模型。
存放路径:ComfyUI\models\controlnet
网盘下载:https://pan.quark.cn/s/2a8088d09670
工作流搭建
外补扩图
案例工作流
第三方局部重绘节点
除了上述的几种重绘方式之外,还可以借助第三方节点进行重绘。
BrushNet局部重绘,传送门:BrushNet节点与randomMask局部重绘操作使用教程







评论(0)