前言

本文主要介绍SD1.5和SDXL模型的inpaint局部重绘,当然除此之外还有更好的Flux和QwenImage模型的局部重绘,会比SD1.5等早期模型做得更好。从早期的基础模型开始有助于我们了解跟深层次的原理,小模型对硬件配置要求和时间成本也有更好的优势。对于那些新模型原理基本都是差不多的,当然在后续也会有对应模型的局部重绘教程。

遮罩Mask

遮罩被广泛应用到图形设计和影视剪辑领域,在confyui中局部重绘中,遮罩用于区分重绘区域和非重绘区域。

初识遮罩

1、新建一个空白的工作流,分别加入图像加载节点(load image),和遮罩预览节点(MaskPreview),把加载图像节点的遮罩输出,连接到遮罩预览节点,然后任意上传一张图像,如图所示:

添加遮罩预览节点

隐藏内容
此内容需解锁查看
未解锁内容包含:约874个字符,和2张图像
  • 普通用户: 16.9牛币
  • VIP: 免费
  • SVIP: 免费
已有104人赞助并解锁

基础局部重绘

接下来以下面图像为例,意在将图中的蛋糕区域重绘为红烧肉(Braised Pork),如图所示:

局部重绘测试案例图

vae编码局部重绘

1、加载一个默认的工作流,选择一个sd1.5的模型,我这个以sd1.5官方基础模型为例,然后输入合适的提示词,提示词内容为需要重新绘制的内容。例如:Braised Pork。

2、为图像蛋糕区域涂抹遮罩,添加VAE编码(局部重绘)节点VAE Encode (for Inpainting),将图像、遮罩、vae与节点输入相连。latent输出与采样器相连。如图所示:

VAE编码局部重绘工作流搭建

隐藏内容
此内容需解锁查看
未解锁内容包含:约814个字符,和7张图像
  • 普通用户: 16.9牛币
  • VIP: 免费
  • SVIP: 免费
已有104人赞助并解锁

 

局部重绘inpaint模型

除了类似controlnet这样将模型分离出来的,还有与unet模型融合在一起的inpaint模型。这类型模型无需借助任何低三方模型,可以直接对图像进行重绘。

这里分享两个带有inpaint的模型,分别是sd1.5基础模型和麦橘写实的inpaint模型。

存放路径:ComfyUI\models\checkpoints

网盘下载:https://pan.quark.cn/s/e4b1f4549d82

工作流搭建

使用带有局部重绘的unet模型,搭建工作流与基础模型与前文提到的vae编码局部重绘完全一样,不同的只是unet模型。完整工作流,如图所示:

inpaint模型局部重绘工作流

 

使用controlnet局部重绘

在上一个小节中我们接触到了controlnet控制,局部重绘也可以通过controlnet来控制,首先得下载inpaint模型。

存放路径:ComfyUI\models\controlnet

网盘下载:https://pan.quark.cn/s/2a8088d09670

工作流搭建

隐藏内容
此内容需解锁查看
未解锁内容包含:约282个字符,和1张图像
  • 普通用户: 16.9牛币
  • VIP: 免费
  • SVIP: 免费
已有104人赞助并解锁

外补扩图

隐藏内容
此内容需解锁查看
未解锁内容包含:约204个字符,和2张图像
  • 普通用户: 16.9牛币
  • VIP: 免费
  • SVIP: 免费
已有104人赞助并解锁

案例工作流

隐藏内容
此内容需解锁查看
未解锁内容包含:约70个字符
  • 普通用户: 16.9牛币
  • VIP: 免费
  • SVIP: 免费
已有104人赞助并解锁

传送门:inpaint局部重绘与外补扩图基础工作流

第三方局部重绘节点

除了上述的几种重绘方式之外,还可以借助第三方节点进行重绘。

BrushNet局部重绘,传送门:BrushNet节点与randomMask局部重绘操作使用教程

 

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。