一、前言

在开始工作流搭建之前应先熟悉模型的基础原理,传送门:通俗原理解释,一文读懂CLIP、Diffusion Models与VAE。以及comfyui工作流的概念,然后结合原理,完成搭建第一个工作流。

同步视频:https://www.bilibili.com/video/BV1J5cueEEPj

二、初步认识comfyui工作界面

正常启动comfyui之后,打开ui操作界面会得到一个默认的工作流。如果你还没有安装comfyui,传送门:1.1 新手0基础安装webui秋叶绘世启动器和官方comfyui教程,完整入门安装指南

如下图所示:

comfyui默认工作界面

在工作界面的四周,有一些常用的操作菜单,而中间区域则是comfyui的工作流搭建界面。对于较老的版本可能界面菜单会有所不同,可以通过更新版本得到解决。

如果你打开界面整体呈现英文,可以点击左下角齿轮图标,将语言区域设置为中文。如图所示:

comfyui语言设置

三、初步体验图像生成

在运行这个默认工作流之前。我们只需要下载一个模型,即可体验简单的图像生成。

这里提供一个经典的SD1.5官方模型。

模型存放路径:ComfyUI\models\checkpoints

海外下载:https://huggingface.co/Comfy-Org/stable-diffusion-v1-5-archive/resolve/main/v1-5-pruned-emaonly-fp16.safetensors

网盘下载:https://pan.quark.cn/s/ecf41e75e4b1

隐藏内容
此内容需权限查看
包含约105个字符
  • 普通用户: 5.9牛币
  • VIP: 免费
  • SVIP: 免费
已有90人赞助

如图所示:

运行comfyui生成图像

四、理解comfyui工作流

在刚刚的工作流中,我们会发现有一些矩形块,这些矩形块我们叫做节点,例如最左侧的Checkpoint加载器,就是一个节点,节点作用往往通过标题可以得知,这些单一的节点只能完成较为简单的工作,我们把多个不同功能的节点组合在一起,就形成了一个工作流。这就如同拼积木一样,把多个非常基础元素拼在一起,就能拼出我们想要的大千世界。

如图所示:

隐藏内容
此内容需权限查看
包含约179个字符
  • 普通用户: 5.9牛币
  • VIP: 免费
  • SVIP: 免费
已有90人赞助

通常情况下,工作流需要有开始和结束节点,开始节点类似上述中的Checkpoint加载器节点,它的前方无需连接任何节点。结束节点类似图像保存节点,它的后放也无需连接任何节点。当然也会有例外,对于部分开始或结束节点,它们的前方或后方是否需要连接节点是可选的,在以后我们会接触到。

五、搭建第一个工作流

接下来我们来从0开始搭建一个自己的工作流,通过这个操作过程,你会对多模态以及comfyui工作流有一个更加清晰的认知。在这开始之前需要先熟读本文第一小节前言中的原理部分内容。

 

  • 5.1、点击comfyui上方靠左边+号图标,创建一个空白的工作流。

创建空白工作流

  • 5.2、在左边菜单栏中,找到节点库,进入到节点库中。

选择节点库将其打开

  • 5.3、找到高级加载器Unet加载器;按住鼠标左键将Unet加载器拖拽到工作流中。然后找到加载CLIP同样方式拖拽出来。最后将高级标签闭合,找到加载器加载VAE,将它拖拽到工作流中。

添加模型加载节点

摆放位置不一定需要和我一样,可以按照自己的喜好摆放,鼠标左键点击节点上方,并按住左键进行拖动,可以调整摆放位置。

  • 5.4、模型下载。下方粉色标注代表文件存放位置。

ComfyUI\models\unet(下载后把名字命名为:sd1.5_model.fp16.safetensors)

海外下载:https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5/resolve/main/unet/diffusion_pytorch_model.fp16.safetensors

网盘下载:https://pan.quark.cn/s/73deda28d260

ComfyUI\models\clip(下载后把名字命名为:clip_l.safetensors)

海外下载:https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5/resolve/main/text_encoder/model.safetensors

网盘下载:https://pan.quark.cn/s/26a4a91b6f50

ComfyUI\models\vae(下载后把名字命名为:sd1.5_vae.safetensors)

海外下载:https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5/resolve/main/text_encoder/model.safetensors

网盘下载:https://pan.quark.cn/s/9654e00cfdf7

  • 5.5、在对应的加载器中选择对应的模型,如图所示:

unet、clip、vae模型加载

隐藏内容
此内容需权限查看
包含约102个字符
  • 普通用户: 5.9牛币
  • VIP: 免费
  • SVIP: 免费
已有90人赞助
  • 5.6然后找到节点库采样K采样器条件CLIP文本编码,将它们以同样的方式拖拽出来。如图所示:

K采样器与CLIP文本编码器节点

CLIP文本编码器用于文本提示词(Prompt)的输入,在部分模型中需要使用到正面与负面提示词,这里使用的SD1.5模型就需要用到负面提示词。可以选中CLIP文本编码器,Ctrl+C、Ctrl+V,复制粘贴一份,其中一份作为正面提示词输入,另一份作为负面提示词输入。

  • 5.7、把UNet加载器节点的模型输出连接到K采样器节点的模型输入,加载CLIP节点的clip输出连接到CLIP文本编码器节点的clip输入。最后将CLIP文本编码器节点条件输出分别连接到K采样器节点的正面和负面条件输入。如图所示:

clip文本编码器与K采样器节点连接

  • 5.8、还缺少K采样器节点的Latent输入和Latent的输出没有连接。再次打开节点库Latent空Latent图像,和Latent->VAE解码,将这两个节点拖拽出来,根据下图进行连接。

如图所示:

连接Latent和VAE解码节点

  • 5.9、最后找到节点库图像预览/保存图像,将其拖拽出来,并连接到VAE解码节点的图像输出。(预览图像节点仅预览使用,不会保存。如需保存可以选择保存图像节点,既能预览,也会保存一份到本地)

如图所示:

预览图像节点连接

完成上述节点之后,我们还需要加入提示词。由于SD1.5模型对提示词的要求会比较高,这里给大家提供比较通用的提示词模板,可以自己在后面添加更多的内容。这里就不对提示词做过多介绍,后续会专门介绍如何使用提示词以及其他参数的调节。

正面提示词模板:

(best quality:1.3),ultra- detailed,hires,(8k, RAW photo, masterpiece:1.3),(realistic, photo-realistic:1.2),solo focus,1girl

负面提示词模板:

(nswf:1.4),(worst quality,low quality,normal quality,Wrong anatomy:1.3),(lowres,watermark,ugly,morbid,bad anatomy,mutilated,mutated hands,poorly drawn hands,blurry,extra limbs,disfigure:1.2)

 

最终工作流如图所示:

unet简单基础工作流

至此一个简单的工作流就搭建完成了,随后只需要点击运行按钮即可。

隐藏内容
此内容需权限查看
包含约368个字符,和1张图像
  • 普通用户: 5.9牛币
  • VIP: 免费
  • SVIP: 免费
已有90人赞助

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。