一、前言
在开始工作流搭建之前应先熟悉模型的基础原理,传送门:通俗原理解释,一文读懂CLIP、Diffusion Models与VAE。以及comfyui工作流的概念,然后结合原理,完成搭建第一个工作流。
同步视频:https://www.bilibili.com/video/BV1J5cueEEPj
二、初步认识comfyui工作界面
正常启动comfyui之后,打开ui操作界面会得到一个默认的工作流。如果你还没有安装comfyui,传送门:1.1 新手0基础安装webui秋叶绘世启动器和官方comfyui教程,完整入门安装指南
如下图所示:
在工作界面的四周,有一些常用的操作菜单,而中间区域则是comfyui的工作流搭建界面。对于较老的版本可能界面菜单会有所不同,可以通过更新版本得到解决。
如果你打开界面整体呈现英文,可以点击左下角齿轮图标,将语言区域设置为中文。如图所示:
三、初步体验图像生成
在运行这个默认工作流之前。我们只需要下载一个模型,即可体验简单的图像生成。
这里提供一个经典的SD1.5官方模型。
模型存放路径:ComfyUI\models\checkpoints
网盘下载:https://pan.quark.cn/s/ecf41e75e4b1
如图所示:
四、理解comfyui工作流
在刚刚的工作流中,我们会发现有一些矩形块,这些矩形块我们叫做节点,例如最左侧的Checkpoint加载器,就是一个节点,节点作用往往通过标题可以得知,这些单一的节点只能完成较为简单的工作,我们把多个不同功能的节点组合在一起,就形成了一个工作流。这就如同拼积木一样,把多个非常基础元素拼在一起,就能拼出我们想要的大千世界。
如图所示:
通常情况下,工作流需要有开始和结束节点,开始节点类似上述中的Checkpoint加载器节点,它的前方无需连接任何节点。结束节点类似图像保存节点,它的后放也无需连接任何节点。当然也会有例外,对于部分开始或结束节点,它们的前方或后方是否需要连接节点是可选的,在以后我们会接触到。
五、搭建第一个工作流
接下来我们来从0开始搭建一个自己的工作流,通过这个操作过程,你会对多模态以及comfyui工作流有一个更加清晰的认知。在这开始之前需要先熟读本文第一小节前言中的原理部分内容。
- 5.1、点击comfyui上方靠左边+号图标,创建一个空白的工作流。
- 5.2、在左边菜单栏中,找到节点库,进入到节点库中。
- 5.3、找到高级→加载器→Unet加载器;按住鼠标左键将Unet加载器拖拽到工作流中。然后找到加载CLIP同样方式拖拽出来。最后将高级标签闭合,找到加载器→加载VAE,将它拖拽到工作流中。
摆放位置不一定需要和我一样,可以按照自己的喜好摆放,鼠标左键点击节点上方,并按住左键进行拖动,可以调整摆放位置。
- 5.4、模型下载。下方粉色标注代表文件存放位置。
ComfyUI\models\unet(下载后把名字命名为:sd1.5_model.fp16.safetensors)
网盘下载:https://pan.quark.cn/s/73deda28d260
ComfyUI\models\clip(下载后把名字命名为:clip_l.safetensors)
网盘下载:https://pan.quark.cn/s/26a4a91b6f50
ComfyUI\models\vae(下载后把名字命名为:sd1.5_vae.safetensors)
网盘下载:https://pan.quark.cn/s/9654e00cfdf7
- 5.5、在对应的加载器中选择对应的模型,如图所示:
- 5.6然后找到节点库→采样→K采样器;条件→CLIP文本编码,将它们以同样的方式拖拽出来。如图所示:
CLIP文本编码器用于文本提示词(Prompt)的输入,在部分模型中需要使用到正面与负面提示词,这里使用的SD1.5模型就需要用到负面提示词。可以选中CLIP文本编码器,Ctrl+C、Ctrl+V,复制粘贴一份,其中一份作为正面提示词输入,另一份作为负面提示词输入。
- 5.7、把UNet加载器节点的模型输出连接到K采样器节点的模型输入,加载CLIP节点的clip输出连接到CLIP文本编码器节点的clip输入。最后将CLIP文本编码器节点条件输出分别连接到K采样器节点的正面和负面条件输入。如图所示:
- 5.8、还缺少K采样器节点的Latent输入和Latent的输出没有连接。再次打开节点库→Latent→空Latent图像,和Latent->VAE解码,将这两个节点拖拽出来,根据下图进行连接。
如图所示:
- 5.9、最后找到节点库→图像→预览/保存图像,将其拖拽出来,并连接到VAE解码节点的图像输出。(预览图像节点仅预览使用,不会保存。如需保存可以选择保存图像节点,既能预览,也会保存一份到本地)
如图所示:
完成上述节点之后,我们还需要加入提示词。由于SD1.5模型对提示词的要求会比较高,这里给大家提供比较通用的提示词模板,可以自己在后面添加更多的内容。这里就不对提示词做过多介绍,后续会专门介绍如何使用提示词以及其他参数的调节。
正面提示词模板:
(best quality:1.3),ultra- detailed,hires,(8k, RAW photo, masterpiece:1.3),(realistic, photo-realistic:1.2),solo focus,1girl
负面提示词模板:
(nswf:1.4),(worst quality,low quality,normal quality,Wrong anatomy:1.3),(lowres,watermark,ugly,morbid,bad anatomy,mutilated,mutated hands,poorly drawn hands,blurry,extra limbs,disfigure:1.2)
最终工作流如图所示:
至此一个简单的工作流就搭建完成了,随后只需要点击运行按钮即可。
评论(0)