09、Flux模型搭建工作流入门教程，使用量化模型6G低显存也能玩

认识Flux模型

由Black Forest Labs（黑森林实验室）于2024年下半年发布的一款开源模型。

训练集分辨率：1024x1024px

文本编码器：采用OpenCLIP -ViT/L + Google/T5-v1_1-XXL；双CLIP组合

支持语言：英语

提示词形式：tag+短语形式/自然语言

生成类型：图像

UNet 参数数量：12B

优点：该模型在人像和写实方面有着非常优秀的表现，还能在图像上生成英文字符。

生态：Flux拥有非常繁荣的生态环境，对写实类图像支持非常友好，是目前最常用的写实绘画模型之一。

模型下载

网盘下载：https://pan.quark.cn/s/e9de2e6e6738

官方仓库：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

搭建Flux模型工作流

传统K采样器工作流

1、加载默认工作流

这和之前一样非常简单，操作流程：左上角菜单→工作流→浏览模板→图像生成。如图所示：

2、打开之后我们只需要对默认工作流做一点小小的改动，就可以变成Flux模型工作流，在checkpoint加载器中选择前面下载的checkpoint模型（如果不是请参照前文提到的，对模型加载部分进行简单的改造）。

3、输入正面提示词，负面无需输入。（即使输入也不会生效，这是Flux的特性），提示词参考：

cute anime girl with massive fluffy fennec ears and a big fluffy tail blonde messy long hair blue eyes wearing a maid outfit with a long black gold leaf pattern dress and a white apron mouth open placing a fancy black forest cake with candles on top of a dinner table of an old dark Victorian mansion lit by candlelight with a bright window to the foggy forest and very expensive stuff everywhere there are paintings on the walls

4、修改latent尺寸，Flux采用1024x1024px的分辨率进行训练，我们也可以先安按照这个尺寸进行修改。

5、完成以上修改，我们还差最后一步。将CFG值设置为1，然后找到Flux引导节点。操作步骤：节点库→高级→条件→Flux→Flux引导。如图所示：

6、将clip文本编码器的条件输出连接到该节点的条件输入，该节点的条件输出与K采样器的正面条件输入相连，引导值保持默认的3.5。如图所示：

这样我们就完成了一个非常基础的flux模型工作流，点击运行即可。完整的工作流如图所示：

使用unet类的模型搭建工作流

最终完整的工作流如图所示：

自定义采样器工作流

除了上述使用K采样器搭建flux模型工作流，还有一种比较常见的方式，是使用自定义采样器搭建。自定义采样器与K采样器非常相似，也分为自定义采样器节点和自定义采样器（高级）两个节点。

Flux的一些特性和参数

提示词

flux支持较为复杂的自然语言提示词，同时对一些空间关系有一定的理解能力，例如前面、后面、上下左右等。

另外前文提到还支持在图像中显示文字，需要显示的文字需要使用英文双引号""括起来，例如：

Wallpapers with futuristic and sci-fi themes are perfect for use as desktop backgrounds. The main colors are grey and blue. It has a modern aesthetic style and integrates advanced technologies and artificial intelligence elements. The background creates a sense of high technology. The letters "6Bai.vip" are presented in a three-dimensional form, and the text edges are embedded with gold textures, giving a luxurious feeling. It reminds one of a scene from a high-tech sci-fi movie. Focusing the camera on the text creates a depth effect.

文字效果图：

Flux引导节点

条件引导是Flux的一个新特性，它与cfg的作用类似，通常默认值为3.5。

采样算法Flux节点

这个节点同样是flux模型引入的新特性，主要用是在模型中过引入偏移量参数，在扩散过程中动态修正噪声预测路径，优化图像生成轨迹。

采样器与调度器

常用的采样器与调度器：

euler/euler a + normal‌/simple/beta/ddim_uniform

dpmpp_2m + sgm_uniform/simple

可用的采样器与调度器如下：

低显存与加速

Nunchaku（双截棍）加速

传送门：nunchaku（双截棍）节点加速flux出图，大量节省显存。

GGUF降低显存

除了使用nunchaku之外，还可以使用gguf模型来降低对显存的依赖，GGUF是一种对整数位进行量化的一种量化模型，最低6G显存也能运行flux模型。

在使用之前需要安装一个额外的第三方节点ComfyUI-GGUF，来加载gguf模型。可以通过管理器来安装，或者通过git命令手动安装。还不了解第三方节点安装可以参照之前的内容。

git安装命令：

git clone https://github.com/city96/ComfyUI-GGUF.git

• gguf模型下载

模型存放路径：ComfyUI\models\unet

网盘下载：https://pan.quark.cn/s/130edec8f167

安装好节点之后找到Unet loader（GGUF）节点，替换掉unet节点即可，如图所示：

Flux模型拓展

使用云端GPU

对于一些较大模型，本地显卡配置跟不上，租用云端显卡即用即走，短期来说也是一个非常经济划算的。

云端注册链接： https://onethingai.com/invitation?code=r56mzRd3

(活动期间通过上方链接注册，赠送5元体验券，充值10元在得10元券)