认识Flux模型
由Black Forest Labs（黑森林实验室）于2024年下半年发布的一款开源模型。
训练集分辨率：1024x1024px
文本编码器：采用OpenCLIP -ViT/L + Google/T5-v1_1-XXL；双CLIP组合
支持语言：英语
提示词形式：tag+短语形式/自然语言
生成类型：图像
UNet 参数数量：12B
优点：该模型在人像和写实方面有着非常优秀的表现，还能在图像上生成英文字符。
生态：Flux拥有非常繁荣的生态环境，对写实类图像支持非常友好，是目前最常用的写实绘画模型之一。
模型下载
网盘下载：https://pan.quark.cn/s/e9de2e6e6738
官方仓库：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
配置要求
对于一些较大模型，本地显卡配置跟不上，租用云端显卡即用即走，短期来说也是一个非常经济划算的。
点击进入（送约价值5元平台币）
点击进入，另一个云端
搭建Flux模型工作流
传统K采样器工作流
1、加载默认工作流
这和之前一样非常简单，操作流程：左上角菜单→工作流→浏览模板→图像生成。如图所示：
2、打开之后我们只需要对默认工作流做一点小小的改动，就可以变成Flux模型工作流，在checkpoint加载器中选择前面下载的checkpoint模型（如果不是请参照前文提到的，对模型加载部分进行简单的改造）。
3、输入正面提示词，负面无需输入。（即使输入也不会生效，这是Flux的特性），提示词参考：
cute anime girl with massive fluffy fennec ears and a big fluffy tail blonde messy long hair blue eyes wearing a maid outfit with a long black gold leaf pattern dress and a white apron mouth open placing a fancy black forest cake with candles on top of a dinner table of an old dark Victorian mansion lit by candlelight with a bright window to the foggy forest and very expensive stuff everywhere there are paintings on the walls4、修改latent尺寸，Flux采用1024x1024px的分辨率进行训练，我们也可以先安按照这个尺寸进行修改。
5、完成以上修改，我们还差最后一步。将CFG值设置为1，然后找到Flux引导节点。操作步骤：节点库→高级→条件→Flux→Flux引导。如图所示：
6、将clip文本编码器的条件输出连接到该节点的条件输入，该节点的条件输出与K采样器的正面条件输入相连，引导值保持默认的3.5。如图所示：
这样我们就完成了一个非常基础的flux模型工作流，点击运行即可。完整的工作流如图所示：
使用unet类的模型搭建工作流
最终完整的工作流如图所示：
自定义采样器工作流
除了上述使用K采样器搭建flux模型工作流，还有一种比较常见的方式，是使用自定义采样器搭建。自定义采样器与K采样器非常相似，也分为自定义采样器节点和自定义采样器（高级）两个节点。
Flux的一些特性和参数
提示词
flux支持较为复杂的自然语言提示词，同时对一些空间关系有一定的理解能力，例如前面、后面、上下左右等。
另外前文提到还支持在图像中显示文字，需要显示的文字需要使用英文双引号""括起来，例如：
Wallpapers with futuristic and sci-fi themes are perfect for use as desktop backgrounds. The main colors are grey and blue. It has a modern aesthetic style and integrates advanced technologies and artificial intelligence elements. The background creates a sense of high technology. The letters "6Bai.vip" are presented in a three-dimensional form, and the text edges are embedded with gold textures, giving a luxurious feeling. It reminds one of a scene from a high-tech sci-fi movie. Focusing the camera on the text creates a depth effect.文字效果图：
Flux引导节点
条件引导是Flux的一个新特性，它与cfg的作用类似，通常默认值为3.5。
采样算法Flux节点
这个节点同样是flux模型引入的新特性，主要用是在模型中过引入偏移量参数，在扩散过程中动态修正噪声预测路径，优化图像生成轨迹。
采样器与调度器
常用的采样器与调度器：
euler/euler a + normal/simple/beta/ddim_uniform
dpmpp_2m + sgm_uniform/simple
可用的采样器与调度器如下：
低显存与加速
Nunchaku（双截棍）加速
传送门：Nunchaku(双截棍)节点安装、报错解决与基本使用
GGUF量化模型
除了使用nunchaku之外，还可以使用gguf模型来降低对显存的要求。而如果你有较高的显存（至少8G），更推荐使用nunchaku的svdq模型来运行，对质量和速度都有非常不错的优化。
使用gguf模型前，还需要安装一个第三方节点，来加载gguf模型，传送门：gguf量化模型节点安装使用指南
- gguf模型下载
模型存放路径：ComfyUI\models\unet
网盘下载：https://pan.quark.cn/s/130edec8f167
Flux模型拓展
除此之外还衍生了多个不同版本：
Flux.1-Krea-dev：输出高质量专注美学摄影的图像模型；
Flux.1-Kontext-dev：图像编辑模型，支出风格对象参考等；
Flux.1-Canny-dev：精细边缘参考模型，该模型分为unet和lora两种版本；
Flux.1-Depth-dev：深度参考模型，该模型同样分为unet和lora两种版本；
Flux.1-Fill-dev：局部重绘模型；
Flux.1-Redux-dev：风格参考模型；
具体使用可在后续的课程中了解。
评论(0)