ComfyUI 多合一 FluxDev 工作流程

ComfyUI-一体化 FluxDev 工作流程

更新 v0.2 ：修复了连接到 florence2 节点的错误节点

2024 年 8 月 11 日更新：经过一番摆弄后，我找到了一种使用 controlnet 重现高质量图像的方法，正如他们在 Github/HF 页面上演示的那样，我还发现这 2 种采样方法可以组合并重新组织为一个更简单、更有效的方法，我将很快更新 v0.3 以包含所有这些更改。

概述

我在 ComfyUI 中创建了一个一体化 FluxDev 工作流程，它结合了使用 FluxDev 模型生成图像的各种技术，包括 img-to-img 和 text-to-img。此工作流程可以使用 LoRA、ControlNet，通过 Ksampler 启用负面提示、动态阈值、修复等。请注意，这不是使用这些技术的“正确”方式，而是我根据可用信息的个人解释。

大量使用 USE Everywhere 节点

此工作流程在很大程度上依赖于 USE Everywhere 节点，使其尽可能干净高效地满足我的日常生成需求。我正在与社区分享此工作流程，以收集见解和改进建议。请随意自己尝试。

主要特点

• 在图像到图像和文本到图像生成之间切换
• 对于文本到图像的生成，请从预定义的 SDXL 分辨率中进行选择，或使用像素分辨率计算器节点通过开关根据宽高比和百万像素创建分辨率
• 加载 ControlNet 模型和 LoRA
• 使用模型采样 Flux 和 Sampler Custom Advance 节点进行采样，基于原来的官方演示工作流程
• 使用动态阈值和 Ksampler Advance 节点进行采样，通过 FluxGuidance 实现正负调节
• 简单的修补
• 高分辨率修复，例如使用平铺扩散进行迭代升级

使用此工作流程

1. 更新：无需手动自定义安装，您现在可以在管理器中找到节点，只需按照步骤 3 操作即可。通过 ComfyUI Manager 中的 git URL 安装像素分辨率计算器自定义节点（我还没有提交拉取） url : https://github.com/Ling-APE/ComfyUI-PixelResolutionCalculator
2. 下载 JSON 文件并将其导入 ComfyUI
3. 通过 ComfyUI 管理器安装缺失的节点
4. 配置交换机
5. 添加提示（或使用视觉法学硕士的详细说明）
6. 上传 ControlNet 图像（可选）
7. 绕过/取消绕过您需要的节点
8. 产生！

要求

• 我的像素分辨率计算器自定义节点（可选）
• 原始权重：flux1-dev.safetensors
• FP8 版本（适用于 <24GB VRAM 系统）：flux1-dev-fp8.safetensors
• 文本编码器（放置在ComfyUI/models/clip中）：flux_text_encoders
• VAE（将ae.sft放在ComfyUI/models/vae中）：ae.safetensors
• 对于较低的 RAM 使用量，请下载 FP8 T5XXL 编码器（质量会有所下降）
• xlabs-ai Flux-controlnet-canny Weight controlnet.safetensors （放置在ComfyUI/models/controlnet下，如果需要，打开文件夹）
• Flux_RealismLora_converted Flux_realism_lora.safetensors （放置在ComfyUI/models/loras下，如果需要，打开文件夹）
• Ollama 和 llava：13b（可选）
• Microsoft Florence 2 模型（可选，但应在首次运行时自动下载）

低 VRAM 设置：

使用“--lowvram”参数启动 ComfyUI（添加到您的 .bat 文件）以将文本编码器卸载到 CPU

已知错误

• 如果您使用 Ctrl + Z 撤消更改，某些任意位置的节点将自行取消链接，找到丢失链接的节点，拔下并重新插入输入，一切都应该再次工作。

ControlNet 和 LoRA

创建此工作流程时，有两个可用的 ControlNet 和多个 LoRA，包括：

• 来自 XLabs-AI 的 Canny ControlNet 和 Realism LoRA
• 来自 InstantX 的 Canny 控制网
• Advokat 的美学（动漫）LoRA for FLUX
• 我还在instantX的抱脸页面下发现了一个控制netunion模型页面，所以也许不久的将来我们就会有一个union模型。

我只测试了 XLabs-AI 的 Canny 和 Realism LoRA，以下是一些关键要点：

• 如果您遇到错误消息说没有密钥，您需要转到 ComfyUI 目录并打开终端以输入代码： git checkout xlabs_flux_controlnet
• 根据我的测试，该模型似乎是在方形纵横比和指导比例 4 上进行训练的，此处也提到了
• 我只能在最少的提示下让它工作，就像 github 上的官方演示一样。复杂的提示将不起作用。虽然我未能从演示中重现完全相同的质量，但也许我做错了什么。
• 至于 LoRA，您需要通过 comfyanonymous 下载转换后的 LoRA 才能使用
• XLabs controlnet 属于 FLUX.1 [dev] 非商业许可证，至于 intantX 我懒得找到有关 if 的任何信息（应该是相同的，对吧？）
• 基于 Simple+Advanced FLUX.1 ComfyUI Workflows by markury 的 LoRA 工作流程

动态阈值和负面提示

具有动态阈值的 Ksampler 工作流程基于官方 ComfyUI 博客文章。我引用：

请注意，对于这两种模型，您可以将SamplerCustomAdvanced与BasicGuider一起使用，或者如果您使用KSampler ，则将CFG设置为1 。您可以在 Dev 模型上使用新的FluxGuidance来控制类似 CFG 的蒸馏值。 （建议将其设置为 2，以实现真实感或更好的风格控制）这些模型经过训练，可以在没有真实 CFG 的情况下工作。但这并不是说您永远不能使用 CFG - 事实上，社区已经迅速利用 ComfyUI 作为实验平台来测试各种技巧，以充分利用新模型。 （比如使用 Dynamic Thresholding 自定义节点，或者使用新的FluxGuidance内置节点进行补偿，并启用 CFG 和负提示。还有内置的ModelSamplingFlux来控制 Flux sigma 偏移，尽管其好处比较有限。）

请记住，这是我自己的解释，请随意进行任何更改和实验。

使用此采样方法进行 0 次非樱桃选择演示：

像素分辨率计算器节点

您可以在此处找到该存储库。

像素分辨率计算器是我昨天在 LLama3.1 的帮助下开发的自定义节点（是的，我没有编程技能，从头开始学习）。它只是一个非常简单的节点，可以根据您选择的百万像素和宽高比生成最接近的“潜在友好”像素分辨率。我从原始 Flux 演示工作流程中的 ImageScaleToTotalPixels 节点中获得了灵感，因为每个人似乎都在谈论像素分辨率，而不是像 SDXL 中那样谈论宽度和高度像素计数。还有一个节点可将潜在样本输入转换为宽度和高度像素数。

使用平铺扩散进行放大

还包括升级工作流程。它使用影响包中的迭代升级（图像）节点和平铺扩散来创建高分辨率修复，例如使用您选择的升级模型进行升级和细节化节点组。您还可以使用 PK 挂钩进行降噪、CFG 和步骤调度。

演示图像比较在这里。

修复

由于目前还没有针对 Flux 训练的修复模型，因此这里只能实现最简单形式的修复。您还可以尝试合并 ControlNet，但要注意基于平方的分辨率和制导比例 (4)。

奥拉马和弗洛伦斯2

只需一些简单的节点即可运行 ollama 和 Florence2，以便使用 Vision LLm 进行详细字幕并获得及时的见解，我在演示中使用 LLaVa 13B 和 Florence2 Large，您将需要 Ollama 、 Ollama ComfyUI 和 Florence2 ComfyUI 节点，请参阅链接详细的使用和安装指南。

详细指南

如果人们觉得难以使用，将添加更详细的指南......

---

学士

Flux 是一个非常灵活的模型，鉴于它是第一个版本，它非常令人印象深刻。发布后两周内，已经有 ControlNet 和 LoRA 可用，这表明社区对这种模型的喜爱程度。我现在期待一些修复模型。最重要的是，Matteo，请发布一款适用于 Flux 的 iPadapter...拜托，缺少一个谜题，我就完成了...

快乐生成！

PS 我添加了与 LLama3.1 一起使用的提示，以帮助我无缘无故地对此存储库进行拼写检查和语法检查：

担任具有强大写作技巧并对一般写作有深刻理解的专业作家。根据要求协助用户重写、重新格式化以及执行语法和拼写检查。您的任务应包括：

1. 重写文档以确保语法和拼写正确。
2. 改写句子，使句子更流畅、更容易理解。
3. 使用 Markdown格式化内容以增强可读性。
4. 保留原始内容：不要删除、修改文档或向文档添加任何不必要的信息。
5. 维护现有的 Markdown 格式：如果文档已使用 Markdown，请保持格式不变。如有必要，您可以重新格式化，但要避免影响原始结构。
6. 保留技术术语：避免重写与主题相关的特定术语，例如“Ksampler”或“LoRAs”，除非您不确定它们的含义。在这种情况下，请要求用户确认。
7. 保留原始语气：保持文档的语气一致，无论是正式还是非正式。确保笑话和幽默元素完好无损。

另外，请：

1. 使用链式思维：分享您重写文档时的思维过程，解释更改背后的原因。
2. 列出所做的更改：指定您对文档所做的更改，允许用户跟踪修订。
3. 提供建议：如果有多种方法可以重写某个部分，请提供建议并让用户决定他们喜欢哪种方法。

这些要求你了解吗？