ComfyUI All in One FluxDev Workflow

Cómodo flujo de trabajo FluxDev todo en uno

Actualizado v0.2: se corrigieron los nodos incorrectos que se conectaban al nodo florence2

Actualización 11-08-2024: Después de jugar un poco, encontré una manera de reproducir la imagen de alta calidad con controlnet como lo demuestran en su página Github/HF. También descubrí que los 2 métodos de muestreo se pueden combinar y reorganizar en Para un enfoque más simple y eficiente, pronto actualizaré la versión 0.3 para incluir todos estos cambios.

Descripción general

Creé un flujo de trabajo FluxDev todo en uno en ComfyUI que combina varias técnicas para generar imágenes con el modelo FluxDev, incluidas img-to-img y text-to-img. Este flujo de trabajo puede utilizar LoRA, ControlNets, lo que permite indicaciones negativas con Ksampler, umbrales dinámicos, pintura integrada y más. Tenga en cuenta que esta no es la forma "correcta" de utilizar estas técnicas, sino mi interpretación personal basada en la información disponible.

Utilizando intensamente el nodo USE Everywhere

Este flujo de trabajo depende en gran medida del nodo USE Everywhere para que sea lo más limpio y eficiente posible para mis necesidades diarias de generación. Estoy compartiendo este flujo de trabajo con la comunidad para recopilar ideas y sugerencias para mejorar. Siéntete libre de experimentar por tu cuenta.

Características principales

• Cambiar entre generación de imagen a imagen y de texto a imagen
• Para la generación de texto a imagen, elija entre una resolución SDXL predefinida o use el nodo Calculadora de resolución de píxeles para crear una resolución basada en la relación de aspecto y los megapíxeles a través del interruptor.
• Cargar modelos ControlNet y LoRA
• Muestreo con el nodo Flux y Sampler Custom Advance de muestreo de modelos, basado en el flujo de trabajo de demostración oficial original
• Muestreo con umbral dinámico y nodo Ksampler Advance, que permite el acondicionamiento positivo y negativo con FluxGuidance
• Pintura simple
• Corrección de alta resolución como mejora iterativa con Tiled Diffusion

Usando este flujo de trabajo

1. Actualizado: no se requiere instalación personalizada manual, ahora puede encontrar los nodos en el administrador, simplemente siga el paso número 3. instale los nodos personalizados de la Calculadora de resolución de píxeles a través de la URL de git en ComfyUI Manager (todavía no envié un extracto) URL: https://github.com/Ling-APE/ComfyUI-PixelResolutionCalculator
2. Descargue e importe el archivo JSON en ComfyUI
3. Instale los nodos faltantes a través del administrador ComfyUI
4. Configurar los interruptores
5. Agregue indicaciones (o use subtítulos detallados de LLM de visión)
6. Cargar imagen de ControlNet (opcional)
7. Omitir/desanular los nodos que necesita
8. ¡Generar!

Requisitos

• Nodos personalizados de Mi calculadora de resolución de píxeles (opcional)
• Pesos originales: flux1-dev.safetensors
• Versión FP8 (para sistemas VRAM <24 GB): flux1-dev-fp8.safetensors
• Codificadores de texto (colocar en ComfyUI/models/clip ): flux_text_encoders
• VAE (coloque ae.sft en ComfyUI/models/vae ): ae.safetensors
• Para un menor uso de RAM, descargue el codificador FP8 T5XXL (con cierta degradación de la calidad)
• xlabs-ai flux-controlnet-canny Weight controlnet.safetensors (coloque en ComfyUI/models/controlnet , abra la carpeta si es necesario)
• flux_RealismLora_converted flux_realism_lora.safetensors (colocar en ComfyUI/models/loras , abrir la carpeta si es necesario)
• Ollama y llava:13b (opcional)
• Modelo Microsoft Florence 2 (opcional, pero debe descargarse automáticamente la primera vez que lo ejecute)

Configuración de VRAM baja:

Inicie ComfyUI con el argumento "--lowvram" (agréguelo a su archivo .bat) para descargar el codificador de texto a la CPU

Errores conocidos

• Si usa Ctrl + Z para deshacer los cambios, algunos nodos en cualquier lugar se desvincularán por sí solos, encontrará los nodos que perdieron el enlace, desconectará y volverá a conectar las entradas, todo debería funcionar nuevamente.

ControlNet y LoRA

Al momento de crear este flujo de trabajo, hay dos ControlNets disponibles y varios LoRA, que incluyen:

• Canny ControlNet y Realism LoRA de XLabs-AI
• Controlnet astuto de InstantX
• Estético (anime) LoRA para FLUX de advokat
• También encontré una página de control del modelo netunion debajo de la página principal de instantáneaX, por lo que tal vez tengamos un modelo de unión en el futuro cercano.

Solo probé los LoRA Canny y Realism de XLabs-AI, y aquí hay algunas conclusiones clave:

• Si encuentra mensajes de error que dicen que no hay claves, deberá ir a sus directorios de ComfyUI y abrir una terminal para ingresar el código: git checkout xlabs_flux_controlnet
• Según mis pruebas, el modelo parece estar entrenado en relaciones de aspecto cuadradas y en una escala de guía 4, también mencionada aquí.
• Solo puedo hacerlo funcionar con un mínimo de indicaciones, como la demostración oficial de github. Las indicaciones complejas no funcionarán. Aunque no pude reproducir exactamente la misma calidad de la demostración, tal vez esté haciendo algo mal.
• En cuanto a LoRA, necesitarás descargar el LoRA convertido de comfortanonymous para que funcione.
• XLabs controlnet está bajo la licencia no comercial FLUX.1 [dev] y en cuanto a intantX, soy demasiado vago para encontrar información sobre si (debería ser lo mismo, ¿verdad?)
• Flujo de trabajo LoRA basado en Flujo de trabajo Simple+Advanced FLUX.1 ComfyUI de markury

Umbral dinámico e indicaciones negativas

El flujo de trabajo de Ksampler con umbral dinámico se basa en la publicación oficial del blog de ComfyUI. Y cito:

Tenga en cuenta que para ambos modelos puede usar SamplerCustomAdvanced con BasicGuider o, si usa KSampler , configurar CFG en 1 . Puede utilizar el nuevo FluxGuidance en el modelo Dev para controlar el valor destilado similar a CFG. (Se recomienda establecerlo en 2 para lograr realismo o un mejor control del estilo). Estos modelos están entrenados para funcionar sin CFG real. Sin embargo, eso no quiere decir que nunca puedas usar CFG; de hecho, la comunidad ha aprovechado rápidamente ComfyUI como plataforma de experimentación para probar una amplia variedad de trucos para aprovechar al máximo los nuevos modelos. (Como usar el nodo personalizado Dynamic Thresholding o usar el nuevo nodo incorporado FluxGuidance para compensar y habilitar CFG y mensajes negativos. También hay ModelSamplingFlux incorporado para controlar el cambio sigma de Flux, aunque sus beneficios son más limitados).

Tenga en cuenta que esta es mi propia interpretación y no dude en realizar cambios y experimentar.

Demostración de 0 disparos sin selección de cereza con este método de muestreo:

El nodo Calculadora de resolución de píxeles

Puedes encontrar el repositorio aquí.

La Calculadora de resolución de píxeles es un nodo personalizado que desarrollé ayer con la ayuda de LLama3.1 (Sí, no tengo conocimientos de programación, lo aprendí desde cero). Es simplemente un nodo muy simple que genera la resolución de píxeles "amigable para latentes" más cercana a partir del megapíxel y la relación de aspecto de su elección. Me inspiré en el nodo ImageScaleToTotalPixels del flujo de trabajo de demostración original de Flux, ya que todo el mundo parece hablar de resolución de píxeles en lugar de recuento de píxeles de ancho y alto como en SDXL. También hay un nodo para convertir una entrada de muestra latente en un recuento de píxeles de ancho y alto.

Mejora con difusión en mosaico

También se incluye un flujo de trabajo mejorado. Utiliza el nodo Iterative Upscale (Imagen) del paquete Impact y difusión en mosaico para crear una solución de alta resolución, como escalar y detallar un grupo de nodos con el modelo exclusivo de su elección. También puede realizar eliminación de ruido, CFG y programación de pasos con el gancho PK.

Comparación de imágenes de demostración aquí.

en pintura

Dado que todavía no existe un modelo de inpainting entrenado para Flux, aquí solo se puede lograr la forma más simple de inpainting. También puede intentar incorporar ControlNets, pero preste atención a la escala de guía y resolución basada en cuadrados (4).

Ollama y Florencia2

Solo algunos nodos simples para ejecutar ollama y Florence2 para usar vision LLm para subtítulos detallados y obtener información rápida. Estoy usando LLaVa 13B y Florence2 grande en la demostración. Necesitará los nodos Ollama, Ollama ComfyUI y Florence2 ComfyUI; consulte los enlaces para obtener una guía detallada de uso e instalación.

guía detallada

Se agregará una guía más detallada si a las personas les resulta difícil de usar....

---

Licenciatura

Flux es un modelo muy flexible y, dado que es una primera versión, es muy impresionante. A las dos semanas de su lanzamiento, ya hay ControlNets y LoRA disponibles, lo que demuestra cuánto ama la comunidad este modelo. Ahora estoy esperando algunos modelos para pintar. Y lo más importante, Matteo, por favor publica un iPadapter para Flux... por favor, el único rompecabezas que falta y ya estoy completo...

¡Feliz Generación!

PD: Estoy incluyendo el mensaje que uso con LLama3.1 para ayudarme a realizar revisiones ortográficas y gramaticales para este mismo repositorio sin ningún motivo:

Actúe como un escritor profesional con sólidas habilidades de escritura y un profundo conocimiento de la escritura en general. Ayude a los usuarios a reescribir, reformatear y realizar revisiones gramaticales y ortográficas cuando lo soliciten. Tus tareas deben incluir:

1. Reescribir documentos para garantizar la gramática y ortografía correctas.
2. Reformular oraciones para hacerlas más fluidas y fáciles de entender.
3. Formatear el contenido usando Markdown para mejorar la legibilidad.
4. Preservar el contenido original : No elimine, modifique ni agregue información innecesaria al documento.
5. Mantener el formato Markdown existente : si el documento ya usa Markdown, mantenga el formato intacto. Puede reformatear si es necesario, pero evite afectar la estructura original.
6. Preservar términos técnicos : evite reescribir términos específicos relacionados con el tema, como "Ksampler" o "LoRA", a menos que no esté seguro de su significado. En ese caso, solicite confirmación al usuario.
7. Preservar el tono original : mantenga coherente el tono del documento, ya sea formal o informal. Asegúrese de que los chistes y los elementos humorísticos permanezcan intactos.

Además, por favor:

1. Utilice el pensamiento en cadena de pensamiento : comparta su proceso de pensamiento al reescribir el documento, explicando el razonamiento detrás de los cambios.
2. Lista de cambios realizados : especifique los cambios que ha realizado en el documento, lo que permite al usuario realizar un seguimiento de las revisiones.
3. Proporcione sugerencias : si hay varias formas de reescribir una sección, ofrezca sugerencias y deje que el usuario decida qué enfoque prefiere.

¿Entiendes estos requisitos?