gimnasio de flujo

Gimnasio Flux

Interfaz de usuario web muy sencilla para entrenar FLUX LoRA con soporte de VRAM BAJA (12 GB/16 GB/20 GB).

• Frontend: WebUI bifurcada de AI-Toolkit (Gradio UI creada por https://x.com/multimodalart)
• Backend: el script de entrenamiento impulsado por Kohya Scripts

FluxGym admite el 100% de las funciones de Kohya sd-scripts a través de una pestaña Avanzado, que está oculta de forma predeterminada.

---

¿Qué es esto?

1. Quería una interfaz de usuario súper simple para entrenar Flux LoRA
2. El proyecto AI-Toolkit es excelente y la contribución de gradio UI de @multimodalart es perfecta, pero el proyecto solo funciona con 24 GB de VRAM.
3. Los scripts Kohya son muy flexibles y potentes para entrenar FLUX, pero es necesario ejecutarlos en la terminal.
4. ¿Qué pasaría si pudieras tener la simplicidad de AI-Toolkit WebUI y la flexibilidad de Kohya Scripts?
5. Nació Flux Gym. Admite VRAM de 12 GB, 16 GB, 20 GB y es extensible ya que utiliza Kohya Scripts debajo.

---

Noticias

• 25 de septiembre: soporte para Docker + Descarga automática de modelos (no es necesario descargar modelos manualmente al configurar) + Soporte para modelos base personalizados (no solo flux-dev sino cualquier cosa, solo debe incluirse en el archivo models.yaml).
• 16 de septiembre: Se agregó "Publicar en Huggingface" + compatibilidad 100% con la función Kohya sd-scripts: https://x.com/cocktailpeanut/status/1835719701172756592
• 11 de septiembre: Generación automática de imágenes de muestra + Resolución personalizada: https://x.com/cocktailpeanut/status/1833881392482066638

---

Modelos compatibles

1. Flux1-dev
2. Flux1-dev2pro (como se explica aquí: https://medium.com/@zhiwangshi28/why-flux-lora-so-hard-to-train-and-how-to-overcome-it-a0c70bc59eaf)
3. Flux1-schnell (No se pudieron obtener resultados de alta calidad, por lo que no es realmente recomendable, pero siéntete libre de experimentar con él)
4. ¿Más?

Los modelos se descargan automáticamente cuando comienzas a entrenar con el modelo seleccionado.

Puede agregar fácilmente más a la lista de modelos compatibles editando el archivo models.yaml. Si desea compartir algunos modelos base interesantes, envíe un PR.

---

Cómo la gente usa Fluxgym

Aquí hay personas que usan Fluxgym para entrenar localmente a Lora y comparten su experiencia:

https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

Más información

Para obtener más información, consulte este hilo X: https://x.com/cocktailpeanut/status/1832084951115972653

Instalar

1. Instalación con un clic

Puede instalar e iniciar todo automáticamente de forma local con el iniciador de 1 clic de Pinokio: https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

2. Instalar manualmente

Primer clon de Fluxgym y kohya-ss/sd-scripts:

 git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

Su estructura de carpetas se verá así:

 /fluxgym
  app.py
  requirements.txt
  /sd-scripts

Ahora active un venv desde la carpeta raíz fluxgym :

Si estás en Windows:

 python -m venv env
envScriptsactivate

Si estás en Linux:

 python -m venv env
source env/bin/activate

Esto creará una carpeta env justo debajo de la carpeta fluxgym :

 /fluxgym
  app.py
  requirements.txt
  /sd-scripts
  /env

Ahora vaya a la carpeta sd-scripts e instale las dependencias en el entorno activado:

 cd sd-scripts
pip install -r requirements.txt

Ahora regrese a la carpeta raíz e instale las dependencias de la aplicación:

 cd ..
pip install -r requirements.txt

Finalmente, instale pytorch Nightly:

 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

Comenzar

Regrese a la carpeta raíz fluxgym , con el venv activado, ejecute:

 python app.py

Asegúrese de tener el venv activado antes de ejecutar python app.py

Windows: env/Scripts/activate Linux: source env/bin/activate

3. Instalar a través de Docker

Primer clon de Fluxgym y kohya-ss/sd-scripts:

 git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

Verifique su user id y group id y cámbielos si no es 1000 mediante environment variables de PUID y PGID . Puede averiguar cuáles son en Linux ejecutando el siguiente comando: id

Ahora construye la imagen y ejecútala mediante docker-compose :

 docker compose up -d --build

Abra el navegador web y vaya a la dirección IP de la computadora/VM: http://localhost:7860

Uso

El uso es bastante sencillo:

1. Introduce la información de lora
2. Sube imágenes y subtitulalas (usando la palabra desencadenante)
3. Haga clic en "iniciar".

¡Eso es todo!

Configuración

Imágenes de muestra

Por defecto, fluxgym no genera ninguna imagen de muestra durante el entrenamiento.

Sin embargo, puedes configurar Fluxgym para que genere automáticamente imágenes de muestra por cada N pasos. Así es como se ve:

Para activar esto, simplemente configure los dos campos:

1. Mensajes de imágenes de muestra: estos mensajes se utilizarán para generar imágenes automáticamente durante el entrenamiento. Si desea varios, separe el mensaje de enseñanza con una nueva línea.
2. Imagen de muestra cada N pasos: si sus "Pasos de entrenamiento esperados" son 960 y su "Imagen de muestra cada N pasos" es 100, las imágenes se generarán en los pasos 100, 200, 300, 400, 500, 600, 700, 800. 900, para CADA mensaje.

Imágenes de muestra avanzadas

Gracias a la sintaxis incorporada de kohya/sd-scripts, puedes controlar exactamente cómo se generan las imágenes de muestra durante la fase de entrenamiento:

Digamos que la palabra desencadenante es tercera persona. Normalmente probaría mensajes de muestra como:

 hrld person is riding a bike
hrld person is a body builder
hrld person is a rock star

Pero para cada mensaje, puede incluir indicadores avanzados para controlar completamente el proceso de generación de imágenes. Por ejemplo, el indicador --d le permite especificar la SEMILLA.

Especificar una semilla significa que cada imagen de muestra usará esa semilla exacta, lo que significa que literalmente puedes ver cómo evoluciona LoRA. A continuación se muestra un ejemplo de uso:

 hrld person is riding a bike --d 42
hrld person is a body builder --d 42
hrld person is a rock star --d 42

Así es como se ve en la interfaz de usuario:

Y aquí están los resultados:

Además de la opción --d , aquí hay otras opciones que puedes usar:

• --n : mensaje negativo hasta la siguiente opción.
• --w : Especifica el ancho de la imagen generada.
• --h : Especifica la altura de la imagen generada.
• --d : Especifica la semilla de la imagen generada.
• --l : Especifica la escala CFG de la imagen generada.
• --s : Especifica el número de pasos en la generación.

La ponderación rápida como ( ) y [ ] también funciona. (Obtenga más información sobre Atención/Énfasis)

Publicando en Huggingface

1. Obtenga su token Huggingface en https://huggingface.co/settings/tokens
2. Ingrese el token en el campo "Token Huggingface" y haga clic en "Iniciar sesión". Esto guardará el texto del token en un archivo local llamado HF_TOKEN (Todo local y privado).
3. Una vez que haya iniciado sesión, podrá seleccionar un LoRA entrenado en el menú desplegable, editar el nombre si lo desea y publicarlo en Huggingface.

Avanzado

La pestaña avanzada se construye automáticamente analizando los indicadores de inicio disponibles para la última versión de kohya sd-scripts. Esto significa que Fluxgym es una interfaz de usuario completa para usar el script Kohya.

Por defecto, la pestaña avanzada está oculta. Puede hacer clic en el acordeón "avanzado" para expandirlo.

Funciones avanzadas

Cargando archivos de subtítulos

También puede cargar los archivos de títulos junto con los archivos de imagen. Sólo necesitas seguir la convención:

1. Cada archivo de título debe ser un archivo .txt .
2. Cada archivo de título debe tener un archivo de imagen correspondiente que tenga el mismo nombre.
3. Por ejemplo, si tiene un archivo de imagen llamado img0.png , el archivo de título correspondiente debe ser img0.txt .