флюс-тренажерный зал

Флакс Тренажерный зал

Очень простой веб-интерфейс для обучения FLUX LoRA с поддержкой LOW VRAM (12 ГБ/16 ГБ/20 ГБ).

• Интерфейс: веб-интерфейс, созданный на основе AI-Toolkit (пользовательский интерфейс Gradio, созданный https://x.com/multimodalart).
• Бэкэнд: сценарий обучения на базе Kohya Scripts.

FluxGym поддерживает 100% функций SD-скриптов Kohya через вкладку «Дополнительно», которая по умолчанию скрыта.

---

Что это?

1. Мне нужен был очень простой пользовательский интерфейс для обучения Flux LoRA.
2. Проект AI-Toolkit великолепен, и вклад @multimodalart в градиентный пользовательский интерфейс великолепен, но проект работает только с 24 ГБ видеопамяти.
3. Скрипты Kohya очень гибки и мощны для обучения FLUX, но запускать их нужно в терминале.
4. Что, если бы вы могли использовать простоту веб-интерфейса AI-Toolkit и гибкость скриптов Kohya?
5. Появился Flux Gym. Поддерживает 12 ГБ, 16 ГБ, 20 ГБ видеопамяти и расширяемую, поскольку в ее основе используются сценарии Kohya.

---

Новости

• 25 сентября: Поддержка Docker + Автоматическая загрузка моделей (нет необходимости загружать модели вручную при настройке) + Поддержка пользовательских базовых моделей (не только flux-dev, но и чего угодно, просто нужно включить в файл models.yaml).
• 16 сентября: добавлена ​​функция «Опубликовать в Huggingface» + 100% поддержка SD-скриптов Kohya: https://x.com/cocktailpeanut/status/1835719701172756592.
• 11 сентября: автоматическое создание образца изображения + пользовательское разрешение: https://x.com/cocktailpeanut/status/1833881392482066638.

---

Поддерживаемые модели

1. Flux1-dev
2. Flux1-dev2pro (как описано здесь: https://medium.com/@zhiwangshi28/why-flux-lora-so-hard-to-train-and-how-to-overcome-it-a0c70bc59eaf)
3. Flux1-schnell (не удалось получить результаты высокого качества, поэтому не рекомендуется, но не стесняйтесь экспериментировать с ним)
4. Более?

Модели автоматически загружаются, когда вы начинаете обучение с выбранной моделью.

Вы можете легко добавить больше к списку поддерживаемых моделей, отредактировав файл models.yaml. Если вы хотите поделиться интересными базовыми моделями, пришлите PR.

---

Как люди используют Fluxgym

Вот люди, использующие Fluxgym для тренировок Лоры на месте и делящиеся своим опытом:

https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

Дополнительная информация

Чтобы узнать больше, посетите эту ветку X: https://x.com/cocktailpeanut/status/1832084951115972653.

Установить

1. Установка в один клик

Вы можете автоматически установить и запустить все локально с помощью программы запуска Pinokio в один клик: https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

2. Установите вручную

Первый клон Fluxgym и kohya-ss/sd-скриптов:

 git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

Структура ваших папок будет выглядеть так:

 /fluxgym
  app.py
  requirements.txt
  /sd-scripts

Теперь активируйте venv из корневой папки fluxgym :

Если вы используете Windows:

 python -m venv env
envScriptsactivate

Если вы используете Linux:

 python -m venv env
source env/bin/activate

Это создаст папку env прямо под папкой fluxgym :

 /fluxgym
  app.py
  requirements.txt
  /sd-scripts
  /env

Теперь переходим в папку sd-scripts и устанавливаем зависимости к активированной среде:

 cd sd-scripts
pip install -r requirements.txt

Теперь вернитесь в корневую папку и установите зависимости приложения:

 cd ..
pip install -r requirements.txt

Наконец, установите pytorch Nightly:

 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

Начинать

Вернитесь в корневую папку fluxgym , активировав venv, запустите:

 python app.py

Перед запуском python app.py убедитесь, что venv активирован.

Windows: env/Scripts/activate Linux: source env/bin/activate

3. Установите через Docker.

Первый клон Fluxgym и kohya-ss/sd-скриптов:

 git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

Проверьте свой user id и group id и измените его, если он не 1000, с помощью environment variables PUID и PGID . Вы можете узнать, что это такое в Linux, выполнив следующую команду: id

Теперь создайте образ и запустите его через docker-compose :

 docker compose up -d --build

Откройте веб-браузер и перейдите по IP-адресу компьютера/виртуальной машины: http://localhost:7860.

Использование

Использование довольно простое:

1. Введите информацию о Лоре
2. Загрузите изображения и подпишите их (используя триггерное слово)
3. Нажмите «старт».

Вот и все!

Конфигурация

Примеры изображений

По умолчанию Fluxgym не генерирует образцы изображений во время тренировки.

Однако вы можете настроить Fluxgym для автоматического создания образцов изображений для каждых N шагов. Вот как это выглядит:

Чтобы включить это, просто установите два поля:

1. Подсказки с образцами изображений. Эти подсказки будут использоваться для автоматического создания изображений во время обучения. Если вам нужно несколько, отдельные приглашения на обучение с новой строкой.
2. Образец изображения каждые N шагов: если «Ожидаемое количество шагов обучения» равно 960, а «Пример изображения каждые N шагов» равно 100, изображения будут создаваться на шаге 100, 200, 300, 400, 500, 600, 700, 800, 900, для КАЖДОГО приглашения.

Расширенные образцы изображений

Благодаря встроенному синтаксису kohya/sd-scripts вы можете точно контролировать, как генерируются образцы изображений на этапе обучения:

Допустим, триггерное слово — «человек». Обычно вы пробуете примеры подсказок, например:

 hrld person is riding a bike
hrld person is a body builder
hrld person is a rock star

Но для каждого запроса вы можете включить расширенные флаги , чтобы полностью контролировать процесс создания изображения. Например, флаг --d позволяет указать SEED.

Указание начального значения означает, что каждый образец изображения будет использовать именно это начальное значение, а это означает, что вы буквально можете наблюдать за развитием LoRA. Вот пример использования:

 hrld person is riding a bike --d 42
hrld person is a body builder --d 42
hrld person is a rock star --d 42

Вот как это выглядит в пользовательском интерфейсе:

И вот результаты:

Помимо флага --d , вы можете использовать и другие флаги:

• --n : Отрицательное приглашение к следующему варианту.
• --w : определяет ширину создаваемого изображения.
• --h : определяет высоту сгенерированного изображения.
• --d : указывает начальное число сгенерированного изображения.
• --l : определяет масштаб CFG сгенерированного изображения.
• --s : указывает количество шагов в генерации.

Также работают быстрые взвешивания, такие как ( ) и [ ] . (Подробнее о внимании/акценте)

Публикация в Huggingface

1. Получите токен Huggingface на https://huggingface.co/settings/tokens.
2. Введите токен в поле «Huggingface Token» и нажмите «Войти». Текст токена будет сохранен в локальном файле с именем HF_TOKEN (все локальные и частные).
3. После входа в систему вы сможете выбрать обученного LoRA из раскрывающегося списка, отредактировать имя, если хотите, и опубликовать его в Huggingface.

Передовой

Вкладка «Дополнительно» создается автоматически путем анализа флагов запуска, доступных для последней версии sd-скриптов Kohya. Это означает, что Fluxgym — это полноценный пользовательский интерфейс для использования скрипта Kohya.

По умолчанию вкладка «Дополнительно» скрыта. Вы можете нажать «расширенный» аккордеон, чтобы развернуть его.

Расширенные функции

Загрузка файлов подписей

Вы также можете загрузить файлы подписей вместе с файлами изображений. Вам просто нужно следовать соглашению:

1. Каждый файл подписей должен быть файлом .txt .
2. Каждый файл подписей должен иметь соответствующий файл изображения с тем же именем.
3. Например, если у вас есть файл изображения с именем img0.png , соответствующий файл подписи должен быть img0.txt .