플럭스짐

기타 소스코드

다운로드

플럭스 체육관

낮은 VRAM(12GB/16GB/20GB)을 지원하는 FLUX LoRA 교육을 위한 죽은 간단한 웹 UI입니다.

프런트엔드: AI-Toolkit(https://x.com/multimodalart에서 만든 Gradio UI)에서 분기된 WebUI
백엔드: Kohya Scripts가 제공하는 교육 스크립트

FluxGym은 기본적으로 숨겨져 있는 고급 탭을 통해 Kohya sd 스크립트 기능을 100% 지원합니다.

스크린샷.png

이게 뭔가요?

저는 Flux LoRA 훈련을 위한 매우 간단한 UI를 원했습니다.
AI-Toolkit 프로젝트는 훌륭하고 @multimodalart의 그라디오 UI 기여는 완벽하지만 이 프로젝트는 24GB VRAM에서만 작동합니다.
Kohya 스크립트는 FLUX 교육에 매우 유연하고 강력하지만 터미널에서 실행해야 합니다.
AI-Toolkit WebUI의 단순성과 Kohya 스크립트의 유연성을 가질 수 있다면 어떨까요?
플럭스 짐(Flux Gym)이 탄생했습니다. 12GB, 16GB, 20GB VRAM을 지원하며, 아래에 Kohya 스크립트를 사용하므로 확장이 가능합니다.

소식

9월 25일: Docker 지원 + 모델 자동 다운로드(설정 시 모델을 수동으로 다운로드할 필요 없음) + 사용자 정의 기본 모델 지원(flux-dev뿐만 아니라 다른 모든 것, models.yaml 파일에 포함하면 됨)
9월 16일: "Huggingface에 게시" 추가 + 100% Kohya sd-scripts 기능 지원: https://x.com/cocktailpeanut/status/1835719701172756592
9월 11일: 자동 샘플 이미지 생성 + 사용자 정의 해상도: https://x.com/cocktailpeanut/status/1833881392482066638

지원되는 모델

Flux1-dev
Flux1-dev2pro(여기 설명: https://medium.com/@zhiwangshi28/why-flux-lora-so-hard-to-train-and-how-to-overcome-it-a0c70bc59eaf)
Flux1-schnell(고품질 결과를 얻을 수 없으므로 별로 권장하지는 않지만 자유롭게 실험해 보세요.)
더?

선택한 모델로 훈련을 시작하면 모델이 자동으로 다운로드됩니다.

models.yaml 파일을 편집하여 지원되는 모델 목록에 더 많은 모델을 쉽게 추가할 수 있습니다. 흥미로운 기본 모델을 공유하고 싶다면 PR을 보내주세요.

사람들이 Fluxgym을 사용하는 방법

다음은 Fluxgym을 사용하여 Lora를 현지 교육하여 자신의 경험을 공유하는 사람들입니다.

https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

추가 정보

자세한 내용은 이 X 스레드를 확인하세요: https://x.com/cocktailpeanut/status/1832084951115972653

설치하다

1. 원클릭 설치

Pinokio 1-click 실행 프로그램을 사용하면 모든 것을 로컬에서 자동으로 설치하고 실행할 수 있습니다: https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

2. 수동으로 설치

먼저 Fluxgym 및 kohya-ss/sd-scripts를 복제합니다.

 git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

폴더 구조는 다음과 같습니다.

 /fluxgym
  app.py
  requirements.txt
  /sd-scripts

이제 루트 fluxgym 폴더에서 venv를 활성화하십시오.

Windows를 사용하는 경우:

 python -m venv env
envScriptsactivate

Linux를 사용하는 경우:

 python -m venv env
source env/bin/activate

그러면 fluxgym 폴더 바로 아래에 env 폴더가 생성됩니다.

 /fluxgym
  app.py
  requirements.txt
  /sd-scripts
  /env

이제 sd-scripts 폴더로 이동하여 활성화된 환경에 종속성을 설치합니다.

 cd sd-scripts
pip install -r requirements.txt

이제 루트 폴더로 돌아가 앱 종속성을 설치합니다.

 cd ..
pip install -r requirements.txt

마지막으로 pytorch Nightly를 설치합니다.

 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

시작

venv가 활성화된 상태에서 루트 fluxgym 폴더로 돌아가서 다음을 실행합니다.

 python app.py

python app.py 실행하기 전에 venv를 활성화했는지 확인하세요.
Windows: env/Scripts/activate Linux: source env/bin/activate

3. Docker를 통해 설치

먼저 Fluxgym 및 kohya-ss/sd-scripts를 복제합니다.

 git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

user id 와 group id 확인하고 PUID 및 PGID environment variables 통해 1000이 아닌 경우 변경하십시오. 다음 명령을 실행하여 Linux에서 이러한 id 이 무엇인지 확인할 수 있습니다.

이제 이미지를 빌드하고 docker-compose 통해 실행합니다.

 docker compose up -d --build

웹 브라우저를 열고 컴퓨터/VM의 IP 주소로 이동합니다: http://localhost:7860

용법

사용법은 매우 간단합니다.

로라 정보를 입력하세요
이미지를 업로드하고 캡션을 추가하세요(촉발 단어 사용).
"시작"을 클릭하세요.

그게 다야!

흐름.gif

구성

샘플 이미지

기본적으로 fluxgym은 훈련 중에 샘플 이미지를 생성하지 않습니다.

그러나 N 단계마다 샘플 이미지를 자동으로 생성하도록 Fluxgym을 구성할 수 있습니다. 그 모습은 다음과 같습니다.

샘플.png

이 기능을 켜려면 다음 두 필드를 설정하면 됩니다.

샘플 이미지 프롬프트: 이 프롬프트는 훈련 중에 이미지를 자동으로 생성하는 데 사용됩니다. 여러 개를 원할 경우 새 줄로 학습 프롬프트를 분리하세요.
N 단계마다 샘플 이미지: "예상 훈련 단계"가 960이고 "N 단계마다 샘플 이미지"가 100인 경우 이미지는 100, 200, 300, 400, 500, 600, 700, 800 단계에서 생성됩니다. 각 프롬프트에 대해 900입니다.

샘플_필드.png

고급 샘플 이미지

kohya/sd-scripts의 내장 구문 덕분에 훈련 단계에서 샘플 이미지가 생성되는 방식을 정확하게 제어할 수 있습니다.

유발어가 hrld person이라고 가정해 보겠습니다. 일반적으로 다음과 같은 샘플 프롬프트를 시도합니다.

 hrld person is riding a bike
hrld person is a body builder
hrld person is a rock star

그러나 모든 프롬프트에 대해 고급 플래그를 포함하여 이미지 생성 프로세스를 완전히 제어할 수 있습니다. 예를 들어 --d 플래그를 사용하면 SEED를 지정할 수 있습니다.

시드를 지정한다는 것은 모든 샘플 이미지가 정확한 시드를 사용한다는 것을 의미하며, 이는 문자 그대로 LoRA가 진화하는 것을 볼 수 있음을 의미합니다. 사용 예는 다음과 같습니다.

 hrld person is riding a bike --d 42
hrld person is a body builder --d 42
hrld person is a rock star --d 42

UI에는 다음과 같이 표시됩니다.

플래그.png

결과는 다음과 같습니다.

씨앗.gif

--d 플래그 외에도 사용할 수 있는 다른 플래그는 다음과 같습니다.

--n : 다음 옵션까지 부정적인 프롬프트입니다.
--w : 생성된 이미지의 너비를 지정합니다.
--h : 생성된 이미지의 높이를 지정합니다.
--d : 생성된 이미지의 시드를 지정합니다.
--l : 생성된 이미지의 CFG 크기를 지정합니다.
--s : 생성 단계 수를 지정합니다.

( ) , [ ] 등의 프롬프트 가중치도 작동합니다. (주의/강조에 대해 자세히 알아보세요)

Huggingface에 게시 중

https://huggingface.co/settings/tokens에서 Huggingface 토큰을 받으세요.
"Huggingface Token" 필드에 토큰을 입력하고 "Login"을 클릭하세요. 그러면 토큰 텍스트가 HF_TOKEN (모두 로컬 및 개인용)이라는 로컬 파일에 저장됩니다.
로그인하면 드롭다운에서 훈련된 LoRA를 선택하고, 원하는 경우 이름을 편집하고, Huggingface에 게시할 수 있습니다.

게시_to_hf.png