PuLID-Flux для ComfyUI

Реализация PuLID-Flux ComfyUI (альфа-версия)

Обновления версий

V0.1.0: Рабочий узел с поддержкой веса, start_at, end_at (attn_mask не работает)

Примечания

Этот проект был во многом вдохновлен Cubiq/PuLID_ComfyUI. Это всего лишь прототип, который использует несколько удобных hacks модели для раздела кодировщика. Я хотел проверить качество модели, прежде чем реализовывать ее более формальным образом. Для получения лучших результатов я рекомендую 16bit или 8bit GGUF Flux1-dev (8e5m2 возвращает размытый фон). В каталоге examples вы найдете некоторые основные рабочие процессы.

Поддерживаемые модели Flux:

32/16 бит (~22 ГБ видеопамяти): модель, кодер

8-битный gguf (~12 ГБ видеопамяти): модель, кодер

8-битный FP8 e5m2 (~12 ГБ видеопамяти): модель, кодер

8-битный FP8 e4m3fn (~12 ГБ видеопамяти): модель, кодер

Зажим и VAE (для всех моделей): зажим, ваэ

Для моделей GGUF вам потребуется установить ComfyUI-GGUF.

Установка

Установите этот репозиторий в ComfyUI/custom_nodes

git clone https://github.com/balazik/ComfyUI-PuLID-Flux.git

Установите все пакеты, перечисленные в файле requirements.txt , в среду Python, в которой вы запускаете ComfyUI. Я предпочитаю не использовать сценарии автоматической установки, так как мне не нравится, когда сценарии устанавливают программное обеспечение без моего ведома. ?
Вам нужна одна из упомянутых моделей Flux.1-dev . Загрузите модель в ComfyUI/models/unet , закрепите и закодируйте в ComfyUI/models/clip , VAE в ComfyUI/models/vae .
Предварительно обученная модель PuLID Flux находится в ComfyUI/models/pulid/ .
EVA CLIP — EVA02-CLIP-L-14-336, должен загружаться автоматически (будет расположен в каталоге Huggingface). Если по какой-то причине автоматическая загрузка не удалась (и вы получаете face_anaанализ.py, инициализируйте утверждение «обнаружения» в исключении self.models ), загрузите эту модель EVA-CLIP вручную, поместите файл в свой ComfyUI/models/clip и перезапустите ComfyUI. .
Необходимо установить зависимость facexlib , модели загружаются при первом использовании.
Наконец, вам понадобится InsightFace с AntelopeV2, разархивированные модели следует поместить в ComfyUI/models/insightface/models/antelopev2 .

Известные проблемы

ApplyPulidFlux не работает на аппаратном обеспечении с вычислениями CUDA
Когда узел ApplyPulidFlux отключается после первого запуска, узел по-прежнему влияет на модель Flux.
ApplyPulidFlux attn_mask не работает (в процессе).