ComfyUI LivePortraitKJ

Узлы ComfyUI для использования LivePortrait

Обновление 2

Добавлен еще один альтернативный детектор лиц: https://github.com/1adrianb/face-alignment.

Поскольку здесь можно использовать модель задней камеры blazeface (или SFD), для меньших лиц это намного лучше, чем MediaPipe, который может использовать только короткую модель blazeface. Разминка при первой пробежке при ее использовании может занять много времени, но последующие пробежки выполняются быстро.

Пример обнаружения с использованием blazeface_back_camera:

AnimateDiff_00004.34.mp4

Обновлять

Переработка почти всего, что было в разработке, теперь объединена в основную, это означает, что старые рабочие процессы не будут работать, но все должно быть быстрее, и появится много новых функций. В целях наследования старая основная ветка перемещается в устаревшую ветку.

Изменения

• Добавлен MediaPipe в качестве альтернативы Insightface, теперь при его использовании все должно регулироваться лицензиями MIT и Apache-2.0.

• Правильный Vid2vid, включая алгоритм сглаживания (спасибо @melMass)

• Повышенная скорость и эффективность, обеспечивает просмотр практически в реальном времени даже в режиме Comfy (задержка ~ 80–100 мс).

• Реструктурированные узлы для большего количества возможностей

• Автоматический пропуск кадров без обнаружения лица

• О многих других вещах, о которых я на данный момент забыл, их было много.

• Улучшена поддержка Mac на MPS (спасибо @Grant-CP

обновление до этого обновления:

• преобразовал модель onnx ориентирного бегуна в модель факела, чего я не делал раньше, и мне не удалось ничего сделать, кроме как создать файл .pth, так что вам просто придется мне довериться. Это позволяет запускать все это даже без onnxruntime, оно работает на графическом процессоре и работает примерно так же быстро. Он доступен в узле обрезки MediaPipe в качестве опции: при выборе он автоматически загружается отсюда: https://huggingface.co/Kijai/LivePortrait_safetensors/blob/main/landmark_model.pth

Примеры:

В реальном времени с трансляцией с веб-камеры:

liveportrait_realtime.mp4

Изображение2вид:

liveportrait_img2vid.mp4

Вид2Вид:

liveportrait_vid2vid.mp4

Я преобразовал все файлы рассола в безопасные тензоры: https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main

Они идут сюда (и загружаются автоматически, если папки нет) ComfyUI/models/liveportrait

Детекторы лиц

Вы можете использовать исходный Insightface по умолчанию или MediaPipe от Google.

Самым большим отличием является лицензия: Insightface предназначен исключительно для НЕКОММЕРЧЕСКОГО использования. MediaPipe немного хуже обнаруживает и не может работать на графическом процессоре в Windows, хотя он намного быстрее на процессоре по сравнению с Insightface.

Insightface не устанавливается автоматически. Если вы хотите его использовать, следуйте этим инструкциям: Если у вас есть работающая среда компиляции, ее установка может быть такой же простой, как:

pip install insightface

или для портативной версии в папке ComfyUI_windows_portable:

python_embeded/python.exe -m pip install insightface

Если это не помогло (и это вполне вероятно), вы можете проверить альтернативу в разделе «Устранение неполадок» узла реактора:

https://github.com/Gourieff/comfyui-reactor-node

Для модели Insightface извлеките это в ComfyUI/models/insightface/buffalo_l :

https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip

Обратите внимание, что лицензия Insightface носит некоммерческий характер.