ebsynth_utility
Обзор
Automatic11111111 расширение пользовательского интерфейса для создания видео с использованием img2img и ebsynth.
Это расширение позволяет вам выводить отредактированные видео с использованием ebsynth. (AE не требуется)
С установленной ControlNet я подтвердил, что все функции этого расширения работают правильно!
ControlNet является обязательным для редактирования видео, поэтому я рекомендую его установить.
Multi Controlnet ("canny" + "нормальная карта") будет подходить для редактирования видео.
Я модифицировал Animatediff-CLI, чтобы создать инструмент TXT2Video, который позволяет гибко спецификации. Вы можете использовать его, если хотите.
animatediff-cli-prompt-travel
Образец2.mp4
Пример
- Следующий образец является необработанным выходом этого расширения.
образец 1 маска с клипсегом
- Сначала слева: оригинал
- Второе слева: маскировка "кошка" исключает "пальцем"
- третий слева: маскировка "голова кошки"
- Справа: цветной скорректирован с помощью цветового соревнования (см. Стадия 3.5)
- Также можно указать несколько целей. (Например, кошка, собака, мальчик, девочка)
sample_clipseg_and_colormacher.mp4
Образец 2 смеси фон
- Человек: шедевр, лучшее качество, шедевр, 1girl, шедевр, лучшее качество, экрана аниме, стиль аниме
- Фон: киберпанк, фабрика, комната, экрана аниме, стиль аниме
- Также можно смешать с вашими любимыми видео.
Образец 6.mp4
Образец 3 Автомагнирование
- Слева: оригинал
- Центр: примените одни и те же подсказки во всех ключевых кадрах
- Справа: примените автотех
- Эта функция улучшает подробные изменения в выражениях лица, выражения рук и т. Д.
В примере видео были добавлены теги "checken_eyes" и "hishs_on_own_face", чтобы лучше представлять глаз, и руки, приведенные перед лицом.
Sample_autotag.mp4
Образец 4 Автомагнирование (динамически применить LORA)
- Слева: применить автотех
- Справа: применить автоматическое теги от DeepDanbOoru во всех ключевых кадрах + применить "anyaHehface" LORA Динамически
- Добавлена функция для динамического применения Ti, Hypernet, Lora и дополнительных подсказок в соответствии с автоматически прикрепленными тегами.
В примере видео, если дается тег «Smile», ключевые слова Lora и Lora Trigger установлены для добавления в соответствии с силой тега «Smile».
Кроме того, поскольку автоматически добавленные теги иногда неверны, ненужные теги перечислены в черном списке.
Вот фактический файл конфигурации. Поместите в «каталог проектов» для использования.
Sample.anyaheh.mp4
Установка
- Установите ffmpeg для вашей операционной системы (https://www.geeksforgeeks.org/how-to-install-ffmpeg-on-windows/)
- Установите Ebsynth
- Используйте вкладку «Расширения» Webui, чтобы [установить из URL]
Использование
- Перейти к [Ebsynth Utility] вкладка.
- Создайте пустой каталог где -нибудь и заполните поле «Справочник проекта».
- Поместите видео, которое вы хотите отредактировать откуда -то, и заполните поле «Оригинальный путь к фильму». Сначала используйте короткие видео на несколько секунд.
- Выберите этап 1 и генерируйте.
- Выполнить по порядку от этапа 1 по 7. Прогресс во время процесса не отражен в WebUI, поэтому, пожалуйста, проверьте экран консоли. Если вы видите "завершен". В Webui это завершено.
(В текущем последнем Webui, похоже, это вызывает ошибку, если вы не оставляете изображение на основном экране IMG2IMG.
Пожалуйста, оставьте изображение, поскольку оно не влияет на результат.)
Примечание 1
Для справки, вот что я сделал, когда отредактировал видео 1280x720 30FPS 15SEC на основе
Этап 1
Там нет ничего, чтобы настроить.
Все кадры изображений видео и маски для всех кадров генерируются.
Этап 2
При реализации этого расширения интервал ключевого кадра выбран как короче, где есть много движений и дольше там, где мало движения.
Если анимация распадается, увеличьте ключевой кадр, если она мерцает, уменьшите ключевой кадр.
Во -первых, генерируйте один раз с настройками по умолчанию и идите прямо, не беспокоясь о результате.
Этап 3
Выберите один из ключевых кадров, бросьте его в IMG2IMG и запустите [Onkrogate DeepBooru].
Удалить нежелательные слова, такие как размытие из отображаемой подсказки.
Заполните остальные настройки, как обычно для генерации изображений.
Вот настройки, которые я использовал.
- Метод отбора проб: Euler A
- Шаги выборки: 50
- Ширина: 960
- Высота: 512
- CFG Scale: 20
- Обеспокативная сила: 0,2
Вот настройки для расширения.
- Режим маски (переопределение режима маски Img2img): нормальный
- Img2img повторный счет (петля назад): 5
- Добавить N в семена при повторении: 1
- Используйте Face Crop Img2img: true
- Метод обнаружения лица: Yunet
- Максимальный размер урожая: 1024
- Лицо, обозначающее силу: 0,25
- Увеличение площади лица: 1,5 (чем больше число, тем ближе к стилю живописи модели, но тем более вероятно, что смесится при объединении с телом.)
- Включите подсказку для лица: ложь
Пробежь и ошибка в этом процессе-самая трудоемкая часть.
Следите за папкой назначения, и если вам не нравятся результаты, прерывайте и измените настройки.
[Подсказка] [Обеспечение силы] и [лица, обезболивающего прочность], при использовании IMG2IMG для лица в значительной степени повлияет на результат.
Для получения дополнительной информации о Face Crop Img2img, проверьте здесь
Если у вас есть много памяти, чтобы запасной, увеличение ширины и значений высоты при сохранении соотношения сторон может значительно улучшить результаты.
Это расширение может помочь с корректировкой.
https://github.com/s9roll7/img2img_for_all_method
Информация выше со временем, когда не было ControlNet.
Когда ControlNet используется вместе (особенно многоконтрольные), даже настройка «двойной силы» на высокое значение работает хорошо, и даже установление ее на 1.0 дает значимые результаты.
Если «денизительная сила» установлена на высокое значение, «петля назад» может быть установлен на 1.
Этап 4
Масштабируйте его вверх или вниз и обрабатывайте до того же размера, что и оригинальное видео.
Этот процесс должен быть сделан только один раз.
- Ширина: 1280
- Высота: 720
- Oppler 1: r-esrgan 4x+
- Oppaler 2: r-esrgan 4x+ anime6b
- Oppaler 2 видимость: 0,5
- Видимость GFPGAN: 1
- Видимость кода: 0
- Вес Codeformer: 0
Этап 5
Там нет ничего, чтобы настроить.
.EBS будет сгенерирован.
Этап 6
Запустите файл .ebs.
Я бы не изменил настройки, но вы могли бы настроить настройки .ebs.
Этап 7
Наконец, вывод видео.
В моем случае весь процесс от 1 до 7 занял около 30 минут.
- Скорость смеси CrossFade: 1,0
- Тип экспорта: MP4
ПРИМЕЧАНИЕ 2: Как использовать Multi-Controlnet вместе
В настройке WebUI

В настройках ControlNet на вкладке IMG2IMG (для ControlNet 0)

В настройках ControlNet на вкладке IMG2IMG (для ControlNet 1)

В настройках ebsynth_utility на вкладке Img2img
Предупреждение: «Вес» в настройках ControlNet переопределяется следующими значениями 
Примечание 3: Как использовать Clipseg
