enhancr

enhancr — это элегантный и простой в использовании графический интерфейс для интерполяции видеокадров и масштабирования видео , который использует преимущества искусственного интеллекта, созданного с использованием node.js и Electron . Он был создан для улучшения пользовательского опыта для всех, кто заинтересован в улучшении видеоматериалов с помощью искусственного интеллекта. Графический интерфейс был разработан, чтобы обеспечить потрясающие возможности, основанные на самых современных технологиях, но при этом не ощущаться громоздким и устаревшим, как другие альтернативы.

Он оснащен невероятно быстрым выводом TensorRT от NVIDIA, который может значительно ускорить процессы искусственного интеллекта. Предварительно упакованный, без необходимости установки Docker или WSL (подсистема Windows для Linux) - и вывод NCNN от Tencent, который является легким и работает на NVIDIA , AMD и даже Apple Silicon - в отличие от гигантского вывода PyTorch, который работает только на графических процессорах NVIDIA .

Функции

• Кодирует видео на лету и считывает кадры из исходного видео без необходимости извлечения кадров или загрузки в память.
• Очередь на пакетную обработку
• Предварительный просмотр в реальном времени интегрирован в пользовательский интерфейс без влияния на производительность.
• Позволяет объединять интерполяцию, масштабирование и восстановление.
• Предлагает возможность обрезать видео перед обработкой.
• Может загружать пользовательские модели ESRGAN в форматах onnx и pth и автоматически конвертировать их.
• Имеет встроенную функцию обнаружения сцены, позволяющую пропустить интерполяцию кадров смены сцены и уменьшить артефакты.
• Цветовые темы для пользовательской настройки
• Discord Rich Presence, чтобы показать всем вашим друзьям прогресс, текущую скорость и то, что вы сейчас улучшаете.
• Realtime Player (при условии, что у вас достаточно мощный графический процессор) с идеальной поддержкой звука, субтитров, шрифтов, вложений и т. д.
• ... и многое другое

Установка

В выпуске 0.9.9 есть бесплатная версия? https://dl.enhancr.app/setup/enhancr-setup-free-0.9.9.exe

Чтобы убедиться, что у вас установлена ​​самая последняя версия программного обеспечения и все необходимые зависимости, мы рекомендуем скачать установщик с Patreon. Обратите внимание, что сборки и встраиваемая среда Python для версии Pro не предоставляются через этот репозиторий.

Встроенные двигатели

Интерполяция

RIFE (NCNN) — megvii-research/ ECCV2022-RIFE — работает на styler00dollar/ VapourSynth-RIFE-NCNN-Vulkan

RIFE (TensorRT) — megvii-research/ ECCV2022-RIFE — на базе AmusementClub/ vs-mlrt & styler00dollar/ VSGAN-tensorrt-docker

GMFSS — Union (PyTorch/TensorRT) — 98mxr/ GMFSS_Union — на базе HolyWu/ vs-gmfss_union

GMFSS — Фортуна (PyTorch/TensorRT) — 98mxr/ GMFSS_Fortuna — на базе HolyWu/ vs-gmfss_fortuna

CAIN (NCNN) - myungsub/ CAIN - Powered by Mafiosnik/ vsynth-cain-NCNN-vulkan (неизданный)

CAIN (DirectML) — myungsub/ CAIN — питание от AmusementClub/ vs-mlrt

CAIN (TensorRT) — myungsub/ CAIN — питание от HubertSotnowski/ cain-TensorRT

Апскейлинг

ShuffleCUGAN (NCNN) — styler00dollar/ VSGAN-tensorrt-docker — работает на AmusementClub/ vs-mlrt

ShuffleCUGAN (TensorRT) — styler00dollar/ VSGAN-tensorrt-docker — работает на AmusementClub/ vs-mlrt

RealESRGAN (NCNN) — xinntao/ Real-ESRGAN — на базе AmusementClub/ vs-mlrt

RealESRGAN (DirectML) — xinntao/ Real-ESRGAN — на базе AmusementClub/ vs-mlrt

RealESRGAN (TensorRT) — xinntao/ Real-ESRGAN — на базе AmusementClub/ vs-mlrt

RealCUGAN (TensorRT) — bilibili/ ailab/Real-CUGAN — на базе AmusementClub/ vs-mlrt

SwinIR (TensorRT) — JingyunLiang/ SwinIR — на базе mafiosnik777/ SwinIR-TensorRT (не выпущен)

Реставрация

DPIR (DirectML) — cszn/ DPIR — на базе AmusementClub/ vs-mlrt

DPIR (TensorRT) — cszn/ DPIR — на базе AmusementClub/ vs-mlrt

SCUNet (TensorRT) — cszn/ SCUNet — питание от mafiosnik777/ SCUNet-TensorRT (не выпущено)

Системные требования

Минимум:

• Двухъядерный процессор с поддержкой Hyperthreading
• Графический процессор с поддержкой Vulkan для вывода с помощью NCNN/графический процессор с поддержкой DirectX 12 для вывода с помощью DirectML
• Windows 10

Рекомендуется:

• Четырехъядерный процессор Intel Kaby Lake/AMD Ryzen или новее с включенной поддержкой Hyperthreading
• 16 ГБ ОЗУ
• NVIDIA серии 2000 (Ampere) для TensorRT
• Windows 11

_{Примечание. Начиная с TensorRT 8.6, поддержка Kepler и Maxwell 2-го поколения (серия 900 и ниже) прекращена. Для выполнения вывода с использованием TensorRT вам понадобится как минимум графический процессор Pascal (серия 1000 и выше) и версия драйвера CUDA 12.0 + >= 525.xx.}

Поддержка macOS и Linux

Графический интерфейс был создан с учетом кроссплатформенной совместимости и совместим с обеими операционными системами. На данный момент наша основная задача — обеспечить стабильное и полнофункциональное решение для пользователей Windows, но поддержка Linux и macOS будет доступна с обновлением 1.0.

Также планируется поддержка Apple Silicon. но сейчас у меня есть только Intel Macbook Pro для тестирования Я получу экземпляр Apple Silicon на Amazon AWS, чтобы реализовать это, как раз к выпуску 1.0.

Тесты

Размер ввода: 1920x1080 @ 2x

	РТХ 2060S 1	РТХ 3070 2	РТХ А4000 3	RTX 3090 Ти 4	РТХ 4090 5
RIFE / rife-v4.6 (NCNN)	53,78 кадров в секунду	64,08 кадров в секунду	80,56 кадров в секунду	86,24 кадра в секунду	136,13 кадров в секунду
RIFE / rife-v4.6 (TensorRT)	70,34 кадра в секунду	94,63 кадра в секунду	86,47 кадров в секунду	122,68 кадров в секунду	170,91 кадров в секунду
CAIN/cvp-v6 (NCNN)	9,42 кадра в секунду	10,56 кадров в секунду	13,42 кадра в секунду	17,36 кадров в секунду	44,87 кадров в секунду
CAIN/cvp-v6 (TensorRT)	45,41 кадров в секунду	63,84 кадра в секунду	81,23 кадра в секунду	112,87 кадров в секунду	183,46 кадров в секунду
ГМФСС/Вверх (PyTorch)	-	-	4,32 кадра в секунду	-	16,35 кадров в секунду
ГМФСС/Союз (PyTorch)	-	-	3,68 кадра в секунду	-	13,93 кадра в секунду
ГМФСС/Союз (TensorRT)	-	-	6,79 кадров в секунду	-	-
RealESRGAN/анимевидеоv3 (TensorRT)	7,64 кадра в секунду	9,10 кадров в секунду	8,49 кадров в секунду	18,66 кадров в секунду	38,67 кадров в секунду
RealCUGAN (TensorRT)	-	-	5,96 кадров в секунду	-	-
СвинИР (PyTorch)	-	-	0,43 кадра в секунду	-	-
DPIR / шумоподавление (TensorRT)	4,38 кадра в секунду	6,45 кадров в секунду	5,39 кадров в секунду	11,64 кадра в секунду	27,41 кадров в секунду

¹ _{Ryzen 5 3600X — Gainward RTX 2060 Super @ Stock}

² _{Ryzen 7 3800X — Gigabyte RTX 3070 Eagle OC @ Stock}

³ _{Ryzen 5 3600X — PNY RTX A4000 @ Stock}

⁴ _{i9 12900KF — ASUS RTX 3090 Ti Strix OC @ ~ 2220 МГц}

⁵ _{Ryzen 9 5950X — ASUS RTX 4090 Strix OC — @ ~3100 МГц с кривой для достижения максимальной производительности}

Устранение неполадок и часто задаваемые вопросы (часто задаваемые вопросы)

Этот раздел переехал в вики: https://github.com/mafiosnik777/enhancr/wiki.

Ознакомьтесь с ним, чтобы узнать больше о том, как получить максимальную отдачу от улучшения или как решить различные проблемы.

Выводы

TensorRT — это высокооптимизированная среда выполнения искусственного интеллекта для графических процессоров NVIDIA. Он использует бенчмаркинг, чтобы найти оптимальное ядро ​​для вашего конкретного графического процессора, а также есть дополнительный шаг для создания движка на машине, на которой вы собираетесь запустить ИИ. Однако результирующая производительность обычно намного лучше, чем у любой реализации PyTorch или NCNN.

NCNN — это высокопроизводительная среда вычислений на основе нейронных сетей, оптимизированная для мобильных платформ. NCNN не имеет каких-либо сторонних зависимостей. Он кроссплатформенный и работает быстрее, чем все известные платформы с открытым исходным кодом на большинстве основных платформ. Он поддерживает NVIDIA, AMD, Intel Graphics и даже Apple Silicon. NCNN в настоящее время используется во многих приложениях Tencent, таких как QQ, Qzone, WeChat, Pitu и так далее.

Поддержка этого проекта

Я был бы признателен, если бы вы продемонстрировали свою поддержку этому проекту, сделав вклад на Patreon или сделав пожертвование на PayPal. Ваша поддержка поможет ускорить разработку и внести в проект больше обновлений. Кроме того, если у вас есть навыки, вы также можете внести свой вклад, открыв запрос на включение. Независимо от формы поддержки, которую вы решите оказать, знайте, что это очень ценно.

Планы на будущее

Я постоянно работаю над улучшением кодовой базы, включая устранение любых несоответствий, которые могли возникнуть из-за нехватки времени. Будут выпускаться регулярные обновления, включающие новые функции, исправления ошибок, а также новые технологии и модели по мере их появления. Благодарим вас за понимание и поддержку.

Кредиты

Наш плеер зависит от mpv и ModernX для OSC.

Спасибо Хьюберту Сонтовски и styler00dollar за помощь во внедрении CAIN.

Присоединяйтесь к раздору

Чтобы взаимодействовать с сообществом, поделиться своими результатами или получить помощь при возникновении каких-либо проблем, посетите наш дискорд. Там же будут представлены превью будущих версий.