Эра видео с высоким разрешением наступает, но детали лиц в видео с низким разрешением часто размыты, что серьезно влияет на опыт просмотра. Существующие технологии ремонта лица трудно сбалансировать реконструкцию деталей и согласованность времени. Исследовательская группа Nanyang Technological University разработала структуру Keep, предоставив новое решение для ремонта видео высокой четкости.
В эту эпоху постоянно меняющейся информации видео стало незаменимой частью нашей жизни. Тем не менее, качество видео часто влияет на наш опыт просмотра, особенно при представлении деталей лица.
Многие существующие методы ремонта видео лицом либо просто применяют общие сети Super-Resolution общих видео к наборам данных лица, либо самостоятельно обрабатывают каждое видеоизображение. Этим методам часто трудно обеспечить согласованность деталей и времени лица. Чтобы решить эту проблему, исследовательская группа в Технологическом университете Nanyang выпустила новую структуру под названием Keep (вдохновленный Калманом распространение функций), которая может восстановить лица в видео с низкой определением для высокой четкости.
Портал продукта: https://top.aibase.com/tool/keep
Основная идея Keep исходит от принципа фильтрации Калмана, который дает методу возможность «вспомнить» в процессе восстановления. Другими словами, сохраните, можно направлять и отрегулировать процесс ремонта текущего кадра с помощью информации о ранее восстановленных кадрах. Этот процесс значительно улучшает последовательность и непрерывность деталей лица в видео кадрах.
В структуре Keep весь процесс делится на четыре модуля: энкодер, декодер, сеть фильтрации Калмана и внимание к перекрестной рамке (CFA). Энкодер и декодер конструируют модель на основе переменной компонента квантовой генерации состязательной сети (VQGAN), посвященной генерации изображений лица высокой четкости. Сеть фильтрации Калмана является основной частью этой технологии.
Кроме того, модуль внимания по перекрестной рамке дополнительно улучшает корреляцию между различными кадрами, помогая поддерживать лучшую своевременность и детальную презентацию во время воспроизведения видео. Уникальность этой конструкции заключается в том, что он может эффективно интегрировать информацию каждого кадра, делая окончательное сгенерированное видео не только ясным, но и полным слоя.
После множества экспериментов исследовательская группа подтвердила, что технология KEET довольно хорошо работает в восстановлении деталей лица и поддержании согласованности времени. Keep показывает свои мощные возможности, будь то в сложных условиях моделирования или в реальных сценариях видео. Можно сказать, что запуск этой технологии принесет новое улучшение нашего опыта просмотра видео.
Ключевые моменты:
Сохранение технологии может эффективно поддерживать последовательность деталей и времени в видео на лице.
Эта структура объединяет принцип фильтрации Калмана, чтобы реализовать эффективную передачу и слияние межкамерной информации.
Держите продемонстрированные превосходные возможности для сбора деталей лица в экспериментах, вводя новую жизненную силу в область супер-разрешения лицевых видеороликов.
Инновации в рамках Keep Framework заключается в его умном применении принципа фильтрации Калмана и его способности эффективно интегрировать информацию между кадрами, устанавливая новый эталон для технологии ремонта видео с высокой четкой и, как ожидается, значительно улучшит опыт просмотра видео пользователя. В будущем эта технология будет иметь широкие перспективы применения в производстве кино и телевидения, видеоконференцсвязи и других областей.