FaceSwap

FaceSwap

FaceSwap — это приложение, которое я изначально создал в качестве упражнения для своих студентов по специальности «Математика в мультимедиа» Варшавского технологического университета. Приложение написано на Python и использует выравнивание лица, оптимизацию по Гауссу Ньютону и смешивание изображений, чтобы заменить лицо человека, видимого камерой, на лицо человека на предоставленном изображении.

Краткую презентацию возможностей программы вы найдете в видеоролике ниже (нажмите, чтобы перейти на YouTube):

Как его использовать

Чтобы запустить программу, вам нужно будет запустить скрипт Python с именем zad2.py (на польском языке для упражнения 2). Вам необходимо установить Python 3 и некоторые дополнительные библиотеки. Как только Python окажется на вашем компьютере, вы сможете автоматически устанавливать библиотеки, запустив pip install -r requirements.txt в корневом каталоге репозитория.

Вам также необходимо будет скачать модель выравнивания лица отсюда: http://sourceforge.net/projects/dclib/files/dlib/v18.10/shape_predictor_68_face_landmarks.dat.bz2 и распаковать ее в основной каталог проекта.

Более быстрая и стабильная версия.

Более быстрая и стабильная версия FaceSwap доступна в Dropbox здесь. Эта новая версия основана на методе Deep Alignment Network, который работает быстрее, чем используемый в настоящее время метод, если выполняется на графическом процессоре, и обеспечивает более стабильные и точные ориентиры лица. Инструкции по настройке см. в репозитории Deep Alignment Network на GitHub.

Я надеюсь в ближайшее время найти время для включения этой более быстрой версии в код репозитория.

Как это работает

Общая схема метода такова:

Сначала мы берем входное изображение (изображение человека, которого хотим видеть на своем лице) и находим область лица и ее ориентиры. Как только мы это получим, мы подгоним 3D-модель к этим ориентирам (подробнее об этом позже), вершины этой модели, спроецированные на пространство изображения, будут координатами нашей текстуры.

Как только все будет завершено и все инициализировано, камера начнет захватывать изображения. Для каждого захваченного изображения выполняются следующие шаги:

1. Обнаруживается область лица и определяются ориентиры лица.
2. 3D-модели подгоняются под расположенные ориентиры.
3. 3D-модели визуализируются с использованием pygame с текстурой, полученной во время инициализации.
4. Изображение визуализированной модели смешивается с изображением, полученным с камеры, с помощью растушевки (альфа-смешивания) и очень простой цветокоррекции.
5. Окончательное изображение показывается пользователю.

Наиболее важным элементом всего процесса является подгонка 3D-модели. Сама модель состоит из:

• трехмерная форма (набор вершин) нейтральной грани,
• ряд смешанных форм, которые можно добавить к нейтральному лицу, чтобы открыть рот, поднять брови и т. д.,
• набор троек индексов формы лица, образующих треугольную сетку лица,
• два набора индексов, которые устанавливают соответствие между ориентирами, найденными локализатором ориентиров, и вершинами трехмерной формы лица.

Модель проецируется в пространство изображения с помощью следующего уравнения:

где s — проецируемая форма, a — параметр масштабирования, P — первые две строки матрицы вращения, которая вращает трехмерную форму лица, S_0 — нейтральная форма лица, w_1-n — веса формы смешивания, S_1-n — это blendshapes, t — вектор двумерного перевода, а n — количество blendshapes.

Подгонка модели достигается за счет минимизации разницы между проецируемой формой и локализованными ориентирами. Минимизация выполняется в отношении весов blendshape, масштабирования, вращения и перемещения с использованием метода Гаусса Ньютона.

Лицензирование

Код лицензируется по лицензии MIT, часть данных в проекте загружена со сторонних сайтов:

• Брэд Питт.jpg - https://en.wikipedia.org/wiki/Brad_Pitt#/media/File:Brad_Pitt_Fury_2014.jpg
• einstein.jpg - https://www.viewfoo.com/uploads/images/702_1433440837_albert-einstein.jpg
• jolie.jpg - http://cdni.condenast.co.uk/720x1080/a_c/Angelina-Jolie_glamour_2mar14_rex_b_720x1080.jpg
• рука.png - http://pngimg.com/upload/hands_PNG905.png
• глаз.png - http://cache4.asset-cache.net/xd/521276062.jpg?v=1&c=IWSAsset&k=2&d=62CA815BFB1CE4807BD8B4D34504661CD6D7111452E48A17257DA6DB0BD6EA6DE35742C781328F67
• Источник 3D-модели лица Candide - http://www.icg.isy.liu.se/candide/

Контакт

Если вам нужна помощь или вы нашли приложение полезным, не стесняйтесь, дайте мне знать.

Марек Ковальски [email protected], домашняя страница: http://home.elka.pw.edu.pl/~mkowals6/