Нейронная передача стиля — это метод оптимизации, используемый для взятия двух изображений — изображения контента и эталонного изображения стиля (например, произведения известного художника) — и их смешивания, чтобы выходное изображение выглядело как изображение контента, но «нарисованное». в стиле эталонного изображения стиля.
Это реализуется путем оптимизации выходного изображения для соответствия статистике контента изображения контента и статистике стиля эталонного изображения стиля. Эта статистика извлекается из изображений с помощью сверточной сети.
Чтобы запустить блокнот, клонируйте этот репозиторий, запустите сервер блокнотов Jupyter в правильном каталоге и откройте блокнот с именем style_transfer_gan.ipynb . Этот блокнот также содержит код для руководства о том, как работает передача стилей; код данных в этом репозитории разбросан повсюду.
Чтобы увидеть код StarGan, откройте блокнот StarGAN_v2_celeb_face_synthesizer.ipynb .
Используемые нами художественные стили можно найти в папке art-styles и включают в себя следующее:
Для оригинального блокнота для переноса стилей мы использовали три лица знаменитостей: celebrity-faces/male/the-weeknd.jpg , celebrity-faces/male/wesley-snipes.jpg и celebrity-faces/female/lady-gaga.jpg .
Для блокнота StarGAN мы использовали подборку фотографий из набора данных Celeb A-HQ. Это оставшиеся фотографии в каталоге celebrity-faces/ .
В этом разделе будет рассмотрена работа style_transfer_gan.ipynb . Чтобы понять, как нейронный перенос стиля происходит на разных лицах, мы пропустили несколько изображений контента (лиц) через нашу модель и выбрали три, которые, по нашему мнению, обеспечат достаточную разницу в оттенке кожи и структуре лица. Для каждого лица мы использовали все 10 художественных стилей, перечисленных выше, в качестве эталонных изображений. Общая тенденция, которую мы заметили, заключалась в том, что стили, более похожие на лицо человека и его фоновое изображение, давали лучшие результаты, чем стили, которые сильно отличались.
Для The Weeknd мы выбрали изображение, сделанное после того, как он перенес пластическую операцию, тем самым придав ему существенно иное строение лица. В его случае мы увидели, что стили, одинаково отличающиеся от нормы, такие как кубизм или сюрреализм, дали лучшие результаты, чем такой стиль, как классицизм (см. Ниже).
Результаты сюрреализма против классицизма на лице The Weeknd
Точно так же, поскольку тон кожи Уэсли Снайпса темнее, а цвета фона его исходного изображения также более приглушены, стили с похожими тонами были более точными. Сравните результаты кубизма и фовизма ниже:
Результаты кубизма против фовизма на лице Уэсли Снайпса
Однако результаты Леди Гаги были гораздо более равными по всем направлениям. Большинству стилей все же удалось передать некоторые детали ее лица без особых потерь. Как видите, фовизм, который не очень хорошо сработал с лицом Уэсли Снайпса, здесь работает гораздо лучше.
Результаты Fauvsim vs. Classicism на лице Леди Гаги
Есть много причин, по которым лицо Леди Гаги в целом могло бы дать лучшие результаты, но вероятным объяснением являются данные, которые использовались для обучения модели переноса стиля. Если при обучении модели было предоставлено больше белых лиц, она, скорее всего, будет работать лучше с белыми лицами при тестировании.
В этом разделе будет рассмотрена работа в StarGAN_v2_celeb_face_synthesizer.ipynb . StarGAN v2, модель перевода изображений, разработанная Clova AI, изучает сопоставление между различными изображениями. В качестве исходного набора данных изображений мы использовали сеть Star GAN, предварительно обученную набором данных CelebA-HQ, а также набор лиц знаменитостей разных полов, оттенков кожи, черт лица и модификаций лица/тела (татуировки и пластическая хирургия). и набор данных CelebA-HQ в качестве набора данных эталонных изображений. Наш исходный набор данных был разделен на два домена: женский и мужской.
Ниже приведен список исходных изображений, которые мы выбрали для синтеза.
| Рошель Хьюмс | Ариана Гранде | Леди Гага | Дженнифер Лоуренс |
|---|---|---|---|
 |  |  |  |
| Крис Хемсворт | Майк Тайсон | Дональд Трамп | Выходные | Уэсли Снайпс |
|---|---|---|---|---|
 |  |  |  |  |
Мы преобразовали все выбранные изображения, обрезав изображение до соотношения примерно 1:1, при этом лицо оказалось в центре и заняло большую часть изображения. Затем мы настроили изображение для дополнительного поворота и обрезки с помощью встроенного инструмента Clova AI. Наконец, мы передали эти точно настроенные изображения в предварительно обученную сеть StarGAN и сгенерировали синтезированные выходные изображения.
Наши результаты показали, что отличительные черты лица, такие как сильные линии подбородка и губы, распространялись на разные полы и оттенки кожи в сгенерированных/выходных изображениях. Мы заметили, что для таких лиц, как The Weeknd, которые подверглись модификациям лица (например, пластической хирургии), эти особенности также остались отчетливыми на сгенерированных изображениях. Однако сгенерированные изображения были не такими реалистичными. Как и ожидалось, такие элементы высокого уровня, как прическа, макияж, борода и оттенок кожи, взяты из эталонных изображений. Однако другие особенности, такие как татуировки, похоже, сохранились из исходного изображения. Аналогично, модель сохранила позу и идентичность исходных изображений в большинстве выходных изображений.
Результат нашего эксперимента показан ниже 
