神经风格迁移是一种优化技术，用于获取两个图像 - 内容图像和风格参考图像（例如著名画家的艺术品） - 并将它们混合在一起，以便输出图像看起来像内容图像，但“绘制”在样式参考图像的样式中。
这是通过优化输出图像以匹配内容图像的内容统计数据和风格参考图像的风格统计数据来实现的。这些统计数据是使用卷积网络从图像中提取的。
要运行笔记本，请克隆此存储库，在正确的目录中启动 Jupyter 笔记本服务器，然后打开名为style_transfer_gan.ipynb的笔记本。该笔记本还包含有关样式迁移如何工作的教程的代码；此存储库中的数据代码散布在各处。
要查看 StarGan 代码，请打开名为StarGAN_v2_celeb_face_synthesizer.ipynb的笔记本。
我们使用的艺术风格可以在文件夹art-styles中找到，包括以下内容：
我们在原始风格转移笔记本中使用了三个名人面孔： celebrity-faces/male/the-weeknd.jpg 、 celebrity-faces/male/wesley-snipes.jpg和celebrity-faces/female/lady-gaga.jpg 。
对于 StarGAN 笔记本，我们使用了 Celeb A-HQ 数据集中的精选照片。这些是celebrity-faces/目录中剩余的照片。
本节将探讨style_transfer_gan.ipynb中的工作。为了了解神经风格迁移在不同面部上的表现，我们通过模型输入了多个内容图像（面部），并选择了三个我们认为能够在肤色和面部结构上提供足够差异的图像。对于每张脸，我们使用上面列出的所有 10 种艺术风格作为我们的风格参考图像。我们注意到的总体趋势是，与人脸及其图像背景更相似的样式比非常不同的样式产生更好的结果。
对于《The Weeknd》，我们选择了他接受整形手术后拍摄的一张照片，从而使他的面部结构明显不同。在他的例子中，我们看到同样不同于常规的风格，如立体主义或超现实主义，比古典主义等风格产生了更好的结果（见下文）。
The Weeknd 脸上的超现实主义与古典主义结果
同样，由于韦斯利·斯奈普斯 (Wesley Snipes) 的肤色较深，并且其原始图像的背景颜色也较柔和，因此色调相似的风格会更加准确。比较立体派和野兽派的结果如下：
韦斯利·斯奈普斯脸上的立体主义与野兽派结果
然而，Lady Gaga 的结果则要全面得多。大多数风格仍然能够捕捉到她脸部的一些细节，而不会造成太大的损失。正如你所看到的，野兽派——在韦斯利·斯奈普斯的脸上效果不佳——在这里效果更好。
Lady Gaga 脸上的 Fauvsim 与古典主义结果
一般来说，Lady Gaga 的脸可以产生更好的结果有很多原因，但一个可能的解释是用于训练风格迁移模型的数据。如果模型在训练中提供更多的白脸，那么在测试中使用白脸时模型可能会表现得更好。
本节将探讨StarGAN_v2_celeb_face_synthesizer.ipynb中的工作。 StarGAN v2是Clova AI开发的图像翻译模型，可以学习不同图像之间的映射。我们使用用 CelebA-HQ 数据集以及一组不同性别、肤色、面部特征和面部/身体修饰（纹身和整形手术）的名人面孔进行预训练的 Star GAN 网络作为我们的源图像数据集， CelebA-HQ 数据集作为我们的参考图像数据集。我们的源数据集分为两个领域：女性和男性
以下是我们选择合成的源图像列表。
| 罗谢尔休姆斯 | 阿丽亚娜·格兰德 | 嘎嘎小姐 | 詹妮弗·劳伦斯 |
|---|---|---|---|
 |  |  |  |
| 克里斯·海姆斯沃斯 | 迈克·泰森 | 唐纳德·特朗普 | 周末 | 韦斯利·斯奈普斯 |
|---|---|---|---|---|
 |  |  |  |  |
我们通过将图像裁剪为尽可能大约 1:1 的比例来转换所有选定的图像，其中面部位于中心，并占据图像的很大一部分。然后，我们使用 Clova AI 提供的内置工具对图像进行微调，以进行额外的精细旋转和裁剪。最后，我们将这些微调图像输入预训练的 StarGAN 网络并生成合成的输出图像。
我们的结果表明，不同性别和肤色的不同面部特征（例如强烈的下巴线和嘴唇）传播到生成/输出的图像中。对于像 The Weeknd 这样经过面部修改（例如整容手术）的面孔，我们注意到这些特征在生成的图像中也仍然清晰。然而，生成的图像并不像预期的那么真实，发型、化妆、胡须和肤色等高级特征都是从参考图像中得出的。然而，源图像中似乎保留了纹身等其他特征。类似地，该模型在大多数输出图像中保留了源图像的姿势和身份
我们的实验结果如下所示
