神經風格遷移是一種優化技術，用於獲取兩個圖像- 內容圖像和風格參考圖像（例如著名畫家的藝術品） - 並將它們混合在一起，以便輸出圖像看起來像內容圖像，但「繪製”在樣式參考圖像的樣式中。
這是透過優化輸出圖像以匹配內容圖像的內容統計資料和風格參考圖像的風格統計資料來實現的。這些統計數據是使用卷積網路從圖像中提取的。
要運行筆記本，請克隆此儲存庫，在正確的目錄中啟動 Jupyter 筆記本伺服器，然後開啟名為style_transfer_gan.ipynb的筆記本。該筆記本還包含有關樣式遷移如何運作的教程的程式碼；此儲存庫中的資料程式碼散佈在各處。
若要查看 StarGan 程式碼，請開啟名為StarGAN_v2_celeb_face_synthesizer.ipynb的筆記本。
我們使用的藝術風格可以在文件夾art-styles中找到，包括以下內容：
我們在原始風格轉移筆記本中使用了三個名人面孔： celebrity-faces/male/the-weeknd.jpg 、 celebrity-faces/male/wesley-snipes.jpg和celebrity-faces/female/lady-gaga.jpg 。
對於 StarGAN 筆記本，我們使用了 Celeb A-HQ 資料集中的精選照片。這些是celebrity-faces/目錄中剩餘的照片。
本節將探討style_transfer_gan.ipynb中的工作。為了了解神經風格遷移在不同臉部上的表現，我們透過模型輸入了多個內容影像（臉部），並選擇了三個我們認為能夠在膚色和臉部結構上提供足夠差異的影像。對於每張臉，我們使用上面列出的所有 10 種藝術風格作為我們的風格參考圖像。我們注意到的總體趨勢是，與人臉及其圖像背景更相似的樣式比非常不同的樣式產生更好的結果。
對於《The Weeknd》，我們選擇了他接受整形手術後拍攝的一張照片，從而使他的臉部結構明顯不同。在他的例子中，我們看到同樣不同於常規的風格，如立體主義或超現實主義，比古典主義等風格產生了更好的結果（見下文）。
The Weeknd 臉上的超現實主義與古典主義結果
同樣，由於 Wesley Snipes 的膚色較深，且其原始影像的背景顏色也較柔和，因此色調相似的風格會更加準確。比較立體派和野獸派的結果如下：
韋斯利·史奈普斯臉上的立體主義與野獸派結果
然而，Lady Gaga 的結果則要全面得多。大多數風格仍然能夠捕捉到她臉部的一些細節，而不會造成太大的損失。正如你所看到的，野獸派——在韋斯利·斯奈普斯的臉上效果不佳——在這裡效果更好。
Lady Gaga 臉上的 Fauvsim 與古典主義結果
一般來說，Lady Gaga 的臉可以產生更好的結果有很多原因，但一個可能的解釋是用於訓練風格遷移模型的資料。如果模型在訓練中提供更多的白臉，那麼在測試中使用白臉時模型可能會表現得更好。
本節將探討StarGAN_v2_celeb_face_synthesizer.ipynb中的工作。 StarGAN v2是Clova AI開發的影像翻譯模型，可以學習不同影像之間的映射。我們使用 CelebA-HQ 資料集以及一組不同性別、膚色、臉部特徵和臉部/身體修飾（紋身和整形手術）的名人面孔進行預訓練的 Star GAN 網路作為我們的來源圖像資料集， CelebA-HQ資料集作為我們的參考影像資料集。我們的來源資料集分為兩個領域：女性和男性
以下是我們選擇合成的來源影像清單。
| 羅謝爾休姆斯 | 阿麗亞娜·格蘭德 | 女神卡卡 | 珍妮佛勞倫斯 |
|---|---|---|---|
 |  |  |  |
| 克里斯漢斯沃 | 麥克泰森 | 唐納川普 | 週末 | 韋斯利·史奈普斯 |
|---|---|---|---|---|
 |  |  |  |  |
我們透過將影像裁剪為盡可能大約 1:1 的比例來轉換所有選定的影像，其中臉部位於中心，並佔據影像的很大一部分。然後，我們使用 Clova AI 提供的內建工具對影像進行微調，以進行額外的精細旋轉和裁剪。最後，我們將這些微調影像輸入預先訓練的 StarGAN 網路並產生合成的輸出影像。
我們的結果表明，不同性別和膚色的不同面部特徵（例如強烈的下巴線和嘴唇）傳播到生成/輸出的圖像中。對於像 The Weeknd 這樣經過臉部修改（例如整容手術）的臉孔，我們注意到這些特徵在生成的圖像中也仍然清晰。然而，生成的圖像並不像預期的那麼真實，髮型、化妝、鬍鬚和膚色等高級特徵都是從參考圖像中得出的。然而，來源影像中似乎保留了紋身等其他特徵。
我們的實驗結果如下所示
