深假實驗室

歡迎來到 DeepFakeLab，這是您透過高級生成模型探索令人興奮的影像處理領域的首選儲存庫。

⚡ 概述

DeepFakeLab 旨在幫助用戶利用最先進的生成技術將功能無縫整合到影像中。無論您是有興趣增強面部表情、嘗試創意定制，還是深入電腦視覺的教育探索，這個存儲庫都能滿足您的需求。

產生演示

？創建向量特徵

在這裡，我們將計算關於我們想要插入的屬性的向量。在此，我們計算禿頭向量屬性並將其插入到另一個圖像中。這個技巧的數學原理非常簡單！首先，為特徵 C 定義子集 True，換句話說：

$$mathcal{A}_{[C==1]} = lbrace phi(x) | x_c == 1 rbrace$$

在哪裡 $phi(x) = z in mathbb{R}^{32}$ （我的自動編碼器的編碼器）。並且，對於 C 為 False 的情況，同樣的想法：

$$mathcal{B}_{[C==0]} = lbrace phi(x) | x_c == 0 rbrace$$

在這種情況下，我們將對其中一個子集進行欠採樣以使這句話成立：

$$ | mathcal{A} | sim | mathcal{B} | $$

然後，我們為每個子集計算兩個質心：

$$ Cm_{A} = frac{sum_{x in mathcal{A}} phi(x)}{n(mathcal{A})} $$

$$ Cm_{B} = frac{sum_{x in mathcal{B}} phi(x)}{n(mathcal{B})} $$

最後，我們可以提取向量屬性：

$$vec v = vec Cm_{A} - vec Cm_{B}$$

？插入功能

在這種情況下，我們已經有了一個向量特徵（耶！），因此我們可以使用簡單的數學運算來合併此特徵：

$$FakeImage = psi(phi(x) + sum_{i} t_i cdot vec v_i)$$

在哪裡 $x in B$ , $t in mathbb{R}$和 $psi$是解碼器！

主要特點

特徵整合：使用進階生成模型將各種特徵插入影像中。
創意探索：探索藝術表達、設計和娛樂的創意可能性。
應用程式：繼續並隨意探索新的應用程式。例如，您可以使用此技術來建立新實例並

神經網路架構

基本上，我們將使用卷積變分自動編碼器（VAE）、生成對抗網路（GAN）和擴散模型（DM）。

我們探索另一種輔助損失函數，使用索貝爾濾波器從影像中捕捉高頻特徵！

$$L_{sobel} = gamma cdot |f(I) - f(psi(phi(I)))|$$

在哪裡 $f(I) = sqrt{(G_x ast I)^{2} + (G_y ast I)^{2}}$ ，和 $gamma in mathbb{R}$ 。

因此，如果我們使用 VAE 架構，我們的損失將是：

$$mathcal{L} = L_{重建} + text{DKL} + gamma cdot L_{sobel}$$

$$mathcal{L} = |I - psi(phi(I))|^{2} -frac{1}{2} sum_{i=1}^{N} left(1 + log(sigma_i^2) - mu_i^2 - sigma_i^2right) + gamma cdot |f(I) - f(psi(phi(I)))|$$

$$mathcal{L} = |I - psi(phi(I))|^{2} + mathbb{E}_{phi(z | x)} left[ log frac{ phi(z | x)}{psi(z)} right] + gamma cdot |f(I) - f(psi(phi(I)))|$$

（GAN 和 DM 仍在建造中......⌛）

多個實例之間的轉換

在這種情況下，我們將使用一個簡單的技巧來建立兩個實例之間的轉換。這個想法很簡單：

計算每個實例的向量編碼： $phi(x_1)$和 $phi(x_2)$
在這兩個向量之間創建一個線性空間： $mathcal{L} = lbrace phi(x_1) + alpha cdot (phi(x_2) - phi(x_1)) | alpha in [0, 1] rbrace$
選擇一個子集 $mathcal{L}$ ，以$mathcal{L} { sub}$表示並插入解碼器：$psi(mathcal{L} {sub})$
最後，我們將在兩個（或更多）實例之間進行轉換！