DeepFakeLab

고급 생성 모델을 통해 흥미로운 이미지 조작 영역을 탐색할 수 있는 저장소인 DeepFakeLab에 오신 것을 환영합니다.

⚡ 개요

DeepFakeLab은 최첨단 생성 기술을 활용하여 사용자가 기능을 이미지에 원활하게 통합할 수 있도록 설계되었습니다. 얼굴 표정 향상, 창의적인 사용자 정의 실험, 컴퓨터 비전 교육 탐구에 관심이 있는 경우 이 저장소에서 모든 내용을 다룰 수 있습니다.

생성 데모

? 벡터 특징 생성

여기서는 삽입하려는 속성에 대한 벡터를 계산해 보겠습니다. 여기서는 Bald 벡터 속성을 계산하고 다른 이미지에 삽입합니다. 이 트릭에 대한 수학은 매우 간단합니다! 먼저 기능 C에 대해 True로 하위 집합을 정의합니다. 즉, 다음과 같습니다.

$$mathcal{A}_{[C==1]} = lbrace phi(x) | x_c == 1 rbrace$$

어디 $phi(x) = z in mathbb{R}^{32}$ (내 오토인코더의 인코더) 그리고 C가 False인 경우에도 동일한 아이디어가 적용됩니다.

$$mathcal{B}_{[C==0]} = lbrace phi(x) | x_c == 0 rbrace$$

이 맥락에서 우리는 이 문장을 참으로 바꾸기 위해 하위 집합 중 하나를 과소 샘플링할 것입니다.

$$ | mathcal{A} | 심 | mathcal{B} | $$

그런 다음 각 하위 집합에 대해 두 개의 중심을 계산합니다.

$$ Cm_{A} = frac{sum_{x in mathcal{A}} phi(x)}{n(mathcal{A})} $$

$$ Cm_{B} = frac{sum_{x in mathcal{B}} phi(x)}{n(mathcal{B})} $$

마지막으로 벡터 속성을 추출할 수 있습니다.

$$vec v = vec Cm_{A} - vec Cm_{B}$$

? 피처 삽입

이러한 맥락에서 우리는 이미 벡터 특성을 갖고 있으므로(아하!) 간단한 수학적 연산을 사용하여 이 특성을 통합할 수 있습니다.

$$FakeImage = psi(phi(x) + sum_{i} t_i cdot vec v_i)$$

어디 $x in B$ , $t in mathbb{R}$ 그리고 $psi$ 디코더입니다!

주요 특징

특징 통합: 고급 생성 모델을 사용하여 이미지에 다양한 특징을 삽입합니다.
창의적 탐구: 예술적 표현, 디자인 및 엔터테인먼트에 대한 창의적 가능성을 탐구합니다.
애플리케이션: 새로운 애플리케이션을 자유롭게 탐색해 보세요. 예를 들어, 이 기술을 사용하여 새 인스턴스를 생성하고

신경망 아키텍처

기본적으로 VAE(Convolutional Variational Autoencoders), GAN(Generative Adversarial Networks) 및 DM(Diffusion Models)을 사용합니다.

이미지에서 고주파 특성을 포착하기 위해 소벨 필터를 사용하여 또 다른 보조 손실 함수를 탐색합니다!

$$L_{sobel} = gamma cdot |f(I) - f(psi(phi(I)))|$$

어디 $f(I) = sqrt{(G_x ast I)^{2} + (G_y ast I)^{2}}$ , 그리고 $gamma in mathbb{R}$ .

따라서 VAE 아키텍처를 사용하는 경우 손실은 다음과 같습니다.

$$mathcal{L} = L_{재구성} + text{DKL} + gamma cdot L_{sobel}$$

$$mathcal{L} = |I - psi(phi(I))|^{2} -frac{1}{2} sum_{i=1}^{N} left(1 + log(sigma_i^2) - mu_i^2 - sigma_i^2right) + gamma cdot |f(I) - f(psi(phi(I)))|$$

$$mathcal{L} = |I - psi(phi(I))|^{2} + mathbb{E}_{phi(z | x)} left[ log frac{ phi(z | x)}{psi(z)} right] + gamma cdot |f(I) - f(psi(phi(I)))|$$

(GAN과 DM은 아직 구축 중입니다... ⌛)

여러 인스턴스 간 전환

이 맥락에서 우리는 두 인스턴스 사이의 전환을 생성하기 위해 간단한 트릭을 사용할 것입니다. 아이디어는 간단합니다.

각 인스턴스에 대한 벡터 인코딩을 계산합니다. $파이(x_1)$ 그리고 $파이(x_2)$
다음 두 벡터 사이에 선형 공간을 만듭니다. $mathcal{L} = lbrace phi(x_1) + alpha cdot (phi(x_2) - phi(x_1)) | alpha in [0, 1] rbrace$
다음의 하위 집합을 선택하세요. $mathcal{L}$ , $mathcal{L} {sub}$로 표시되고 디코더에 삽입: $psi(mathcal{L} {sub})$
마지막으로 두 개(또는 그 이상) 인스턴스 간의 전환이 발생합니다!