DeepFakeLab

Lab Palsu Dalam

Selamat datang di DeepFakeLab, gudang pilihan Anda untuk menjelajahi dunia manipulasi gambar yang menarik melalui model generatif tingkat lanjut.

⚡ Ikhtisar

DeepFakeLab dirancang untuk memberdayakan pengguna dalam mengintegrasikan fitur ke dalam gambar dengan memanfaatkan teknik generatif yang canggih. Baik Anda tertarik untuk menyempurnakan ekspresi wajah, bereksperimen dengan penyesuaian kreatif, atau menyelami eksplorasi pendidikan dalam visi komputer, repositori ini siap membantu Anda.

? Membuat fitur vektor

Di sini, kita akan menghitung vektor tentang atribut yang ingin kita masukkan. Dalam hal ini, kami menghitung atribut vektor Botak dan akan menyisipkan gambar lain. Perhitungan tentang trik ini sangat sederhana! Pertama, tentukan subset Anda dengan True untuk fitur C Anda, dengan kata lain:

$$mathcal{A}_{[C==1]} = lbrace phi(x) | x_c == 1 rbrace$$

Di mana $phi(x) = z dalam mathbb{R}^{32}$ (Encoder dari autoencoder saya). Dan, gagasan yang sama misalnya C adalah False:

$$mathcal{B}_{[C==0]} = lbrace phi(x) | x_c == 0 rbrace$$

Dalam konteks ini, kami akan mengambil sampel salah satu himpunan bagian agar kalimat ini menjadi benar:

$$ | mathcal{A} | sim | matematika{B} | $$

Kemudian, kami menghitung dua centroid, untuk setiap himpunan bagian:

$$ Cm_{A} = frac{sum_{x in mathcal{A}} phi(x)}{n(mathcal{A})} $$

$$ Cm_{B} = frac{sum_{x in mathcal{B}} phi(x)}{n(mathcal{B})} $$

Terakhir, kita dapat mengekstrak atribut vektor:

$$vec v = vec Cm_{A} - vec Cm_{B}$$

? Sisipkan fitur

Dalam konteks ini, kita sudah mempunyai fitur vektor (yay!), jadi kita bisa menggabungkan fitur ini menggunakan operasi matematika sederhana:

$$Gambar Palsu = psi(phi(x) + sum_{i} t_i cdot vec v_i)$$

Di mana $x dalam B$ , $t dalam mathbb{R}$ Dan $psi$ adalah dekoder!

Fitur Utama

• Integrasi Fitur: Memasukkan berbagai fitur ke dalam gambar menggunakan model generatif tingkat lanjut.

• Eksplorasi Kreatif: Jelajahi kemungkinan kreatif untuk ekspresi artistik, desain, dan hiburan.

• Aplikasi: Silakan menjelajahi aplikasi baru. Misalnya, Anda dapat menggunakan teknik ini untuk membuat instance baru dan

Arsitektur Jaringan Syaraf Tiruan

Pada dasarnya, kami akan menggunakan Convolutional Variational Autoencoders (VAE), Generative Adversarial Networks (GAN) dan Diffusion Models (DM).

Kami menjelajahi fungsi kerugian tambahan lainnya menggunakan filter sobel untuk menangkap fitur frekuensi tinggi dari gambar!

$$L_{sobel} = gamma cdot |f(I) - f(psi(phi(I)))|$$

Di mana $f(I) = sqrt{(G_x ast I)^{2} + (G_y ast I)^{2}}$ , Dan $gamma dalam mathbb{R}$ .

Jadi, jika kita menggunakan arsitektur VAE, kerugian kita adalah:

$$mathcal{L} = L_{rekonstruksi} + text{DKL} + gamma cdot L_{sobel}$$

$$mathcal{L} = |I - psi(phi(I))|^{2} -frac{1}{2} sum_{i=1}^{N} left(1 + log(sigma_i^2) - mu_i^2 - sigma_i^2kanan) + gamma cdot |f(I) - f(psi(phi(I)))|$$

$$mathcal{L} = |I - psi(phi(I))|^{2} + mathbb{E}_{phi(z | x)} kiri[ log frac{ phi(z | x)}{psi(z)} kanan] + gamma cdot |f(I) - f(psi(phi(I)))|$$

(GAN dan DM masih membangun... ⌛)

Transisi antara beberapa contoh

Dalam konteks ini, kita akan menggunakan trik sederhana untuk membuat transisi antara dua instance. Idenya sederhana:

1. Hitung pengkodean vektor untuk setiap instance: $phi(x_1)$ Dan $phi(x_2)$
2. Buat ruang linier antara dua vektor berikut: $mathcal{L} = lbrace phi(x_1) + alpha cdot (phi(x_2) - phi(x_1)) | alpha di [0, 1] rbrace$
3. Pilih sebagian dari $matematika{L}$ , dilambangkan dengan $mathcal{L} {sub}$ dan masukkan ke dalam decoder: $psi(mathcal{L} {sub})$
4. Terakhir, kita akan mengalami transisi antara dua (atau lebih) instance!

❓ Cara Menggunakan

Jelajahi kemampuan DeepFakeLab dengan mengikuti tutorial yang disediakan di buku catatan. Berkontribusi kepada komunitas dengan berbagi wawasan, peningkatan, atau proyek kreatif Anda.

? Kontribusi

Kontribusi masyarakat sangat dianjurkan. Baik Anda memperbaiki bug, menambahkan fitur baru, atau menyempurnakan fitur yang sudah ada, masukan Anda sangat berharga dalam menjadikan DeepFakeLab alat yang tangguh dan serbaguna untuk manipulasi gambar.

? Penafian

Repositori ini ditujukan untuk tujuan pendidikan dan kreatif. Pengguna diingatkan untuk mempertimbangkan pedoman etika dan implikasi hukum saat menggunakan DeepFakeLab. Pengelola tidak bertanggung jawab atas penyalahgunaan atau konsekuensi yang tidak diinginkan.

? Memulai

Selami dunia manipulasi gambar generatif dengan DeepFakeLab. Kloning repositori, ikuti petunjuk penyiapan, dan buka dimensi baru ekspresi kreatif!

Selamat menjelajah!