AIChildrensBookGen

Pencipta Petualangan George yang Penasaran: Pembuat Buku Anak AI

Selamat datang di masa depan mendongeng bersama Curious George Adventure Creator! Selami dunia Curious George yang menyenangkan dan penuh petualangan dengan cara yang belum pernah ada sebelumnya. Model AI kami yang inovatif, dirancang untuk anak-anak dan penggemar monyet yang menggemaskan, menghidupkan kisah George hanya dengan gambar awal dan tema yang dipilih.

---

Berikut adalah demo video Cerita kami yang dihasilkan dan disuarakan oleh Aplikasi kami.

---

Apa itu?

The Curious George Adventure Creator memungkinkan Anda membuat episode unik yang menampilkan monyet Afrika yang manis dan penuh rasa ingin tahu, Curious George, dan temannya yang selalu sabar, "Pria Bertopi Kuning". Petualangan George, yang sering kali diisi dengan keingintahuan yang lucu dan masalah yang tidak terduga, diwujudkan melalui teknologi AI kami yang mutakhir.

Fitur Utama

1. Pembuatan Episode Mudah : Cukup unggah gambar awal dan pilih tema, dan model AI kami akan menghasilkan episode Curious George yang dipersonalisasi. Saksikan George menjelajah, belajar, dan mengalami kecelakaan menyenangkan yang biasa ia alami, semuanya disesuaikan dengan masukan Anda.

2. Pembelajaran dan Kegembiraan : Setiap episode menekankan tema pembelajaran, pengampunan, dan rasa ingin tahu. Ini bukan hanya hiburan; ini adalah pengalaman mendidik yang dibungkus dengan kesenangan dan petualangan.

3. Pilihan Suara :

   • Pinjamkan Suara Anda : Berikan sentuhan pribadi pada episode Anda dengan meminjamkan suara Anda sendiri kepada karakternya.
   • Perpustakaan Audio : Pilih dari beragam suara yang direkam sebelumnya, termasuk suara kloning yang sangat cocok dengan karakternya.

Aspek Teknis

Proyek ini dikembangkan menggunakan SEED-Story

Seed-Story adalah Multimodal Large Language Model (MLLM) yang mampu menghasilkan cerita panjang multimodal yang terdiri dari teks naratif yang kaya dan koheren, serta gambar yang konsisten dalam karakter dan gaya, berdasarkan SEED-X.

Cara Kerjanya

1. Tahap 1: Tokenisasi & De-tokenisasi Visual

   • Latih terlebih dahulu de-tokenizer berbasis SD-XL untuk merekonstruksi gambar dengan memanfaatkan fitur Vision Transformer (ViT) yang telah dilatih sebelumnya sebagai masukan.

2. Tahap 2: Pelatihan Urutan Multimodal

   • Contoh rangkaian gambar-teks yang disisipkan dengan panjang acak.
   • Latih MLLM dengan melakukan prediksi kata berikutnya dan regresi fitur gambar antara status keluaran tersembunyi dari kueri yang dapat dipelajari dan fitur ViT dari gambar target.

3. Tahap 3: Adaptasi De-tokenizer

   • Fitur gambar regresi dari MLLM dimasukkan ke dalam de-tokenizer untuk menyetel SD-XL, meningkatkan konsistensi karakter dan gaya dalam gambar yang dihasilkan.

Mengingat gambar awal yang sama tetapi teks pembuka yang berbeda, SEED-Story dapat menghasilkan cerita multimodal yang berbeda. Misalnya, memulai dengan referensi teks “pria bertopi kuning” akan menghasilkan gambar yang menyertakan karakter tersebut, sedangkan menghilangkan referensi ini akan menghasilkan arah narasi yang berbeda.

Penggunaan

Ketergantungan

• Python >= 3.8 (Direkomendasikan untuk menggunakan Anaconda)
• [PyTorch >=2.0.1](Disarankan untuk menggunakan torch==2.1.2+cu121)(https://pytorch.org/) / (AMD GPU: Direkomendasikan torch=2.4.1:rocm6.1)
• Vram GPU> 40 GB

Instalasi

Kloning repo dan instal paket dependen:

sudo apt-get update
sudo apt-get upgrade
git clone https://github.com/krishnaadithya/AIChildrensBookGen.git
cd AIChildrensBookGen
pip install --ignore-installed blinker
pip install -r requirements.txt
# AMD installation
pip install -U xformers --index-url https://download.pytorch.org/whl/rocm6.1
# NVIDIA installation
pip install xformers==0.0.23.post1

Bobot Model

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
# cd AIChildrensBookGen
cd pretrained
git clone https://huggingface.co/Qwen/Qwen-VL-Chat
git clone https://huggingface.co/TencentARC/SEED-Story
mv SEED-Story/ * ./
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://krishnavadithya: < hf_token > @huggingface.co/meta-llama/Llama-2-7b-hf
cd ..
touch .project-root

Jalankan skrip berikut untuk memuat ulang model:

python3 src/tools/reload_qwen_vit.py

Aplikasi

Rasakan keajaiban dunia Curious George yang belum pernah ada sebelumnya. Mulailah membuat episode Anda sendiri hari ini dan biarkan imajinasi Anda melambung!

Siap memulai petualangan bersama Curious George?

python app.py

---

Demo Video

Berikut adalah demo video Aplikasi kami.

---

Berdasarkan:

@article{yang2024seedstory,
      title={SEED-Story: Multimodal Long Story Generation with Large Language Model}, 
      author={Shuai Yang and Yuying Ge and Yang Li and Yukang Chen and Yixiao Ge and Ying Shan and Yingcong Chen},
      year={2024},
      journal={arXiv preprint arXiv:2407.08683},
      url={https://arxiv.org/abs/2407.08683}, 
}