AIChildrensBookGen

Curious George Adventure Creator: KI-Kinderbuchgenerator

Willkommen in der Zukunft des Geschichtenerzählens mit dem Curious George Adventure Creator! Tauchen Sie ein wie nie zuvor in die verspielte und abenteuerliche Welt von Curious George. Unser innovatives KI-Modell, das für Kinder und Fans des liebenswerten Affen entwickelt wurde, erweckt Georges Geschichten mit nur einem Startbild und einem ausgewählten Thema zum Leben.

---

Hier ist eine Videodemo unserer Geschichte, die von unserer App generiert und vertont wurde.

---

Was ist das?

Mit dem Curious George Adventure Creator können Sie einzigartige Episoden mit dem süßen und neugierigen afrikanischen Affen Curious George und seinem stets geduldigen Freund „Der Mann mit dem gelben Hut“ erstellen. Georges Abenteuer, oft voller spielerischer Neugier und unvorhergesehener Probleme, werden durch unsere hochmoderne KI-Technologie zum Leben erweckt.

Hauptmerkmale

1. Einfache Episodenerstellung : Laden Sie einfach ein Startbild hoch und wählen Sie ein Thema aus, und unser KI-Modell generiert eine personalisierte Curious George-Episode. Beobachten Sie, wie George erforscht, lernt und in seine üblichen entzückenden Pannen gerät, alles maßgeschneidert auf Ihren Input.

2. Lernen und Spaß : In jeder Episode stehen die Themen Lernen, Vergebung und Neugier im Vordergrund. Es ist nicht nur Unterhaltung; Es ist eine lehrreiche Erfahrung voller Spaß und Abenteuer.

3. Sprachoptionen :

   • Leihen Sie Ihre Stimme : Verleihen Sie Ihrer Episode eine persönliche Note, indem Sie den Charakteren Ihre eigene Stimme verleihen.
   • Audiobibliothek : Wählen Sie aus einer Vielzahl vorab aufgezeichneter Stimmen, einschließlich geklonter Stimmen, die perfekt zu den Charakteren passen.

Technische Aspekte

Dieses Projekt wurde mit SEED-Story entwickelt

Seed-Story ist ein multimodales Large Language Model (MLLM), das auf der Grundlage von SEED-X in der Lage ist, multimodale Langgeschichten zu generieren, die aus reichhaltigen und kohärenten Erzähltexten sowie Bildern bestehen, die in Charakteren und Stil konsistent sind.

Wie es funktioniert

1. Stufe 1: Visuelle Tokenisierung und De-Tokenisierung

   • Trainieren Sie einen SD-XL-basierten De-Tokenizer vorab, um Bilder zu rekonstruieren, indem Sie die Funktionen eines vorab trainierten Vision Transformer (ViT) als Eingaben verwenden.

2. Stufe 2: Multimodales Sequenztraining

   • Probieren Sie eine verschachtelte Bild-Text-Sequenz zufälliger Länge aus.
   • Trainieren Sie das MLLM, indem Sie eine Vorhersage des nächsten Wortes und eine Regression der Bildmerkmale zwischen den verborgenen Ausgabezuständen der lernbaren Abfragen und den ViT-Merkmalen des Zielbilds durchführen.

3. Stufe 3: De-Tokenizer-Anpassung

   • Die regressierten Bildmerkmale aus dem MLLM werden in den De-Tokenizer eingespeist, um SD-XL zu optimieren und die Konsistenz der Zeichen und Stile in den generierten Bildern zu verbessern.

Bei gleichem Ausgangsbild, aber unterschiedlichen Eröffnungstexten kann SEED-Story unterschiedliche multimodale Geschichten generieren. Wenn Sie beispielsweise mit einem Text beginnen, der sich auf „Der Mann mit dem gelben Hut“ bezieht, werden Bilder erstellt, die die Figur enthalten, während das Weglassen dieser Referenz zu einer anderen Erzählrichtung führt.

Verwendung

Abhängigkeiten

• Python >= 3.8 (Empfehlen Sie die Verwendung von Anaconda)
• [PyTorch >=2.0.1](Empfehlen Sie die Verwendung von Torch==2.1.2+cu121)(https://pytorch.org/) / (AMD GPU: Empfohlener Torch=2.4.1:rocm6.1)
• GPU-VRAM > 40 GB

Installation

Klonen Sie das Repo und installieren Sie abhängige Pakete:

sudo apt-get update
sudo apt-get upgrade
git clone https://github.com/krishnaadithya/AIChildrensBookGen.git
cd AIChildrensBookGen
pip install --ignore-installed blinker
pip install -r requirements.txt
# AMD installation
pip install -U xformers --index-url https://download.pytorch.org/whl/rocm6.1
# NVIDIA installation
pip install xformers==0.0.23.post1

Modellgewichte

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
# cd AIChildrensBookGen
cd pretrained
git clone https://huggingface.co/Qwen/Qwen-VL-Chat
git clone https://huggingface.co/TencentARC/SEED-Story
mv SEED-Story/ * ./
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://krishnavadithya: < hf_token > @huggingface.co/meta-llama/Llama-2-7b-hf
cd ..
touch .project-root

Führen Sie das folgende Skript aus, um das Modell neu zu laden:

python3 src/tools/reload_qwen_vit.py

App

Erleben Sie die Magie der Welt von Curious George wie nie zuvor. Beginnen Sie noch heute mit der Erstellung Ihrer eigenen Episoden und lassen Sie Ihrer Fantasie freien Lauf!

Bereit für ein Abenteuer mit Curious George?

python app.py

---

Videodemo

Hier ist eine Videodemo unserer App.

---

Bezogen auf:

@article{yang2024seedstory,
      title={SEED-Story: Multimodal Long Story Generation with Large Language Model}, 
      author={Shuai Yang and Yuying Ge and Yang Li and Yukang Chen and Yixiao Ge and Ying Shan and Yingcong Chen},
      year={2024},
      journal={arXiv preprint arXiv:2407.08683},
      url={https://arxiv.org/abs/2407.08683}, 
}