AIChildrensBookGen

Curious George Adventure Creator : Générateur de livres pour enfants par IA

Bienvenue dans le futur de la narration avec Curious George Adventure Creator ! Plongez dans le monde ludique et aventureux de Curious George comme jamais auparavant. Notre modèle d'IA innovant, conçu pour les enfants et les fans de l'adorable singe, donne vie aux histoires de George avec juste une image de départ et un thème choisi.

---

Voici une démo vidéo de notre histoire générée et en voix off par notre application.

---

Qu'est-ce que c'est?

Le Curious George Adventure Creator vous permet de créer des épisodes uniques mettant en vedette le doux et curieux singe africain, Curious George, et son ami toujours patient, "L'homme au chapeau jaune". Les aventures de George, souvent remplies de curiosité ludique et de problèmes imprévus, prennent vie grâce à notre technologie d'IA de pointe.

Principales fonctionnalités

1. Création d'épisode facile : téléchargez simplement une image de départ et sélectionnez un thème, et notre modèle d'IA générera un épisode personnalisé de Curious George. Regardez George explorer, apprendre et se retrouver dans ses délicieuses mésaventures habituelles, toutes adaptées à votre contribution.

2. Apprentissage et plaisir : Chaque épisode met l'accent sur les thèmes de l'apprentissage, du pardon et de la curiosité. Ce n'est pas seulement du divertissement ; c'est une expérience éducative enveloppée de plaisir et d'aventure.

3. Options vocales :

   • Prêtez votre voix : Apportez une touche personnelle à votre épisode en prêtant votre propre voix aux personnages.
   • Bibliothèque audio : choisissez parmi une variété de voix préenregistrées, y compris des voix clonées qui correspondent parfaitement aux personnages.

Aspects techniques

Ce projet est développé en utilisant SEED-Story

Seed-Story est un modèle multimodal de langage étendu (MLLM) capable de générer de longues histoires multimodales composées de textes narratifs riches et cohérents, ainsi que d'images cohérentes en termes de personnages et de style, basées sur SEED-X.

Comment ça marche

1. Étape 1 : tokenisation visuelle et dé-tokenisation

   • Pré-entraînez un dé-tokenizer basé sur SD-XL pour reconstruire des images en prenant les fonctionnalités d'un Vision Transformer (ViT) pré-entraîné comme entrées.

2. Étape 2 : entraînement en séquence multimodale

   • Échantillonnez une séquence image-texte entrelacée d’une longueur aléatoire.
   • Entraînez le MLLM en effectuant une prédiction du mot suivant et une régression des caractéristiques de l'image entre les états cachés de sortie des requêtes apprenables et les fonctionnalités ViT de l'image cible.

3. Étape 3 : Adaptation du dé-tokenizer

   • Les caractéristiques de l'image régressée du MLLM sont introduites dans le dé-tokenizer pour régler SD-XL, améliorant ainsi la cohérence des caractères et des styles dans les images générées.

Étant donné la même image initiale mais des textes d'ouverture différents, SEED-Story peut générer différentes histoires multimodales. Par exemple, commencer par un texte faisant référence à « l’homme au chapeau jaune » conduira à des images incluant le personnage, tandis que l’omission de cette référence entraînera une direction narrative différente.

Usage

Dépendances

• Python >= 3.8 (il est recommandé d'utiliser Anaconda)
• [PyTorch >=2.0.1](Il est recommandé d'utiliser torch==2.1.2+cu121)(https://pytorch.org/) / (GPU AMD : Torch recommandé=2.4.1:rocm6.1)
• Vram GPU > 40 Go

Installation

Clonez le dépôt et installez les packages dépendants :

sudo apt-get update
sudo apt-get upgrade
git clone https://github.com/krishnaadithya/AIChildrensBookGen.git
cd AIChildrensBookGen
pip install --ignore-installed blinker
pip install -r requirements.txt
# AMD installation
pip install -U xformers --index-url https://download.pytorch.org/whl/rocm6.1
# NVIDIA installation
pip install xformers==0.0.23.post1

Poids du modèle

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
# cd AIChildrensBookGen
cd pretrained
git clone https://huggingface.co/Qwen/Qwen-VL-Chat
git clone https://huggingface.co/TencentARC/SEED-Story
mv SEED-Story/ * ./
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://krishnavadithya: < hf_token > @huggingface.co/meta-llama/Llama-2-7b-hf
cd ..
touch .project-root

Exécutez le script suivant pour recharger le modèle :

python3 src/tools/reload_qwen_vit.py

Application

Découvrez la magie du monde de Curious George comme jamais auparavant. Commencez à créer vos propres épisodes dès aujourd'hui et laissez libre cours à votre imagination !

Prêt à vous lancer dans une aventure avec Curious George ?

python app.py

---

Démo vidéo

Voici une démo vidéo de notre application.

---

Basé sur:

@article{yang2024seedstory,
      title={SEED-Story: Multimodal Long Story Generation with Large Language Model}, 
      author={Shuai Yang and Yuying Ge and Yang Li and Yukang Chen and Yixiao Ge and Ying Shan and Yingcong Chen},
      year={2024},
      journal={arXiv preprint arXiv:2407.08683},
      url={https://arxiv.org/abs/2407.08683}, 
}