AIChildrensBookGen

Curioso George Adventure Creator: Gerador de livros infantis com IA

Bem-vindo ao futuro da narrativa com o Curious George Adventure Creator! Mergulhe no mundo lúdico e aventureiro de Curious George como nunca antes. Nosso inovador modelo de IA, projetado para crianças e fãs do adorável macaco, dá vida às histórias de George com apenas uma imagem inicial e um tema escolhido.

---

Aqui está um vídeo de demonstração de nossa história gerada e narrada por nosso aplicativo.

---

O que é?

O Curious George Adventure Creator permite que você crie episódios únicos com o doce e curioso macaco africano, Curious George, e seu sempre paciente amigo, "The Man in the Yellow Hat". As aventuras de George, muitas vezes repletas de curiosidade divertida e problemas imprevistos, ganham vida através da nossa tecnologia de IA de ponta.

Principais recursos

1. Criação fácil de episódios : basta fazer upload de uma imagem inicial e selecionar um tema, e nosso modelo de IA gerará um episódio personalizado de Curious George. Veja George explorar, aprender e se envolver em seus deliciosos contratempos habituais, tudo adaptado à sua opinião.

2. Aprendizagem e diversão : cada episódio enfatiza temas de aprendizagem, perdão e curiosidade. Não é apenas entretenimento; é uma experiência educacional envolta em diversão e aventura.

3. Opções de voz :

   • Empreste sua voz : dê um toque pessoal ao seu episódio, emprestando sua própria voz aos personagens.
   • Biblioteca de áudio : escolha entre uma variedade de vozes pré-gravadas, incluindo vozes clonadas que combinam perfeitamente com os personagens.

Aspectos Técnicos

Este projeto é desenvolvido usando SEED-Story

Seed-Story é um Modelo Multimodal de Grande Linguagem (MLLM) capaz de gerar longas histórias multimodais compostas por textos narrativos ricos e coerentes, juntamente com imagens consistentes em personagens e estilo, com base no SEED-X.

Como funciona

1. Estágio 1: Tokenização Visual e Destokenização

   • Pré-treine um destokenizador baseado em SD-XL para reconstruir imagens usando os recursos de um Vision Transformer (ViT) pré-treinado como entradas.

2. Etapa 2: Treinamento de Sequência Multimodal

   • Amostra de uma sequência de imagem-texto intercalada de comprimento aleatório.
   • Treine o MLLM realizando previsão da próxima palavra e regressão de recursos de imagem entre os estados ocultos de saída das consultas que podem ser aprendidas e os recursos ViT da imagem alvo.

3. Etapa 3: Adaptação do destokenizador

   • Os recursos de imagem regredidos do MLLM são alimentados no destokenizador para ajustar o SD-XL, melhorando a consistência dos caracteres e estilos nas imagens geradas.

Dada a mesma imagem inicial, mas com textos de abertura diferentes, o SEED-Story pode gerar diferentes histórias multimodais. Por exemplo, começar com um texto que faça referência a “o homem do chapéu amarelo” levará a imagens que incluem o personagem, enquanto a omissão dessa referência resultará em uma direção narrativa diferente.

Uso

Dependências

• Python >= 3.8 (recomendamos usar Anaconda)
• [PyTorch >=2.0.1](Recomendamos usar torch==2.1.2+cu121)(https://pytorch.org/) / (GPU AMD: Tocha recomendada=2.4.1:rocm6.1)
• VRAM da GPU > 40 GB

Instalação

Clone o repositório e instale os pacotes dependentes:

sudo apt-get update
sudo apt-get upgrade
git clone https://github.com/krishnaadithya/AIChildrensBookGen.git
cd AIChildrensBookGen
pip install --ignore-installed blinker
pip install -r requirements.txt
# AMD installation
pip install -U xformers --index-url https://download.pytorch.org/whl/rocm6.1
# NVIDIA installation
pip install xformers==0.0.23.post1

Pesos do modelo

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
# cd AIChildrensBookGen
cd pretrained
git clone https://huggingface.co/Qwen/Qwen-VL-Chat
git clone https://huggingface.co/TencentARC/SEED-Story
mv SEED-Story/ * ./
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://krishnavadithya: < hf_token > @huggingface.co/meta-llama/Llama-2-7b-hf
cd ..
touch .project-root

Execute o seguinte script para recarregar o modelo:

python3 src/tools/reload_qwen_vit.py

Aplicativo

Experimente a magia do mundo do Curious George como nunca antes. Comece a criar seus próprios episódios hoje e deixe sua imaginação voar!

Pronto para embarcar em uma aventura com Curious George?

python app.py

---

Demonstração em vídeo

Aqui está um vídeo de demonstração do nosso aplicativo.

---

Baseado em:

@article{yang2024seedstory,
      title={SEED-Story: Multimodal Long Story Generation with Large Language Model}, 
      author={Shuai Yang and Yuying Ge and Yang Li and Yukang Chen and Yixiao Ge and Ying Shan and Yingcong Chen},
      year={2024},
      journal={arXiv preprint arXiv:2407.08683},
      url={https://arxiv.org/abs/2407.08683}, 
}