AIChildrensBookGen

好奇的乔治历险记：AI童书生成器

欢迎来到好奇乔治冒险创造者讲述故事的未来！以前所未有的方式潜入好奇乔治的俏皮冒险世界。我们的创新人工智能模型专为儿童和可爱猴子的粉丝而设计，只需起始图像和选定的主题即可将乔治的故事带入生活。

---

这是我们的应用程序生成的故事和配音的视频演示。

---

它是什么？

好奇的乔治冒险创作者允许您制作独特的剧集，其中包括可爱而好奇的非洲猴子好奇乔治和他耐心的朋友“黄帽子人”。乔治的冒险往往充满了有趣的好奇心和不可预见的麻烦，通过我们的尖端人工智能技术栩栩如生。

主要特点

1. 轻松创建剧集：只需上传起始图像并选择主题，我们的 AI 模型就会生成个性化的《好奇的乔治》剧集。观看乔治探索、学习并陷入他平常的愉快的不幸中，所有这些都是根据您的输入量身定制的。

2. 学习和乐趣：每一集都强调学习、宽恕和好奇心的主题。这不仅仅是娱乐；这是一种充满乐趣和冒险的教育体验。

3. 语音选项：

   • 借用你的声音：通过将你自己的声音借给角色，为你的剧集带来个人风格。
   • 音频库：从各种预先录制的声音中进行选择，包括与角色完美匹配的克隆声音。

技术方面

该项目是使用 SEED-Story 开发的

Seed-Story 是一种多模态大语言模型 (MLLM)，基于 SEED-X，能够生成由丰富且连贯的叙事文本以及人物和风格一致的图像组成的多模态长故事。

它是如何运作的

1. 第一阶段：视觉标记化和去标记化

   • 通过将预训练的视觉变换器 (ViT) 的特征作为输入来预训练基于 SD-XL 的去标记器来重建图像。

2. 第二阶段：多模式序列训练

   • 对随机长度的交错图像文本序列进行采样。
   • 通过在可学习查询的输出隐藏状态和目标图像的 ViT 特征之间执行下一个单词预测和图像特征回归来训练 MLLM。

3. 第三阶段：去标记器适应

   • 来自 MLLM 的回归图像特征被输入到去标记器中以调整 SD-XL，从而增强生成图像中字符和样式的一致性。

给定相同的初始图像但不同的开头文本，SEED-Story 可以生成不同的多模式故事。例如，从引用“黄帽子人”的文本开始将导致包含该角色的图像，而省略此引用将导致不同的叙述方向。

用法

依赖关系

• Python >= 3.8（推荐使用Anaconda）
• [PyTorch >=2.0.1](推荐使用torch==2.1.2+cu121)(https://pytorch.org/) / (AMD GPU: 推荐torch=2.4.1:rocm6.1)
• GPU 显存 > 40 GB

安装

克隆存储库并安装依赖包：

sudo apt-get update
sudo apt-get upgrade
git clone https://github.com/krishnaadithya/AIChildrensBookGen.git
cd AIChildrensBookGen
pip install --ignore-installed blinker
pip install -r requirements.txt
# AMD installation
pip install -U xformers --index-url https://download.pytorch.org/whl/rocm6.1
# NVIDIA installation
pip install xformers==0.0.23.post1

型号重量

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
# cd AIChildrensBookGen
cd pretrained
git clone https://huggingface.co/Qwen/Qwen-VL-Chat
git clone https://huggingface.co/TencentARC/SEED-Story
mv SEED-Story/ * ./
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://krishnavadithya: < hf_token > @huggingface.co/meta-llama/Llama-2-7b-hf
cd ..
touch .project-root

运行以下脚本来重新加载模型：

python3 src/tools/reload_qwen_vit.py

应用程序

以前所未有的方式体验好奇乔治世界的魔力。今天就开始创作您自己的剧集，尽情发挥您的想象力！

准备好与好奇的乔治一起踏上冒险之旅了吗？

python app.py

---

视频演示

这是我们应用程序的视频演示。

---

基于：

@article{yang2024seedstory,
      title={SEED-Story: Multimodal Long Story Generation with Large Language Model}, 
      author={Shuai Yang and Yuying Ge and Yang Li and Yukang Chen and Yixiao Ge and Ying Shan and Yingcong Chen},
      year={2024},
      journal={arXiv preprint arXiv:2407.08683},
      url={https://arxiv.org/abs/2407.08683}, 
}