AIChildrensBookGen

好奇的喬治歷險記：AI童書生成器

歡迎來到好奇喬治冒險創造者說故事的未來！以前所未有的方式潛入好奇喬治的俏皮冒險世界。我們的創新人工智慧模型專為兒童和可愛猴子的粉絲而設計，只需起始圖像和選定的主題即可將喬治的故事帶入生活。

---

這是我們的應用程式生成的故事和配音的視訊演示。

---

它是什麼？

好奇的喬治冒險創作者允許您製作獨特的劇集，其中包括可愛而好奇的非洲猴子好奇喬治和他耐心的朋友“黃帽子人”。喬治的冒險往往充滿了有趣的好奇心和不可預見的麻煩，透過我們的尖端人工智慧技術栩栩如生。

主要特點

1. 輕鬆建立劇集：只需上傳起始影像並選擇主題，我們的 AI 模型就會產生個人化的《好奇的喬治》劇集。觀看喬治探索、學習並陷入他平常的愉快的不幸中，所有這些都是根據您的輸入量身定制的。

2. 學習和樂趣：每一集都強調學習、寬恕和好奇心的主題。這不僅僅是娛樂；這是一種充滿樂趣和冒險的教育體驗。

3. 語音選項：

   • 借用你的聲音：透過將自己的聲音借給角色，為你的影集帶來個人風格。
   • 音訊庫：從各種預先錄製的聲音中進行選擇，包括與角色完美匹配的克隆聲音。

技術方面

該專案是使用 SEED-Story 開發的

Seed-Story 是一種多模態大語言模型 (MLLM)，基於 SEED-X，能夠產生由豐富且連貫的敘事文本以及人物和風格一致的圖像組成的多模態長故事。

它是如何運作的

1. 第一階段：視覺標記化與去標記化

   • 透過將預先訓練的視覺變換器 (ViT) 的特徵作為輸入來預先訓練基於 SD-XL 的去標記器來重建影像。

2. 第二階段：多模式序列訓練

   • 對隨機長度的交錯影像文字序列進行取樣。
   • 透過在可學習查詢的輸出隱藏狀態和目標影像的 ViT 特徵之間執行下一個單字預測和圖像特徵回歸來訓練 MLLM。

3. 第三階段：去標記器適應

   • 來自 MLLM 的回歸影像特徵被輸入到去標記器中以調整 SD-XL，從而增強生成影像中字元和樣式的一致性。

給定相同的初始圖像但不同的開頭文本，SEED-Story 可以產生不同的多模式故事。例如，從引用“黃帽子人”的文本開始將導致包含該角色的圖像，而省略此引用將導致不同的敘述方向。

用法

依賴關係

• Python >= 3.8（建議使用Anaconda）
• [PyTorch >=2.0.1](建議使用torch==2.1.2+cu121)(https://pytorch.org/) / (AMD GPU: 推薦torch=2.4.1:rocm6.1)
• GPU 記憶體 > 40 GB

安裝

克隆儲存庫並安裝依賴套件：

sudo apt-get update
sudo apt-get upgrade
git clone https://github.com/krishnaadithya/AIChildrensBookGen.git
cd AIChildrensBookGen
pip install --ignore-installed blinker
pip install -r requirements.txt
# AMD installation
pip install -U xformers --index-url https://download.pytorch.org/whl/rocm6.1
# NVIDIA installation
pip install xformers==0.0.23.post1

型號重量

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
# cd AIChildrensBookGen
cd pretrained
git clone https://huggingface.co/Qwen/Qwen-VL-Chat
git clone https://huggingface.co/TencentARC/SEED-Story
mv SEED-Story/ * ./
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://krishnavadithya: < hf_token > @huggingface.co/meta-llama/Llama-2-7b-hf
cd ..
touch .project-root

執行以下腳本來重新載入模型：

python3 src/tools/reload_qwen_vit.py

應用程式

以前所未有的方式體驗好奇喬治世界的魔力。今天就開始創作自己的影集，盡情發揮您的想像！

準備好與好奇的喬治一起踏上冒險之旅了嗎？

python app.py

---

影片示範

這是我們應用程式的視訊演示。

---

基於：

@article{yang2024seedstory,
      title={SEED-Story: Multimodal Long Story Generation with Large Language Model}, 
      author={Shuai Yang and Yuying Ge and Yang Li and Yukang Chen and Yixiao Ge and Ying Shan and Yingcong Chen},
      year={2024},
      journal={arXiv preprint arXiv:2407.08683},
      url={https://arxiv.org/abs/2407.08683}, 
}