AIChildrensBookGen
1.0.0
Добро пожаловать в будущее рассказывания историй вместе с Curious George Adventure Creator! Погрузитесь в игривый и полный приключений мир Любопытного Джорджа, как никогда раньше. Наша инновационная модель искусственного интеллекта, разработанная для детей и поклонников милой обезьянки, воплощает в жизнь истории Джорджа с помощью всего лишь начального изображения и выбранной темы.
Вот видео-демонстрация нашей истории, созданная и озвученная нашим приложением.
Программа Curious George Adventure Creator позволяет создавать уникальные эпизоды с участием милой и любопытной африканской обезьянки Любопытного Джорджа и его терпеливого друга «Человека в желтой шляпе». Приключения Джорджа, часто наполненные игривым любопытством и непредвиденными неприятностями, воплощаются в жизнь благодаря нашей передовой технологии искусственного интеллекта.
Простое создание эпизода : просто загрузите начальное изображение и выберите тему, и наша модель искусственного интеллекта сгенерирует персонализированный эпизод «Любопытного Джорджа». Наблюдайте, как Джордж исследует, учится и попадает в свои обычные восхитительные неудачи, и все это с учетом вашего вклада.
Обучение и развлечение : в каждом эпизоде особое внимание уделяется темам обучения, прощения и любопытства. Это не просто развлечение; это образовательный опыт, наполненный весельем и приключениями.
Голосовые опции :
Seed-Story — это мультимодальная модель большого языка (MLLM), способная генерировать мультимодальные длинные истории, состоящие из насыщенных и связных повествовательных текстов, а также изображений, согласованных по персонажам и стилю, на основе SEED-X.
Этап 1: Визуальная токенизация и детокенизация
Этап 2: Обучение мультимодальной последовательности
Этап 3: Адаптация детокенайзера
Учитывая одно и то же исходное изображение, но разные вступительные тексты, SEED-Story может генерировать разные мультимодальные истории. Например, если начать с текста со ссылкой на «человека в желтой шляпе», это приведет к изображениям, включающим этого персонажа, а отсутствие этой ссылки приведет к другому направлению повествования.
Клонируйте репозиторий и установите зависимые пакеты:
sudo apt-get update
sudo apt-get upgrade
git clone https://github.com/krishnaadithya/AIChildrensBookGen.git
cd AIChildrensBookGen
pip install --ignore-installed blinker
pip install -r requirements.txt
# AMD installation
pip install -U xformers --index-url https://download.pytorch.org/whl/rocm6.1
# NVIDIA installation
pip install xformers==0.0.23.post1curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
# cd AIChildrensBookGen
cd pretrained
git clone https://huggingface.co/Qwen/Qwen-VL-Chat
git clone https://huggingface.co/TencentARC/SEED-Story
mv SEED-Story/ * ./
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://krishnavadithya: < hf_token > @huggingface.co/meta-llama/Llama-2-7b-hf
cd ..
touch .project-rootЗапустите следующий скрипт, чтобы перезагрузить модель:
python3 src/tools/reload_qwen_vit.pyИспытайте волшебство мира Любопытного Джорджа, как никогда раньше. Начните создавать свои собственные эпизоды сегодня и дайте волю своему воображению!
Готовы отправиться в приключение вместе с Любопытным Джорджем?
python app.py
Вот видео-демонстрация нашего приложения.
@article{yang2024seedstory,
title={SEED-Story: Multimodal Long Story Generation with Large Language Model},
author={Shuai Yang and Yuying Ge and Yang Li and Yukang Chen and Yixiao Ge and Ying Shan and Yingcong Chen},
year={2024},
journal={arXiv preprint arXiv:2407.08683},
url={https://arxiv.org/abs/2407.08683},
}
