الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

صانع مغامرات جورج الفضولي: منشئ كتب الأطفال بالذكاء الاصطناعي

شعار مبدع المغامرة جورج الفضولي

مرحبًا بكم في مستقبل رواية القصص مع Curious George Adventure Creator! انغمس في عالم Curious George المرح والمغامرة كما لم يحدث من قبل. إن نموذج الذكاء الاصطناعي المبتكر الخاص بنا، والمصمم للأطفال ومحبي القرد المحبوب، يجعل قصص جورج تنبض بالحياة بمجرد صورة أولية وموضوع مختار.

صورة مصغرة

فيما يلي عرض فيديو توضيحي لقصتنا التي تم إنشاؤها والتعليق الصوتي بواسطة تطبيقنا.

ما هذا؟

يسمح لك Curious George Adventure Creator بصياغة حلقات فريدة تضم القرد الأفريقي اللطيف والفضولي، جورج الفضولي، وصديقه الصبور دائمًا، "الرجل ذو القبعة الصفراء". مغامرات جورج، التي غالبًا ما تكون مليئة بالفضول المرح والمشاكل غير المتوقعة، يتم بعثها إلى الحياة من خلال تقنية الذكاء الاصطناعي المتطورة لدينا.

الميزات الرئيسية

  1. إنشاء حلقة سهلة : ما عليك سوى تحميل صورة أولية وتحديد موضوع، وسيعمل نموذج الذكاء الاصطناعي الخاص بنا على إنشاء حلقة Curious George مخصصة. شاهد جورج وهو يستكشف ويتعلم ويتورط في حوادثه المؤسفة المعتادة، وكلها مصممة وفقًا لمدخلاتك.

  2. التعلم والمرح : تركز كل حلقة على موضوعات التعلم والتسامح والفضول. انها ليست مجرد الترفيه. إنها تجربة تعليمية مليئة بالمرح والمغامرة.

  3. خيارات الصوت :

    • إعارة صوتك : أضف لمسة شخصية إلى حلقتك من خلال منح صوتك للشخصيات.
    • مكتبة الملفات الصوتية : اختر من بين مجموعة متنوعة من الأصوات المسجلة مسبقًا، بما في ذلك الأصوات المستنسخة التي تتطابق تمامًا مع الشخصيات.

الجوانب الفنية

تم تطوير هذا المشروع باستخدام SEED-Story

Seed-Story هو نموذج لغة كبير متعدد الوسائط (MLLM) قادر على إنشاء قصص طويلة متعددة الوسائط تتكون من نصوص روائية غنية ومتماسكة، إلى جانب صور متسقة في الشخصيات والأسلوب، استنادًا إلى SEED-X.

كيف يعمل

  1. المرحلة 1: الترميز المرئي وإلغاء الترميز

    • قم بالتدريب المسبق لجهاز إزالة الرمز المميز المستند إلى SD-XL لإعادة بناء الصور عن طريق استخدام ميزات محول الرؤية (ViT) المدرب مسبقًا كمدخلات.

  2. المرحلة الثانية: التدريب على التسلسل متعدد الوسائط

    • عينة من تسلسل نص الصورة المشذر بطول عشوائي.
    • قم بتدريب MLLM عن طريق إجراء تنبؤ بالكلمة التالية وانحدار ميزة الصورة بين حالات الإخراج المخفية للاستعلامات القابلة للتعلم وميزات ViT للصورة المستهدفة.

  3. المرحلة 3: التكيف مع إزالة الرمز المميز

    • يتم إدخال ميزات الصورة المتراجعة من MLLM في أداة إزالة الرمز المميز لضبط SD-XL، مما يعزز اتساق الأحرف والأنماط في الصور التي تم إنشاؤها.

بالنظر إلى نفس الصورة الأولية ولكن مع نصوص افتتاحية مختلفة، يمكن لـ SEED-Story إنشاء قصص متعددة الوسائط مختلفة. على سبيل المثال، سيؤدي البدء بالإشارة النصية إلى "الرجل ذو القبعة الصفراء" إلى صور تتضمن الشخصية، بينما يؤدي حذف هذه الإشارة إلى اتجاه سردي مختلف.

الاستخدام

التبعيات

  • بايثون >= 3.8 (يوصى باستخدام أناكوندا)
  • [PyTorch >=2.0.1](يوصى باستخدام الشعلة==2.1.2+cu121)(https://pytorch.org/) / (وحدة معالجة رسومات AMD: الشعلة الموصى بها=2.4.1:rocm6.1)
  • وحدة معالجة الرسومات Vram> 40 جيجابايت

تثبيت

استنساخ الريبو وتثبيت الحزم التابعة: 

sudo apt-get update
sudo apt-get upgrade
git clone https://github.com/krishnaadithya/AIChildrensBookGen.git
cd AIChildrensBookGen
pip install --ignore-installed blinker
pip install -r requirements.txt
# AMD installation
pip install -U xformers --index-url https://download.pytorch.org/whl/rocm6.1
# NVIDIA installation
pip install xformers==0.0.23.post1

الأوزان النموذجية 

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
# cd AIChildrensBookGen
cd pretrained
git clone https://huggingface.co/Qwen/Qwen-VL-Chat
git clone https://huggingface.co/TencentARC/SEED-Story
mv SEED-Story/ * ./
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://krishnavadithya: < hf_token > @huggingface.co/meta-llama/Llama-2-7b-hf
cd ..
touch .project-root

قم بتشغيل البرنامج النصي التالي لإعادة تحميل النموذج: 

python3 src/tools/reload_qwen_vit.py

برنامج

استمتع بسحر عالم Curious George كما لم يحدث من قبل. ابدأ في إنشاء حلقاتك الخاصة اليوم ودع خيالك يرتفع!

هل أنت مستعد للشروع في مغامرة مع Curious George؟ 

python app.py

فيديو تجريبي

صورة مصغرة

هنا عرض فيديو لتطبيقنا.

مرتكز على: 

@article{yang2024seedstory,
      title={SEED-Story: Multimodal Long Story Generation with Large Language Model}, 
      author={Shuai Yang and Yuying Ge and Yang Li and Yukang Chen and Yixiao Ge and Ying Shan and Yingcong Chen},
      year={2024},
      journal={arXiv preprint arXiv:2407.08683},
      url={https://arxiv.org/abs/2407.08683}, 
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل