أطلقت شركة Rhymes AI النموذج الثوري لتحويل النص إلى صورة إلى فيديو Allegro-TI2V، والذي يمثل إنجازًا كبيرًا في الذكاء الاصطناعي في المجال الإبداعي. يدعم Allegro-TI2V طول سياق يصل إلى 79.2K، ودقة إخراج تبلغ 720×1280 بكسل، ويوفر أوضاع إنشاء متعددة، مثل إنشاء الفيديو اللاحق وتوليد الفيديو المتوسط، مما يحسن بشكل كبير من كفاءة إنشاء الفيديو. تم إصدار النموذج بموجب ترخيص Apache2.0 ويمكن للمستخدمين الوصول إليه واستخدامه بسهولة.
أصدرت Rhymes AI مؤخرًا نموذجها الثوري لتحويل النص إلى فيديو، Allegro-TI2V، وتفتح هذه التقنية المتقدمة حدودًا جديدة لإنشاء المحتوى الرقمي. باعتباره أحدث تقدم في الذكاء الاصطناعي التوليدي، يوفر Allegro-TI2V للعاملين المبدعين أدوات غير مسبوقة لسرد القصص المرئية، مما يشير إلى الإمكانات الهائلة لتكنولوجيا الذكاء الاصطناعي في المجال الإبداعي.
يتفوق Allegro-TI2V في العديد من المواصفات الفنية، ويدعم أطوال السياق التي تصل إلى 79.2K، أي ما يعادل 88 إطارًا من الفيديو. تبلغ دقة الإخراج 720 × 1280 بكسل، وتبلغ سرعة إنشاء الفيديو 15 إطارًا في الثانية. ويمكن للمستخدمين أيضًا اختيار الاستيفاء إلى 30 إطارًا في الثانية لتلبية احتياجات سيناريوهات التطبيقات المختلفة. إن بنية هذا النموذج معقدة للغاية، بما في ذلك 175 مليون معلمة VideoVAE و2.8 مليار معلمة نموذج VideoDiT، مما يسمح له بالتقاط النص بدقة مما يطالب بإدخال المستخدم وجوهر الصورة الأولية. بالإضافة إلى ذلك، يدعم Allegro-TI2V أيضًا الأوضاع متعددة الدقة (FP32، وBF16، وFP16). وفي وضع BF16، لا يلزم سوى 9.3 جيجابايت من ذاكرة وحدة معالجة الرسومات لإنشاء الفيديو، مما يقلل بشكل كبير من متطلبات الأجهزة.
يتمثل ابتكار Allegro-TI2V في أنه يقدم وضعين جديدين للجيل: إنشاء فيديو لاحق: استنادًا إلى المطالبات النصية والإطارات الأولية، يتم إنشاء محتوى فيديو مستمر. يساعد هذا الوضع منشئي المحتوى على إنشاء مقاطع فيديو تتوافق مع موضوعهم وأسلوبهم بسهولة. إنشاء فيديو متوسط: استنادًا إلى الإطارات الأولى والأخيرة من فيديو معين، يمكنك إنشاء إطارات وسيطة انتقالية طبيعية، وكسر قيود الزمان والمكان لتحرير الفيديو التقليدي.
تتيح هذه الأوضاع المبتكرة لـ Allegro-TI2V تزويد المبدعين بطريقة أكثر كفاءة ومرونة لإنشاء الفيديو، مما يؤدي إلى تحسين كفاءة الإنشاء وجودته بشكل كبير.
أصدرت Rhymes AI Allegro-TI2V بموجب ترخيص Apache 2.0، مما يجعل هذه التكنولوجيا أكثر سهولة في الوصول إليها واستخدامها من قبل الباحثين والمطورين ومنشئي المحتوى. يحتاج المستخدمون فقط إلى تثبيت Python3.10+ وPyTorch2.4+ وCUDA12.4+ للبدء بسهولة وتجربة هذه التكنولوجيا المتقدمة بسرعة.
يتمتع Allegro-TI2V بمجموعة واسعة من آفاق التطبيقات، بدءًا من إنتاج الأفلام وتطوير الألعاب وحتى الفن الرقمي والنماذج الأولية الإبداعية، وكلها يمكن أن تطلق العنان لقدرات التوليد القوية الخاصة بها. وفقًا للبيانات المقدمة من المطور، يمكن لوحدة معالجة رسوميات H100 واحدة إنشاء فيديو مدته 6 ثوانٍ في حوالي 20 دقيقة، مع تكوين 8 وحدات معالجة رسومية H100، سيتم اختصار وقت الإنتاج إلى 3 دقائق، مما يحسن بشكل كبير كفاءة إنشاء محتوى الفيديو. .
عنوان الاستخدام: https://huggingface.co/rhymes-ai/Allegro-TI2V
عنوان المنتج: https://rhymes.ai/blog-details/allegro-advanced-video-generation-model
بفضل وظائفه القوية وسهولة استخدامه، سيعمل Allegro-TI2V على تعزيز تطوير إنشاء محتوى الفيديو بشكل كبير وتوفير إمكانيات جديدة للصناعة الإبداعية. كما تشجع طبيعتها مفتوحة المصدر أيضًا على مشاركة المجتمع على نطاق أوسع والتطور التكنولوجي، ومن الجدير التطلع إلى تطبيقاته وتحسيناته المستقبلية.