MiniCPM-o2.6، هو أحدث نموذج لغة واسع النطاق متعدد الوسائط أصدره فريق OpenBMB، وهو يبرز في مجتمع مفتوح المصدر بمعلماته البالغ عددها 800 مليون وقدرات معالجة قوية متعددة الوسائط. وهو يدعم طرق إدخال متعددة مثل الصور ومقاطع الفيديو والنص والصوت، ويوفر إخراجًا نصيًا وصوتيًا عالي الجودة، مع أداء قريب من GPT-4o-202405. أضاف الوضع الصوتي لجهاز MiniCPM-o2.6 وظيفة حوار ثنائي اللغة في الوقت الفعلي، مما يدعم التحكم في العاطفة والسرعة والأسلوب، وحتى لعب الأدوار واستنساخ الصوت. بالإضافة إلى ذلك، فإن قدرات التعرف الضوئي على الحروف القوية والدعم متعدد اللغات تمكنه من تحقيق تقدم كبير في فهم الفيديو في الوقت الفعلي والبث المباشر متعدد الوسائط على الأجهزة المحمولة.
يتمتع MiniCPM-o2.6 بإمكانيات معالجة إدخال قوية، ويمكنه قبول طرق إدخال متعددة مثل الصور ومقاطع الفيديو والنص والصوت، ويوفر إخراجًا نصيًا وصوتيًا عالي الجودة.
يحتوي الوضع الصوتي لهذا النموذج على وظيفة حوار ثنائية اللغة جديدة في الوقت الفعلي، ويمكن للمستخدمين تكوين أصوات مختلفة وفقًا للاحتياجات، ودعم العاطفة، والسرعة، والتحكم في الأسلوب، وحتى تمكين التطبيقات المثيرة للاهتمام مثل لعب الأدوار واستنساخ الصوت. هذه السلسلة من الابتكارات تجعل MiniCPM-o2.6 أكثر ثراءً في التجربة التفاعلية، ويمكن للمستخدمين الاستمتاع بطريقة اتصال أكثر طبيعية وسلاسة.
بالإضافة إلى التقدم الكبير في الحوار الصوتي، حقق MiniCPM-o2.6 أيضًا تقدمًا كبيرًا في قدرات المعالجة المرئية. إن وظيفة التعرف الضوئي على الحروف (OCR) القوية ودعمها متعدد اللغات تجعلها أكثر كفاءة في فهم الفيديو في الوقت الفعلي. تتيح هذه القدرة المتميزة أيضًا البث المباشر متعدد الوسائط على الأجهزة المحمولة لأول مرة. ويمكن للمستخدمين البث المباشر على أجهزة مثل iPad، مما يوفر مشاركة محتوى أكثر تفاعلية وإثارة للاهتمام.
منذ فبراير 2024، أصدرت سلسلة MiniCPM ستة إصدارات، ويهدف الفريق إلى مواصلة تحسين الأداء وكفاءة نشر النموذج. هذا النموذج ليس مبتكرًا من الناحية التقنية فحسب، بل يمثل أيضًا تقدمًا كبيرًا في التجربة التفاعلية متعددة الوسائط. سواء أكان ذلك تطبيقات في المجال المهني أو تفاعلات ترفيهية في الحياة اليومية، سيصبح MiniCPM-o2.6 مساعدًا ذكيًا لا غنى عنه للمستخدمين.
عنوان المشروع: https://github.com/OpenBMB/MiniCPM-o
باعتباره أحدث إصدار من سلسلة MiniCPM، يعرض MiniCPM-o2.6 أداءً قويًا وسيناريوهات تطبيق غنية في تفاعل متعدد الوسائط، مما يوفر للمستخدمين تجربة أكثر ملاءمة وأكثر ذكاءً. ومن الجدير التطلع إلى تطويره وتحديثاته المستقبلية إبداعي.