تُحدث BodyTalk، أداة ترجمة الفيديو المدعومة بالذكاء الاصطناعي التي أطلقتها شركة Panjaya، ثورة في مجال ترجمة الفيديو. يمكن لهذه الأداة تحويل أصوات الشخصيات في الفيديو بدقة إلى لغات أخرى، وفي الوقت نفسه ضبط تعبيرات وجه الشخصيات وحركات أجسادها لتتناسب بشكل طبيعي مع أنماط الكلام للغة الجديدة، وتحقق حقًا تأثير "تزييفها" كحقيقة". سيمنحك محرر Downcodes فهمًا متعمقًا لهذه التكنولوجيا المذهلة والقصة الكامنة وراءها.
تُحدث شركة ناشئة تدعى Panjaya ثورة في لعبة ترجمة الفيديو. وبعد ثلاث سنوات من البحث والتطوير السري، أطلقت الشركة منتجها المذهل BodyTalk، وهو أداة ذكاء اصطناعي يمكنها تحويل أصوات الأشخاص في مقاطع الفيديو بدقة إلى لغات أخرى. على عكس الدبلجة التقليدية، لا يقوم BodyTalk بتكرار الخصائص الصوتية الأصلية للمتحدث بشكل مثالي فحسب، بل يقوم أيضًا بضبط تعبيرات الوجه وحركات الجسم للشخصيات في الفيديو تلقائيًا لتتناسب بشكل طبيعي مع أنماط الكلام للغة الجديدة.
تأسست بانجايا على يد هيليك شاني وأرييل شالوم، وهما خبيران في التعلم العميق تابعان للحكومة الإسرائيلية. وفي عام 2021، ترك الاثنان القطاع الحكومي لبدء أعمالهما التجارية الخاصة، ثم رحبا بجاي بيكرز، الذي يتمتع بخبرة صناعية غنية، في منصب الرئيس التنفيذي. ماتشا، وهي منصة لاكتشاف الوسائط المتدفقة والتوصية، أسسها بيكيز سابقًا، استحوذت عليها شركة أبل في عام 2013.
حاليًا، يدعم BodyTalk الترجمة بـ 29 لغة. يبدأ سير العمل الخاص به بالترجمة الصوتية، ثم يولد صوتًا جديدًا يقلد المتحدث الأصلي، وأخيرًا يضبط شكل فم المتحدث وحركاته في الفيديو تلقائيًا لتتناسب مع تعبير اللغة الجديد. على الرغم من أن أوقات المعالجة تقترب من الوقت الفعلي، إلا أن معالجة الفيديو لا تزال تستغرق حاليًا عدة دقائق.
على المستوى الفني، تتبنى بانجايا إستراتيجية هجينة، باستخدام نماذج لغوية كبيرة تابعة لجهات خارجية وتطوير التقنيات الأساسية بشكل مستقل. وفقًا لبيكيز، تم تطوير محرك مزامنة الشفاه الخاص بالشركة بالكامل من قبل فريق بحث الذكاء الاصطناعي الداخلي لأنه لا يوجد حل في السوق يمكنه تلبية احتياجات سيناريوهات الأعمال المعقدة مثل الزوايا المتعددة ومكبرات الصوت المتعددة.
تركز الشركة حاليًا على سوق B2B وتوصلت إلى تعاون مع مؤسسات مثل JFrog وTED. قال TED إن مشاهدات الفيديو للمحاضرات المدبلجة باستخدام أدوات Panjaya زادت بنسبة 115% وتضاعفت معدلات إكمالها. وتخطط الشركة لتوسيع نطاق التطبيقات في مجالات الرياضة والتعليم والتسويق والمجالات الطبية.
لتجنب إساءة استخدام التكنولوجيا، تتحكم Panjaya بشكل صارم في الوصول إلى الأدوات وتخطط لتطوير ميزات مثل العلامات المائية لتحديد محتوى الفيديو المركب. على الرغم من أن الترجمة أصبحت سمة قياسية لمحتوى الفيديو - وفقًا لاستطلاع أجرته شبكة سي بي إس، فإن أكثر من نصف المشاهدين الأمريكيين يشغلون الترجمة عند المشاهدة - إلا أن الطلب على المحتوى المدبلج في السوق الدولية لا يزال ضخمًا. تُظهر البيانات الواردة من منظمة الأبحاث CSA أنه، خاصة في مجال B2B، يمكن لمحتوى اللغة الأم أن يحقق مشاركة أكبر للمستخدم.
وقد شارك في هذه الجولة التمويلية بقيمة 9.5 مليون دولار أمريكي عدد من المؤسسات الاستثمارية والأفراد، بما في ذلك Viola Ventures وR-Squared Ventures والمؤسس المشارك والرئيس التنفيذي لشركة JFrog شلومي بن حاييم. في المستقبل، تخطط Panjaya لإطلاق واجهات API وتحسين سرعة المعالجة بشكل أكبر، والتحرك نحو هدف المعالجة في الوقت الفعلي.
لقد جلب التقدم التكنولوجي الذي حققته BodyTalk إمكانيات جديدة لصناعة ترجمة الفيديو، ويستحق تطورها المستقبلي التطلع إليه. يوضح نجاح بانجايا أيضًا الإمكانات الهائلة لتكنولوجيا الذكاء الاصطناعي في حل المشكلات العملية، وأعتقد أننا سنشهد ظهور المزيد من التطبيقات المبتكرة المماثلة في المستقبل القريب. سيستمر محرر Downcodes في الاهتمام بتطويره اللاحق.