La herramienta de traducción de video AI de Panjaya BodyTalk está revolucionando la industria de la traducción de videos. Puede convertir con precisión las voces de los personajes en el video en otros idiomas, y puede sincronizar perfectamente las expresiones faciales y los movimientos corporales de los personajes, logrando un efecto de conversión del lenguaje altamente natural. Esta tecnología rompe las limitaciones del doblaje tradicional y proporciona una nueva solución para la difusión global del contenido de video. BodyTalk es fundado por dos expertos en aprendizaje profundo israelíes y dirigido por CEO experimentados, con un equipo fuerte y una tecnología líder.
Una startup llamada Panjaya está revolucionando el juego de traducción de video. Después de tres años de investigación y desarrollo secretos, la compañía lanzó el avance del producto BodyTalk, una herramienta de IA que convierte con precisión las voces de los personajes en videos en otros idiomas. A diferencia del doblaje tradicional, BodyTalk no solo replica perfectamente las características acústicas originales del altavoz, sino que también ajusta automáticamente las expresiones faciales y los movimientos corporales de los personajes en el video para que coincidan naturalmente con los patrones de voz del nuevo lenguaje.
Panjaya fue fundada por dos expertos en aprendizaje profundo del gobierno israelí Hilik Shani y Ariel Shalom. En 2021, los dos dejaron el departamento del gobierno para comenzar un negocio, y luego dieron la bienvenida a Guy Piekarz, que tiene una rica experiencia de la industria, como CEO. Matcha, una plataforma de descubrimiento y recomendación de medios de transmisión previamente fundada por Piquetz, fue adquirida por Apple en 2013.
Actualmente, BodyTalk admite la traducción en 29 idiomas. El flujo de trabajo primero implica la traducción de audio, luego generando nuevas voces que imitan el altavoz acústico, y finalmente ajustando automáticamente la forma y los movimientos del labio del altavoz en el video para que coincidan con la nueva expresión del lenguaje. Aunque el tiempo de procesamiento está cerca del tiempo real, todavía lleva varios minutos completar el procesamiento de un video.
A nivel técnico, Panjaya adopta una estrategia híbrida, que no solo utiliza modelos de idiomas grandes de terceros, sino que también desarrolla de forma independiente tecnologías centrales. Según Piquetz, el motor de sincronización de labios de la compañía está completamente desarrollado por un equipo interno de investigación de IA, porque no hay una solución en el mercado que pueda satisfacer las necesidades de sus complejos escenarios comerciales, como el ángulo múltiple y los múltiples altavoces.
La compañía se está centrando actualmente en el mercado B2B y ha alcanzado la cooperación con instituciones como JFrog y TED. Ted dijo que el número de vistas de los videos de conferencias doblados con herramientas de Panjaya aumentó en un 115%, y la tasa de visualización completa se duplicó. La compañía planea expandir aún más las aplicaciones en deportes, educación, marketing y campos médicos.
Para evitar el abuso técnico, Panjaya controla estrictamente el uso de herramientas y planes para desarrollar funciones como marcas de agua para identificar contenido de video sintético. Aunque los subtítulos se han convertido en el estándar para el contenido de video: más de la mitad de los espectadores estadounidenses encenderán los subtítulos al ver, el mercado internacional todavía tiene una gran demanda de doblar contenido. Los datos de la firma de investigación CSA muestran que el contenido del idioma nativo puede conducir a una mayor participación del usuario, especialmente en el campo B2B.
Esta ronda de financiamiento de $ 9.5 millones fue participada por varias instituciones de inversión e individuos, incluidas Viola Ventures, R-Squared Ventures y el cofundador y CEO de JFrog, Shlomi Ben Haim. En el futuro, Panjaya planea lanzar interfaces API y mejorar aún más la velocidad de procesamiento y avanzar hacia el objetivo del procesamiento en tiempo real.
La aparición de BodyTalk indica que la tecnología de traducción de video ha alcanzado una nueva altura, con un gran potencial de desarrollo futuro. .