L'outil de traduction vidéo AI de Panjaya Bodytalk révolutionne l'industrie de la traduction vidéo. Il peut convertir avec précision les voix des personnages de la vidéo en autres langues et peut parfaitement synchroniser les expressions faciales et les mouvements corporels des personnages, réalisant un effet de conversion de langage très naturel. Cette technologie franchit les limites du doublage traditionnel et fournit une nouvelle solution pour la diffusion globale du contenu vidéo. BodyTalk est fondée par deux experts israéliens en profondeur et dirigé par des PDG expérimentés, avec une équipe solide et une technologie de tête.
Une startup appelée Panjaya révolutionne le jeu de la traduction vidéo. Après trois ans de recherche et développement secrètes, la société a lancé le produit révolutionnaire Bodytalk, un outil d'IA qui convertit avec précision les voix des personnages dans des vidéos en autres langues. Contrairement au doublage traditionnel, Bodytalk reproduit non seulement parfaitement les caractéristiques acoustiques d'origine du haut-parleur, mais ajuste également automatiquement les expressions faciales et les mouvements corporels des personnages de la vidéo pour correspondre naturellement aux modèles vocaux de la nouvelle langue.
Panjaya a été fondée par deux experts en profondeur du gouvernement israélien Hilik Shani et Ariel Shalom. En 2021, les deux ont quitté le département gouvernemental pour démarrer une entreprise, puis ont accueilli Guy Piekarz, qui a une riche expérience de l'industrie, en tant que PDG. Matcha, une plate-forme de découverte et de recommandation de streaming de médias précédemment fondée par Piquetz, a été acquise par Apple en 2013.
Actuellement, BodyTalk prend en charge la traduction en 29 langues. Le workflow implique d'abord la traduction audio, puis la génération de nouvelles voix qui imitent le haut-parleur acoustique, et a finalement ajusté automatiquement la forme et les mouvements de la lèvre du haut-parleur dans la vidéo pour correspondre à la nouvelle expression linguistique. Bien que le temps de traitement soit proche du temps réel, il faut encore plusieurs minutes pour terminer le traitement d'une vidéo.
Au niveau technique, Panjaya adopte une stratégie hybride, qui non seulement utilise des modèles de terminaux de grande partie, mais développe également indépendamment les technologies de base. Selon Piquetz, le moteur de synchronisation des lèvres de l'entreprise est entièrement développé par une équipe de recherche interne d'IA, car il n'y a pas de solution sur le marché qui peut répondre aux besoins de ses scénarios commerciaux complexes tels que plusieurs angles et multi-orages.
La société se concentre actuellement sur le marché B2B et a atteint la coopération avec des institutions telles que JFROG et TED. Ted a déclaré que le nombre de vues de vidéos de conférences surnommées à l'aide d'outils Panjaya avait augmenté de 115% et que le taux de vision complet a doublé. L'entreprise prévoit d'étendre davantage les candidatures dans les domaines sportives, éducatifs, marketing et médicaux.
Pour éviter les abus techniques, Panjaya contrôle strictement l'utilisation d'outils et de plans pour développer des fonctions telles que des filigranes pour identifier le contenu vidéo synthétique. Bien que les sous-titres soient devenus la norme du contenu vidéo - plus de la moitié des téléspectateurs américains allumeront les sous-titres lors de la visualisation, le marché international a toujours une énorme demande de doublage du contenu. Les données de la société de recherche CSA montrent que le contenu de la langue maternelle peut conduire à un engagement plus élevé des utilisateurs, en particulier dans le domaine B2B.
Ce tour de financement de 9,5 millions de dollars a été participé par un certain nombre d'institutions d'investissement et de particuliers, notamment Viola Ventures, R-Squared Ventures et le co-fondateur et PDG de JFROG, Shlomi Ben Haim. À l'avenir, Panjaya prévoit de lancer des interfaces API et d'améliorer davantage la vitesse de traitement et de passer à l'objectif de traitement en temps réel.
L'émergence de BodyTalk indique que la technologie de traduction vidéo a atteint une nouvelle hauteur, avec un énorme potentiel de développement futur. .