BodyTalk, l'outil de traduction vidéo IA lancé par Panjaya, révolutionne le domaine de la traduction vidéo. Cet outil peut convertir avec précision les voix des personnages de la vidéo dans d'autres langues, tout en ajustant les expressions faciales et les mouvements corporels des personnages pour qu'ils correspondent naturellement aux modèles de discours de la nouvelle langue, obtenant ainsi véritablement l'effet de « faire semblant ». comme réel". L'éditeur de Downcodes vous donnera une compréhension approfondie de cette technologie étonnante et de son histoire.
Une startup appelée Panjaya révolutionne le jeu de traduction vidéo. Après trois ans de recherche et de développement secrets, la société a lancé son produit révolutionnaire BodyTalk, un outil d'IA capable de convertir avec précision les voix des personnes présentes dans des vidéos dans d'autres langues. Contrairement au doublage traditionnel, BodyTalk non seulement reproduit parfaitement les caractéristiques vocales originales du locuteur, mais ajuste également automatiquement les expressions faciales et les mouvements corporels des personnages de la vidéo pour correspondre naturellement aux modèles de parole de la nouvelle langue.
Panjaya a été fondée par Hilik Shani et Ariel Shalom, deux experts en apprentissage profond du gouvernement israélien. En 2021, les deux hommes ont quitté le secteur gouvernemental pour créer leur propre entreprise, puis ont accueilli Guy Piekarz, qui possède une riche expérience du secteur, en tant que PDG. Matcha, une plateforme de découverte et de recommandation de médias en streaming précédemment fondée par Pickez, a été acquise par Apple en 2013.
Actuellement, BodyTalk prend en charge la traduction dans 29 langues. Son flux de travail commence par la traduction audio, puis génère une nouvelle voix qui imite le locuteur d'origine, et enfin ajuste automatiquement la forme de la bouche et les mouvements du locuteur dans la vidéo pour correspondre à la nouvelle expression linguistique. Même si les temps de traitement se rapprochent du temps réel, le traitement d'une vidéo prend encore plusieurs minutes à l'heure actuelle.
Au niveau technique, Panjaya adopte une stratégie hybride, utilisant de grands modèles de langage tiers et développant indépendamment des technologies de base. Selon Pickez, le moteur de synchronisation labiale de l'entreprise a été entièrement développé par l'équipe de recherche interne en IA car il n'existe aucune solution sur le marché capable de répondre aux besoins de ses scénarios commerciaux complexes tels que plusieurs angles et plusieurs haut-parleurs.
La société se concentre actuellement sur le marché B2B et a conclu une coopération avec des institutions telles que JFrog et TED. TED a déclaré que les visionnages de vidéos de conférences doublées à l'aide des outils Panjaya ont augmenté de 115 % et que les taux d'achèvement ont doublé. La société prévoit d'étendre davantage ses applications dans les domaines du sport, de l'éducation, du marketing et de la médecine.
Pour éviter toute utilisation abusive de la technologie, Panjaya contrôle strictement l'accès aux outils et prévoit de développer des fonctionnalités telles que des filigranes pour identifier le contenu vidéo synthétisé. Bien que les sous-titres soient devenus un élément standard du contenu vidéo - selon une enquête de CBS, plus de la moitié des téléspectateurs américains activent les sous-titres lorsqu'ils regardent - la demande de contenu doublé sur le marché international reste énorme. Les données de l'organisme de recherche CSA montrent que, notamment dans le domaine B2B, le contenu en langue maternelle peut susciter un plus grand engagement des utilisateurs.
Ce cycle de financement de 9,5 millions de dollars américains a réuni un certain nombre d'institutions d'investissement et de particuliers, notamment Viola Ventures, R-Squared Ventures et le cofondateur et PDG de JFrog, Shlomi Ben Haim. À l'avenir, Panjaya prévoit de lancer des interfaces API et d'améliorer encore la vitesse de traitement, dans le but d'atteindre l'objectif d'un traitement en temps réel.
La percée technologique de BodyTalk a apporté de nouvelles possibilités au secteur de la traduction vidéo, et son développement futur mérite d'être attendu avec impatience. Le succès de Panjaya démontre également l’énorme potentiel de la technologie de l’IA pour résoudre des problèmes pratiques. Je pense que nous verrons davantage d’applications innovantes similaires émerger dans un avenir proche. L'éditeur de Downcodes continuera à prêter attention à son évolution ultérieure.