A ferramenta de tradução de vídeo da AI de Panjaya está revolucionando a indústria de tradução de vídeo. Ele pode converter com precisão as vozes dos caracteres no vídeo em outros idiomas e pode sincronizar perfeitamente as expressões faciais e os movimentos corporais dos personagens, alcançando um efeito de conversão de linguagem altamente natural. Essa tecnologia rompe as limitações da dublagem tradicional e fornece uma nova solução para a disseminação global do conteúdo de vídeo. O BodyTalk é fundado por dois especialistas em aprendizado israelense e liderado por CEOs experientes, com uma equipe forte e tecnologia líder.
Uma startup chamada Panjaya está revolucionando o jogo de tradução de vídeo. Após três anos de pesquisa e desenvolvimento secretos, a empresa lançou o produto Bodythough BodyTalk, uma ferramenta de IA que converte com precisão as vozes dos personagens em vídeos em outros idiomas. Ao contrário da dublagem tradicional, o BodyTalk não apenas replica perfeitamente os recursos acústicos originais do falante, mas também ajusta automaticamente as expressões faciais e os movimentos corporais dos personagens do vídeo para combinar naturalmente os padrões de voz do novo idioma.
Panjaya foi fundada por dois especialistas em aprendizado profundo do governo israelense Hilik Shani e Ariel Shalom. Em 2021, os dois deixaram o departamento do governo para iniciar um negócio e depois receberam Guy Piekarz, que tem uma rica experiência na indústria, como CEO. Matcha, uma plataforma de descoberta de mídia e recomendação de mídia anteriormente fundada por Piquetz, foi adquirida pela Apple em 2013.
Atualmente, o BodyTalk suporta a tradução em 29 idiomas. O fluxo de trabalho envolve primeiro a tradução de áudio e, em seguida, gerando novas vozes que imitam o alto -falante acústico e, finalmente, ajustando automaticamente o formato e os movimentos dos lábios do alto -falante no vídeo para corresponder à nova expressão de idiomas. Embora o tempo de processamento esteja próximo do tempo real, ainda leva vários minutos para concluir o processamento de um vídeo.
No nível técnico, Panjaya adota uma estratégia híbrida, que não apenas usa modelos de idiomas grandes de terceiros, mas também desenvolve independentemente as tecnologias principais. De acordo com Piquetz, o mecanismo de sincronização labial da empresa é completamente desenvolvido por uma equipe interna de pesquisa de IA, porque não há solução no mercado que possa atender às necessidades de seus complexos cenários de negócios, como multi-grande e multi-falante.
Atualmente, a empresa está focada no mercado B2B e atingiu a cooperação com instituições como JFROG e TED. Ted disse que o número de visualizações dos vídeos de palestras apelidado de usando ferramentas Panjaya aumentou 115%, e a taxa de visualização completa dobrou. A empresa planeja expandir ainda mais os aplicativos em áreas de esportes, educação, marketing e médicos.
Para evitar o abuso técnico, Panjaya controla estritamente o uso de ferramentas e planeja desenvolver funções como marcas d'água para identificar o conteúdo de vídeo sintético. Embora as legendas tenham se tornado o padrão para o conteúdo de vídeo - mais da metade dos telespectadores americanos ativará as legendas ao visualizar, o mercado internacional ainda tem uma grande demanda por conteúdo de dublagem. Os dados da empresa de pesquisa CSA mostram que o conteúdo do idioma nativo pode levar a um maior envolvimento do usuário, especialmente no campo B2B.
Esta rodada de financiamento de US $ 9,5 milhões foi participada de várias instituições e indivíduos de investimentos, incluindo Viola Ventures, R-Squared Ventures e o co-fundador e CEO da JFROG, Shlomi Ben Haim. No futuro, Panjaya planeja lançar interfaces de API e melhorar ainda mais a velocidade de processamento e avançar em direção ao objetivo do processamento em tempo real.
O surgimento do BodyTalk indica que a tecnologia de tradução de vídeo atingiu uma nova altura, com um enorme potencial de desenvolvimento futuro .