BodyTalk, a ferramenta de tradução de vídeo AI lançada pela Panjaya, está revolucionando o campo da tradução de vídeo. Esta ferramenta pode converter com precisão as vozes dos personagens do vídeo para outros idiomas e, ao mesmo tempo, ajustar as expressões faciais e os movimentos corporais dos personagens para corresponder naturalmente aos padrões de fala do novo idioma, alcançando verdadeiramente o efeito de "fingir". como verdadeiro". O editor de Downcodes lhe dará uma compreensão profunda dessa tecnologia incrível e da história por trás dela.
Uma startup chamada Panjaya está revolucionando o jogo de tradução de vídeo. Após três anos de pesquisa e desenvolvimento secretos, a empresa lançou seu produto inovador BodyTalk, uma ferramenta de IA que pode converter com precisão as vozes das pessoas em vídeos para outros idiomas. Ao contrário da dublagem tradicional, o BodyTalk não apenas reproduz perfeitamente as características originais da voz do locutor, mas também ajusta automaticamente as expressões faciais e os movimentos corporais dos personagens do vídeo para corresponder naturalmente aos padrões de fala do novo idioma.
Panjaya foi fundada por Hilik Shani e Ariel Shalom, dois especialistas em aprendizagem profunda do governo israelense. Em 2021, os dois deixaram o setor governamental para iniciar seu próprio negócio e, em seguida, deram as boas-vindas a Guy Piekarz, que tem vasta experiência no setor, como CEO. Matcha, uma plataforma de descoberta e recomendação de mídia de streaming anteriormente fundada por Pickez, foi adquirida pela Apple em 2013.
Atualmente, BodyTalk suporta tradução em 29 idiomas. Seu fluxo de trabalho começa com a tradução do áudio, depois gera uma nova voz que imita o locutor original e, finalmente, ajusta automaticamente o formato da boca e os movimentos do locutor no vídeo para corresponder à nova expressão do idioma. Embora os tempos de processamento estejam se aproximando do tempo real, atualmente ainda leva vários minutos para processar um vídeo.
No nível técnico, Panjaya adota uma estratégia híbrida, utilizando grandes modelos de linguagem de terceiros e desenvolvendo tecnologias essenciais de forma independente. De acordo com Pickez, o mecanismo de sincronização labial da empresa foi totalmente desenvolvido pela equipe interna de pesquisa de IA porque não há solução no mercado que possa atender às necessidades de seus complexos cenários de negócios, como múltiplos ângulos e múltiplos alto-falantes.
A empresa está atualmente focada no mercado B2B e já alcançou cooperação com instituições como JFrog e TED. O TED disse que as visualizações de vídeos de palestras dubladas usando ferramentas Panjaya aumentaram 115% e as taxas de conclusão dobraram. A empresa planeja expandir ainda mais as aplicações nas áreas de esportes, educação, marketing e medicina.
Para evitar o uso indevido da tecnologia, Panjaya controla rigorosamente o acesso às ferramentas e planeja desenvolver recursos como marcas d’água para identificar conteúdo de vídeo sintetizado. Embora as legendas tenham se tornado um recurso padrão no conteúdo de vídeo – segundo uma pesquisa da CBS, mais da metade dos telespectadores americanos ativam as legendas quando assistem – a demanda por conteúdo dublado no mercado internacional ainda é enorme. Dados da organização de pesquisa CSA mostram que, especialmente no campo B2B, o conteúdo em idioma nativo pode trazer maior envolvimento do usuário.
Esta rodada de financiamento de US$ 9,5 milhões contou com a participação de diversas instituições de investimento e indivíduos, incluindo Viola Ventures, R-Squared Ventures e o cofundador e CEO da JFrog, Shlomi Ben Haim. No futuro, Panjaya planeja lançar interfaces API e melhorar ainda mais a velocidade de processamento, avançando em direção ao objetivo de processamento em tempo real.
O avanço tecnológico do BodyTalk trouxe novas possibilidades para a indústria de tradução de vídeo, e vale a pena aguardar seu desenvolvimento futuro. O sucesso de Panjaya também demonstra o enorme potencial da tecnologia de IA na resolução de problemas práticos. Acredito que veremos surgir mais aplicações inovadoras semelhantes num futuro próximo. O editor do Downcodes continuará atento ao seu desenvolvimento posterior.