Panjaya의 AI 비디오 번역 도구 Bodytalk는 비디오 번역 산업에 혁명을 일으키고 있습니다. 비디오의 캐릭터의 목소리를 다른 언어로 정확하게 변환 할 수 있으며 캐릭터의 얼굴 표정과 신체 움직임을 완벽하게 동기화하여 자연어 전환 효과를 높일 수 있습니다. 이 기술은 전통적인 더빙의 한계를 뛰어 넘고 비디오 컨텐츠의 글로벌 보급을위한 새로운 솔루션을 제공합니다. BodyTalk는 이스라엘 딥 러닝 전문가 두 명이 설립했으며 강력한 팀과 주요 기술을 갖춘 숙련 된 CEO가 이끄는 것입니다.
Panjaya라는 스타트 업은 비디오 번역 게임에 혁명을 일으키고 있습니다. 3 년간의 비밀 연구 개발 후 회사는 비디오의 캐릭터 목소리를 다른 언어로 정확하게 변환하는 AI 도구 인 Breakthrough Product BodyTalk를 출시했습니다. 전통적인 더빙과 달리 BodyTalk는 스피커의 원래 음향 기능을 완벽하게 복제 할뿐만 아니라 비디오의 캐릭터의 얼굴 표정과 신체 움직임을 자동으로 조정하여 새로운 언어의 음성 패턴을 자연스럽게 일치시킵니다.
Panjaya는 이스라엘 정부 딥 러닝 전문가 Hilik Shani와 Ariel Shalom에 의해 설립되었습니다. 2021 년에 두 사람은 정부 부서를 떠나 사업을 시작한 후 업계 경험이 풍부한 Guy Piekarz를 CEO로 환영했습니다. Piquetz가 이전에 설립 한 스트리밍 미디어 발견 및 추천 플랫폼 인 Matcha는 2013 년 Apple에 의해 인수되었습니다.
현재 BodyTalk는 29 개 언어로 번역을 지원합니다. 워크 플로에는 먼저 오디오 번역이 포함 된 다음 음향 스피커를 모방하는 새로운 음성을 생성하고 마지막으로 새로운 언어 표현과 일치하도록 비디오의 스피커의 립 모양과 움직임을 자동으로 조정합니다. 처리 시간은 실시간에 가깝지만 비디오 처리를 완료하는 데 여전히 몇 분이 걸립니다.
기술적 인 수준에서 Panjaya는 타사 대형 언어 모델뿐만 아니라 독립적으로 핵심 기술을 개발하는 하이브리드 전략을 채택합니다. Piquetz에 따르면, 회사의 Lip Synchronization Engine은 내부 AI 연구팀이 완전히 개발했습니다. 시장에서 멀티 앵거 및 멀티 스피커와 같은 복잡한 비즈니스 시나리오의 요구를 충족시킬 수있는 솔루션이 없기 때문입니다.
이 회사는 현재 B2B 시장에 중점을두고 있으며 JFROG 및 TED와 같은 기관과 협력에 도달했습니다. Ted는 Panjaya 도구를 사용하여 더빙 한 강의 비디오의 견해 수는 115%증가했으며 전체 시청률은 두 배가되었다고 말했다. 이 회사는 스포츠, 교육, 마케팅 및 의료 분야의 응용 프로그램을 더욱 확대 할 계획입니다.
기술적 학대를 피하기 위해 Panjaya는 도구의 사용을 엄격히 제어하고 워터 마크와 같은 기능을 개발하여 합성 비디오 컨텐츠를 식별합니다. 자막이 비디오 컨텐츠의 표준이되었지만 미국 시청자의 절반 이상이 자막을 볼 때 자막을 켜고 국제 시장은 여전히 더빙 콘텐츠에 대한 수요가 많습니다. 리서치 회사 인 CSA의 데이터에 따르면 모국어 콘텐츠는 특히 B2B 분야에서 사용자 참여를 높일 수 있습니다.
이 950 만 달러 규모의 금융 라운드는 Viola Ventures, R-Squared Ventures 및 JFROG 공동 창립자 및 CEO Shlomi Ben Haim을 포함한 여러 투자 기관 및 개인이 참여했습니다. 앞으로 Panjaya는 API 인터페이스를 시작하고 처리 속도를 더욱 향상시키고 실시간 처리 목표로 이동할 계획입니다.
BodyTalk의 출현은 비디오 번역 기술이 새로운 높이에 도달했으며, 더 많은 분야의 응용 프로그램과 기술의 혁신을 기대합니다 .