Panjaya가 출시한 AI 동영상 번역 도구인 BodyTalk는 동영상 번역 분야에 혁명을 일으키고 있습니다. 이 도구는 영상 속 캐릭터의 음성을 다른 언어로 정확하게 변환하는 동시에 캐릭터의 얼굴 표정과 신체 움직임을 조정하여 새로운 언어의 음성 패턴과 자연스럽게 일치하도록 하여 진정한 '가짜' 효과를 달성할 수 있습니다. 진짜처럼." Downcodes의 편집자는 이 놀라운 기술과 그 뒤에 숨겨진 이야기에 대한 심층적인 이해를 제공할 것입니다.
Panjaya라는 스타트업이 비디오 번역 게임에 혁명을 일으키고 있습니다. 3년간의 비밀 연구 개발 끝에 이 회사는 비디오 속 사람들의 목소리를 다른 언어로 정확하게 변환할 수 있는 AI 도구인 획기적인 제품인 BodyTalk를 출시했습니다. BodyTalk는 기존 더빙과 달리 화자의 원래 음성 특성을 완벽하게 재현할 뿐만 아니라 영상 속 인물의 표정과 몸짓을 자동으로 조정하여 새로운 언어의 음성 패턴과 자연스럽게 일치하도록 합니다.
Panjaya는 이스라엘 정부의 딥 러닝 전문가인 Hilik Shani와 Ariel Shalom이 설립했습니다. 2021년 두 사람은 정부 부문을 떠나 자신의 사업을 시작했고, 풍부한 업계 경험을 갖춘 가이 피카즈(Guy Piekarz)를 CEO로 맞이했습니다. 이전에 Pickez가 설립한 스트리밍 미디어 검색 및 추천 플랫폼인 Matcha는 2013년 Apple에 인수되었습니다.
현재 BodyTalk는 29개 언어 번역을 지원합니다. 워크플로는 오디오 번역으로 시작한 다음 원래 화자를 모방하는 새로운 음성을 생성하고 마지막으로 새로운 언어 표현에 맞게 비디오 속 화자의 입 모양과 움직임을 자동으로 조정합니다. 처리 시간이 실시간으로 가까워지고 있지만 현재는 동영상을 처리하는 데 몇 분이 걸립니다.
기술 수준에서 Panjaya는 타사의 대규모 언어 모델을 사용하고 핵심 기술을 독립적으로 개발하는 하이브리드 전략을 채택합니다. Pickez에 따르면 회사의 립싱크 엔진은 여러 각도, 여러 스피커 등 복잡한 비즈니스 시나리오의 요구 사항을 충족할 수 있는 솔루션이 시장에 없기 때문에 내부 AI 연구팀이 완전히 개발했습니다.
현재 회사는 B2B 시장에 주력하고 있으며 JFrog, TED 등의 기관과 협력을 이루고 있습니다. TED에서는 Panjaya 도구를 사용하여 더빙된 강의의 비디오 조회수가 115% 증가하고 완료율이 2배 증가했다고 밝혔습니다. 회사는 스포츠, 교육, 마케팅, 의료 분야로 적용 범위를 더욱 확대할 계획이다.
기술의 오용을 방지하기 위해 Panjaya는 도구에 대한 액세스를 엄격하게 제어하고 합성된 비디오 콘텐츠를 식별하기 위한 워터마크와 같은 기능을 개발할 계획입니다. CBS 조사에 따르면 자막이 비디오 콘텐츠의 표준 기능이 되었지만 미국 시청자의 절반 이상이 시청할 때 자막을 켜는 것으로 나타났습니다. 국제 시장에서 더빙 콘텐츠에 대한 수요는 여전히 엄청납니다. 연구 기관 CSA의 데이터는 특히 B2B 분야에서 모국어 콘텐츠가 더 높은 사용자 참여를 가져올 수 있음을 보여줍니다.
미화 950만 달러에 달하는 이번 자금 조달에는 Viola Ventures, R-Squared Ventures, JFrog 공동 창업자이자 CEO인 Shlomi Ben Haim을 비롯한 수많은 투자 기관 및 개인이 참여했습니다. 앞으로 Panjaya는 API 인터페이스를 출시하고 처리 속도를 더욱 향상시켜 실시간 처리라는 목표를 향해 나아갈 계획입니다.
BodyTalk의 기술적 혁신은 비디오 번역 산업에 새로운 가능성을 가져왔으며 앞으로의 발전을 기대해 볼 가치가 있습니다. Panjaya의 성공은 또한 실제 문제를 해결하는 데 있어서 AI 기술의 엄청난 잠재력을 보여줍니다. 가까운 미래에 더 많은 유사한 혁신적인 응용 프로그램이 등장할 것이라고 믿습니다. Downcodes의 편집자는 후속 개발에 계속해서 주의를 기울일 것입니다.