Инструмент перевода с ИИ в Панджая BodyTalk революционизирует индустрию перевода видео. Он может точно преобразовать голоса персонажей в видео на другие языки и может идеально синхронизировать выражения лица и движения тела персонажей, достигая очень естественного эффекта преобразования языка. Эта технология прорывается благодаря ограничениям традиционного дублирования и предоставляет новое решение для глобального распространения видеоконтента. BodyTalk основан двумя израильскими экспертами по глубокому обучению и возглавляемыми опытными руководителями, с сильной командой и ведущими технологиями.
Стартап под названием Panjaya революционизирует игру в перевод видео. После трех лет секретных исследований и разработок компания запустила Breakthrough Product BodyTalk, инструмент искусственного интеллекта, который точно превращает голоса персонажей в видео на другие языки. В отличие от традиционного дублирования, BodyTalk не только идеально воспроизводит оригинальные акустические особенности динамика, но также автоматически корректирует выражения лица и движения тела персонажей в видео, чтобы естественно соответствовать образцам голоса нового языка.
Панджая была основана двумя экспертами израильского правительства Глубого обучения Хиликом Шани и Ариэлем Шалом. В 2021 году они покинули правительственный департамент, чтобы начать бизнес, а затем приветствовали Гая Пикарца, который имеет богатый опыт работы в отрасли, в качестве генерального директора. Matcha, платформа обнаружения и рекомендаций по потоковым медиа, ранее основанная Piquetz, была приобретена Apple в 2013 году.
В настоящее время BodyTalk поддерживает перевод на 29 языках. Рабочий процесс сначала включает в себя перевод аудио, а затем генерируя новые голоса, которые имитируют акустический динамик, и, наконец, автоматически регулируют форму губ и движения динамика в видео, чтобы соответствовать выражению нового языка. Хотя время обработки близко к реальному времени, для завершения обработки видео по-прежнему занимает несколько минут.
На техническом уровне Panjaya принимает гибридную стратегию, которая не только использует сторонние модели крупных языков, но и независимо разрабатывает основные технологии. Согласно Piquetz, двигатель синхронизации губ компании полностью разработан внутренней исследовательской группой ИИ, потому что на рынке нет решения, которые могут удовлетворить потребности его сложных бизнес-сценариев, таких как многоуглый и мульти-динамик.
В настоящее время компания сосредотачивается на рынке B2B и достигла сотрудничества с такими учреждениями, как JFROG и TED. Тед сказал, что количество просмотров лекционных видеороликов, получивших название с использованием инструментов Panjaya, увеличилось на 115%, а полная скорость просмотра удвоилась. Компания планирует дополнительно расширить заявки на спортивные, образовательные, маркетинговые и медицинские площадки.
Чтобы избежать технического насилия, Панджая строго контролирует использование инструментов и планов для разработки таких функций, как водяные знаки для идентификации синтетического видеоконтента. Хотя субтитры стали стандартом для видеоконтента - более половины американских зрителей включат субтитры при просмотре, на международном рынке все еще есть огромный спрос на дублирование контента. Данные исследовательской фирмы CSA показывают, что контент нативного языка может привести к более высокому вовлечению пользователей, особенно в области B2B.
В этом раунде финансирования в размере 9,5 млн. Долл. США участвовали ряд инвестиционных учреждений и частных лиц, в том числе виота, R-Squared Ventures, а также соучредитель JFROG и генеральный директор Shlomi Ben Haim. В будущем Панджая планирует запустить интерфейсы API и еще больше улучшить скорость обработки и двигаться к цели обработки в реальном времени.
Появление BodyTalk указывает на то, что технология перевода видео достигла нового роста, с огромным потенциалом в будущем Полем