BodyTalk, инструмент для перевода видео с использованием искусственного интеллекта, запущенный Panjaya, совершает революцию в области перевода видео. Этот инструмент может точно преобразовывать голоса персонажей видео на другие языки и в то же время корректировать выражения лиц и движения тела персонажей так, чтобы они естественным образом соответствовали речевым моделям нового языка, действительно достигая эффекта «подделки». как настоящий». Редактор Downcodes даст вам более глубокое понимание этой удивительной технологии и истории, стоящей за ней.
Стартап Panjaya совершает революцию в сфере видеоперевода. После трех лет секретных исследований и разработок компания выпустила свой революционный продукт BodyTalk — инструмент искусственного интеллекта, который может точно преобразовывать голоса людей в видео на другие языки. В отличие от традиционного дубляжа, BodyTalk не только идеально воспроизводит исходные характеристики голоса говорящего, но и автоматически настраивает выражения лица и движения тела персонажей видео так, чтобы они естественным образом соответствовали речевым моделям нового языка.
Panjaya была основана Хилик Шани и Ариэлем Шаломом, двумя экспертами по глубокому обучению правительства Израиля. В 2021 году они покинули государственный сектор, чтобы начать собственный бизнес, а затем назначили генеральным директором Гая Пикарца, имеющего богатый опыт работы в отрасли. Matcha, платформа для поиска и рекомендаций потокового мультимедиа, ранее основанная Пикезом, была приобретена Apple в 2013 году.
В настоящее время BodyTalk поддерживает перевод на 29 языков. Его рабочий процесс начинается с перевода звука, затем генерирует новый голос, имитирующий исходного говорящего, и, наконец, автоматически настраивает форму рта и движения говорящего на видео в соответствии с новым языковым выражением. Хотя время обработки приближается к реальному времени, в настоящее время обработка видео по-прежнему занимает несколько минут.
На техническом уровне Panjaya применяет гибридную стратегию, используя сторонние модели большого языка и самостоятельно разрабатывая основные технологии. По словам Пикеза, механизм синхронизации губ компании был полностью разработан внутренней исследовательской группой в области искусственного интеллекта, поскольку на рынке нет решения, которое могло бы удовлетворить потребности сложных бизнес-сценариев, таких как несколько ракурсов и несколько динамиков.
В настоящее время компания ориентируется на рынок B2B и наладила сотрудничество с такими учреждениями, как JFrog и TED. TED сообщила, что просмотры видео лекций, озвученных с помощью инструментов Panjaya, увеличились на 115%, а процент завершения удвоился. Компания планирует и дальше расширять сферу применения в спорте, образовании, маркетинге и медицине.
Чтобы избежать неправильного использования этой технологии, Panjaya строго контролирует доступ к инструментам и планирует разработать такие функции, как водяные знаки для идентификации синтезированного видеоконтента. Хотя субтитры стали стандартной особенностью видеоконтента — согласно опросу CBS, более половины американских зрителей включают субтитры при просмотре — спрос на дублированный контент на международном рынке по-прежнему огромен. Данные исследовательской организации CSA показывают, что, особенно в сфере B2B, контент на родном языке может повысить вовлеченность пользователей.
В этом раунде финансирования на сумму 9,5 миллионов долларов США приняли участие ряд инвестиционных организаций и частных лиц, в том числе Viola Ventures, R-Squared Ventures, а также соучредитель и генеральный директор JFrog Шломи Бен Хаим. В будущем Panjaya планирует запустить API-интерфейсы и еще больше повысить скорость обработки, продвигаясь к цели обработки в реальном времени.
Технологический прорыв BodyTalk открыл новые возможности в индустрии видеоперевода, и стоит с нетерпением ждать его будущего развития. Успех Панджая также демонстрирует огромный потенциал технологии искусственного интеллекта в решении практических задач. Я считаю, что в ближайшем будущем мы увидим появление новых подобных инновационных приложений. Редактор Downcodes продолжит уделять внимание его дальнейшему развитию.