PanjayaのAIビデオ翻訳ツールBodyTalkは、ビデオ翻訳業界に革命をもたらしています。ビデオのキャラクターの声を他の言語に正確に変換し、キャラクターの表情と身体の動きを完全に同期させ、高度に自然な言語変換効果を達成できます。このテクノロジーは、従来の吹き替えの制限を突破し、ビデオコンテンツのグローバルな普及のための新しいソリューションを提供します。 BodyTalkは、2人のイスラエルの深い学習専門家によって設立され、経験豊富なCEOが率い、強力なチームと主要なテクノロジーを備えています。
Panjayaと呼ばれるスタートアップは、ビデオ翻訳のゲームに革命をもたらしています。 3年間の秘密の研究開発の後、同社は画期的な製品BodyTalkを立ち上げました。これは、ビデオのキャラクターの声を他の言語に正確に変換するAIツールです。従来の吹き替えとは異なり、BodyTalkはスピーカーの元のアコースティック機能を完全に複製するだけでなく、ビデオのキャラクターの表情と身体の動きを自動的に調整して、新しい言語の音声パターンと自然に一致させます。
パンジャヤは、イスラエル政府の2人の深い学習の専門家であるヒリク・シャニとアリエル・シャロームによって設立されました。 2021年、二人は政府部門を去ってビジネスを開始し、その後、CEOとして業界での豊富な経験を持つガイ・ピカルツを歓迎しました。以前にPiquetzによって設立されたストリーミングメディアの発見と推奨プラットフォームである抹茶は、2013年にAppleに買収されました。
現在、BodyTalkは29の言語での翻訳をサポートしています。ワークフローには最初にオーディオ翻訳が含まれ、次に音響スピーカーを模倣する新しい声を生成し、最後にビデオ内のスピーカーのリップ形状と動きを自動的に調整して、新しい言語表現に合わせます。処理時間はリアルタイムに近いですが、ビデオの処理を完了するのに数分かかります。
技術レベルでは、パンジャヤはサードパーティの大手言語モデルを使用するだけでなく、コアテクノロジーを独立して開発するハイブリッド戦略を採用しています。 Piquetzによると、同社のLIP同期エンジンは、Multi-AngleやMulti Speakerなどの複雑なビジネスシナリオのニーズを満たすことができるソリューションが市場にいないため、内部AIの研究チームによって完全に開発されています。
同社は現在、B2B市場に焦点を当てており、JFrogやTEDなどの機関と協力しています。テッドは、Panjayaツールを使用して吹き替えられた講義ビデオの視聴回数は115％増加し、完全な視聴率が2倍になったと述べました。同社は、スポーツ、教育、マーケティング、医療分野のアプリケーションをさらに拡大する予定です。
技術的な虐待を避けるために、Panjayaはツールの使用を厳密に制御し、合成ビデオコンテンツを特定するための透かしなどの機能を開発する計画を立てています。字幕がビデオコンテンツの標準となっていますが、アメリカの視聴者の半数以上が視聴時に字幕をオンにしますが、国際市場は依然として吹き替えコンテンツに対して大きな需要があります。調査会社CSAのデータは、特にB2B分野で、母国語の内容がユーザーの関与の増加につながる可能性があることを示しています。
この950万ドルの資金調達ラウンドは、Viola Ventures、R-Squared Ventures、JFrogの共同設立者兼CEO Shlomi Ben Haimを含む多くの投資機関と個人によって参加しました。将来的には、PanjayaはAPIインターフェイスを開始し、処理速度をさらに改善し、リアルタイム処理の目標に向かって移動する予定です。
BodyTalkの出現は、ビデオ翻訳テクノロジーがより多くの将来の開発の可能性を備えていることを示しています。