Panjaya公司推出的AI視頻翻譯工具BodyTalk，正在革新視頻翻譯行業。它能夠精準地將視頻中人物的聲音轉換為其他語言，同時還能完美地同步人物的面部表情和肢體動作，實現高度自然的語言轉換效果。這項技術突破了傳統配音的局限性，為全球化的視頻內容傳播提供了全新的解決方案。 BodyTalk由兩位以色列深度學習專家創立，並由擁有豐富經驗的CEO領導，團隊實力雄厚，技術領先。
一家名為Panjaya 的創業公司正在徹底改變視頻翻譯的遊戲規則。經過三年秘密研發，該公司推出了突破性產品BodyTalk，這是一款能夠將視頻中人物聲音精準轉換為其他語言的AI 工具。不同於傳統配音，BodyTalk 不僅能完美復制說話者的原聲特徵，還能自動調整視頻中人物的面部表情和肢體動作，使其與新語言的語音模式自然匹配。
Panjaya 由兩位以色列政府深度學習專家希利克·沙尼（Hilik Shani）和阿里爾·沙洛姆(Ariel Shalom)創立。 2021年，兩人離開政府部門創業，隨後迎來了具有豐富行業經驗的蓋伊·皮克茲(Guy Piekarz)擔任CEO。皮克茲此前創立的流媒體發現與推薦平台Matcha 曾在2013年被蘋果公司收購。
目前，BodyTalk 已支持29種語言的翻譯。其工作流程首先是進行音頻翻譯，然後生成模仿原聲說話者的新語音，最後自動調整視頻中說話者的口型和動作以匹配新的語言表達。雖然處理時間已接近實時，但目前仍需要幾分鐘才能完成一段視頻的處理。
在技術層面，Panjaya 採用了混合策略，既利用第三方大語言模型，也自主研發核心技術。據皮克茲介紹，公司的唇形同步引擎完全由內部AI 研究團隊開發，因為市面上沒有能滿足其多角度、多說話者等複雜商業場景需求的解決方案。
公司目前專注於B2B 市場，已與JFrog 和TED 等機構達成合作。 TED 表示，使用Panjaya 工具配音的講座視頻觀看量增加了115%，完整觀看率翻倍。公司計劃進一步拓展體育、教育、營銷和醫療等領域的應用。
為了避免技術濫用，Panjaya 嚴格控制工具的使用權限，併計劃開發水印等功能來識別經過合成的視頻內容。儘管字幕已成為視頻內容的標配——據CBS 調查顯示，超過一半的美國觀眾會在觀看時開啟字幕——但國際市場對配音內容的需求依然巨大。研究機構CSA 的數據表明，特別是在B2B 領域，母語內容能帶來更高的用戶參與度。
此輪950萬美元融資由多家投資機構和個人參與，包括Viola Ventures、R-Squared Ventures 以及JFrog 聯合創始人兼CEO 什洛米·本·海姆（Shlomi Ben Haim）等。未來，Panjaya 計劃推出API 接口，並進一步提升處理速度，向實時處理的目標邁進。
BodyTalk的出現，預示著視頻翻譯技術邁向了新的高度，未來發展潛力巨大，值得期待其在更多領域的應用以及技術上的進一步突破，為全球觀眾帶來更便捷、更優質的視頻內容體驗。