Panjaya公司推出的AI影片翻譯工具BodyTalk，正在革新影片翻譯領域。這款工具能夠精準地將影片中人物的聲音轉換為其他語言，並同時調整人物的面部表情和肢體動作，使其與新語言的語音模式自然匹配，真正實現了「以假亂真」的效果。 Downcodes小編帶您深入了解這款令人驚嘆的技術及其背後的故事。
一家名為Panjaya 的新創公司正在徹底改變影片翻譯的遊戲規則。經過三年秘密研發，該公司推出了突破性產品BodyTalk，這是一款能夠將影片中人物聲音精準轉換為其他語言的AI 工具。有別於傳統配音，BodyTalk 不僅能完美複製說話者的原聲特徵，還能自動調整影片中人物的臉部表情和肢體動作，使其與新語言的語音模式自然匹配。
Panjaya 由兩位以色列政府深度學習專家希利克·沙尼（Hilik Shani）和阿里爾·沙洛姆(Ariel Shalom)創立。 2021年，兩人離開政府部門創業，隨後迎來了具有豐富行業經驗的蓋伊·皮克茲(Guy Piekarz)擔任CEO。皮克茲先前創立的串流媒體發現與推薦平台Matcha 曾在2013年被蘋果收購。
目前，BodyTalk 已支援29種語言的翻譯。其工作流程首先是進行音訊翻譯，然後產生模仿原聲說話者的新語音，最後自動調整影片中說話者的口型和動作以匹配新的語言表達。雖然處理時間已接近即時，但目前仍需要幾分鐘才能完成一段影片的處理。
在技術層面，Panjaya 採用了混合策略，既利用第三方大語言模型，也自主研發核心技術。根據皮克茲介紹，該公司的唇形同步引擎完全由內部AI 研究團隊開發，因為市面上沒有能滿足其多角度、多說話者等複雜商業場景需求的解決方案。
公司目前專注於B2B 市場，已與JFrog 和TED 等機構達成合作。 TED 表示，使用Panjaya 工具配音的講座影片觀看量增加了115%，完整觀看率翻倍。公司計劃進一步拓展體育、教育、行銷和醫療等領域的應用。
為了避免技術濫用，Panjaya 嚴格控制工具的使用權限，並計劃開發水印等功能來識別經過合成的影片內容。儘管字幕已成為影片內容的標配——據CBS 調查顯示，超過一半的美國觀眾會在觀看時開啟字幕——但國際市場對配音內容的需求依然龐大。研究機構CSA 的數據表明，特別是在B2B 領域，母語內容能帶來更高的使用者參與。
此輪950萬美元融資由多家投資機構和個人參與，包括Viola Ventures、R-Squared Ventures 以及JFrog 聯合創始人兼CEO 什洛米·本·海姆（Shlomi Ben Haim）等。未來，Panjaya 計畫推出API 接口，並進一步提升處理速度，邁向即時處理的目標邁進。
BodyTalk的技術突破為視訊翻譯行業帶來了新的可能性，其未來的發展值得期待。 Panjaya的成功也展現了AI技術在解決實際問題上的巨大潛力，相信在不久的將來，我們將看到更多類似的創新應用出現。 Downcodes小編將持續關注其後續發展。