BodyTalk เครื่องมือแปลวิดีโอ AI ที่ Panjaya เปิดตัว กำลังปฏิวัติวงการการแปลวิดีโอ เครื่องมือนี้สามารถแปลงเสียงของตัวละครในวิดีโอเป็นภาษาอื่นได้อย่างแม่นยำ และในขณะเดียวกันก็ปรับการแสดงออกทางสีหน้าและการเคลื่อนไหวร่างกายของตัวละครให้เข้ากับรูปแบบคำพูดของภาษาใหม่อย่างเป็นธรรมชาติ บรรลุผลของ "ของปลอม" อย่างแท้จริง เหมือนจริง" บรรณาธิการของ Downcodes จะทำให้คุณเข้าใจอย่างลึกซึ้งเกี่ยวกับเทคโนโลยีที่น่าทึ่งนี้และเรื่องราวเบื้องหลัง
สตาร์ทอัพชื่อ Panjaya กำลังปฏิวัติเกมแปลวิดีโอ หลังจากสามปีแห่งการวิจัยและพัฒนาอย่างเป็นความลับ บริษัทได้เปิดตัวผลิตภัณฑ์ล้ำหน้าอย่าง BodyTalk ซึ่งเป็นเครื่องมือ AI ที่สามารถแปลงเสียงของผู้คนในวิดีโอเป็นภาษาอื่นได้อย่างแม่นยำ แตกต่างจากการพากย์แบบดั้งเดิม BodyTalk ไม่เพียงแต่จำลองลักษณะเสียงต้นฉบับของผู้พูดได้อย่างสมบูรณ์แบบ แต่ยังปรับการแสดงออกทางสีหน้าและการเคลื่อนไหวร่างกายของตัวละครในวิดีโอโดยอัตโนมัติเพื่อให้ตรงกับรูปแบบคำพูดของภาษาใหม่อย่างเป็นธรรมชาติ
Panjaya ก่อตั้งโดย Hilik Shani และ Ariel Shalom ผู้เชี่ยวชาญด้านการเรียนรู้เชิงลึกของรัฐบาลอิสราเอลสองคน ในปี 2021 ทั้งสองออกจากภาครัฐเพื่อเริ่มต้นธุรกิจของตนเอง จากนั้นยินดีต้อนรับ Guy Piekarz ผู้มีประสบการณ์ในอุตสาหกรรมมายาวนานเป็นซีอีโอ Matcha ซึ่งเป็นแพลตฟอร์มการค้นหาและแนะนำสื่อสตรีมมิ่งที่ก่อตั้งโดย Pickez ซึ่งก่อนหน้านี้ Apple ได้เข้าซื้อกิจการในปี 2013
ปัจจุบัน BodyTalk รองรับการแปลใน 29 ภาษา ขั้นตอนการทำงานเริ่มต้นด้วยการแปลเสียง จากนั้นสร้างเสียงใหม่ที่เลียนแบบผู้พูดดั้งเดิม และสุดท้ายจะปรับรูปร่างปากและการเคลื่อนไหวของผู้พูดในวิดีโอโดยอัตโนมัติเพื่อให้ตรงกับสำนวนภาษาใหม่ แม้ว่าเวลาในการประมวลผลใกล้จะถึงเรียลไทม์แล้ว แต่ในปัจจุบันยังคงต้องใช้เวลาหลายนาทีในการประมวลผลวิดีโอ
ในระดับเทคนิค Panjaya ใช้กลยุทธ์แบบผสมผสาน โดยใช้โมเดลภาษาขนาดใหญ่ของบุคคลที่สาม และพัฒนาเทคโนโลยีหลักอย่างอิสระ จากข้อมูลของ Pickez กลไกลิปซิงค์ของบริษัทได้รับการพัฒนาอย่างสมบูรณ์โดยทีมวิจัย AI ภายใน เนื่องจากไม่มีโซลูชันในตลาดที่สามารถตอบสนองความต้องการของสถานการณ์ทางธุรกิจที่ซับซ้อน เช่น หลายมุมและลำโพงหลายตัว
ปัจจุบันบริษัทกำลังมุ่งเน้นไปที่ตลาด B2B และได้บรรลุความร่วมมือกับสถาบันต่างๆ เช่น JFrog และ TED TED กล่าวว่ายอดดูวิดีโอการบรรยายโดยใช้เครื่องมือ Panjaya เพิ่มขึ้น 115% และอัตราการสำเร็จเพิ่มขึ้นสองเท่า บริษัทวางแผนที่จะขยายการใช้งานในด้านกีฬา การศึกษา การตลาด และการแพทย์
เพื่อหลีกเลี่ยงการนำเทคโนโลยีไปใช้ในทางที่ผิด Panjaya จะควบคุมการเข้าถึงเครื่องมืออย่างเข้มงวด และวางแผนที่จะพัฒนาคุณสมบัติต่างๆ เช่น ลายน้ำ เพื่อระบุเนื้อหาวิดีโอที่สังเคราะห์ขึ้น แม้ว่าคำบรรยายจะกลายเป็นคุณสมบัติมาตรฐานของเนื้อหาวิดีโอ - จากการสำรวจของ CBS ผู้ชมชาวอเมริกันมากกว่าครึ่งเปิดคำบรรยายเมื่อรับชม - ความต้องการเนื้อหาพากย์ในตลาดต่างประเทศยังคงมีขนาดใหญ่ ข้อมูลจากองค์กรวิจัย CSA แสดงให้เห็นว่า โดยเฉพาะอย่างยิ่งในสาขา B2B เนื้อหาภาษาพื้นเมืองสามารถทำให้ผู้ใช้มีส่วนร่วมมากขึ้น
สถาบันการลงทุนและบุคคลจำนวนมากเข้าร่วมในการระดมทุนจำนวน 9.5 ล้านดอลลาร์สหรัฐ ซึ่งรวมถึง Viola Ventures, R-Squared Ventures และ Shlomi Ben Haim ผู้ร่วมก่อตั้งและซีอีโอของ JFrog ในอนาคต Panjaya วางแผนที่จะเปิดตัวอินเทอร์เฟซ API และปรับปรุงความเร็วในการประมวลผลเพิ่มเติม โดยมุ่งสู่เป้าหมายของการประมวลผลแบบเรียลไทม์
ความก้าวหน้าทางเทคโนโลยีของ BodyTalk ได้นำความเป็นไปได้ใหม่ๆ มาสู่อุตสาหกรรมการแปลวิดีโอ และการพัฒนาในอนาคตก็คุ้มค่ากับการรอคอย ความสำเร็จของปัญจายายังแสดงให้เห็นถึงศักยภาพมหาศาลของเทคโนโลยี AI ในการแก้ปัญหาเชิงปฏิบัติ ผมเชื่อว่าเราจะได้เห็นการใช้งานเชิงนวัตกรรมที่คล้ายกันมากขึ้นในอนาคตอันใกล้นี้ บรรณาธิการของ Downcodes จะยังคงให้ความสนใจกับการพัฒนาในภายหลังต่อไป