BodyTalk, alat terjemahan video AI yang diluncurkan oleh Panjaya, merevolusi bidang terjemahan video. Alat ini dapat secara akurat mengubah suara karakter dalam video ke bahasa lain, dan pada saat yang sama menyesuaikan ekspresi wajah dan gerakan tubuh karakter agar sesuai secara alami dengan pola bicara bahasa baru, sehingga benar-benar mencapai efek "palsu". sebagai nyata". Editor Downcodes akan memberi Anda pemahaman mendalam tentang teknologi luar biasa ini dan kisah di baliknya.
Sebuah startup bernama Panjaya sedang merevolusi permainan terjemahan video. Setelah tiga tahun melakukan penelitian dan pengembangan rahasia, perusahaan ini meluncurkan produk terobosannya BodyTalk, sebuah alat AI yang dapat secara akurat mengubah suara orang dalam video ke bahasa lain. Tidak seperti sulih suara tradisional, BodyTalk tidak hanya secara sempurna mereplikasi karakteristik suara asli pembicara, namun juga secara otomatis menyesuaikan ekspresi wajah dan gerakan tubuh karakter dalam video agar sesuai dengan pola bicara bahasa baru.
Panjaya didirikan oleh Hilik Shani dan Ariel Shalom, dua pakar pembelajaran mendalam pemerintah Israel. Pada tahun 2021, keduanya meninggalkan sektor pemerintahan untuk memulai bisnis mereka sendiri, dan kemudian menyambut Guy Piekarz, yang memiliki pengalaman industri yang kaya, sebagai CEO. Matcha, platform penemuan dan rekomendasi media streaming yang sebelumnya didirikan oleh Pickez, diakuisisi oleh Apple pada tahun 2013.
Saat ini, BodyTalk mendukung terjemahan dalam 29 bahasa. Alur kerjanya dimulai dengan terjemahan audio, kemudian menghasilkan suara baru yang meniru pembicara asli, dan terakhir secara otomatis menyesuaikan bentuk mulut dan gerakan pembicara dalam video agar sesuai dengan ekspresi bahasa baru. Meskipun waktu pemrosesan mendekati waktu nyata, saat ini masih diperlukan beberapa menit untuk memproses sebuah video.
Pada tingkat teknis, Panjaya mengadopsi strategi hybrid, menggunakan model bahasa besar pihak ketiga dan mengembangkan teknologi inti secara mandiri. Menurut Pickez, mesin sinkronisasi bibir perusahaan sepenuhnya dikembangkan oleh tim peneliti AI internal karena tidak ada solusi di pasar yang dapat memenuhi kebutuhan skenario bisnis kompleks seperti berbagai sudut dan banyak pembicara.
Perusahaan saat ini fokus pada pasar B2B dan telah menjalin kerjasama dengan institusi seperti JFrog dan TED. TED mengatakan bahwa penayangan video ceramah yang di-dubbing menggunakan alat Panjaya meningkat sebesar 115% dan tingkat penyelesaiannya meningkat dua kali lipat. Perusahaan berencana untuk lebih memperluas aplikasi di bidang olahraga, pendidikan, pemasaran dan medis.
Untuk menghindari penyalahgunaan teknologi, Panjaya secara ketat mengontrol akses ke alat dan berencana mengembangkan fitur seperti tanda air untuk mengidentifikasi konten video yang disintesis. Meskipun subtitle telah menjadi fitur standar konten video - menurut survei CBS, lebih dari separuh pemirsa Amerika mengaktifkan subtitle saat menonton - permintaan konten yang di-dubbing di pasar internasional masih besar. Data dari organisasi riset CSA menunjukkan bahwa, khususnya di bidang B2B, konten bahasa asli dapat mendatangkan keterlibatan pengguna yang lebih tinggi.
Putaran pembiayaan senilai US$9,5 juta ini diikuti oleh sejumlah lembaga investasi dan individu, termasuk Viola Ventures, R-Squared Ventures, serta co-founder dan CEO JFrog Shlomi Ben Haim. Di masa depan, Panjaya berencana meluncurkan antarmuka API dan lebih meningkatkan kecepatan pemrosesan, menuju tujuan pemrosesan waktu nyata.
Terobosan teknologi BodyTalk telah membawa kemungkinan-kemungkinan baru bagi industri terjemahan video, dan perkembangannya di masa depan patut dinantikan. Keberhasilan Panjaya juga menunjukkan potensi besar teknologi AI dalam memecahkan permasalahan praktis. Saya yakin kita akan melihat lebih banyak aplikasi inovatif serupa muncul dalam waktu dekat. Redaksi Downcodes akan terus memperhatikan perkembangan selanjutnya.