Peneliti Universitas Stanford telah bekerja sama dengan Apparate Labs untuk meluncurkan model AI revolusioner yang disebut PROTEUS. Model ini mampu menghasilkan karakter virtual yang realistis dan ekspresif dari satu foto, serta mendukung nyanyian dan berbicara secara real time. Teknologinya telah mencapai terobosan dalam streaming video dengan kecepatan bingkai tinggi dan interaksi multi-modal. PROTEUS bukan sekadar generator karakter virtual, ini adalah platform yang sangat dapat disesuaikan dengan beragam prospek aplikasi, mulai dari asisten virtual yang dipersonalisasi hingga hiburan film dan televisi. Selanjutnya, kita akan memiliki pemahaman mendalam tentang karakteristik, arsitektur teknis, dan skenario penerapan potensial PROTEUS.
Berita Beranda Webmaster (ChinaZ.com) pada 14 Juni: Peneliti Universitas Stanford dan Apparate Labs bersama-sama meluncurkan model AI yang disebut PROTEUS, yang dapat menghasilkan karakter virtual yang realistis dan ekspresif dari satu foto serta mencapai kemampuan menyanyi dan berbicara secara real-time.
Fitur utama:
Menghasilkan karakter realistis dalam waktu nyata: PROTEUS dapat menghasilkan efek tertawa, rap, bernyanyi, berkedip, tersenyum, berbicara, dan lainnya dari satu gambar, menunjukkan ekspresi wajah dan gerakan tubuh yang kompleks.
Streaming video dengan kecepatan bingkai tinggi: Mendukung streaming video 100+ FPS, memungkinkan pemrosesan waktu nyata untuk memastikan interaksi yang lancar dan alami.
Interaksi multi-modal: Kompatibel dengan berbagai bentuk data seperti suara, teks, dan gambar, memungkinkan interaksi alami dan intuitif dalam berbagai skenario.
Kustomisasi dan aplikasi: Desain arsitektur yang sangat dapat disesuaikan, cocok untuk berbagai bidang dan skenario aplikasi untuk memenuhi kebutuhan individu.
Arsitektur teknis:
PROTEUS menggunakan model difusi laten dan arsitektur Transformer canggih untuk menghasilkan gambar kompleks secara efisien dengan memproses data dalam ruang laten.
Arsitektur dan algoritme yang ditingkatkan lebih lanjut memungkinkan kecepatan pembangkitan lebih dari 100 frame per detik.
Skenario aplikasi:
Asisten virtual yang dipersonalisasi: Menyediakan pemrosesan urusan sehari-hari, manajemen jadwal, permintaan informasi, dan layanan lainnya.
Hewan Peliharaan Virtual: Buat hewan peliharaan virtual dengan penampilan realistis dan emosi yang kaya.
Dukungan emosional: Menghasilkan karakter virtual dukungan emosional untuk memberikan kenyamanan dan dukungan psikologis.
Layanan Pelanggan: Menghasilkan perwakilan layanan pelanggan virtual untuk memberikan dukungan pelanggan segera dan efisien.
Pendidikan dan pelatihan: Menghasilkan guru atau pelatih virtual untuk memberikan pendidikan dan pelatihan yang dipersonalisasi.
Kustomisasi Karakter Video Game: Memberi pengembang game karakter game yang sangat dapat disesuaikan.
Film, televisi dan hiburan: Digunakan untuk menghasilkan aktor dan karakter virtual yang realistis untuk mengurangi biaya produksi.
Pemasaran dan periklanan: Menghasilkan juru bicara virtual untuk promosi produk dan promosi merek.
Media sosial dan sosialisasi virtual: Menghasilkan gambar virtual di platform sosial untuk memperkaya pengalaman sosial.
Visi PROTEUS adalah menyediakan representasi visual yang dikontrol suara yang berfungsi sebagai antarmuka intuitif untuk entitas percakapan buatan, memungkinkan pengguna melakukan percakapan dan interaksi alami dengan avatar. Penyediaan yang aman dan akses API awal ke teknologi ini akan tersedia bagi pengembang terpilih.
PROTEUS telah digunakan dalam berbagai kasus aplikasi dalam siaran langsung Twitch, menunjukkan potensi penerapannya dalam skenario interaktif waktu nyata. Melalui API, PROTEUS dapat dipanggil dan digunakan dalam aplikasi apa pun, menghadirkan pengalaman interaksi karakter virtual yang inovatif ke berbagai industri.
Situs web resmi: https://apparate.ai/stream.html
Secara keseluruhan, dengan kemampuan pembangkitan real-time yang kuat, interaksi multi-modal, dan prospek aplikasi yang luas, model PROTEUS AI diharapkan dapat memicu revolusi di bidang interaksi karakter virtual dan menghadirkan pengalaman interaktif baru bagi pengguna. Perkembangannya di masa depan patut dinantikan.