Yuanshi Intelligence (RWKV) mengandalkan arsitektur AI generatifnya yang disruptif untuk menerima pendanaan angel round sebesar puluhan juta yuan pada bulan Desember 2023, sehingga menggandakan penilaiannya. Putaran pendanaan ini dipimpin oleh Skyrim Capital, dan dana tersebut terutama akan digunakan untuk pembangunan tim, penelitian dan pengembangan teknologi, serta komersialisasi produk. Sebagai upaya inovatif terhadap arsitektur Transformer tradisional, arsitektur RWKV bertujuan untuk mengatasi kekurangan efisiensi dan akurasi model bahasa besar yang ada dan berkomitmen untuk membuka kemungkinan baru di bidang AI.
Dengan latar belakang gelombang AI generatif global pada tahun 2022, Yuanshi Intelligence (RWKV) menyelesaikan pendanaan angel round senilai puluhan juta yuan pada bulan Desember 2023, yang diinvestasikan oleh Skyrim Capital. Setelah pembiayaan ini, valuasi perusahaan meningkat dua kali lipat, dan dana tersebut akan digunakan untuk perluasan tim, penelitian dan pengembangan struktur baru, serta komersialisasi produk.
Kemunculan RWKV merupakan tantangan besar bagi arsitektur Transformer tradisional. Dengan berkembangnya model bahasa besar (LLM), meskipun skala parameter model menjadi semakin besar, kekurangannya dalam masalah seperti ilusi dan akurasi selalu sulit untuk diatasi. Oleh karena itu, tim pendiri RWKV memutuskan untuk mengeksplorasi arsitektur yang benar-benar baru untuk mencapai efisiensi dan fleksibilitas yang lebih besar.
Konsep desain RWKV sangat berbeda dengan Transformer. Salah satu pendiri Luo Xuan mengatakan bahwa model Transformer tradisional perlu membaca ulang teks sebelumnya setiap kali menghasilkan Token, sedangkan RWKV tidak perlu mencatat status setiap Token, sehingga mengurangi jumlah penghitungan secara signifikan. RWKV mencapai terobosan dalam efisiensi dan kemampuan pemodelan bahasa dengan menggabungkan keunggulan RNN (Recurrent Neural Network).
Keunggulan arsitektur inovatif ini adalah RWKV dapat memproses informasi dalam ruang keadaan terbatas. Melalui metode pembelajaran penguatan, model dapat secara otomatis menentukan kapan perlu meninjau teks sebelumnya, sehingga meningkatkan kemampuan memorinya. Dibandingkan dengan model tradisional, RWKV berkinerja lebih unggul dalam berbagai tes benchmark, membuktikan peningkatan efisiensi pembelajaran bahasa.
Saat ini, RWKV telah menyelesaikan pelatihan model dari 0,1B hingga 14B, dan telah merilis model pratinjau 32B di komunitas luar negeri. Di masa depan, Yuanshi Intelligence berencana meluncurkan RWKV-7 dengan parameter 70B ke atas pada tahun 2025, dan mengeksplorasi kerangka kerja dan chip inferensi baru untuk lebih meningkatkan kinerja model.
Dari segi bisnis, RWKV tidak hanya menyediakan proyek open source, tetapi juga secara aktif melakukan tata letak komersial, melibatkan pembuatan musik AI dan kerja sama dengan banyak perusahaan seperti State Grid. Dengan perkembangan teknologi dan kemajuan komersialisasi, RWKV berupaya menjadi "Android dan Linux" di bidang model besar.
Arsitektur inovatif dan tata letak komersial RWKV telah menunjukkan potensi yang kuat dalam bidang model besar yang sangat kompetitif, dan pengembangannya di masa depan patut dinantikan. Tujuannya untuk menjadi "Android dan Linux" di bidang model besar juga mencerminkan ambisinya yang tinggi. Saya yakin seiring dengan semakin matangnya teknologi dan peningkatan model bisnis, RWKV akan mencapai prestasi yang lebih besar di bidang AI.