Dalam beberapa tahun terakhir, teknologi model bahasa skala besar (LLM) telah berkembang pesat, dan berbagai model bermunculan silih berganti. Artikel ini akan fokus pada kemajuan terbaru model RNN Eagle7B dan arsitektur RWKV dalam menantang dominasi model Transformer. Eagle7B berkinerja baik dalam tolok ukur multi-bahasa dan secara signifikan mengurangi biaya inferensi; sementara arsitektur RWKV menggabungkan keunggulan RNN dan Transformer untuk mencapai kinerja yang sebanding dengan GPT. Terobosan-terobosan ini telah membawa kemungkinan-kemungkinan baru pada teknologi kecerdasan buatan dan juga menandai perubahan arah pengembangan teknologi LLM di masa depan.
Dengan munculnya model-model besar, model RNN Eagle7B menantang dominasi Transformer. Model ini mencapai performa unggul pada tolok ukur multi-bahasa sekaligus mengurangi biaya inferensi hingga puluhan kali lipat. Tim ini berkomitmen untuk membangun kecerdasan buatan yang inklusif, mendukung 25 bahasa di seluruh dunia dan mencakup 4 miliar orang. Pentingnya skala data untuk meningkatkan kinerja model menjadi semakin penting, dan arsitekturnya harus lebih efisien dan terukur. Dengan memperkenalkan keunggulan RNN dan Transformer, arsitektur RWKV mencapai kinerja tingkat GPT dan menghadirkan kemungkinan baru pada teknologi kecerdasan buatan.Kemunculan arsitektur Eagle7B dan RWKV menandai munculnya pesaing dan jalur teknis baru di bidang model bahasa skala besar, memberikan lebih banyak kemungkinan bagi pengembangan kecerdasan buatan di masa depan. Mereka tidak hanya membuat terobosan dalam kinerja, namun yang lebih penting, berkontribusi dalam mengurangi biaya dan meningkatkan skalabilitas, yang sangat penting dalam mempopulerkan dan penerapan teknologi kecerdasan buatan. Kami menantikan lebih banyak inovasi serupa yang muncul di masa depan.