Laporan editor Downcode: Institut Penelitian Kecerdasan Buatan Zhiyuan di Beijing dan Sekolah Kecerdasan Buatan Hillhouse di Universitas Renmin Tiongkok telah bersama-sama meluncurkan kerangka kerja model AI baru, MemoRAG. Kerangka kerja ini telah secara signifikan meningkatkan teknologi generasi yang ditingkatkan pengambilan (RAG) dengan kekuatan jangka panjangnya kemampuan memori. MemoRAG menerobos keterbatasan model RAG tradisional dan dapat menangani tugas-tugas yang lebih kompleks dan menantang, terutama menunjukkan potensi penerapan yang besar di bidang-bidang padat pengetahuan seperti keadilan, perawatan medis, pendidikan, dan pengkodean. Keunggulan utamanya terletak pada kemampuannya memproses jutaan data konteks tunggal tingkat kata serta tingkat optimalisasi dan fleksibilitasnya yang tinggi, sehingga memberikan jaminan yang dapat diandalkan untuk pemrosesan informasi masif yang efisien.
Institut Penelitian Kecerdasan Buatan Zhiyuan Beijing dan Sekolah Kecerdasan Buatan Hillhouse di Universitas Renmin Tiongkok bersama-sama merilis kerangka model kecerdasan buatan yang inovatif - MemoRAG. Kerangka kerja ini didasarkan pada memori jangka panjang dan bertujuan untuk memajukan pengembangan teknologi retrieval-augmented generation (RAG) sehingga dapat menangani tugas-tugas yang lebih kompleks di luar tanya jawab sederhana.
MemoRAG mengadopsi model baru dan mencapai kemampuan untuk memperoleh informasi secara akurat dalam adegan kompleks melalui proses "pembuatan petunjuk berbasis memori - perolehan informasi berdasarkan panduan petunjuk - pembuatan konten berdasarkan fragmen pengambilan". Teknologi ini sangat cocok untuk tugas-tugas di bidang padat pengetahuan seperti keadilan, kedokteran, pendidikan, dan pengkodean, yang menunjukkan potensi yang sangat tinggi.
Keunggulan inti MemoRAG terletak pada kemampuan memori globalnya dan kemampuannya memproses data konteks tunggal hingga satu juta kata, yang memberikan dukungan kuat untuk memproses data dalam jumlah besar. Selain itu, MemoRAG juga sangat dapat dioptimalkan dan fleksibel, mampu beradaptasi dengan cepat terhadap tugas-tugas baru dan mengoptimalkan kinerja. Hal ini juga menghasilkan petunjuk kontekstual yang tepat dari memori global, meningkatkan akurasi menjawab pertanyaan, dan menggali wawasan mendalam dari data.
Untuk mendukung penelitian lebih lanjut dan penerapan MemoRAG, tim proyek telah membuka dua model memori dan memberikan pedoman penggunaan serta hasil eksperimen. Eksperimen menunjukkan bahwa MemoRAG mengungguli model dasar dalam beberapa pengujian benchmark. Zhiyuan Research Institute menyatakan bahwa meskipun proyek MemoRAG masih dalam tahap awal, mereka menantikan masukan dari komunitas dan akan terus mengoptimalkan bobot model yang ringan, keragaman mekanisme memori, dan kinerjanya dalam korpus Tiongkok.
Laporan teknis: https://arxiv.org/pdf/2409.05591
Repo: https://github.com/qhjqhj00/MemoRAG
Rilis MemoRAG yang bersifat open source memberikan dorongan dan arahan baru untuk pengembangan lebih lanjut di bidang kecerdasan buatan. Kami berharap dapat membawa inovasi dan terobosan ke lebih banyak bidang di masa depan. Redaksi Downcodes akan terus memperhatikan perkembangan selanjutnya.