Editor Downcodes mengetahui bahwa pakar Tiongkok dari Institut Teknologi Georgia dan NVIDIA telah mengusulkan kerangka kerja penyesuaian inovatif yang disebut RankRAG, yang secara signifikan menyederhanakan proses kompleks pembuatan peningkatan pengambilan (RAG). RankRAG menyempurnakan model bahasa besar tunggal (LLM) untuk secara bersamaan melakukan tugas pengambilan, pemeringkatan, dan pembuatan, sehingga sangat meningkatkan kinerja dan efisiensi serta mencapai hasil eksperimen yang lebih unggul dari model sumber terbuka yang ada. Terobosan teknologi ini membawa kemungkinan-kemungkinan baru bagi penerapan AI di berbagai bidang.
Baru-baru ini, dua sarjana Tiongkok dari Institut Teknologi Georgia dan NVIDIA mengusulkan kerangka kerja penyesuaian baru yang disebut RankRAG. Kerangka kerja ini sangat menyederhanakan pipeline RAG kompleks asli dan menggunakan metode penyesuaian untuk memungkinkan LLM yang sama menyelesaikan pengambilan, pemeringkatan, dan pembuatan. tugas. , yang juga menghasilkan peningkatan kinerja yang substansial.
RAG (Retrieval-Augmented Generation) adalah teknologi yang umum digunakan dalam penerapan LLM, dan sangat cocok untuk tugas pembuatan teks yang memerlukan banyak pengetahuan faktual. Secara umum, proses RAG adalah: model padat berdasarkan pengkodean teks mengambil segmen teks teratas dari database eksternal, lalu LLM membaca dan menghasilkannya. Proses ini telah banyak digunakan, namun juga memiliki keterbatasan, seperti pemilihan nilai k. Jika nilai k terlalu besar, bahkan LLM yang mendukung konteks panjang akan kesulitan memprosesnya dengan cepat; jika nilai k terlalu kecil, diperlukan mekanisme pengambilan recall yang tinggi, dan retriever serta model pemeringkatan yang ada memiliki kekurangannya masing-masing.
Berdasarkan permasalahan di atas, kerangka RankRAG mengajukan ide baru: memperluas kemampuan LLM melalui penyesuaian dan membiarkan LLM menyelesaikan pengambilan dan pemeringkatan dengan sendirinya. Hasil eksperimen menunjukkan bahwa metode ini tidak hanya meningkatkan efisiensi data, tetapi juga meningkatkan performa model secara signifikan. Khususnya pada berbagai tolok ukur umum dan tolok ukur intensif pengetahuan biomedis, model Llama38B/70B yang disempurnakan oleh RankRAG masing-masing melampaui model ChatQA-1.58B dan ChatQA-1.570B.
Kunci RankRAG adalah tingkat interaktivitas dan kemampuan mengeditnya yang tinggi. Pengguna tidak hanya dapat melihat konten yang dihasilkan AI secara real time, tetapi juga mengedit dan melakukan iterasi langsung di antarmuka. Mekanisme umpan balik instan ini sangat meningkatkan efisiensi kerja dan menjadikan AI benar-benar asisten yang hebat dalam proses kreatif. Menariknya lagi, pembaruan kali ini membuat Artefak tersebut tidak lagi terbatas pada platform Claude, dan pengguna dapat dengan mudah membagikannya ke mana saja.
Inovasi kerangka penyempurnaan RankRAG ini juga mencakup dua tahap penyempurnaan instruksi. Tahap pertama adalah penyempurnaan terawasi (SFT), yang menggabungkan beberapa kumpulan data untuk meningkatkan kemampuan mengikuti instruksi LLM. Kumpulan data penyempurnaan tahap kedua berisi berbagai data QA, data QA yang ditingkatkan pengambilannya, dan data pemeringkatan kontekstual untuk lebih meningkatkan kemampuan pengambilan dan pemeringkatan LLM.
Dalam eksperimen, RankRAG secara konsisten mengungguli model SOTA open source saat ini ChatQA-1.5 pada sembilan kumpulan data domain umum. Khususnya dalam tugas QA yang menantang, seperti QA ekor panjang dan QA multi-hop, RankRAG meningkatkan kinerja lebih dari 10% dibandingkan ChatQA-1.5.
Secara keseluruhan, RankRAG tidak hanya berkinerja baik dalam tugas pengambilan dan pembuatan, namun juga menunjukkan kemampuan beradaptasi yang kuat pada benchmark RAG biomedis, Mirage. Bahkan tanpa penyesuaian, RankRAG mengungguli banyak model sumber terbuka di bidang khusus dalam tugas menjawab pertanyaan medis.
Dengan diperkenalkannya dan penyempurnaan berkelanjutan pada kerangka RankRAG, kami memiliki alasan untuk meyakini bahwa masa depan kreasi kolaboratif antara AI dan manusia akan lebih cerah. Baik pengembang maupun peneliti independen dapat menggunakan kerangka kerja inovatif ini untuk menginspirasi lebih banyak ide dan kemungkinan serta mendorong pengembangan teknologi dan aplikasi.
Alamat makalah: https://arxiv.org/abs/2407.02485
Munculnya kerangka RankRAG menandai lompatan maju bagi model bahasa berskala besar di bidang pengambilan informasi dan pembuatan teks. Desainnya yang efisien, sederhana, dan performa prima tentunya akan memberikan arah dan motivasi baru bagi perkembangan teknologi AI di masa depan. Kami menantikan RankRAG menunjukkan potensi kuatnya di lebih banyak bidang!