multihop rag

Terhubung dengan saya di LinkedIn jika Anda memiliki proyek intersting/kepentingan bersama. https://www.linkedin.com/in/mayankladdha31/

Bagaimana penyesuaian kecil dalam preprocessing dan penyempurnaan cepat dapat meningkatkan hasil pengambilan dan akhir: Multihop-RAG adalah dataset QA untuk mengevaluasi pengambilan dan penalaran di seluruh dokumen dengan metadata di saluran pipa #Rag. Ini berisi pertanyaan, dengan bukti untuk setiap kueri yang didistribusikan di 2 hingga 4 dokumen. Saya pertama kali mencoba pengambilan sederhana. Untuk Inference_Query, hasilnya tidak seburuk itu. Tetapi untuk tipe kueri lain (perbandingan dan temporal), hasilnya sangat buruk. Kemudian, saya mencoba untuk melihat apakah kita dapat meningkatkan untuk jenis kueri lain dengan pemrosesan kueri kecil (mencoba untuk mendapatkan potongan yang lebih relevan dengan memecah kueri menjadi frasa yang relevan) dan dengan mengubah prompt sedikit.

Saya mengamati peningkatan penting. Sementara beberapa tanggapan salah, peningkatan keseluruhan dari versi sebelumnya adalah signifikan. Kami dapat mencoba untuk mengubah prompt, menggunakan model yang lebih baik (GPT4), bereksperimen dengan strategi yang berbeda (memanfaatkan metadata yang lebih baik, mencoba metode chunking yang berbeda), dapat membuat grafik pengetahuan. Tujuan saya bukan untuk mendapatkan akurasi terbaik tetapi untuk melihat apakah penyesuaian kecil dalam preprocessing dan penyempurnaan cepat dapat meningkatkan hasil pengambilan dan akhir. Dan itu benar.