next gen rag

Generasi Augmented Pengambilan Berikutnya (RAG)

Perkenalan

Ini adalah pusat kolaboratif yang didedikasikan untuk memajukan teknologi Retrieval Augmented Generation (RAG) generasi berikutnya. Repositori ini berfokus pada eksplorasi dinamis lanskap RAG yang terus berkembang, yang bertujuan untuk mengungkap, mengembangkan, dan berbagi kemajuan mutakhir yang membentuk masa depan pengambilan dan pembuatan informasi berbasis AI.

Sasaran

Repositori ini memulai eksplorasi dinamis dari lanskap RAG yang terus berkembang, yang bertujuan untuk mengungkap, mengembangkan, dan berbagi kemajuan mutakhir yang membentuk masa depan pengambilan dan pembuatan informasi berbasis AI.

Sasaran

Tujuan utama dari repositori ini adalah:

• Berinovasi dan Jelajahi : Untuk mendorong batas-batas teknologi RAG saat ini dengan mengeksplorasi konsep, metodologi, dan arsitektur baru.
• Penelitian Kolaboratif : Untuk membina komunitas peneliti, pengembang, dan peminat yang bekerja sama untuk memajukan bidang RAG.
• Berbagi Pengetahuan : Sebagai sumber daya komprehensif untuk pengembangan mutakhir, kemajuan konseptual, dan diskusi mendalam tentang RAG dan penerapannya.
• Dampak Dunia Nyata : Untuk menerjemahkan kemajuan teoretis menjadi solusi praktis yang mengatasi tantangan dunia nyata dalam pengambilan informasi dan pembuatan teks.

Topik Menarik

Repositori ini berfokus pada beragam topik dalam bidang RAG dan bidang terkait, termasuk namun tidak terbatas pada:

• Perutean Semantik
• Integrasi Pengetahuan
• Pemrosesan Kueri Tingkat Lanjut
• Peringkat
  • Strategi Pemeringkatan Teks yang Efektif dan Efisien Menggunakan Model Bahasa Besar
  • Melatih Re-ranker LLM menggunakan Direct Preference Optimization
  • Tersesat di Tengah: Bagaimana Model Bahasa Menggunakan Konteks Panjang
    1. Peringkat Kilat
    2. Retriever Konteks Panjang
• Keamanan:
  • (hal yang harus dilakukan: tambahkan thread eksplorasi)ComPromptMized: Melepaskan Worm Zero-click yang Menargetkan Aplikasi yang Didukung GenAI

Struktur Repositori

• notebooks/ : Buku catatan Jupyter yang berisi penelitian, eksperimen, dan demonstrasi. Setiap buku catatan dilengkapi dengan instruksi dan penjelasan.
• docs/ : Dokumentasi tambahan tentang konsep, teknik, dan temuan.
• data/ : Contoh kumpulan data yang digunakan untuk eksperimen (yang harus dilakukan: menambahkan kumpulan data).
• scripts/ : Skrip utilitas dan cuplikan kode (hal yang harus dilakukan: tambahkan skrip).

Sedang Berlangsung

• ReRanker terbaik di kelasnya? Tingkatkan Pencarian Anda Dengan Model Rerank Roti Campuran Renyah

• Model Penyematan Matryoshka

• [qdrant / fastembed] (https://github.com/qdrant/fastembed)

Jaminan simpanan

• CohereForAI/c4ai-command-r-v01 (model parameter 35 miliar Cohere)

Peta jalan

• Pemeringkatan Ulang LLM Menggunakan Umpan Balik Manusia
• Keamanan: Worm Zero-click Gen-AI
• Less is More: Khususnya dalam konteks mempersiapkan Kumpulan Data Pemanggil Fungsi https://arxiv.org/abs/2305.11206