Next Generation Retrieval Augmented Generation (RAG)
Einführung
Hierbei handelt es sich um einen kollaborativen Hub, der sich der Weiterentwicklung der nächsten Generation der Retrieval Augmented Generation (RAG)-Technologie widmet. Dieses Repository konzentriert sich auf die dynamische Erkundung der sich entwickelnden RAG-Landschaft mit dem Ziel, die neuesten Fortschritte aufzudecken, zu entwickeln und zu teilen, die die Zukunft der KI-gesteuerten Informationsbeschaffung und -generierung prägen.
Ziele
Dieses Repository beginnt mit einer dynamischen Erkundung der sich entwickelnden RAG-Landschaft mit dem Ziel, die neuesten Fortschritte aufzudecken, zu entwickeln und zu teilen, die die Zukunft der KI-gesteuerten Informationsbeschaffung und -generierung prägen.
Ziele
Die Hauptziele dieses Repositorys sind:
- Innovieren und erkunden : Die Grenzen aktueller RAG-Technologien durch die Erforschung neuer Konzepte, Methoden und Architekturen erweitern.
- Kollaborative Forschung : Förderung einer Gemeinschaft von Forschern, Entwicklern und Enthusiasten, die zusammenarbeiten, um das Gebiet der RAG voranzutreiben.
- Wissensaustausch : Dient als umfassende Ressource für aktuelle Entwicklungen, konzeptionelle Weiterentwicklungen und aufschlussreiche Diskussionen über RAG und seine Anwendungen.
- Auswirkungen auf die reale Welt : Umsetzung theoretischer Fortschritte in praktische Lösungen, die reale Herausforderungen bei der Informationsbeschaffung und Textgenerierung angehen.
Themen von Interesse
Dieses Repository konzentriert sich auf eine breite Palette von Themen im Bereich RAG und verwandter Bereiche, einschließlich, aber nicht beschränkt auf:
- Semantisches Routing
- Wissensintegration
- Erweiterte Abfrageverarbeitung
- Rang
- Strategien für ein effektives und effizientes Textranking mithilfe großer Sprachmodelle
- Schulung eines LLM-Re-Rankers mithilfe der direkten Präferenzoptimierung
- Mittendrin verloren: Wie Sprachmodelle lange Kontexte nutzen
- Flash-Rang
- Langer Kontext-Retriever
- Sicherheit:
- (Aufgabe: Erkundungsthread hinzufügen)ComPromptMized: Freisetzung von Zero-Click-Würmern, die auf GenAI-basierte Anwendungen abzielen
Repository-Struktur
- Notizbücher/ : Jupyter-Notizbücher mit Forschungsergebnissen, Experimenten und Demonstrationen. Jedes Notizbuch ist in sich abgeschlossen und enthält Anweisungen und Erklärungen.
- docs/ : Zusätzliche Dokumentation zu Konzepten, Techniken und Erkenntnissen.
- data/ : Beispieldatensätze, die zum Experimentieren verwendet werden (Aufgabe: Datensätze hinzufügen).
- scripts/ : Hilfsskripte und Codeausschnitte (Aufgabe: Skripte hinzufügen).
Im Gange
Rückstand
Roadmap
