RAG_QA_LLM
1.0.0
In diesem Repository beschäftige ich mich mit der Schaffung eines Hubs für den Wissensaustausch aus meinen eigenen Datenquellen, in dem Teams mit der Leichtigkeit einer Konversation Einblicke und Antworten erhalten können, indem sie die RAG-Q&A-Technik verwenden, mit dem Potenzial, die Art und Weise, wie Informationen innerhalb beider geteilt werden, zu vervollständigen kleine und große Organisationen.
Kurz gesagt, RAG Q&A (Retrieval-Augmented Generation Question and Answering) ist ein Framework, das abrufbasierte und generationsbasierte Ansätze kombiniert. Es verwendet einen Retriever, um relevante Informationen zu finden, und typischerweise ein LLM (Large Language Model) als Generator, um kontextbezogene Antworten zu erstellen. Per Definition handelt es sich bei LLMs um eine Art KI-Modell, das in der Lage ist, menschenähnliche Sprache zu verstehen und zu erzeugen, das auf riesigen Textdatenmengen trainiert wird, um die Muster, Strukturen und den Kontext natürlicher Sprache zu lernen.
Ich habe ein Notebook mit dem kostenlosen Llama-2–7b-chat-hf- Modell (mit einer 4-Bit-Quantisierungsstrategie) für Google Colab erstellt, das die kostenlose Ausführung dieser Software ermöglicht, und ein weiteres Notebook mit dem OpenAI chat-gpt-3.5- Turbo- LLM-Modell mit einem OpenAI-Abonnement. Bitte stellen Sie sicher, dass Sie die Anforderungen installieren, wenn Sie die lokale Version verwenden möchten.
Für diesen Anwendungsfall wurden Markdown-Dokumentationsdateien aus drei verschiedenen Datenquellen abgerufen:
Diese Dokumente wurden ausgewählt, weil sie für Organisationen typische Methoden zur Dokumentation und Bewahrung des Wissens ihrer Projekte darstellen.
Der fertige Chatbot extrahierte das Wissen präzise, lieferte prägnante und relevante Antworten und verknüpfte gleichzeitig die verwendeten Dokumente.
