llm agent

Langzeitgedächtnis-Llm

RAG-basiertes LLM nutzt Langzeitgedächtnis durch Vektordatenbank

Beschreibung

Dieses Repository ermöglicht es dem großen Sprachmodell, das Langzeitgedächtnis über eine Vektordatenbank zu nutzen (diese Methode wird RAG (Retrieval Augmented Generation) genannt – dies ist eine Technik, die es LLM ermöglicht, Fakten aus einer externen Datenbank abzurufen). Die Anwendung wurde mit mistral-7b-instruct-v0.2.Q4_K_M.gguf (unter Verwendung der LLAMA_cpp_python-Bindung) und chromadb erstellt. Der Benutzer kann in natürlicher Sprache darum bitten, Informationen zur Datenbank hinzuzufügen, Informationen in der Datenbank oder im Internet mithilfe von Anleitungen zu finden.

Aktuelle Funktionen:

• Neuen Speicher hinzufügen: Informationen (in Anführungszeichen) in natürlicher Sprache zur Datenbank hinzufügen
• Abfragespeicher: Informationen aus einer Datenbank in natürlicher Sprache anfordern
• Websuche (experimentell): Informationen aus dem Internet in natürlicher Sprache finden

Diagramm:

Beispiel:

 You > Hi
LOG: [Response]
Bot < Hello! How can I assist you today?
You > Please add information to db "The user name is Rustam Akimov"
LOG: [Adding to memory]
Bot < Done!
You > Can you find on the Internet who is Pavel Durov
LOG: [Extracting question]
LOG: [Searching]
LOG: [Summarizing]
Bot < According to the search results provided, Pavel Durov is a Russian entrepreneur who co-founded Telegram Messenger Inc.
You > Please find information in db who is Rustam Akimov
LOG: [Extracting question]
LOG: [Querying memory]
Bot < According to the input memories, your name is Rustam Akimov.

Verwendung:

• Installieren Sie „requirements.txt“.
• Laden Sie mistral-7b-instruct-v0.2.Q4_K_M.gguf herunter (Hinweis: Sie können andere Modelle verwenden)
• Holen Sie sich den Google API-Schlüssel und die Suchmaschinen-ID
• Geben Sie Variablen in .env an
• Führen Sie chat.py aus