長期記憶-llm

ベクトルデータベースによる長期メモリを使用する RAG ベースの LLM

説明

このリポジトリにより、大規模言語モデルはベクトルデータベースを通じて長期メモリを使用できるようになります (この方法は RAG (検索拡張生成) と呼ばれます。これは、LLM が外部データベースからファクトを取得できるようにする技術です)。アプリケーションは、mistral-7b-instruct-v0.2.Q4_K_M.gguf (LLAMA_cpp_python バインディングを使用) と chromadb を使用して構築されています。ユーザーは自然言語でデータベースに情報を追加したり、ガイダンスを使用してデータベースやインターネットから情報を検索したりすることができます。

現在の機能:

新しいメモリを追加: 自然言語で情報 (引用符で囲んだ) をデータベースに追加します。
クエリメモリ: データベースから自然言語で情報を要求します。
Web 検索 (実験的): インターネットから自然言語で情報を検索します。

図:

ダイアグラム

例：

 You > Hi
LOG: [Response]
Bot < Hello! How can I assist you today?
You > Please add information to db "The user name is Rustam Akimov"
LOG: [Adding to memory]
Bot < Done!
You > Can you find on the Internet who is Pavel Durov
LOG: [Extracting question]
LOG: [Searching]
LOG: [Summarizing]
Bot < According to the search results provided, Pavel Durov is a Russian entrepreneur who co-founded Telegram Messenger Inc.
You > Please find information in db who is Rustam Akimov
LOG: [Extracting question]
LOG: [Querying memory]
Bot < According to the input memories, your name is Rustam Akimov.