長期記憶

基於 RAG 的法學碩士透過向量資料庫使用長期記憶

描述

該儲存庫使大型語言模型能夠透過向量資料庫使用長期記憶（這種方法稱為 RAG（檢索增強生成）——這是一種允許 LLM 從外部資料庫檢索事實的技術）。該應用程式是使用 Mistra-7b-instruct-v0.2.Q4_K_M.gguf（使用 LLAMA_cpp_python 綁定）和 chromadb 建構的。使用者可以用自然語言請求向資料庫添加信息，使用指導從資料庫或互聯網查找資訊。

目前的特點：

新增記憶體：將自然語言的資訊（帶引號）加入資料庫中
查詢記憶體：以自然語言從資料庫請求訊息
網路搜尋（實驗性）：以自然語言從網路尋找資訊

圖表：

例子：

 You > Hi
LOG: [Response]
Bot < Hello! How can I assist you today?
You > Please add information to db "The user name is Rustam Akimov"
LOG: [Adding to memory]
Bot < Done!
You > Can you find on the Internet who is Pavel Durov
LOG: [Extracting question]
LOG: [Searching]
LOG: [Summarizing]
Bot < According to the search results provided, Pavel Durov is a Russian entrepreneur who co-founded Telegram Messenger Inc.
You > Please find information in db who is Rustam Akimov
LOG: [Extracting question]
LOG: [Querying memory]
Bot < According to the input memories, your name is Rustam Akimov.