长期记忆

基于 RAG 的法学硕士通过向量数据库使用长期记忆

描述

该存储库使大型语言模型能够通过向量数据库使用长期记忆（这种方法称为 RAG（检索增强生成）——这是一种允许 LLM 从外部数据库检索事实的技术）。该应用程序是使用 Mistra-7b-instruct-v0.2.Q4_K_M.gguf（使用 LLAMA_cpp_python 绑定）和 chromadb 构建的。用户可以用自然语言请求向数据库添加信息，使用指导从数据库或互联网查找信息。

目前的特点：

添加新内存：将自然语言的信息（带引号）添加到数据库中
查询内存：以自然语言从数据库请求信息
网络搜索（实验性）：以自然语言从互联网查找信息

图表：

例子：

 You > Hi
LOG: [Response]
Bot < Hello! How can I assist you today?
You > Please add information to db "The user name is Rustam Akimov"
LOG: [Adding to memory]
Bot < Done!
You > Can you find on the Internet who is Pavel Durov
LOG: [Extracting question]
LOG: [Searching]
LOG: [Summarizing]
Bot < According to the search results provided, Pavel Durov is a Russian entrepreneur who co-founded Telegram Messenger Inc.
You > Please find information in db who is Rustam Akimov
LOG: [Extracting question]
LOG: [Querying memory]
Bot < According to the input memories, your name is Rustam Akimov.