llm agent

memori-jangka panjang-llm

LLM berbasis RAG menggunakan memori jangka panjang melalui database vektor

Keterangan

Repositori ini memungkinkan model bahasa besar untuk menggunakan memori jangka panjang melalui database vektor (Metode ini disebut RAG (Retrieval Augmented Generation) — ini adalah teknik yang memungkinkan LLM mengambil fakta dari database eksternal). Aplikasi ini dibangun dengan mistral-7b-instruct-v0.2.Q4_K_M.gguf (menggunakan pengikatan LLAMA_cpp_python) dan chromedb. Pengguna dapat bertanya dalam bahasa alami untuk menambahkan informasi ke db, mencari informasi dari db atau Internet menggunakan panduan.

Fitur terkini:

• tambahkan memori baru: menambahkan informasi (dalam tanda kutip) dalam bahasa alami ke database
• memori kueri: meminta informasi dari database dalam bahasa alami
• pencarian web (eksperimental): mencari informasi dari Internet dalam bahasa alami

Diagram:

Contoh:

 You > Hi
LOG: [Response]
Bot < Hello! How can I assist you today?
You > Please add information to db "The user name is Rustam Akimov"
LOG: [Adding to memory]
Bot < Done!
You > Can you find on the Internet who is Pavel Durov
LOG: [Extracting question]
LOG: [Searching]
LOG: [Summarizing]
Bot < According to the search results provided, Pavel Durov is a Russian entrepreneur who co-founded Telegram Messenger Inc.
You > Please find information in db who is Rustam Akimov
LOG: [Extracting question]
LOG: [Querying memory]
Bot < According to the input memories, your name is Rustam Akimov.

Penggunaan:

• Instal persyaratan.txt
• Unduh mistral-7b-instruct-v0.2.Q4_K_M.gguf (Catatan: Anda dapat menggunakan model lain)
• Dapatkan kunci Google API dan ID Mesin Pencari
• Tentukan variabel di .env
• Jalankan chat.py