private chatbot mpt30b langchain

Mengobrol dengan dokumen Anda secara pribadi tanpa internet menggunakan MPT-30B & Langchain

MPT-30B adalah model sumber terbuka canggih yang dilatih dengan panjang konteks 8k dan mengungguli GPT-3 asli. Pengumuman

Dengan menggunakan versi MPT-30B yang terkuantisasi, Anda dapat mengobrol dengan dokumen Anda secara pribadi di komputer Anda sendiri tanpa koneksi internet.

Persyaratan

Spesifikasi sistem minimum dengan ram 32GB dan python 3.10 .

Instalasi

1. Instal puisi

pip install poetry

2. Kloning reponya

git clone {insert github repo url}

3. Instal dependensi proyek

poetry install

4. Salin file .env.example ke .env

cp .env.example .env

5. Unduh modelnya (sekitar 19GB)

python download_model.py

atau kunjungi di sini dan unduh filenya. Kemudian buat folder models di direktori root dan letakkan file di sana.

6. Serap dokumen yang ingin Anda 'ngobrol'

Secara default, repo ini adalah folder source_documents untuk menyimpan dokumen yang akan diserap. Anda dapat mengganti dokumen di sana dengan milik Anda sendiri.

Ekstensi dokumen yang didukung meliputi:

• .csv : CSV,
• .docx : Dokumen Word,
• .doc : Dokumen Word,
• .eml : Surel,
• .epub : EPub,
• .html : Berkas HTML,
• .md : Penurunan harga,
• .pdf : Format Dokumen Portabel (PDF),
• .pptx : Dokumen PowerPoint,
• .txt : File teks (UTF-8),

Kemudian jalankan skrip ini untuk menyerap

python ingest.py

Outputnya akan terlihat seperti ini:

Creating new vectorstore
Loading documents from source_documents
Loading new documents: 100% | ██████████████████████ | 1/1 [00: 01< 00:00,  1.73s/it]
Loaded 1 new documents from source_documents
Split into 90 chunks of text (max. 500 tokens each)
Creating embeddings. May take some minutes...
Using embedded DuckDB with persistence: data will be stored in: db
Ingestion complete ! You can now run question_answer_docs.py to query your documents

Ini akan membuat folder db yang berisi vectorstore lokal. Akan memakan waktu 20-30 detik per dokumen, tergantung ukuran dokumen. Anda dapat menyerap dokumen sebanyak yang Anda inginkan, dan semuanya akan diakumulasikan dalam database penyematan lokal. Jika Anda ingin memulai dari database kosong, hapus folder db .

Catatan: selama proses penyerapan, tidak ada data yang keluar dari lingkungan lokal Anda. Anda dapat melakukan penyerapan tanpa koneksi internet, kecuali saat pertama kali Anda menjalankan skrip penyerapan, saat model penyematan diunduh.

6. Ngobrol dengan dokumen Anda

Jalankan skrip berikut untuk mengajukan pertanyaan dan mendapatkan jawaban dari dokumen Anda:

Pertama, muat baris perintah:

poetry run python question_answer_docs.py `

atau

make qa

Kedua, tunggu hingga baris perintah meminta Enter a question: masukan. Ketik pertanyaan Anda dan tekan enter.

Ketik exit untuk menyelesaikan skrip.

Catatan: Tergantung pada memori komputer Anda, permintaan prompt, dan jumlah potongan yang dikembalikan dari dokumen sumber, mungkin diperlukan waktu antara 40 hingga 300 detik agar model merespons perintah Anda.

Anda dapat menggunakan chatbot ini tanpa koneksi internet.

[Opsional] Jalankan chatbot biasa

Jika Anda tidak ingin mengobrol dengan dokumen Anda dan lebih memilih berinteraksi dengan chatbot MPT-30b, Anda dapat melewati fase penyerapan dan menjalankan skrip chatbot.

poetry run python chat.py `

atau

make chat

Kredit

Penghargaan untuk abacaj untuk templat asli di sini Penghargaan untuk immartinez untuk logika penyerapan privateGPT dan panduan dokumen di sini Penghargaan untuk TheBloke untuk model GGML MPT-30B di sini