private chatbot mpt30b langchain

แชทกับเอกสารของคุณแบบส่วนตัวโดยไม่ใช้อินเทอร์เน็ตโดยใช้ MPT-30B และ Langchain

MPT-30B เป็นโมเดลโอเพ่นซอร์สที่ทรงพลังซึ่งได้รับการฝึกฝนโดยมีความยาวบริบท 8k และมีประสิทธิภาพเหนือกว่า GPT-3 ดั้งเดิม ประกาศ

เมื่อใช้ MPT-30B เวอร์ชัน Quantized คุณสามารถสนทนากับเอกสารของคุณแบบส่วนตัวบนคอมพิวเตอร์ของคุณเองโดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต

ความต้องการ

ข้อมูลจำเพาะระบบขั้นต่ำพร้อม RAM ขนาด 32GB และ python 3.10

การติดตั้ง

1. ติดตั้งบทกวี

pip install poetry

2. โคลน repo

git clone {insert github repo url}

3. ติดตั้งการพึ่งพาโครงการ

poetry install

4. คัดลอกไฟล์ .env.example ไปยัง .env

cp .env.example .env

5. ดาวน์โหลดโมเดล (ประมาณ 19GB)

python download_model.py

หรือเข้าไปดาวน์โหลดไฟล์ได้ที่นี่ จากนั้นสร้างโฟลเดอร์ models ในไดเร็กทอรีรากและวางไฟล์ไว้ที่นั่น

6. นำเข้าเอกสารที่คุณต้องการ 'สนทนา' ด้วย

ตามค่าเริ่มต้น repo โฟลเดอร์ source_documents นี้เพื่อจัดเก็บเอกสารที่จะนำเข้า คุณสามารถแทนที่เอกสารในนั้นด้วยเอกสารของคุณเองได้

นามสกุลเอกสารที่รองรับได้แก่:

• .csv : ซีเอสวี
• .docx : เอกสารเวิร์ด
• .doc : เอกสารเวิร์ด
• .eml : อีเมล์,
• .epub : EPub,
• .html : ไฟล์ HTML,
• .md : มาร์กดาวน์
• .pdf : Portable Document Format (PDF),
• .pptx : เอกสาร PowerPoint,
• .txt : ไฟล์ข้อความ (UTF-8)

จากนั้นรันสคริปต์นี้เพื่อนำเข้า

python ingest.py

ผลลัพธ์ควรมีลักษณะดังนี้:

Creating new vectorstore
Loading documents from source_documents
Loading new documents: 100% | ██████████████████████ | 1/1 [00: 01< 00:00,  1.73s/it]
Loaded 1 new documents from source_documents
Split into 90 chunks of text (max. 500 tokens each)
Creating embeddings. May take some minutes...
Using embedded DuckDB with persistence: data will be stored in: db
Ingestion complete ! You can now run question_answer_docs.py to query your documents

มันจะสร้างโฟลเดอร์ db ที่มี vectorstore ในเครื่อง จะใช้เวลา 20-30 วินาทีต่อเอกสาร ขึ้นอยู่กับขนาดของเอกสาร คุณสามารถนำเข้าเอกสารได้มากเท่าที่คุณต้องการ และเอกสารทั้งหมดจะถูกสะสมไว้ในฐานข้อมูลการฝังในเครื่อง หากคุณต้องการเริ่มต้นจากฐานข้อมูลว่าง ให้ลบโฟลเดอร์ db

หมายเหตุ: ในระหว่างกระบวนการนำเข้า ไม่มีข้อมูลใดออกจากสภาพแวดล้อมในเครื่องของคุณ คุณสามารถนำเข้าได้โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต ยกเว้นครั้งแรกที่คุณเรียกใช้สคริปต์นำเข้า เมื่อมีการดาวน์โหลดโมเดลการฝัง

6. สนทนากับเอกสารของคุณ

เรียกใช้สคริปต์เหล่านี้เพื่อถามคำถามและรับคำตอบจากเอกสารของคุณ:

ขั้นแรกให้โหลดบรรทัดคำสั่ง:

poetry run python question_answer_docs.py `

หรือ

make qa

ขั้นที่สอง รอดูบรรทัดคำสั่งถาม Enter a question: input พิมพ์คำถามของคุณแล้วกด Enter

พิมพ์ exit เพื่อสิ้นสุดสคริปต์

หมายเหตุ: ขึ้นอยู่กับหน่วยความจำของคอมพิวเตอร์ของคุณ คำขอพร้อมท์ และจำนวนชิ้นข้อมูลที่ส่งคืนจากเอกสารต้นทาง อาจใช้เวลาประมาณ 40 ถึง 300 วินาทีก่อนที่แบบจำลองจะตอบสนองต่อข้อความแจ้งของคุณ

คุณสามารถใช้แชทบอทนี้ได้โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต

[ไม่บังคับ] เรียกใช้แชทบอทธรรมดา

หากคุณไม่ต้องการแชทกับเอกสารของคุณและต้องการเพียงโต้ตอบกับแชทบอต MPT-30b คุณสามารถข้ามขั้นตอนการนำเข้าและเรียกใช้สคริปต์แชทบอตได้

poetry run python chat.py `

หรือ

make chat

เครดิต

ให้เครดิตกับ abacaj สำหรับเทมเพลตต้นฉบับที่นี่ ให้เครดิตกับ imartinez สำหรับตรรกะการนำเข้า privateGPT และคำแนะนำเอกสารที่นี่ ให้เครดิตกับ TheBloke สำหรับโมเดล MPT-30B GGML ที่นี่