Llama_RAG_System

llama_rag_system

ภาพรวม

LLAMA_RAG_SYSTEM เป็นระบบ Generation-Augmented Generation (RAG) ที่แข็งแกร่งซึ่งออกแบบมาเพื่อตอบสนองต่อการสืบค้นผู้ใช้กับคำตอบที่เกี่ยวข้องกับบริบท สร้างขึ้นโดยใช้โมเดล Llama และ Ollama ระบบนี้สามารถจัดการงานต่าง ๆ รวมถึงการตอบคำถามทั่วไปการสรุปเนื้อหาและการแยกข้อมูลจากเอกสาร PDF ที่อัปโหลด สถาปัตยกรรมใช้ Chromadb สำหรับการฝังเอกสารที่มีประสิทธิภาพและการดึงข้อมูลในขณะเดียวกันก็รวมความสามารถในการขูดเว็บเพื่อดึงข้อมูลที่ทันสมัยจากอินเทอร์เน็ต

นี่คือแวบหนึ่งของอินเทอร์เฟซแอป Gradio:

- โปรดทราบ: โครงการนี้กำลังอยู่ในระหว่างการพัฒนา ยินดีต้อนรับความคิดเห็นและการมีส่วนร่วมของคุณ!

คุณสมบัติ

• การดำเนินการแบบจำลองท้องถิ่นกับ Ollama : ใช้ Ollama เพื่อเรียกใช้โมเดล Llama ในพื้นที่เพื่อให้มั่นใจว่าการตอบสนองที่เร็วขึ้นและความเป็นส่วนตัวที่เพิ่มขึ้น โดยการดำเนินการประมวลผลข้อมูลในพื้นที่ผู้ใช้สามารถควบคุมข้อมูลของพวกเขาได้โดยไม่ต้องส่งไปยังเซิร์ฟเวอร์ภายนอก
• การขูดเว็บสำหรับคำตอบที่ได้รับการปรับปรุง : ขูดอินเทอร์เน็ตเพื่อให้ข้อมูลแบบเรียลไทม์และเกี่ยวข้องช่วยให้ระบบสามารถส่งคำตอบที่ถูกต้องตามข้อมูลล่าสุด
• การประมวลผลเอกสาร PDF : อัปโหลดไฟล์ PDF สำหรับการแยกข้อความอัตโนมัติและการฝัง
• การจัดการแบบสอบถามแบบไดนามิก : ตรวจพบประเภทของการสืบค้นผู้ใช้โดยอัตโนมัติ (คำถามทั่วไป, การสรุป, chit-chat ฯลฯ ) และให้คำตอบที่เหมาะสม
• อินเทอร์เฟซ Gradio และ Flask : เว็บอินเตอร์เฟสที่ใช้งานง่ายสำหรับการโต้ตอบกับโมเดลและการอัปโหลดเอกสาร
• Embeddings ที่กำหนดเอง : ใช้ Chromadb เพื่อจัดเก็บและดึงเอกสารฝังตัวได้อย่างมีประสิทธิภาพ

ทำไมต้องใช้ Ollama?

Ollama เป็นตัวเลือกที่ยอดเยี่ยมสำหรับรูปแบบการเรียนรู้ของเครื่องจักรในพื้นที่ด้วยเหตุผลหลายประการ:

• ความเป็นส่วนตัว : การใช้แบบจำลองบนโครงสร้างพื้นฐานในท้องถิ่นทำให้มั่นใจได้ว่าข้อมูลที่ละเอียดอ่อนยังคงอยู่ในสภาพแวดล้อมของผู้ใช้ลดความเสี่ยงของการละเมิดข้อมูลหรือการรั่วไหล
• ประสิทธิภาพ : การดำเนินการในท้องถิ่นช่วยลดเวลาแฝงทำให้เวลาตอบสนองเร็วขึ้นเมื่อเทียบกับโซลูชันบนคลาวด์
• การปรับแต่ง : ผู้ใช้สามารถปรับแต่งโมเดลเพื่อตอบสนองความต้องการเฉพาะโดยไม่ขึ้นอยู่กับผู้ให้บริการภายนอก

โครงสร้างโฟลเดอร์

โครงการจัดขึ้นดังนี้:

 project/
├── core/
│   ├── embedding.py             # Embedding-related functionality
│   ├── document_utils.py        # Functions to handle document loading and processing
│   ├── query.py                 # Query document functionality
│   ├── generate.py              # Response generation logic
│   ├── web_scrape.py            # Web scraping functionality
│
├── scripts/
│   ├── run_flask.py             # Script to run Flask API
│   ├── run_gradio.py            # Script to run Gradio interface
│
├── chromadb_setup.py            # ChromaDB setup and connection
│
├── README.md                    # Project documentation

การติดตั้ง

หากต้องการตั้งค่า LLAMA_RAG_SYSTEM ให้ทำตามขั้นตอนเหล่านี้:

1. โคลนที่เก็บ:

   git clone https://github.com/NimaVahdat/Llama_RAG_System.git
   cd Llama_RAG_System

2. ตรวจสอบให้แน่ใจว่า Chromadb และบริการที่จำเป็นอื่น ๆ กำลังทำงานตามต้องการ

การใช้งาน

ใช้ Flask API

ในการเริ่มต้น Flask API ให้เรียกใช้คำสั่งต่อไปนี้:

python -m scripts.run_flask

รันอินเทอร์เฟซ Gradio

ในการเปิดตัวอินเทอร์เฟซ Gradio ให้ดำเนินการ:

python -m scripts.run_gradio

หลังจากเรียกใช้สคริปต์ทั้งสองแล้วคุณจะสามารถโต้ตอบกับระบบผ่านเว็บอินเตอร์เฟสที่ให้ไว้

การบริจาค

ยินดีต้อนรับ! หากคุณมีคำแนะนำสำหรับการปรับปรุงหรือคุณสมบัติโปรดแยกที่เก็บและส่งคำขอดึง

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

กิตติกรรมประกาศ

• Llama สำหรับสถาปัตยกรรมแบบจำลองพื้นฐาน
• Ollama สำหรับการดำเนินการในท้องถิ่นของรูปแบบการเรียนรู้ของเครื่องเพิ่มความเป็นส่วนตัวและประสิทธิภาพ
• Gradio สำหรับอินเทอร์เฟซแบบโต้ตอบ
• Chromadb สำหรับการจัดเก็บเอกสารที่มีประสิทธิภาพและการดึงข้อมูล

ติดต่อ

สำหรับข้อสงสัยหรือการสนับสนุนใด ๆ โปรดติดต่อฉัน