rags

ผ้าขี้ริ้ว

build.a.rags.bot.powered.by.llamaindex .-. 26.november.2023.mp4

Rags เป็นแอพ streamlit ที่ให้คุณสร้างท่อส่ง RAG จากแหล่งข้อมูลโดยใช้ภาษาธรรมชาติ

คุณจะทำสิ่งต่อไปนี้:

1. อธิบายงานของคุณ (เช่น "โหลดหน้าเว็บนี้") และพารามิเตอร์ที่คุณต้องการจากระบบ RAG ของคุณ (เช่น "ฉันต้องการดึงจำนวนเอกสาร x"))
2. ไปที่พารามิเตอร์มุมมองการกำหนดค่าและดู/เปลี่ยนแปลงพารามิเตอร์ที่สร้างขึ้น (Top-K, การสรุป ฯลฯ ) ตามต้องการ
3. สอบถามตัวแทน RAG มากกว่าข้อมูลด้วยคำถามของคุณ

โครงการนี้ได้รับแรงบันดาลใจจาก GPTS เปิดตัวโดย OpenAI

การติดตั้งและการตั้งค่า

โคลนโครงการนี้เข้าสู่โฟลเดอร์ rags Project เราขอแนะนำให้สร้าง Env เสมือนสำหรับการพึ่งพา ( python3 -m venv .venv )

 poetry install --with dev

โดยค่าเริ่มต้นเราใช้ OpenAI สำหรับทั้ง Agent Builder รวมถึง Agent RAG ที่สร้างขึ้น เพิ่ม .streamlit/secrets.toml ในโฟลเดอร์โฮม

จากนั้นใส่สิ่งต่อไปนี้:

 openai_key = "<openai_key>"

จากนั้นเรียกใช้แอพจากไฟล์ "โฮมเพจ"

streamlit run 1_?_Home.py

หมายเหตุ : หากคุณอัพเกรด Rags เวอร์ชันและคุณกำลังพบปัญหาในการเปิดตัวคุณอาจต้องลบโฟลเดอร์ cache ในไดเรกทอรีโฮมไดเรกทอรีของคุณ (เราอาจแนะนำการเปลี่ยนแปลงการเปลี่ยนแปลงในโครงสร้างข้อมูลที่เก็บไว้ระหว่างเวอร์ชัน)

ภาพรวมโดยละเอียด

แอพมีส่วนต่อไปนี้ซึ่งสอดคล้องกับขั้นตอนที่ระบุไว้ข้างต้น

1.? โฮมเพจ

นี่คือส่วนที่คุณสร้างท่อส่งเศษผ้าโดยการสอน "ตัวแทนผู้สร้าง" โดยทั่วไปในการตั้งค่าไปป์ไลน์ผ้าขี้ริ้วที่คุณต้องการส่วนประกอบต่อไปนี้:

1. อธิบายชุดข้อมูล ขณะนี้เรารองรับ ไฟล์ท้องถิ่นเดียว หรือ หน้าเว็บ เราเปิดรับข้อเสนอแนะที่นี่!
2. อธิบายงาน คำอธิบายนี้จะใช้ในการเริ่มต้น "ระบบพรอมต์" ของ LLM ที่ให้พลังงานกับท่อส่ง RAG
3. กำหนดพารามิเตอร์ทั่วไปสำหรับการตั้งค่า RAG ดูส่วนด้านล่างสำหรับรายการพารามิเตอร์

2. การกำหนดค่าผ้าขี้ริ้ว

ส่วนนี้มีพารามิเตอร์ RAG ที่สร้างขึ้นโดย "Agent Builder" ในส่วนก่อนหน้า ในส่วนนี้คุณมี UI ที่แสดงพารามิเตอร์ที่สร้างขึ้นและมีอิสระอย่างเต็มที่ในการแก้ไข/เปลี่ยนแปลงด้วยตนเองตามความจำเป็น

ขณะนี้ชุดพารามิเตอร์มีดังนี้:

• ระบบแจ้ง
• รวมถึงการสรุป: ไม่ว่าจะเพิ่มเครื่องมือสรุป (แทนที่จะทำการดึง Top-K เท่านั้น)
• K-K
• ขนาดก้อน
• แบบจำลอง
• llm

หากคุณเปลี่ยนพารามิเตอร์ด้วยตนเองคุณสามารถกดปุ่ม "อัปเดตเอเจนต์" เพื่ออัปเดตเอเจนต์

 If you don't see the `Update Agent` button, that's because you haven't created the agent yet. Please go to the previous "Home" page and complete the setup process.

เราสามารถเพิ่มพารามิเตอร์เพิ่มเติมเพื่อให้ "ขั้นสูง" นี้มากขึ้น แต่คิดว่านี่จะเป็นจุดเริ่มต้นที่ดี

3. Agent RAG ที่สร้างขึ้น

เมื่อเอเจนต์ RAG ของคุณถูกสร้างขึ้นคุณสามารถเข้าถึงหน้านี้ได้

นี่คืออินเทอร์เฟซ chatbot มาตรฐานที่คุณสามารถสอบถามตัวแทน RAG และจะตอบคำถามผ่านข้อมูลของคุณ

มันจะสามารถเลือกเครื่องมือ RAG ที่ถูกต้อง (ทั้งการค้นหาเวกเตอร์ Top-K หรือการสรุปทางเลือก) เพื่อเติมเต็มแบบสอบถาม

รองรับ LLMS และ EMBEDDING

ตัวแทนผู้สร้าง

โดยค่าเริ่มต้นตัวแทน Builder จะใช้ OpenAI สิ่งนี้ถูกกำหนดไว้ในไฟล์ core/builder_config.py

คุณสามารถปรับแต่งสิ่งนี้ให้เป็น LLM ที่คุณต้องการ (ตัวอย่างมีให้สำหรับมานุษยวิทยา)

โปรดทราบว่าตัวแปร GPT-4 จะให้ผลลัพธ์ที่น่าเชื่อถือที่สุดในแง่ของการสร้างตัวแทนจริง (เราไม่สามารถให้ Claude ทำงานได้)

Agent Rag ที่สร้างขึ้น

คุณสามารถตั้งค่าการกำหนดค่าได้ทั้งผ่านภาษาธรรมชาติหรือด้วยตนเองสำหรับทั้งโมเดลการฝังและ LLM

• LLM : เราสนับสนุน LLMs ต่อไปนี้ แต่คุณต้องระบุ ID ไปยังตัวแทน Builder อย่างชัดเจน
  • openai: id คือ "openai: <model_name>" EG "OpenAI: GPT-4-1106-PREVIEW"
  • มานุษยวิทยา: id คือ "anthropic: <model_name>" เช่น "anthropic: claude-2"
  • ทำซ้ำ: id คือ "ทำซ้ำ: <model_name>"
  • HuggingFace: id คือ "local: <model_name>" เช่น "local: baai/bge-small-en"
• EMBEDDINGS : รองรับการฝังตัวข้อความ -ADA-002 โดยค่าเริ่มต้น แต่ยังรองรับโมเดล Hugging Face หากต้องการใช้รูปแบบการกอดใบหน้าเพียงเตรียมไว้ด้วยท้องถิ่นเช่นท้องถิ่น: baai/bge-small-en

ทรัพยากร

พบปัญหา? โปรดยื่นปัญหา GitHub หรือเข้าร่วม Discord ของเรา

แอพนี้สร้างขึ้นด้วย Llamaidex Python

ดูโพสต์บล็อกเปิดตัวของเราที่นี่