rag arena

อาร์เอจี อารีน่า

RAG Arena เป็นโปรเจ็กต์โอเพ่นซอร์ส Next.js ที่สร้าง mendable.ai ของฉันซึ่งเชื่อมต่อกับ LangChain เพื่อมอบประสบการณ์แชทบอท RAG ที่การสืบค้นได้รับการตอบกลับหลายครั้ง ผู้ใช้โหวตให้กับคำตอบเหล่านี้ ซึ่งจะไม่เบลอเพื่อเปิดเผยรีทรีฟเวอร์ที่ใช้ โดยแยกแยะแชทบอทด้วยวิธี data RAG โปรเจ็กต์นี้ใช้ Supabase สำหรับการทำงานของฐานข้อมูลและมีกระดานผู้นำแบบเรียลไทม์ที่แสดงข้อมูลจากฐานข้อมูล

การติดตั้ง

ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้ง pnpm บนระบบของคุณ ถ้าไม่เช่นนั้น ให้ติดตั้งผ่าน:

npm install -g pnpm

โคลนที่เก็บโครงการ:

git clone https://github.com/mendableai/rag-arena

นำทางไปยังไดเร็กทอรีโครงการและติดตั้งการอ้างอิง:

 cd RAG-arena
pnpm i

กำหนดค่าตัวแปรสภาพแวดล้อมของคุณ:

 # probably in: https://platform.openai.com/api-keys
OPENAI_API_KEY=

# probably in: https://supabase.com/dashboard/ project>project settings>api
NEXT_PUBLIC_SUPABASE_URL=
NEXT_PUBLIC_SUPABASE_PRIVATE_KEY=

# probably in: https://console.upstash.com/redis/
UPSTASH_REDIS_REST_URL=
UPSTASH_REDIS_REST_TOKEN=

PRODUCTION=false

PYTHON_MICRO_SERVER=

เริ่มการพัฒนาเว็บเซิร์ฟเวอร์ (nextjs):

pnpm dev

ใช้งานเซิร์ฟเวอร์หลาม

 cd python_service

poetry install

*(หากคุณไม่มีบทกวีเพียงเพิ่ม id โดยใช้ pip install บทกวี)

การเปิดใช้งานร้านค้ากราฟ Neo4j

สำหรับ Graph Rag Retreat คุณจะต้องสร้าง Graph Store หรือปล่อยให้เซิร์ฟเวอร์เรียกใช้ฟังก์ชัน 'create_neo4j_graph_store' โดยอัตโนมัติ (แปลเป็นภาษาท้องถิ่นใน /python_service/retrievers/neo4j_retriever.py ) โดยไม่ใส่เครื่องหมายข้อคิดเห็นในบรรทัด:

 # if not os.path.exists(storage_dir) or not os.listdir(storage_dir):
# create_neo4j_graph_store()

ขั้นตอนนี้จะใช้เวลาสักครู่ขึ้นอยู่กับข้อมูลที่ใช้ใน data/chunks ในตอนท้าย คุณจะมีไดเร็กทอรี neo/storage ของคุณเต็มไปด้วยข้อมูลที่มีอยู่สำหรับร้านค้ากราฟในเครื่อง

กำลังโหลดดัชนีเป็นครั้งแรก

คุณจะต้องโหลดดัชนีและแคชไว้จึงจะสามารถใช้ Graph RAG ได้ ฟังก์ชั่น load_index() ทำสิ่งนั้นให้คุณภายใน python_service/app.py ดังนั้นในการดำเนินการครั้งแรกของคุณ อาจต้องใช้เวลาสักครู่ในการสร้างไฟล์ .pkl ที่แคชไว้ซึ่งอยู่ใน python_service/index/cache

รันเซิร์ฟเวอร์ขวดแบบโลคัลด้วยโหมดดีบัก

poetry run flask run --debug

เปิด http://localhost:3000 ด้วยเบราว์เซอร์ของคุณเพื่อดูผลลัพธ์

ภาพรวมสถาปัตยกรรม

ระบบการกลืนกิน

• เส้นทาง: app/api/ingest/route.ts
• คำอธิบาย: โมดูลนี้มีหน้าที่รับผิดชอบในการนำเข้าบทความเข้าสู่ฐานข้อมูลเวกเตอร์ ซึ่งทำให้สามารถเรียกค้นบทความเหล่านั้นได้สำหรับการสืบค้นในอนาคต
• รายละเอียดการดำเนินการ:
  • ตัวแยก: ใช้ RecursiveCharacterTextSplitter จาก LangChain เพื่อการแยกข้อความที่มีประสิทธิภาพ
  • การฝัง: ใช้ประโยชน์จาก OpenAIEmbeddings สำหรับการสร้างการฝังเอกสาร
  • พื้นที่เก็บข้อมูล: ใช้ SupabaseVectorStore เพื่อจัดเก็บเอกสารที่ประมวลผลใน Supabase

ไดนามิก รีทรีฟเวอร์

• เส้นทาง: app/api/retrievers/dynamic-retriever/route.ts
• คำอธิบาย: เลือกและใช้ตัวดึงข้อมูลที่แตกต่างกันแบบไดนามิกตามอินพุตของผู้ใช้เพื่อดึงเอกสารที่เกี่ยวข้อง
• คุณสมบัติที่สำคัญ:
  • การจำกัดอัตรา: ใช้การจำกัดอัตราเพื่อจัดการโหลดและรับรองการใช้งานที่เหมาะสม
  • Document RAG: ดึงเอกสารที่เกี่ยวข้องกับคำค้นหาของผู้ใช้มากที่สุด
  • การบูรณาการ OpenAI: โต้ตอบกับ API ของ OpenAI เพื่อปรับปรุงการแชทให้สมบูรณ์ ขับเคลื่อนโดย SupabaseVectorStore สำหรับการจับคู่เอกสาร

ระบบการลงคะแนนเสียง

• เส้นทาง: actions/voting-system.ts
• วัตถุประสงค์: ดูแลตรรกะเบื้องหลังการลงคะแนนเสียงสำหรับคำตอบที่ได้รับ ซึ่งมีความสำคัญอย่างยิ่งต่อการเรียนรู้และการปรับตัวของระบบ
• ฟังก์ชั่น:
  • การติดตามการลงคะแนนเสียง: อัปเดตจำนวนโหวต เวลาที่ทดสอบ และการจัดอันดับ Elo สำหรับสุนัขแต่ละตัว
  • การปรับ Elo: ปรับการให้คะแนน Elo ตามจำนวนครั้งโดยเฉลี่ยที่ผู้ดึงข้อมูลได้รับการทดสอบ ซึ่งส่งเสริมความเป็นธรรมและความแม่นยำ

 // calculation used for the elo
function calculateEloAdjustment(timesTested: number, averageTimesTested: number): number {
    if (averageTimesTested === 0) return 10;
    const adjustmentFactor = timesTested / averageTimesTested;
    return (1 / adjustmentFactor) * 10;
}

สคีมาฐานข้อมูล

• ชื่อตาราง: ลีดเดอร์บอร์ด
• สารบัญ: เก็บข้อมูลที่สำคัญสำหรับรีทรีฟเวอร์แต่ละตัว รวมถึง id , retriever , elo , votes , times_tested , full_name , description และ link

ภาพรวมฟังก์ชัน RAG

(https://js.langchain.com/docs/modules/data_connection/retrievers/)

ส่วนนี้จะสรุปฟังก์ชัน RAG ต่างๆ ที่กำหนดไว้ใน app/api/retrievers/dynamic-retriever/tools/functions.ts โดยให้รายละเอียดเกี่ยวกับวัตถุประสงค์และการนำไปใช้งานภายในสถาปัตยกรรมของโปรเจ็กต์ ฟังก์ชันเหล่านี้มีบทบาทสำคัญในกระบวนการ RAG ของเอกสาร โดยใช้ประโยชน์จากกลยุทธ์และเทคโนโลยีที่แตกต่างกันเพื่อเพิ่มประสิทธิภาพและความแม่นยำ

ร้านเวกเตอร์

• เมื่อใดควรใช้: เหมาะสำหรับผู้เริ่มต้นที่กำลังมองหาวิธีแก้ปัญหาที่รวดเร็วและตรงไปตรงมา
• คำอธิบาย: ฟังก์ชันนี้ใช้ประโยชน์จากความเรียบง่ายในการสร้างการฝังสำหรับส่วนข้อความแต่ละส่วน ทำให้เป็นจุดเริ่มต้นที่เข้าถึงได้มากที่สุดสำหรับเอกสาร RAG

เอกสารผู้ปกครอง

• ควรใช้เมื่อใด: เหมาะสำหรับเอกสารที่แบ่งออกเป็นส่วนข้อมูลย่อยๆ ที่แตกต่างกันซึ่งจัดทำดัชนีแยกกัน แต่ควรดึงข้อมูลโดยรวม
• คำอธิบาย: โดยจะจัดทำดัชนีหลายชิ้นต่อเอกสาร โดยระบุชิ้นที่คล้ายกันมากที่สุดในพื้นที่ฝังเพื่อดึงเอกสารหลักทั้งหมด แทนที่จะเป็นเพียงชิ้นเดียว

หลายเวกเตอร์

• เมื่อใดที่ควรใช้: เหมาะสมเมื่อคุณสามารถดึงข้อมูลที่เกี่ยวข้องสำหรับการจัดทำดัชนีได้มากกว่าข้อความในเอกสาร
• คำอธิบาย: สร้างเวกเตอร์หลายตัวสำหรับแต่ละเอกสาร โดยเวกเตอร์แต่ละตัวอาจเป็นตัวแทนของข้อความสรุป คำถามเชิงสมมุติ หรือรูปแบบอื่นๆ ของข้อมูลที่กลั่นกรอง

การบีบอัดตามบริบท

• ควรใช้เมื่อใด: มีประโยชน์เมื่อเอกสารที่ดึงมามีข้อมูลที่ไม่เกี่ยวข้องมากเกินไป ซึ่งเบี่ยงเบนความสนใจไปจากการตอบกลับคำค้นหาหลัก
• คำอธิบาย: เพิ่มขั้นตอนหลังการประมวลผลให้กับรีทรีฟเวอร์ตัวอื่น โดยแยกเฉพาะข้อมูลที่เกี่ยวข้องมากที่สุดจากเอกสารที่ดึงมา ซึ่งสามารถทำได้สำเร็จโดยใช้การฝังหรือ LLM

ถ่วงน้ำหนักตามเวลา

• เมื่อใดควรใช้: เหมาะสำหรับเอกสารที่มีการประทับเวลาที่เกี่ยวข้อง โดยมีเป้าหมายเพื่อดึงเอกสารล่าสุดตามความคล้ายคลึงและความใหม่ทางความหมาย
• คำอธิบาย: ดึงเอกสารโดยปรับสมดุลความคล้ายคลึงทางความหมายกับการประทับเวลาของเอกสาร เพื่อให้แน่ใจว่าเอกสารล่าสุดจะได้รับการจัดลำดับความสำคัญในกระบวนการ RAG

รีทรีฟเวอร์แบบหลายแบบสอบถาม

• เมื่อใดควรใช้: ดีที่สุดสำหรับการสืบค้นที่ซับซ้อนซึ่งต้องการข้อมูลที่แตกต่างกันหลายส่วนเพื่อการตอบกลับที่ครอบคลุม
• คำอธิบาย: สร้างการสืบค้นหลายรายการจากอินพุตเดียว ตอบสนองความต้องการข้อมูลในหัวข้อต่างๆ เพื่อตอบคำถามดั้งเดิมอย่างครบถ้วน วิธีการนี้จะดึงเอกสารสำหรับการสืบค้นแต่ละรายการที่สร้างขึ้น เพื่อให้มั่นใจว่าจะได้รับการตอบสนองอย่างละเอียด

มีส่วนร่วม

ยินดีบริจาค! โปรดปฏิบัติตามขั้นตอนการทำงานคำขอ fork & pull มาตรฐาน ตรวจสอบให้แน่ใจว่าคุณปฏิบัติตามรูปแบบและรูปแบบการเขียนโค้ดที่มีอยู่ในโปรเจ็กต์ และเขียนการทดสอบสำหรับคุณสมบัติใหม่หรือการแก้ไขข้อบกพร่อง

ใบอนุญาต

RAG Arena เป็นโอเพ่นซอร์สและเผยแพร่ภายใต้ใบอนุญาต MIT ดูไฟล์ใบอนุญาตสำหรับข้อมูลเพิ่มเติม