kollektiv

kollektiv - LLM + ความรู้ที่ทันสมัย

- ภาพรวม

kollektiv เป็นระบบการดึงข้อมูล-Augmented Generation (RAG) ที่ออกแบบมาเพื่อจุดประสงค์เดียว - ช่วยให้คุณสามารถสนทนากับเอกสารที่คุณชื่นชอบ (ของไลบรารี เฟรมเวิร์ก เครื่องมือเป็นหลัก) ได้อย่างง่ายดาย

โปรเจ็กต์นี้มีจุดมุ่งหมายเพื่อให้ LLM เข้าถึงความรู้ที่ทันสมัยที่สุดใน 2 คลิก เพื่อที่คุณจะได้ไม่ต้องกังวลกับการตอบกลับที่ไม่ถูกต้อง ภาพหลอน หรือความไม่ถูกต้องเมื่อทำงานกับ LLM ที่ดีที่สุด

❓ทำไม?

โปรเจ็กต์นี้เกิดจาก ความต้องการส่วนตัว - เมื่อใดก็ตามที่มีฟีเจอร์ใหม่ของไลบรารี่ที่ฉันชื่นชอบเกิดขึ้น ฉันรู้ว่าฉันไม่สามารถพึ่งพา LLM เพื่อช่วยฉันสร้างมันขึ้นมาได้ - เพราะมันไม่รู้เรื่องนี้เลย!

สาเหตุที่แท้จริง - LLM ไม่สามารถเข้าถึงเอกสารล่าสุดหรือความรู้ส่วนตัว เนื่องจากพวกเขาได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลที่สะสมมาในอดีต (บางครั้งมากกว่าหนึ่งปีที่แล้ว)

ผลกระทบ - ภาพหลอนในคำตอบ ข้อมูลที่ไม่ถูกต้อง ไม่ถูกต้อง หรือล้าสมัย ซึ่งลดประสิทธิภาพและประโยชน์ของการใช้ LLM โดยตรง

แต่มีวิธีที่ดีกว่า...

จะเป็นอย่างไรหาก LLM สามารถใช้ประโยชน์จากแหล่งข้อมูลล่าสุดเกี่ยวกับไลบรารี เครื่องมือ และเฟรมเวิร์กที่คุณกำลังสร้างได้

ลองนึกภาพ LLM ของคุณสามารถตัดสินใจได้อย่างชาญฉลาดเมื่อต้องตรวจสอบแหล่งเอกสารและให้คำตอบที่ถูกต้องเสมอ

เป้าหมาย

พบกับ kollektiv -> แอป RAG โอเพ่นซอร์สที่ช่วยให้คุณ:

• แยกวิเคราะห์เอกสารของห้องสมุดที่คุณชื่นชอบ
• จัดเก็บและฝังไว้ในที่เก็บข้อมูลเวกเตอร์ในเครื่องอย่างมีประสิทธิภาพ
• ตั้งค่าการแชท LLM ที่คุณวางใจได้

โปรดทราบว่า นี่คือเวอร์ชัน 0.1.6 และความน่าเชื่อถือของระบบสามารถระบุได้ดังต่อไปนี้:

• ใน 50% ของเวลาที่ได้ผลทุกครั้ง!

ดังนั้นโปรดแจ้งให้เราทราบหากคุณประสบปัญหาและเราจะพยายามแก้ไขปัญหาเหล่านั้น

คุณสมบัติที่สำคัญ

• ️ การรวบรวมข้อมูลเว็บอัจฉริยะ : ใช้ FireCrawl API เพื่อรวบรวมข้อมูลและแยกเนื้อหาจากเว็บไซต์เอกสารที่ระบุอย่างมีประสิทธิภาพ
• - การประมวลผลเอกสารขั้นสูง : ใช้กลยุทธ์การแบ่งส่วนแบบกำหนดเองเพื่อเพิ่มประสิทธิภาพการจัดเก็บและการเรียกค้นเอกสาร
• - การค้นหาเวกเตอร์ : ใช้ Chroma DB สำหรับการค้นหาความคล้ายคลึงกันของชิ้นเอกสารที่มีประสิทธิภาพสูง
• การขยายคำค้นหาหลายคำ : ปรับปรุงความแม่นยำในการค้นหาโดยสร้างคำค้นหาที่เกี่ยวข้องหลายคำสำหรับการป้อนข้อมูลของผู้ใช้แต่ละคน
• การจัดอันดับใหม่อย่างชาญฉลาด : ใช้ API การจัดอันดับใหม่ของ Cohere เพื่อปรับปรุงความเกี่ยวข้องของผลการค้นหา
• - การตอบสนองที่ขับเคลื่อนด้วย AI : ผสานรวมกับ Claude 3.5 Sonnet เพื่อสร้างการตอบสนองที่เหมือนมนุษย์และคำนึงถึงบริบท
• - พรอมต์ระบบแบบไดนามิก : สรุปเอกสารที่ฝังไว้โดยอัตโนมัติเพื่อปรับปรุงการตัดสินใจของ RAG

สแต็คทางเทคนิค

• แบ็กเอนด์ : Python/FastAPI
• พื้นที่จัดเก็บ :
  • Supabase (รับรองความถูกต้อง/ข้อมูล)
  • ChromaDB (เวกเตอร์)
  • Redis (คิว/เรียลไทม์)
• เอไอ/เอ็มแอล :
  • การฝังข้อความ OpenAI-3-small (การฝัง)
  • Anthropic Claude 3.5 โคลง (แชท)
  • Cohere (อันดับใหม่)
• UI : Chainlit
• เพิ่มเติม : tiktoken, pydantic, pytest, ruff

เริ่มต้นอย่างรวดเร็ว

1. โคลนที่เก็บ:

   git clone https://github.com/alexander-zuev/kollektiv.git
   cd kollektiv

2. ตั้งค่าตัวแปรสภาพแวดล้อม: สร้างไฟล์ .env ในรูทโปรเจ็กต์โดยดำเนินการดังนี้:

   FIRECRAWL_API_KEY= " your_firecrawl_api_key "
   OPENAI_API_KEY= " your_openai_api_key "
   ANTHROPIC_API_KEY= " your_anthropic_api_key "
   COHERE_API_KEY= " your_cohere_api_key "

3. ติดตั้งการพึ่งพา:

   poetry install

4. เรียกใช้แอปพลิเคชัน:

   poetry run kollektiv 

การใช้งาน

1. เริ่มแอปพลิเคชัน:

    # Run both API and Chainlit UI
   poetry run kollektiv
   
   # Or run only Chainlit UI
   chainlit run main.py

2. เพิ่มเอกสารประกอบ:

   @docs add https://your-docs-url.com

   ระบบจะแนะนำคุณผ่าน:

   • การตั้งค่าความลึกของการรวบรวมข้อมูล
   • การเพิ่มรูปแบบการยกเว้น (ไม่บังคับ)
   • การประมวลผลและการฝังเนื้อหา

3. จัดการเอกสาร:

   @docs list                  # List all documents
   @docs remove [ID]          # Remove a document
   @help                      # Show all commands

4. แชทด้วยเอกสารประกอบ: เพียงถามคำถามในภาษาธรรมชาติ ระบบจะ:

   • ค้นหาเอกสารที่เกี่ยวข้อง
   • จัดอันดับผลลัพธ์ใหม่เพื่อความแม่นยำ
   • สร้างการตอบสนองตามบริบท

? ข้อจำกัดในปัจจุบัน

• ไม่รองรับเนื้อหารูปภาพ (การฝังแบบข้อความเท่านั้น)
• ไม่มีการจัดทำดัชนีเอกสารซ้ำโดยอัตโนมัติ
• การตรวจสอบความถูกต้องของ URL จำกัดอยู่เพียงรูปแบบทั่วไป
• รูปแบบการยกเว้นต้องขึ้นต้นด้วย /

️โรดแมป

สำหรับแผนงานโดยย่อ โปรดดูที่หน้าวิกิโครงการ

- ตัวชี้วัดประสิทธิภาพ

ขณะนี้การประเมินเสร็จสิ้นโดยใช้ห้องสมุด ragas มีการประเมิน 2 ส่วนสำคัญ:

1. รุ่นเอนด์ทูเอนด์
   • ความซื่อสัตย์
   • ตอบความเกี่ยวข้อง
   • ตอบความถูกต้อง
2. รีทรีฟเวอร์ (TBD)
   • การเรียกคืนบริบท
   • ความแม่นยำของบริบท

ใบอนุญาต

kollektiv ได้รับอนุญาตภายใต้ Apache License 2.0 เวอร์ชันแก้ไข แม้ว่าจะอนุญาตให้นำไปใช้ฟรี ดัดแปลง และแจกจ่ายเพื่อวัตถุประสงค์ที่ไม่ใช่เชิงพาณิชย์ แต่การใช้งานเชิงพาณิชย์ใดๆ จะต้องได้รับอนุญาตอย่างชัดแจ้งจากเจ้าของลิขสิทธิ์

• สำหรับการใช้ที่ไม่ใช่เชิงพาณิชย์: คุณมีอิสระในการใช้ แก้ไข และแจกจ่ายซอฟต์แวร์นี้ภายใต้เงื่อนไขของ Apache License 2.0
• สำหรับใช้ในเชิงพาณิชย์: โปรดติดต่อ [email protected] เพื่อขอรับใบอนุญาตเชิงพาณิชย์

ดูไฟล์ใบอนุญาตสำหรับข้อความใบอนุญาตฉบับเต็มและเงื่อนไขเพิ่มเติม

ประกาศเปลี่ยนชื่อโครงการ

โครงการนี้เปลี่ยนชื่อจาก OmniClaude เป็น kollektiv เป็น:

• หลีกเลี่ยงความสับสน / การละเมิดลิขสิทธิ์ของ Anthropic โดยไม่ได้ตั้งใจ
• เน้นย้ำเป้าหมายที่จะเป็นเครื่องมือในการเสริมสร้างความร่วมมือผ่านการเข้าถึงความรู้ที่ง่ายขึ้น
• ชื่อเท่ๆโดยรวม(ใช่มั้ย?)

หากคุณมีคำถามใดๆ เกี่ยวกับการเปลี่ยนชื่อ โปรดติดต่อเรา

รับทราบ

• FireCrawl สำหรับการรวบรวมข้อมูลเว็บที่ยอดเยี่ยม
• Chroma DB เพื่อการจัดเก็บและเรียกค้นเวกเตอร์ที่ง่ายดาย
• มานุษยวิทยาสำหรับ Claude 3.5 Sonnet
• OpenAI สำหรับการฝังข้อความ
• เชื่อมโยงกันเพื่อจัดอันดับความสามารถใหม่

- สนับสนุน

หากมีคำถามหรือปัญหาใดๆ โปรดเปิดประเด็น

---

สร้างด้วย ❤️ โดย AZ