instinct.cpp

สัญชาตญาณ.cpp

instinct.cpp เป็นชุดเครื่องมือสำหรับพัฒนาแอปพลิเคชันที่ขับเคลื่อนด้วย LLM

โปรเจ็กต์นี้อยู่ระหว่างการพัฒนาและยังไม่ถึงขั้น GA ของการเปิดตัวครั้งใหญ่ครั้งแรก ดูเพิ่มเติมที่ส่วนแผนงาน

คุณสมบัติ

ข้อเสนอของ instinct.cpp คืออะไร:

• แอปพลิเคชันที่ทำงานนอกกรอบ
  • เซิร์ฟเวอร์ Assistant API: บริการตัวแทนที่เข้ากันได้กับ Assistant API ของ OpenAI โดยสมบูรณ์
    • mini-assistant-api: ไบนารีเดี่ยวสำหรับการปรับใช้โหนดเดียวพร้อมฐานข้อมูลเวกเตอร์และการอ้างอิงอื่น ๆ ที่รวมเข้าด้วยกัน
    • mighty-assistant-api : ( WIP ) การใช้งานแบบคลาวด์เนทีฟที่สามารถปรับขนาดได้สูงด้วยส่วนประกอบแบบกระจายและการสนับสนุนหลายผู้เช่า
  • chat-agent: แอปพลิเคชัน CLI ที่สร้างดัชนีความรู้ด้วยเอกสารของคุณ (PDF, TXT, MD, ... ) และเปิดใช้งานเซิร์ฟเวอร์ HTTP ที่เข้ากันได้กับ OpenAI ChatCompletion อย่างสมบูรณ์
• กรอบงานเพื่อสร้างแอปพลิเคชันที่ใช้ LLM พูดเลย langchain.cpp
  • การบูรณาการสำหรับผู้ให้บริการ LLM ที่เน้นความเป็นส่วนตัวเป็นหลัก: การสนับสนุนในตัวสำหรับ Ollama และบริการ API ที่รองรับ OpenAI อื่นๆ เช่น vllm, เซิร์ฟเวอร์ llama.cpp, nitro และอื่นๆ อีกมากมาย
  • Building Block สำหรับรูปแบบแอปพลิเคชันทั่วไป เช่น Chatbot, RAG, LLM Agent
  • ส่วนประกอบการต่อสายการทำงานสำหรับไปป์ไลน์ LLM ที่ประกอบได้
  • รูปแบบเอเจนต์: ReACT, เอเจนต์เครื่องมือที่ใช้ OpenAI, LLMCompiler, ...

คู่มือผู้ใช้

สำหรับแอปพลิเคชันในตัว:

• ผู้ช่วยขนาดเล็ก API
• ตัวแทนเอกสาร

สำหรับห้องสมุดเอง:

• ไลบรารี instinct.cpp

แผนการทำงาน

มีการติดตามแผนโครงการที่สมบูรณ์ที่โครงการคัมบัง

เหตุการณ์สำคัญ	คุณสมบัติ	ดีดีแอล
เวอร์ชัน 0.1.0	หน่วยความจำแบบสั้นแบบยาว, ตัวนำเข้า PDF/TXT/DOCX, กระบวนทัศน์การเขียนโปรแกรม Chain , แอปอ้างอิง RAG doc-agent	3.29
เวอร์ชัน 0.1.1	การปรับแต่งประสิทธิภาพ, การประเมิน RAG, เอเจนต์การเรียกใช้ฟังก์ชัน	4.16
เวอร์ชัน 0.1.2	การใช้งานเริ่มต้นของ OpenAI Assistant API, mini-assistant ของแอปอ้างอิงไบนารีเดี่ยว	4.30
เวอร์ชัน 0.1.3	* mini-assistant : การเรียกใช้เครื่องมือด้วย LLM แบบโอเพ่นซอร์ส	5.17
เวอร์ชัน 0.1.4	* doc-agent : จัดอันดับโมเดลใหม่ * mini-assistant : รองรับเครื่องมือ file-search	6.18 6.14
เวอร์ชัน 0.1.5	การเพิ่มประสิทธิภาพโดยรวม	6.30 น
เวอร์ชัน 0.1.6	code-interpreter ใน mini-assistant	7.15

ยินดีบริจาค! คุณสามารถเข้าร่วมเซิร์ฟเวอร์ Discord หรือติดต่อฉันทางอีเมล

รับทราบ

โครงการนี้เป็นไปไม่ได้หากไม่ได้ติดตามโครงการที่ยอดเยี่ยม

• bshoshany-เธรดพูล
• ฐาน64
• chatllm.cpp
• คิวพร้อมกัน
• ซีพีเทรซ
• คอร์สกิด
• cpp-httplib
• เป็ดx
• ดั๊กดีบี
• ส่งออก
• เอฟเอ็มที
• fmtlog
• hash_library
• ห้องไอซียู
• อินจา
• libcurl
• llama.cpp
• nlohmann_json
• โปรโตบุฟ
• พีเดียม
• ปฏิกิริยาพลัสพลัส
• แผนที่ที่สั่ง tsl
• ยูนิพาร์เซอร์

และขอขอบคุณจุดตรวจร่วมการฝึกอบรมจาก:

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

รายการจะถูกจัดเรียงตามตัวอักษร