instinct.cpp

insting.cpp

instinct.cpp adalah perangkat untuk mengembangkan aplikasi yang didukung LLM.

Proyek ini sedang dalam pengembangan aktif dan belum mencapai tahap GA dari rilis besar pertama. Lihat selengkapnya di bagian Peta Jalan.

Fitur

Apa yang ditawarkan instinct.cpp :

• Aplikasi yang bekerja secara out-of-box.
  • Server API Asisten: Layanan agen yang sepenuhnya kompatibel dengan API Asisten OpenAI.
    • mini-assistant-api: Biner tunggal untuk penerapan node tunggal dengan basis data vektor dan paket dependensi lainnya.
    • mighty-assistant-api : ( WIP ) Implementasi cloud native yang sangat skalabel dengan komponen terdistribusi dan dukungan multi-tenant.
  • agen obrolan: Aplikasi CLI yang membuat indeks pengetahuan dengan dokumen Anda (PDF,TXT,MD,...) dan meluncurkan server HTTP yang sepenuhnya kompatibel dengan OpenAI ChatCompletion .
• Framework untuk membangun aplikasi berbasis LLM. Ucapkan langchain.cpp .
  • Integrasi untuk penyedia LLM yang mengutamakan privasi: Dukungan bawaan untuk Ollama dan layanan API lain yang kompatibel dengan OpenAI seperti vllm, server llama.cpp, nitro, dan lainnya.
  • Blok penyusun untuk pola aplikasi umum seperti Chatbot, RAG, Agen LLM.
  • Komponen rangkaian fungsional untuk saluran pipa LLM yang dapat disusun.
  • Pola agen: ReACT, agen alat berbasis OpenAI, LLMCompiler, ...

Panduan Pengguna

Untuk aplikasi bawaan:

• mini-asisten-api
• agen dokumen

Untuk perpustakaan itu sendiri:

• perpustakaan naluri.cpp

Peta jalan

Rencana proyek lengkap dilacak di Proyek kanban.

Tonggak pencapaian	Fitur	HAL-HAL
v0.1.0	Memori panjang-pendek, penyerapan PDF/TXT/DOCX, paradigma pemrograman Chain , doc-agent aplikasi referensi RAG	3.29
v0.1.1	Penyetelan kinerja, evaluasi RAG, Agen pemanggil fungsi	4.16
v0.1.2	Implementasi awal OpenAI Assistant API, mini-assistant aplikasi referensi biner tunggal	4.30
v0.1.3	* mini-assistant : panggilan alat dengan LLM sumber terbuka	5.17
v0.1.4	* doc-agent : mengubah peringkat model * mini-assistant : dukungan alat file-search .	6.18 6.14
v0.1.5	Pengoptimalan keseluruhan	6.30
v0.1.6	code-interpreter di mini-assistant	7.15

Kontribusi disambut baik! Anda dapat bergabung dengan server perselisihan, atau menghubungi saya melalui email.

Ucapan Terima Kasih

Proyek ini tidak mungkin terwujud tanpa mengikuti proyek-proyek luar biasa.

• bshoshany-benang-kolam
• base64
• chatllm.cpp
• antrian bersamaan
• cpptrace
• pemandu silang
• cpp-httplib
• bebekx
• BebekDB
• exprtk
• fmt
• fmtlog
• perpustakaan_hash
• icu
• inja
• libcurl
• llama.cpp
• nlohmann_json
• protobuf
• pdfium
• reaktifplusplus
• tsl-order-map
• uniparser

Dan terima kasih banyak atas pos pemeriksaan pelatihan bersama dari:

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

Daftar diurutkan berdasarkan abjad.