instinct.cpp

instinct.cpp

instinct.cpp est une boîte à outils pour développer des applications basées sur LLM.

Ce projet est en cours de développement actif et n'a pas atteint le stade GA de la première version majeure. Pour en savoir plus, consultez la section Feuille de route.

Caractéristiques

Ce que propose instinct.cpp :

• Applications qui fonctionnent immédiatement.
  • Serveur API Assistant : service d'agent entièrement compatible avec l'API Assistant d'OpenAI.
    • mini-assistant-api : binaire unique pour le déploiement d'un seul nœud avec base de données vectorielle et autres dépendances regroupées.
    • mighty-assistant-api : ( WIP ) Une implémentation cloud native hautement évolutive avec des composants distribués et une prise en charge multi-locataires.
  • chat-agent : une application CLI qui crée un index de connaissances avec vos documents (PDF,TXT,MD,...) et lance un serveur HTTP entièrement compatible avec OpenAI ChatCompletion .
• Frameworks pour créer des applications basées sur LLM. Dites-le langchain.cpp .
  • Intégration pour les fournisseurs LLM axés sur la confidentialité : prise en charge intégrée d'Ollama et d'autres services API compatibles OpenAI tels que vllm, serveur llama.cpp, nitro et plus encore.
  • Éléments de base pour les modèles d'application courants tels que Chatbot, RAG, LLM Agent.
  • Composants de chaînage fonctionnel pour les pipelines LLM composables.
  • Modèles d'agent : ReACT, agent outil basé sur OpenAI, LLMCompiler, ...

Guides de l'utilisateur

Pour les applications intégrées :

• mini-assistant-api
• doc-agent

Pour la bibliothèque elle-même :

• bibliothèque instinct.cpp

Feuille de route

Le plan de projet complet est suivi dans le kanban du projet.

Jalon	Caractéristiques	DDL
v0.1.0	Mémoire longue-courte, ingesteur PDF/TXT/DOCX, paradigme de programmation Chain , doc-agent de l'application de référence RAG	3.29
v0.1.1	Optimisation des performances, évaluation RAG, agent appelant de fonction	4.16
v0.1.2	Implémentation initiale de l'API OpenAI Assistant, mini-assistant d'application de référence monobinaire	16h30
v0.1.3	* mini-assistant : appels d'outils avec des LLM opensource	5.17
v0.1.4	* doc-agent : modèle de reclassement * mini-assistant : support de l'outil file-search .	6.18 6.14
v0.1.5	Optimisation globale	6h30
v0.1.6	code-interpreter dans mini-assistant	7h15

Les contributions sont les bienvenues ! Vous pouvez rejoindre le serveur Discord ou me contacter par e-mail.

Remerciements

Ce projet ne pourrait être possible sans suivre des projets géniaux.

• bshoshany-thread-pool
• base64
• chatllm.cpp
• file d'attente simultanée
• cpptrace
• guide corss
• cpp-httplib
• canardx
• CanardDB
• exprtk
• fmt
• journal fmt
• bibliothèque_hash
• icu
• inja
• libcurl
• lama.cpp
• nlohmann_json
• protobuf
• pdfium
• réactifplusplus
• carte-ordonnée-tsl
• analyseur uniparseur

Et un grand merci aux points de contrôle de formation partagés de :

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

Les listes sont triées par ordre alphabétique.