instinct.cpp

instinto.cpp

instinct.cpp es un conjunto de herramientas para desarrollar aplicaciones basadas en LLM.

Este proyecto está en desarrollo activo y no ha llegado a la etapa GA del primer lanzamiento importante. Ver más en la sección Hoja de ruta.

Características

Qué ofrece instinct.cpp :

• Aplicaciones que funcionan de inmediato.
  • Servidor API Asistente: Servicio de agente que es totalmente compatible con la API Asistente de OpenAI.
    • mini-assistant-api: binario único para implementación de un solo nodo con base de datos vectorial y otras dependencias incluidas.
    • mighty-assistant-api : ( WIP ) Una implementación nativa de la nube que es altamente escalable con componentes distribuidos y soporte para múltiples inquilinos.
  • agente de chat: una aplicación CLI que crea un índice de conocimiento con sus documentos (PDF, TXT, MD,...) e inicia un servidor HTTP que es totalmente compatible con OpenAI ChatCompletion .
• Marcos para construir aplicaciones basadas en LLM. Dígalo langchain.cpp .
  • Integración para proveedores de LLM que priorizan la privacidad: soporte integrado para Ollama y otros servicios API compatibles con OpenAI como vllm, servidor llama.cpp, nitro y más.
  • Bloques de construcción para patrones de aplicaciones comunes como Chatbot, RAG, LLM Agent.
  • Componentes de encadenamiento funcional para canalizaciones LLM componibles.
  • Patrones de agentes: ReACT, agente de herramientas basado en OpenAI, LLMCompiler, ...

Guías de usuario

Para aplicaciones integradas:

• mini-asistente-api
• agente-doc

Para la biblioteca misma:

• biblioteca instinto.cpp

Hoja de ruta

El plan completo del proyecto se rastrea en el Kanban del proyecto.

Hito	Características	DDL
v0.1.0	Memoria larga y corta, ingestador de PDF/TXT/DOCX, paradigma de programación Chain , doc-agent de la aplicación de referencia RAG	3.29
v0.1.1	Ajuste del rendimiento, evaluación RAG, agente de llamada de funciones	4.16
v0.1.2	Implementación inicial de la API OpenAI Assistant, mini-assistant de aplicación de referencia binaria única	4.30
v0.1.3	* mini-assistant : llamadas de herramientas con LLM de código abierto	5.17
v0.1.4	* doc-agent : modelo de reordenación * mini-assistant : soporte de herramienta file-search .	6.18 6.14
v0.1.5	Optimización general	6.30
v0.1.6	code-interpreter en mini-assistant	7.15

¡Las contribuciones son bienvenidas! Puedes unirte al servidor de Discord o contactarme por correo electrónico.

Expresiones de gratitud

Este proyecto no podría ser posible sin seguir proyectos increíbles.

• bshoshany-grupo de subprocesos
• base64
• chatllm.cpp
• cola concurrente
• cpptraza
• guía cruzada
• cpp-httplib
• patox
• PatoDB
• exprtk
• fmt
• fmtlog
• biblioteca_hash
• uci
• inja
• libcurl
• llama.cpp
• nlohmann_json
• protobuf
• pdfio
• reactivaplusplus
• mapa-ordenado-tsl
• uniparser

Y muchas gracias a los puntos de control de capacitación compartidos de:

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

Las listas están ordenadas alfabéticamente.