instinct.cpp

instinto.cpp

instinct.cpp é um kit de ferramentas para o desenvolvimento de aplicativos baseados em LLM.

Este projeto está em desenvolvimento ativo e não atingiu o estágio GA do primeiro grande lançamento. Veja mais na seção Roteiro.

Características

O que instinct.cpp oferece:

• Aplicativos que estão funcionando imediatamente.
  • Servidor API Assistant: serviço de agente totalmente compatível com a API Assistant da OpenAI.
    • mini-assistant-api: Binário único para implantação de nó único com banco de dados vetorial e outras dependências agrupadas.
    • mighty-assistant-api : ( WIP ) Uma implementação nativa da nuvem que é altamente escalonável com componentes distribuídos e suporte multilocatário.
  • chat-agent: Um aplicativo CLI que cria índice de conhecimento com seus documentos (PDF, TXT, MD,...) e inicia um servidor HTTP totalmente compatível com OpenAI ChatCompletion .
• Frameworks para construir aplicativos baseados em LLM. Diga langchain.cpp .
  • Integração para provedores de LLM que priorizam a privacidade: suporte integrado para Ollama e outros serviços de API compatíveis com OpenAI, como vllm, servidor llama.cpp, nitro e muito mais.
  • Blocos de construção para padrões de aplicativos comuns como Chatbot, RAG, LLM Agent.
  • Componentes de encadeamento funcional para pipelines LLM combináveis.
  • Padrões de agente: ReACT, agente de ferramenta baseado em OpenAI, LLMCompiler, ...

Guias do usuário

Para aplicativos integrados:

• mini-assistente-api
• agente-documento

Para a própria biblioteca:

• biblioteca instinto.cpp

Roteiro

O plano completo do projeto é rastreado no Projeto kanban.

Marco	Características	DDL
v0.1.0	Memória longa-curta, ingeridor de PDF/TXT/DOCX, paradigma de programação Chain , doc-agent de aplicativo de referência RAG	3.29
v0.1.1	Ajuste de desempenho, avaliação RAG, agente de chamada de função	4.16
v0.1.2	Implementação inicial da API OpenAI Assistant, mini-assistant de aplicativo de referência binária única	16h30
v0.1.3	* mini-assistant : chamadas de ferramentas com LLMs de código aberto	5.17
v0.1.4	* doc-agent : modelo de reclassificação * mini-assistant : suporte para ferramenta file-search .	6.18 6.14
v0.1.5	Otimização geral	6h30
v0.1.6	code-interpreter no mini-assistant	7h15

Contribuições são bem-vindas! Você pode entrar no servidor discord ou entrar em contato comigo por e-mail.

Agradecimentos

Este projeto não poderia ser possível sem seguir projetos incríveis.

• pool de threads bshoshany
• base64
• chatllm.cpp
• fila simultânea
• cpptrace
• corssguid
• cpp-httplib
• patox
• PatoDB
• exrtk
• fmt
• fmtlog
• biblioteca_hash
• UTI
• inja
• libcurl
• lhama.cpp
• nlohmann_json
• protobuf
• pdfium
• reativoplusplus
• mapa ordenado por tsl
• analisador universo

E muito obrigado aos pontos de verificação de treinamento compartilhados de:

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

As listas são classificadas em ordem alfabética.