instinct.cpp

本能.cpp

instinct.cpp是一个用于开发 LLM 支持的应用程序的工具包。

该项目正在积极开发中，尚未达到第一个主要版本的 GA 阶段。请参阅路线图部分了解更多信息。

特征

instinct.cpp提供什么：

• 开箱即用的应用程序。
  • Assistant API服务器：与OpenAI的Assistant API完全兼容的Agent服务。
    • mini-assistant-api：用于单节点部署的单个二进制文件，捆绑了矢量数据库和其他依赖项。
    • mighty-assistant-api ：（ WIP ）一种云原生实现，具有分布式组件和多租户支持，可高度扩展。
  • chat-agent：一个 CLI 应用程序，可使用您的文档（PDF、TXT、MD...）创建知识索引，并启动与 OpenAI ChatCompletion完全兼容的 HTTP 服务器。
• 用于构建基于 LLM 的应用程序的框架。说langchain.cpp 。
  • 与隐私优先的 LLM 提供商集成：内置支持 Ollama 和其他 OpenAI 兼容 API 服务，例如 vllm、llama.cpp 服务器、硝基等。
  • 常见应用程序模式（如聊天机器人、RAG、LLM 代理）的构建块。
  • 用于可组合 LLM 管道的功能链组件。
  • 代理模式：ReACT、基于 OpenAI 的工具代理、LLMCompiler...

用户指南

对于内置应用程序：

• 迷你助手 API
• 文档代理

对于图书馆本身：

• 本能.cpp库

路线图

完整的项目计划在项目看板中进行跟踪。

里程碑	特征	数据定义语言
v0.1.0	长短记忆、PDF/TXT/DOCX 摄取器、 Chain编程范例、RAG 参考应用程序doc-agent	3.29
v0.1.1	性能调优、RAG 评估、函数调用代理	4.16
v0.1.2	OpenAI Assistant API初步实现，单二进制参考app mini-assistant	4.30
v0.1.3	* mini-assistant ：使用开源法学硕士进行工具调用	5.17
v0.1.4	* doc-agent : 重新排序模型 * mini-assistant ： file-search工具支持。	6.18 6.14
v0.1.5	整体优化	6.30
v0.1.6	mini-assistant中的code-interpreter	7.15

欢迎贡献！您可以加入不和谐服务器，或通过电子邮件与我联系。

致谢

如果没有后续出色的项目，这个项目就不可能实现。

• bshoshany 线程池
• 64位基数
• 聊天室.cpp
• 并发队列
• cpptrace
• 坐标引导
• cpp-httplib
• 鸭子
• 鸭数据库
• 表达式
• FMMT
• 日志记录
• 哈希库
• 重症监护病房
• 因贾
• 库卷曲
• 骆驼.cpp
• nlohmann_json
• 原始缓冲区
• pdfium
• 反应式加式
• tsl 有序映射
• 单解析器

非常感谢来自以下机构的共享培训检查点：

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

列表按字母顺序排序。