instinct.cpp

本能.cpp

instinct.cpp是用於開發 LLM 支援的應用程式的工具包。

該專案正在積極開發中，尚未達到第一個主要版本的 GA 階段。請參閱路線圖部分以了解更多資訊。

特徵

instinct.cpp提供什麼：

• 開箱即用的應用程式。
  • Assistant API伺服器：與OpenAI的Assistant API完全相容的Agent服務。
    • mini-assistant-api：用於單節點部署的單一二進位文件，捆綁了向量資料庫和其他依賴項。
    • mighty-assistant-api ：（ WIP ）一種雲端原生實現，具有分散式元件和多租戶支持，可高度擴展。
  • chat-agent：一個 CLI 應用程序，可使用您的文件（PDF、TXT、MD...）建立知識索引，並啟動與 OpenAI ChatCompletion完全相容的 HTTP 伺服器。
• 用於建立基於 LLM 的應用程式的框架。說langchain.cpp 。
  • 與隱私優先的 LLM 提供者整合：內建支援 Ollama 和其他 OpenAI 相容 API 服務，例如 vllm、llama.cpp 伺服器、硝基等。
  • 常見應用程式模式（如聊天機器人、RAG、LLM 代理）的構建塊。
  • 用於可組合 LLM 管路的功能鏈組件。
  • 代理模式：ReACT、基於 OpenAI 的工具代理、LLMCompiler...

使用者指南

對於內建應用程式：

• 迷你助理 API
• 文件代理

對於圖書館本身：

• 本能.cpp庫

路線圖

完整的專案計劃在專案看板中進行追蹤。

里程碑	特徵	資料定義語言
v0.1.0	長短記憶、PDF/TXT/DOCX 攝取器、 Chain編程範例、RAG 參考應用程式doc-agent	3.29
v0.1.1	效能調優、RAG 評估、函數呼叫代理	4.16
v0.1.2	OpenAI Assistant API初步實現，單二進位參考app mini-assistant	4.30
v0.1.3	* mini-assistant ：使用開源法學碩士進行工具調用	5.17
v0.1.4	* doc-agent : 重新排序模型 * mini-assistant ： file-search工具支援。	6.18 6.14
v0.1.5	整體最佳化	6.30
v0.1.6	mini-assistant中的code-interpreter	7.15

歡迎貢獻！您可以加入不和諧伺服器，或透過電子郵件與我聯繫。

致謝

如果沒有後續出色的項目，這個項目就不可能實現。

• bshoshany 線程池
• 64位基數
• 聊天室.cpp
• 並發隊列
• cpptrace
• 座標引導
• cpp-httplib
• 鴨子
• 鴨資料庫
• 表達式
• FMMT
• 日誌記錄
• 哈希庫
• 重症加護病房
• 因賈
• 庫捲曲
• 駱駝.cpp
• nlohmann_json
• 原始緩衝區
• pdfium
• 反應式加式
• tsl 有序映射
• 單解析器

非常感謝以下機構的共享培訓檢查點：

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

列表按字母順序排序。