instinct.cpp

инстинкт.cpp

instinct.cpp — это набор инструментов для разработки приложений на основе LLM.

Этот проект находится в активной разработке и еще не достиг стадии общедоступной версии первого основного выпуска. Подробности смотрите в разделе «Дорожная карта».

Функции

Что предлагает instinct.cpp :

• Приложения, работающие «из коробки».
  • Сервер Assistant API: служба агента, полностью совместимая с API Assistant OpenAI.
    • mini-assistant-api: один двоичный файл для развертывания на одном узле с векторной базой данных и другими зависимостями.
    • mighty-assistant-api : ( WIP ) Собственная облачная реализация с высокой масштабируемостью благодаря распределенным компонентам и поддержке нескольких арендаторов.
  • чат-агент: приложение CLI, которое создает индекс знаний с вашими документами (PDF, TXT, MD,...) и запускает HTTP-сервер, полностью совместимый с OpenAI ChatCompletion .
• Фреймворки для создания приложений на основе LLM. Скажите это langchain.cpp .
  • Интеграция для поставщиков LLM, ориентированных на конфиденциальность: встроенная поддержка Ollama и других API-сервисов, совместимых с OpenAI, таких как vllm, сервер llama.cpp, nitro и другие.
  • Строительные блоки для распространенных шаблонов приложений, таких как Chatbot, RAG, LLM Agent.
  • Компоненты функционального объединения для составных конвейеров LLM.
  • Шаблоны агентов: ReACT, инструментальный агент на основе OpenAI, LLMCompiler,…

Руководства пользователя

Для встроенных приложений:

• мини-помощник-API
• док-агент

Для самой библиотеки:

• библиотека Instinct.cpp

Дорожная карта

Полный план проекта отслеживается в Project Kanban.

Веха	Функции	ДДЛ
v0.1.0	Длинно-короткая память, приёмник PDF/TXT/DOCX, парадигма Chain программирования, doc-agent справочного приложения RAG	3.29
v0.1.1	Настройка производительности, оценка RAG, агент вызова функций	4.16
v0.1.2	Первоначальная реализация OpenAI Assistant API, mini-assistant однодвоичного эталонного приложения	4.30
v0.1.3	* mini-assistant : вызовы инструментов с помощью LLM с открытым исходным кодом.	5.17
v0.1.4	* doc-agent : изменить рейтинг модели * mini-assistant : поддержка инструмента file-search .	6.18 6.14
v0.1.5	Общая оптимизация	6.30
v0.1.6	code-interpreter в mini-assistant	7.15

Взносы приветствуются! Вы можете присоединиться к серверу Discord или связаться со мной по электронной почте.

Благодарности

Этот проект был бы невозможен без замечательных проектов.

• bshoshany-пул потоков
• база64
• чатllm.cpp
• параллельная очередь
• cpptrace
• корссгид
• cpp-httplib
• утка
• ДакДБ
• экспртк
• ФМТ
• fmtlog
• hash_library
• отделение интенсивной терапии
• инджа
• библиотека libcurl
• лама.cpp
• nlohmann_json
• протобуф
• pdfium
• реактивныйплюс
• tsl-упорядоченная карта
• унипарсер

И большое спасибо за общие контрольные точки обучения от:

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

Списки отсортированы по алфавиту.