instinct.cpp

instinct.cpp

instinct.cpp ist ein Toolkit zur Entwicklung von LLM-basierten Anwendungen.

Dieses Projekt befindet sich in der aktiven Entwicklung und hat noch nicht das GA-Stadium der ersten Hauptversion erreicht. Weitere Informationen finden Sie im Abschnitt „Roadmap“.

Merkmale

Was instinct.cpp bietet:

• Anwendungen, die sofort einsatzbereit sind.
  • Assistant-API-Server: Agent-Dienst, der vollständig mit der Assistant-API von OpenAI kompatibel ist.
    • mini-assistant-api: Einzelne Binärdatei für die Bereitstellung auf einem einzelnen Knoten mit gebündelter Vektordatenbank und anderen Abhängigkeiten.
    • mighty-assistant-api : ( WIP ) Eine Cloud-native Implementierung, die mit verteilten Komponenten und mandantenfähiger Unterstützung hoch skalierbar ist.
  • chat-agent: Eine CLI-Anwendung, die einen Wissensindex mit Ihren Dokumenten (PDF, TXT, MD,...) erstellt und einen HTTP-Server startet, der vollständig mit OpenAI ChatCompletion kompatibel ist.
• Frameworks zum Erstellen von LLM-basierten Anwendungen. Sag es langchain.cpp .
  • Integration für datenschutzorientierte LLM-Anbieter: Integrierte Unterstützung für Ollama und andere OpenAI-kompatible API-Dienste wie vllm, llama.cpp-Server, Nitro und mehr.
  • Bausteine ​​für gängige Anwendungsmuster wie Chatbot, RAG, LLM Agent.
  • Funktionale Verkettungskomponenten für zusammensetzbare LLM-Pipelines.
  • Agentenmuster: ReACT, OpenAI-basierter Tool-Agent, LLMCompiler, ...

Benutzerhandbücher

Für integrierte Anwendungen:

• Mini-Assistent-API
• doc-agent

Für die Bibliothek selbst:

• instinct.cpp-Bibliothek

Roadmap

Der vollständige Projektplan wird im Projekt-Kanban verfolgt.

Meilenstein	Merkmale	DDL
v0.1.0	Lang-Kurz-Speicher, PDF/TXT/DOCX-Ingestor, Chain , RAG-Referenz-App- doc-agent	3.29
v0.1.1	Leistungsoptimierung, RAG-Bewertung, Funktionsaufruf-Agent	4.16
v0.1.2	Erste Implementierung der OpenAI Assistant API, mini-assistant für eine einzelne binäre Referenz-App	4.30
v0.1.3	* mini-assistant : Tool-Aufrufe mit Open-Source-LLMs	5.17
v0.1.4	* doc-agent : Modell neu einordnen * mini-assistant : Unterstützung für file-search .	6.18 6.14
v0.1.5	Gesamtoptimierung	6.30 Uhr
v0.1.6	code-interpreter im mini-assistant	7.15

Beiträge sind willkommen! Sie können dem Discord-Server beitreten oder mich per E-Mail kontaktieren.

Danksagungen

Dieses Projekt wäre ohne die Verfolgung großartiger Projekte nicht möglich.

• bshoshany-thread-pool
• base64
• chatllm.cpp
• gleichzeitige Warteschlange
• cpptrace
• corssguid
• cpp-httplib
• duckx
• DuckDB
• exprtk
• fmt
• fmtlog
• hash_library
• icu
• inja
• libcurl
• lama.cpp
• nlohmann_json
• protobuf
• pdfium
• reaktivplusplus
• tsl-ordered-map
• Uniparser

Und vielen Dank an die gemeinsamen Trainings-Checkpoints von:

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

Die Listen sind alphabetisch sortiert.