instinct.cpp

本能.cpp

instinct.cppは、LLM を利用したアプリケーションを開発するためのツールキットです。

このプロジェクトは現在鋭意開発中であり、最初のメジャー リリースの GA 段階にはまだ達していません。詳細については、「ロードマップ」セクションを参照してください。

特徴

instinct.cpp提供するもの:

• すぐに使えるアプリケーション。
  • アシスタント API サーバー: OpenAI のアシスタント API と完全な互換性のあるエージェント サービス。
    • mini-assistant-api: ベクトル データベースとその他の依存関係がバンドルされた単一ノード デプロイメント用の単一バイナリ。
    • mighty-assistant-api : ( WIP ) 分散コンポーネントとマルチテナントのサポートにより拡張性の高いクラウド ネイティブ実装。
  • chat-agent: ドキュメント (PDF、TXT、MD など) を使用してナレッジ インデックスを作成し、 OpenAI ChatCompletionと完全に互換性のある HTTP サーバーを起動する CLI アプリケーション。
• LLM ベースのアプリケーションを構築するためのフレームワーク。 langchain.cppと言ってください。
  • プライバシー最優先の LLM プロバイダーのための統合: Ollama と、vllm、llama.cpp サーバー、nitro などの他の OpenAI 互換 API サービスのサポートが組み込まれています。
  • チャットボット、RAG、LLM エージェントなどの一般的なアプリケーション パターンのビルディング ブロック。
  • コンポーザブル LLM パイプライン用の機能チェーン コンポーネント。
  • エージェント パターン: ReACT、OpenAI ベースのツール エージェント、LLMCompiler など

ユーザーガイド

組み込みアプリケーションの場合:

• ミニアシスタント API
• ドキュメントエージェント

ライブラリ自体の場合:

• 本能.cpp ライブラリ

ロードマップ

完全なプロジェクト計画はプロジェクト カンバンで追跡されます。

マイルストーン	特徴	DDL
v0.1.0	ロング/ショート メモリ、PDF/TXT/DOCX インジェスター、 Chainプログラミング パラダイム、RAG リファレンス アプリdoc-agent	3.29
v0.1.1	パフォーマンスチューニング、RAG評価、関数呼び出しエージェント	4.16
v0.1.2	OpenAI Assistant API の初期実装、単一バイナリのリファレンス アプリmini-assistant	4.30
v0.1.3	* mini-assistant : オープンソース LLM を使用したツール呼び出し	5.17
v0.1.4	* doc-agent : モデルの再ランク付け * mini-assistant : file-searchツールのサポート。	6.18 6.14
v0.1.5	全体最適化	6.30
v0.1.6	mini-assistantのcode-interpreter	7.15

貢献は大歓迎です！ discordサーバーに参加するか、メールで連絡してください。

謝辞

このプロジェクトは、素晴らしいプロジェクトをフォローすることなしには実現できませんでした。

• bshoshany スレッドプール
• Base64
• チャットllm.cpp
• 同時実行キュー
• cpptrace
• コルスガイド
• cpp-httplib
• アヒル
• アヒルDB
• エキスプトク
• fmt
• fmtlog
• ハッシュライブラリ
• icu
• インジャ
• リブカール
• ラマ.cpp
• nlohmann_json
• プロトブフ
• プシジウム
• リアクティブプラスプラス
• tsl 順序付けマップ
• ユニパーサー

そして、以下から共有されたトレーニング チェックポイントに感謝します。

• https://huggingface.co/BAAI/bge-m3
• https://huggingface.co/BAAI/bge-reranker-v2-m3

リストはアルファベット順にソートされます。