ai companion

AI コンパニオン v1

必要な機能がすべて含まれた単一の小さなバイナリです。

AI Companion は、ローカル コンピューター上で AI チャットボットを作成するための迅速、シンプル、軽量、便利な方法を提供することを目的としたプロジェクトです。外部 API やライブラリのインストールは必要なく、オペレーティング システムに対応するバイナリ ファイルをインストールするだけです。システムとデバイスを選択し、選択したモデルをダウンロードすると、LLM とチャットするための WebUI、AI キャラクターとロールプレイングするための WebUI、または AI チャットボットを必要とする他のプロジェクトの API としてツールの使用を開始できます。

このプロジェクトには、短期記憶、CUDA、OpenCL および Metal のサポート、長期記憶、対話調整、時間認識、チャットによる学習、REST API として機能する機能、文字カードの読み取り、簡単な操作など、多くのユニークな機能が含まれています。 WebUI を使用すると、データの編集、構成の編集、メッセージの送信、編集、削除が可能になります。

インストール

ここからオペレーティング システムとデバイスに適したバイナリ (例: ai-companion-windows-cuda.exe ) をダウンロードし、拡張子.ggufを持つ llm モデル (例: これ) をインストールし、次に ai-companion バイナリ ファイルを起動します。 http://localhost:3000で Web ブラウザを開くと、AI Companion WebUI が表示されます。次に、Web サイト上の歯車アイコンをクリックして、 configに移動し、 Path を大規模言語モデルに置き換えます。 (LLM)ドライブ上の.ggufモデルへのパスを指定して実行すると、コンパニオンとのチャットを開始できます。

特徴

• ローカルで動作します - 他のサービスに API キーを必要としないため、完全に無料で使用できます (まあ、電気代は別として - 何らかの方法でコンピュータが動作する必要があります)。また、インターネットが動作する必要もありません。
• プライバシー - すべての会話はローカルの SQLite データベースに保存されます。つまり、会話や AI の特性はコンピュータ上にのみ残ります。
• API - LLM、カスタム AI チャットボット、またはカスタム AI キャラクターを必要とする他のプロジェクトのバックエンドとして使用できます。
• 速度 - Rust で書かれたものは、CPU、GPU (生成を遅らせるものは何もありません)、RAM (弱い AI モデルを使用する必要はありません) に関して優れた効率を示します。
• 使いやすさ - Web ユーザー インターフェイスですべてを変更でき、すべてがマシン上で起動できる単一のバイナリ ファイルにコンパイルされます (何百もの紛らわしいファイルをいじる必要も、間違ったライブラリ/インタープリタと格闘する必要もありません) /フレームワークのバージョン)
• カスタマイズ - AI の名前、性格、外観、送信される最初のメッセージを変更できます。 AIの短期および長期記憶も変更可能
• 短期記憶 - 人工知能は最近受信/送信したメッセージを記憶します。
• 長期記憶 - AI は、長期記憶を使用して、何千回のプロンプトであっても後で会話を記憶できます - 物事をさまざまな単語、フレーズ、文、または日付と関連付けます
• リアルタイム学習 - AI とチャットするとき、AI は「思い出」を作成するだけでなく、チャットする相手について (職業は何か、食べたいもの、飲みたいものなど) を学習することができます。
• AI にカスタム データを供給 - API を使用すると、文書、記事、歌詞、詩などの断片を AI の長期メモリに保存できます。
• ロールプレイ - AI チャットボットは (有効な場合) アスタリスク (*) の間のアクションを実行できます (例:近づく、手を振るなど)
• .json または .png (キャラクター カード) 形式のキャラクター ファイルをロードできます。たとえば、このツールを使用して独自のものを作成できます
• コンパニオンのペルソナ、ダイアログ例、最初のメッセージ、およびユーザーのペルソナで {{char}} と {{user}} を使用できます (ユーザー名またはコンパニオン名を変更した場合、これらを変更する必要はありません。自動的に変更されます)
• 時間 - AI チャットボットはコンピューターから現在の時刻に関する情報を取得でき、その長期記憶は特定の会話が何日に行われたかを記憶できます。

サポートされている AI モデル

テスト済みで動作する AI モデルの小さなリスト:

• ミストラル 7B
• ゼファー 7B ベータ
• ラマ 3 8B 指示

および .gguf 形式の他の多くの LLM モデル

APIドキュメント

API ドキュメントはここにあります

ai-companionバックエンド/API/ライブラリベースのプロジェクト

• ローカル アシスタント - LLM 搭載 AI 仮想アシスタント
• マトリックス コンパニオン ボット - マトリックス プロトコルで実行される AI ベースのチャット ボット

Pythonライブラリとして利用(非推奨)

プロジェクトで ai-companion バックエンドを使用できるようにする Python ライブラリを探している場合は、ここから入手できます ai-companion-py

ソースコードからのコンパイル:

実行可能ファイルをビルドするには、次のものが必要です: Node.js と npm、Rust、cargo

ソフトウェアを CUDA、OpenCL、および Metal で動作させるには、このドキュメントの手順と同様の手順に従う必要もあります。

リポジトリの git clone を作成します。

 git clone https://github.com/Hukasx0/ai-companion

フォルダに移動します

 cd ai-companion/

ノードモジュールをインストールする

 npm i

すべてを 1 つのバイナリにコンパイルする

 npm run build-full

または

CUDA サポートを使用してすべてを 1 つのバイナリにコンパイルします

 npm run build-full-cuda

または

OpenCL サポートを使用してすべてを 1 つのバイナリにコンパイルします

 npm run build-full-opencl

または

Metal サポートを使用してすべてを 1 つのバイナリにコンパイルします

 npm run build-full-metal

(コンパイル後、バイナリは ai-companion/backend/target/release にあるはずです)

その後、インストールと同じ手順を実行します