gpt4all.unity

gpt4all.unity

これは gpt4all の Unity3d バインディングです。ローカル マシン上で実行される大規模言語モデル (LLM) の高性能推論を提供します。

このバインディングは gpt4all の古いバージョンを使用します。最新モデルのアーキテクチャと量子化はサポートされていません。以下は私がテストしたモデルのリストです。詳細については、この問題を確認してください。

主な特徴:

• NPC や仮想アシスタントに使用できるチャットベースの LLM
• 商用・非商用用の各種サイ​​ズモデル
• 高速な CPU ベースの推論
• インターネット接続なしでローカルユーザーのデバイス上で実行
• 無料でオープンソース

サポートされているプラ​​ットフォーム:

• Windows (x86_64)
• MacOS (インテルおよびARM)
• Linux
• iOS
• アンドロイド
• WebGL

サンプル

ドワーフ.mp4

「mpt-7b-chat」モデル、M1 Pro を搭載した Macbook でドワーフ NPC をロールプレイ

はじめる

このリポジトリのクローンを作成し、通常の Unity プロジェクトとして開きます。 Unity 2019.4 LTS 以降で動作するはずです。

あるいは、このリポジトリをUnity パッケージとして既存のプロジェクトに追加することもできます。この git URL を使用して Unity パッケージ マネージャーに追加します。

 https://github.com/Macoron/gpt4all.unity.git?path=/Packages/com.gpt4all.unity

モデルの重みをダウンロードする

このライブラリを使用するには、モデルの重みをダウンロードする必要があります。公式にサポートされている gpt4all モデルの完全なリストとそのダウンロード リンクはここにあります。

一部のモデルは商用プロジェクトに使用できないか、その他の制限があります。プロジェクトで使用する前にライセンスを確認してください。

モデルをダウンロードした後、それをStreamingAssets/Gpt4Allフォルダーに配置し、 LlmManagerコンポーネントのパスを更新します。

Unity でテストしたモデルは次のとおりです。

• mpt-7b-chat [ライセンス: cc-by-nc-sa-4.0]
• mpt-7b-instruct [ライセンス: cc-by-sa-3.0]
• mpt-7b-base [ライセンス: apache-2.0]
• gpt4all-j-v1.3-groovy [ライセンス: apache-2.0]
• gpt4all-l13b-snoozy

ソースからの C++ ライブラリのコンパイル

未定

ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています。

これは、同じく MIT ライセンスの下にある gpt4all と llama.cpp のコンパイル済みライブラリを使用します。

モデルはこのリポジトリには含まれません。ライセンスの詳細については、オリジナル モデルの作成者にお問い合わせください。