gpt4all.unity

gpt4all.unity

这是 gpt4all 的 Unity3d 绑定。它提供在本地计算机上运行的大型语言模型 (LLM) 的高性能推理。

此绑定使用过时版本的 gpt4all。它们不支持最新的模型架构和量化。这是我测试过的模型列表。有关更多信息，请检查此问题。

主要特点：

• 基于聊天的法学硕士，可用于 NPC 和虚拟助理
• 商业和非商业用途的不同尺寸型号
• 基于 CPU 的快速推理
• 在没有互联网连接的本地用户设备上运行
• 免费和开源

支持的平台：

• Windows (x86_64)
• MacOS（英特尔和 ARM）
• Linux
• iOS系统
• 安卓
• 网页GL

样品

矮人.mp4

“mpt-7b-chat”模型，使用 M1 Pro 在 Macbook 上角色扮演矮人 NPC

入门

克隆此存储库并将其作为常规 Unity 项目打开。它应该从 Unity 2019.4 LTS 开始运行。

或者，您可以将此存储库作为Unity Package添加到现有项目中。通过此 git URL 将其添加到您的 Unity 包管理器：

 https://github.com/Macoron/gpt4all.unity.git?path=/Packages/com.gpt4all.unity

下载模型权重

您需要下载模型权重才能使用该库。您可以在此处找到官方支持的 gpt4all 型号的完整列表及其下载链接。

有些模型不能用于商业项目或有其他限制。在您的项目中使用它们之前检查它们的许可证。

下载模型后，将其放入StreamingAssets/Gpt4All文件夹并更新LlmManager组件中的路径。

以下是我在 Unity 中测试过的模型：

• mpt-7b-chat [许可证：cc-by-nc-sa-4.0]
• mpt-7b-instruct [许可证：cc-by-sa-3.0]
• mpt-7b-base [许可证：apache-2.0]
• gpt4all-j-v1.3-groovy [许可证：apache-2.0]
• gpt4all-l13b-snoozy

从源代码编译 C++ 库

待定

执照

该项目已获得 MIT 许可证的许可。

它使用 gpt4all 和 llama.cpp 的编译库，这些库也在 MIT 许可下。

模型不包含在此存储库中。请联系原始模型创建者以了解有关其许可证的更多信息。