gpt4all.unity

gpt4all.unity

Это привязки Unity3d для gpt4all. Он обеспечивает высокопроизводительный вывод больших языковых моделей (LLM), работающих на вашем локальном компьютере.

Эти привязки используют устаревшую версию gpt4all. Они не поддерживают архитектуры последних моделей и квантование. Вот список моделей, которые я тестировал. Для получения дополнительной информации проверьте эту проблему.

Основные особенности:

• LLM на основе чата, который можно использовать для неигровых персонажей и виртуальных помощников.
• Модели разных размеров для коммерческого и некоммерческого использования.
• Быстрый вывод на основе ЦП
• Запускается на устройстве локального пользователя без подключения к Интернету.
• Бесплатный и с открытым исходным кодом

Поддерживаемые платформы:

• Windows (x86_64)
• MacOS (Intel и ARM)
• Линукс
• iOS
• Андроид
• ВебГЛ

Образцы

гном.mp4

Модель «mpt-7b-chat», играющая роль NPC-гнома на Macbook с M1 Pro.

Начиная

Клонируйте этот репозиторий и откройте его как обычный проект Unity. Он должен работать, начиная с Unity 2019.4 LTS.

Альтернативно вы можете добавить этот репозиторий в существующий проект как пакет Unity . Добавьте его по этому URL-адресу git в свой диспетчер пакетов Unity:

 https://github.com/Macoron/gpt4all.unity.git?path=/Packages/com.gpt4all.unity

Загрузка весов моделей

Чтобы использовать эту библиотеку, вам необходимо загрузить веса моделей. Полный список официально поддерживаемых моделей gpt4all и ссылки для их скачивания можно найти здесь.

Некоторые модели не могут использоваться в коммерческих проектах или имеют другие ограничения. Проверьте их лицензии, прежде чем использовать их в своем проекте.

После загрузки модели поместите ее в папку StreamingAssets/Gpt4All и обновите путь в компоненте LlmManager .

Вот модели, которые я тестировал в Unity:

• mpt-7b-chat [лицензия: cc-by-nc-sa-4.0]
• mpt-7b-instruct [лицензия: cc-by-sa-3.0]
• mpt-7b-base [лицензия: apache-2.0]
• gpt4all-j-v1.3-groovy [лицензия: apache-2.0]
• gpt4all-l13b-snoozy

Компиляция библиотек C++ из исходников

подлежит уточнению

Лицензия

Этот проект лицензируется по лицензии MIT.

Он использует скомпилированные библиотеки gpt4all и llama.cpp, которые также находятся под лицензией MIT.

Модели не включены в этот репозиторий. Пожалуйста, свяжитесь с создателями оригинальных моделей, чтобы узнать больше об их лицензиях.