gpt4all.unity

gpt4all.unity

Il s'agit des liaisons Unity3d pour gpt4all. Il fournit une inférence hautes performances de grands modèles de langage (LLM) exécutés sur votre ordinateur local.

Ces liaisons utilisent une version obsolète de gpt4all. Ils ne prennent pas en charge les dernières architectures et quantifications de modèles. Voici une liste des modèles que j'ai testés. Pour plus d’informations, consultez ce problème.

Principales caractéristiques :

• LLM basé sur le chat qui peut être utilisé pour les PNJ et les assistants virtuels
• Modèles de différentes tailles pour usage commercial et non commercial
• Inférence rapide basée sur le processeur
• Fonctionne sur l'appareil des utilisateurs locaux sans connexion Internet
• Gratuit et open source

Plateformes prises en charge :

• Windows (x86_64)
• MacOS (Intel et ARM)
• Linux
• IOS
• Androïde
• WebGL

Échantillons

nain.mp4

Modèle "mpt-7b-chat", jeu de rôle PNJ nain sur Macbook avec M1 Pro

Commencer

Clonez ce référentiel et ouvrez-le en tant que projet Unity standard. Il devrait fonctionner à partir de Unity 2019.4 LTS.

Vous pouvez également ajouter ce référentiel à votre projet existant en tant que package Unity . Ajoutez-le via cette URL git à votre gestionnaire de packages Unity :

 https://github.com/Macoron/gpt4all.unity.git?path=/Packages/com.gpt4all.unity

Téléchargement des poids du modèle

Vous devrez télécharger les poids des modèles pour pouvoir utiliser cette bibliothèque. Vous pouvez trouver la liste complète des modèles gpt4all officiellement pris en charge et leurs liens de téléchargement ici.

Certains modèles ne peuvent pas être utilisés pour des projets commerciaux ou comportent d'autres restrictions. Vérifiez leurs licences avant de les utiliser dans votre projet.

Après avoir téléchargé le modèle, placez-le dans le dossier StreamingAssets/Gpt4All et le chemin de mise à jour dans le composant LlmManager .

Voici les modèles que j'ai testés dans Unity :

• mpt-7b-chat [licence : cc-by-nc-sa-4.0]
• mpt-7b-instruct [licence : cc-by-sa-3.0]
• mpt-7b-base [licence : apache-2.0]
• gpt4all-j-v1.3-groovy [licence : apache-2.0]
• gpt4all-l13b-snoozy

Compilation des bibliothèques C++ à partir des sources

À déterminer

Licence

Ce projet est sous licence MIT.

Il utilise les bibliothèques compilées de gpt4all et llama.cpp qui sont également sous licence MIT.

Les modèles ne sont pas inclus dans ce référentiel. Veuillez contacter les créateurs de modèles originaux pour en savoir plus sur leurs licences.