gpt4all.unity

gpt4all.unity

Dies sind Unity3d-Bindungen für gpt4all. Es bietet leistungsstarke Inferenz von großen Sprachmodellen (LLM), die auf Ihrem lokalen Computer ausgeführt werden.

Diese Bindungen verwenden eine veraltete Version von gpt4all. Sie unterstützen nicht die Architekturen und Quantisierung der neuesten Modelle. Hier ist eine Liste der Modelle, die ich getestet habe. Weitere Informationen finden Sie in diesem Problem.

Hauptmerkmale:

• Chatbasiertes LLM, das für NPCs und virtuelle Assistenten verwendet werden kann
• Modelle unterschiedlicher Größe für den kommerziellen und nicht-kommerziellen Einsatz
• Schnelle CPU-basierte Inferenz
• Läuft auf dem Gerät lokaler Benutzer ohne Internetverbindung
• Kostenlos und Open Source

Unterstützte Plattformen:

• Windows (x86_64)
• MacOS (Intel und ARM)
• Linux
• iOS
• Android
• WebGL

Proben

Zwerg.mp4

„mpt-7b-chat“-Modell, Rollenspiel-Zwerg-NPC auf MacBook mit M1 Pro

Erste Schritte

Klonen Sie dieses Repository und öffnen Sie es als reguläres Unity-Projekt. Es sollte ab Unity 2019.4 LTS funktionieren.

Alternativ können Sie dieses Repository als Unity-Paket zu Ihrem bestehenden Projekt hinzufügen. Fügen Sie es über diese Git-URL zu Ihrem Unity-Paketmanager hinzu:

 https://github.com/Macoron/gpt4all.unity.git?path=/Packages/com.gpt4all.unity

Modellgewichte herunterladen

Um diese Bibliothek nutzen zu können, müssen Sie Modellgewichte herunterladen. Eine vollständige Liste der offiziell unterstützten gpt4all-Modelle und deren Download-Links finden Sie hier.

Einige Modelle können nicht für kommerzielle Projekte verwendet werden oder unterliegen anderen Einschränkungen. Überprüfen Sie deren Lizenzen, bevor Sie sie in Ihrem Projekt verwenden.

Nachdem Sie das Modell heruntergeladen haben, platzieren Sie es im Ordner StreamingAssets/Gpt4All und aktualisieren Sie den Pfad in der LlmManager -Komponente.

Hier sind Modelle, die ich in Unity getestet habe:

• mpt-7b-chat [Lizenz: cc-by-nc-sa-4.0]
• mpt-7b-instruct [Lizenz: cc-by-sa-3.0]
• mpt-7b-base [Lizenz: Apache-2.0]
• gpt4all-j-v1.3-groovy [Lizenz: Apache-2.0]
• gpt4all-l13b-snoozy

Kompilieren von C++-Bibliotheken aus dem Quellcode

Noch offen

Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert.

Es verwendet kompilierte Bibliotheken von gpt4all und llama.cpp, die ebenfalls unter MIT-Lizenz stehen.

Modelle sind in diesem Repository nicht enthalten. Bitte wenden Sie sich an die Ersteller der Originalmodelle, um mehr über deren Lizenzen zu erfahren.