gpt4all.unity

gpt4all.unity

Ini adalah binding Unity3d untuk gpt4all. Ini memberikan inferensi performa tinggi dari model bahasa besar (LLM) yang berjalan di mesin lokal Anda.

Binding ini menggunakan versi gpt4all yang sudah ketinggalan zaman. Mereka tidak mendukung arsitektur dan kuantisasi model terbaru. Berikut adalah daftar model yang telah saya uji. Untuk informasi lebih lanjut, periksa masalah ini.

Fitur utama:

• LLM berbasis chat yang dapat digunakan untuk NPC dan asisten virtual
• Model dengan ukuran berbeda untuk penggunaan komersial dan non-komersial
• Inferensi berbasis CPU yang cepat
• Berjalan di perangkat pengguna lokal tanpa koneksi internet
• Gratis dan sumber terbuka

Platform yang didukung:

• jendela (x86_64)
• MacOS (Intel dan ARM)
• Linux
• iOS
• Android
• WebGL

Sampel

kurcaci.mp4

Model "mpt-7b-chat", memainkan peran NPC kerdil di Macbook dengan M1 Pro

Memulai

Kloning repositori ini dan buka sebagai proyek Unity biasa. Ini seharusnya berfungsi mulai dari Unity 2019.4 LTS.

Alternatifnya, Anda dapat menambahkan repositori ini ke proyek Anda yang sudah ada sebagai Paket Unity . Tambahkan dengan URL git ini ke Unity Package Manager Anda:

 https://github.com/Macoron/gpt4all.unity.git?path=/Packages/com.gpt4all.unity

Mengunduh bobot model

Anda perlu mengunduh bobot model untuk menggunakan perpustakaan ini. Anda dapat menemukan daftar lengkap model gpt4all yang didukung secara resmi dan tautan unduhannya di sini.

Beberapa model tidak dapat digunakan untuk proyek komersial atau memiliki batasan lainnya. Periksa lisensinya sebelum menggunakannya dalam proyek Anda.

Setelah mengunduh model, letakkan folder StreamingAssets/Gpt4All dan perbarui jalur di komponen LlmManager .

Berikut adalah model yang saya uji di Unity:

• mpt-7b-chat [lisensi: cc-by-nc-sa-4.0]
• mpt-7b-instruct [lisensi: cc-by-sa-3.0]
• mpt-7b-base [lisensi: apache-2.0]
• gpt4all-j-v1.3-groovy [lisensi: Apache-2.0]
• gpt4all-l13b-tunda

Mengompilasi pustaka C++ dari sumber

TBD

Lisensi

Proyek ini dilisensikan di bawah Lisensi MIT.

Ia menggunakan perpustakaan terkompilasi gpt4all dan llama.cpp yang juga berada di bawah lisensi MIT.

Model tidak disertakan dalam repositori ini. Silakan hubungi pembuat model asli untuk mempelajari lebih lanjut tentang lisensi mereka.