gpt4all.unity

gpt4all.unity

นี่คือการเชื่อมโยง Unity3d สำหรับ gpt4all โดยให้การอนุมานประสิทธิภาพสูงของโมเดลภาษาขนาดใหญ่ (LLM) ที่ทำงานบนเครื่องภายในของคุณ

การเชื่อมโยงนี้ใช้ gpt4all เวอร์ชันล้าสมัย ไม่รองรับสถาปัตยกรรมและการหาปริมาณรุ่นล่าสุด นี่คือรายการรุ่นที่ฉันได้ทดสอบ สำหรับข้อมูลเพิ่มเติม ให้ตรวจสอบปัญหานี้

คุณสมบัติหลัก:

• LLM แบบแชทที่สามารถใช้สำหรับ NPC และผู้ช่วยเสมือน
• รุ่นขนาดต่างๆ สำหรับใช้ในเชิงพาณิชย์และไม่ใช่เชิงพาณิชย์
• การอนุมานตาม CPU ที่รวดเร็ว
• ทำงานบนอุปกรณ์ผู้ใช้ท้องถิ่นโดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต
• ฟรีและโอเพ่นซอร์ส

แพลตฟอร์มที่รองรับ:

• หน้าต่าง (x86_64)
• MacOS (อินเทลและ ARM)
• ลินุกซ์
• ไอโอเอส
• หุ่นยนต์
• WebGL

ตัวอย่าง

คนแคระ.mp4

โมเดล "mpt-7b-chat" สวมบทบาท NPC แคระบน Macbook ด้วย M1 Pro

เริ่มต้นใช้งาน

โคลนที่เก็บนี้และเปิดเป็นโปรเจ็กต์ Unity ปกติ ควรใช้งานได้โดยเริ่มจาก Unity 2019.4 LTS

หรือคุณสามารถเพิ่มพื้นที่เก็บข้อมูลนี้ในโครงการที่มีอยู่ของคุณเป็น Unity Package เพิ่มด้วย URL คอมไพล์นี้ไปยัง Unity Package Manager ของคุณ:

 https://github.com/Macoron/gpt4all.unity.git?path=/Packages/com.gpt4all.unity

กำลังดาวน์โหลดน้ำหนักโมเดล

คุณจะต้องดาวน์โหลดตุ้มน้ำหนักโมเดลจึงจะสามารถใช้ไลบรารีนี้ได้ คุณสามารถดูรายชื่อรุ่น gpt4all ที่รองรับอย่างเป็นทางการทั้งหมดและลิงก์ดาวน์โหลดได้ที่นี่

บางรุ่นไม่สามารถใช้สำหรับโครงการเชิงพาณิชย์หรือมีข้อจำกัดอื่นๆ ตรวจสอบใบอนุญาตก่อนที่จะใช้ในโปรเจ็กต์ของคุณ

หลังจากดาวน์โหลดโมเดลแล้ว ให้วางโฟลเดอร์ StreamingAssets/Gpt4All และอัปเดตพาธในคอมโพเนนต์ LlmManager

นี่คือโมเดลที่ฉันทดสอบใน Unity:

• mpt-7b-chat [ใบอนุญาต: cc-by-nc-sa-4.0]
• mpt-7b-instruct [ใบอนุญาต: cc-by-sa-3.0]
• mpt-7b-base [ใบอนุญาต: apache-2.0]
• gpt4all-j-v1.3-groovy [ใบอนุญาต: apache-2.0]
• gpt4all-l13b-งีบหลับ

รวบรวมไลบรารี C ++ จากแหล่งที่มา

จะแจ้งภายหลัง

ใบอนุญาต

โครงการนี้ได้รับอนุญาตภายใต้ใบอนุญาต MIT

ใช้ไลบรารีที่คอมไพล์ของ gpt4all และ llama.cpp ซึ่งอยู่ภายใต้ลิขสิทธิ์ของ MIT เช่นกัน

โมเดลไม่รวมอยู่ในที่เก็บนี้ โปรดติดต่อผู้สร้างโมเดลดั้งเดิมเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับใบอนุญาตของพวกเขา