gpt4all.unity

gpt4all.unity

이것은 gpt4all에 대한 Unity3d 바인딩입니다. 로컬 머신에서 실행되는 LLM(대형 언어 모델)에 대한 고성능 추론을 제공합니다.

이 바인딩은 gpt4all의 오래된 버전을 사용합니다. 최신 모델 아키텍처 및 양자화를 지원하지 않습니다. 제가 테스트한 모델 목록은 다음과 같습니다. 자세한 내용은 이 문제를 확인하세요.

주요 특징:

• NPC 및 가상 비서에 사용할 수 있는 채팅 기반 LLM
• 상업용 및 비상업적 용도를 위한 다양한 크기의 모델
• 빠른 CPU 기반 추론
• 인터넷 연결 없이 로컬 사용자 장치에서 실행됩니다.
• 무료 및 오픈 소스

지원되는 플랫폼:

• 윈도우(x86_64)
• MacOS(인텔 및 ARM)
• 리눅스
• iOS
• 기계적 인조 인간
• WebGL

샘플

난쟁이.mp4

"mpt-7b-chat" 모델, M1 Pro를 사용하여 Macbook에서 난쟁이 NPC 역할극

시작하기

이 저장소를 복제하고 일반 Unity 프로젝트로 엽니다. Unity 2019.4 LTS부터 작동할 것입니다.

또는 이 저장소를 기존 프로젝트에 Unity 패키지 로 추가할 수 있습니다. 이 git URL을 통해 Unity 패키지 관리자에 추가하세요.

 https://github.com/Macoron/gpt4all.unity.git?path=/Packages/com.gpt4all.unity

모델 가중치 다운로드

이 라이브러리를 사용하려면 모델 가중치를 다운로드해야 합니다. 공식적으로 지원되는 gpt4all 모델의 전체 목록과 해당 다운로드 링크를 여기에서 찾을 수 있습니다.

일부 모델은 상업용 프로젝트에 사용할 수 없거나 다른 제한 사항이 있습니다. 프로젝트에서 사용하기 전에 라이선스를 확인하세요.

모델을 다운로드한 후 LlmManager 구성 요소에 StreamingAssets/Gpt4All 폴더와 업데이트 경로를 배치합니다.

Unity에서 테스트한 모델은 다음과 같습니다.

• mpt-7b-chat [라이센스: cc-by-nc-sa-4.0]
• mpt-7b-instruct [라이센스: cc-by-sa-3.0]
• mpt-7b-base [라이센스: apache-2.0]
• gpt4all-j-v1.3-groovy [라이센스: apache-2.0]
• gpt4all-l13b-스누지

소스에서 C++ 라이브러리 컴파일

미정

특허

이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여됩니다.

MIT 라이센스에 따라 컴파일된 gpt4all 및 llama.cpp 라이브러리를 사용합니다.

모델은 이 저장소에 포함되지 않습니다. 라이선스에 대해 자세히 알아보려면 원본 모델 제작자에게 문의하세요.