gpt4all.unity

gpt4all.unity

Estas são as ligações do Unity3d para o gpt4all. Ele fornece inferência de alto desempenho de modelos de linguagem grandes (LLM) em execução em sua máquina local.

Essas ligações usam uma versão desatualizada do gpt4all. Eles não suportam arquiteturas e quantização de modelos mais recentes. Aqui está uma lista de modelos que testei. Para obter mais informações, verifique este problema.

Principais características:

• LLM baseado em chat que pode ser usado para NPCs e assistentes virtuais
• Modelos de diferentes tamanhos para uso comercial e não comercial
• Inferência rápida baseada em CPU
• Funciona em dispositivos de usuários locais sem conexão com a Internet
• Gratuito e de código aberto

Plataformas suportadas:

• Janelas (x86_64)
• MacOS (Intel e ARM)
• Linux
• iOS
• Android
• WebGL

Amostras

anão.mp4

Modelo "mpt-7b-chat", interpretando NPC anão no Macbook com M1 Pro

Começando

Clone este repositório e abra-o como um projeto normal do Unity. Deve estar funcionando a partir do Unity 2019.4 LTS.

Alternativamente, você pode adicionar este repositório ao seu projeto existente como um pacote Unity . Adicione-o por meio deste URL git ao seu gerenciador de pacotes Unity:

 https://github.com/Macoron/gpt4all.unity.git?path=/Packages/com.gpt4all.unity

Baixando pesos de modelo

Você precisaria baixar os pesos do modelo para usar esta biblioteca. Você pode encontrar a lista completa de modelos gpt4all oficialmente suportados e seus links para download aqui.

Alguns modelos não podem ser utilizados para projetos comerciais ou possuem outras restrições. Verifique suas licenças antes de usá-las em seu projeto.

Após baixar o modelo, coloque-o na pasta StreamingAssets/Gpt4All e atualize o caminho no componente LlmManager .

Aqui estão os modelos que testei no Unity:

• mpt-7b-chat [licença: cc-by-nc-sa-4.0]
• mpt-7b-instruct [licença: cc-by-sa-3.0]
• mpt-7b-base [licença: apache-2.0]
• gpt4all-j-v1.3-groovy [licença: apache-2.0]
• gpt4all-l13b-snoozy

Compilando bibliotecas C++ a partir do código-fonte

A definir

Licença

Este projeto está licenciado sob a licença MIT.

Ele usa bibliotecas compiladas de gpt4all e llama.cpp que também estão sob licença do MIT.

Os modelos não estão incluídos neste repositório. Entre em contato com os criadores dos modelos originais para saber mais sobre suas licenças.