gpt4all

GPT4Todos

Site • Documentação • Discord • Tutorial do YouTube

GPT4All executa grandes modelos de linguagem (LLMs) de forma privada em desktops e laptops comuns.

Não são necessárias chamadas de API ou GPUs - basta baixar o aplicativo e começar.

Leia sobre as novidades em nosso blog.

Assine o boletim informativo

gpt4all_2.mp4

O GPT4All é possível graças ao nosso parceiro de computação Paperspace.

Links para download

— Instalador Ubuntu —

Windows e Linux requerem Intel Core i3 2ª geração / AMD Bulldozer ou superior. Somente x86-64, sem ARM.

macOS requer Monterey 12.6 ou mais recente. Melhores resultados com processadores Apple Silicon série M.

Consulte os Requisitos do sistema completos para obter mais detalhes.

Flathub (mantido pela comunidade)

Instale GPT4All Python

gpt4all oferece acesso a LLMs com nosso cliente Python em torno de implementações llama.cpp .

A Nomic contribui com software de código aberto como llama.cpp para tornar os LLMs acessíveis e eficientes para todos .

pip install gpt4all

 from gpt4all import GPT4All
model = GPT4All ( "Meta-Llama-3-8B-Instruct.Q4_0.gguf" ) # downloads / loads a 4.66GB LLM
with model . chat_session ():
    print ( model . generate ( "How can I run LLMs efficiently on my laptop?" , max_tokens = 1024 ))

Integrações

?? Langchain ?️ Weaviate Vector Database - documentos do módulo ? OpenLIT (monitoramento nativo do OTel) - Documentos

Histórico de lançamento

• 2 de julho de 2024 : lançamento V3.0.0
  • Novo redesenho da interface do aplicativo de bate-papo
  • Fluxo de trabalho de usuário aprimorado para LocalDocs
  • Acesso expandido a mais arquiteturas de modelo
• 19 de outubro de 2023 : Lançamento do suporte GGUF com suporte para:
  • Modelo base Mistral 7b, uma galeria de modelos atualizada em nosso site, vários novos modelos de código local, incluindo Rift Coder v1.5
  • Suporte Nomic Vulkan para quantizações Q4_0 e Q4_1 em GGUF.
  • Suporte de construção offline para execução de versões antigas do GPT4All Local LLM Chat Client.
• 18 de setembro de 2023 : Nomic Vulkan é lançado com suporte para inferência LLM local em GPUs NVIDIA e AMD.
• Julho de 2023 : Suporte estável para LocalDocs, um recurso que permite que você converse de forma privada e local com seus dados.
• 28 de junho de 2023 : O servidor API baseado em Docker é lançado, permitindo inferência de LLMs locais a partir de um endpoint HTTP compatível com OpenAI.

Contribuindo

GPT4All agradece contribuições, envolvimento e discussão da comunidade de código aberto! Consulte CONTRIBUTING.md e siga os problemas, relatórios de bugs e modelos de redução de PR.

Verifique a discórdia do projeto com os proprietários do projeto ou por meio de problemas/PRs existentes para evitar trabalho duplicado. Certifique-se de marcar todos os itens acima com identificadores de projeto relevantes ou sua contribuição poderá ser perdida. Tags de exemplo: backend , bindings , python-bindings , documentation , etc.

Citação

Se você utilizar este repositório, modelos ou dados em um projeto downstream, considere citá-lo com:

 @misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/nomic-ai/gpt4all}},
}