gpt4all

GPT4Todos

Sitio web • Documentación • Discord • Tutorial de YouTube

GPT4All ejecuta modelos de lenguajes grandes (LLM) de forma privada en computadoras de escritorio y portátiles de uso diario.

No se requieren llamadas API ni GPU; simplemente puede descargar la aplicación y comenzar.

Lea sobre las novedades en nuestro blog.

Suscríbete al boletín

gpt4all_2.mp4

GPT4All es posible gracias a nuestro socio informático Paperspace.

Enlaces de descarga

- Instalador de Ubuntu -

Windows y Linux requieren Intel Core i3 2nd Gen/AMD Bulldozer, o mejor. Solo x86-64, sin ARM.

macOS requiere Monterey 12.6 o posterior. Mejores resultados con los procesadores Apple Silicon serie M.

Consulte los requisitos completos del sistema para obtener más detalles.

Flathub (mantenido por la comunidad)

Instalar GPT4All Python

gpt4all le brinda acceso a LLM con nuestro cliente Python sobre implementaciones llama.cpp .

Nomic contribuye al software de código abierto como llama.cpp para que los LLM sean accesibles y eficientes para todos .

pip install gpt4all

 from gpt4all import GPT4All
model = GPT4All ( "Meta-Llama-3-8B-Instruct.Q4_0.gguf" ) # downloads / loads a 4.66GB LLM
with model . chat_session ():
    print ( model . generate ( "How can I run LLMs efficiently on my laptop?" , max_tokens = 1024 ))

Integraciones

?? Langchain ?️ Weaviate Vector Database - documentos del módulo? OpenLIT (Monitoreo nativo de OTel) - Documentos

Historial de lanzamientos

• 2 de julio de 2024 : Lanzamiento V3.0.0
  • Nuevo rediseño de la interfaz de usuario de la aplicación de chat
  • Flujo de trabajo de usuario mejorado para LocalDocs
  • Acceso ampliado a más arquitecturas de modelos
• 19 de octubre de 2023 : Se lanza el soporte de GGUF con soporte para:
  • Modelo base Mistral 7b, una galería de modelos actualizada en nuestro sitio web, varios modelos de código local nuevos, incluido Rift Coder v1.5
  • Soporte de Nomic Vulkan para cuantificaciones Q4_0 y Q4_1 en GGUF.
  • Soporte de compilación sin conexión para ejecutar versiones antiguas del cliente de chat GPT4All Local LLM.
• 18 de septiembre de 2023 : Se lanza Nomic Vulkan que admite la inferencia LLM local en GPU NVIDIA y AMD.
• Julio de 2023 : soporte estable para LocalDocs, una función que le permite chatear de forma privada y local con sus datos.
• 28 de junio de 2023 : Lanzamiento del servidor API basado en Docker que permite la inferencia de LLM locales desde un punto final HTTP compatible con OpenAI.

Contribuyendo

¡GPT4All agradece las contribuciones, la participación y el debate de la comunidad de código abierto! Consulte CONTRIBUTING.md y siga los problemas, los informes de errores y las plantillas de rebajas de relaciones públicas.

Verifique la discordia del proyecto, con los propietarios del proyecto o mediante problemas o relaciones públicas existentes para evitar trabajo duplicado. Asegúrese de etiquetar todo lo anterior con identificadores de proyecto relevantes o su contribución podría perderse. Etiquetas de ejemplo: backend , bindings , python-bindings , documentation , etc.

Citación

Si utiliza este repositorio, modelos o datos en un proyecto posterior, considere citarlo con:

 @misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/nomic-ai/gpt4all}},
}