gpt4all

GPT4All

Website • Dokumentation • Discord • YouTube-Tutorial

GPT4All führt große Sprachmodelle (LLMs) privat auf alltäglichen Desktops und Laptops aus.

Es sind keine API-Aufrufe oder GPUs erforderlich – Sie können einfach die Anwendung herunterladen und loslegen.

Lesen Sie in unserem Blog, was es Neues gibt.

Abonnieren Sie den Newsletter

gpt4all_2.mp4

GPT4All wird durch unseren Compute-Partner Paperspace ermöglicht.

Download-Links

— Ubuntu-Installer —

Windows und Linux erfordern Intel Core i3 2. Generation / AMD Bulldozer oder besser. Nur x86-64, kein ARM.

macOS erfordert Monterey 12.6 oder neuer. Beste Ergebnisse mit Prozessoren der Apple Silicon M-Serie.

Weitere Einzelheiten finden Sie in den vollständigen Systemanforderungen.

Flathub (von der Community gepflegt)

Installieren Sie GPT4All Python

gpt4all ermöglicht Ihnen den Zugriff auf LLMs mit unserem Python-Client rund um llama.cpp -Implementierungen.

Nomic trägt zu Open-Source-Software wie llama.cpp bei, um LLMs für alle zugänglich und effizient zu machen.

pip install gpt4all

 from gpt4all import GPT4All
model = GPT4All ( "Meta-Llama-3-8B-Instruct.Q4_0.gguf" ) # downloads / loads a 4.66GB LLM
with model . chat_session ():
    print ( model . generate ( "How can I run LLMs efficiently on my laptop?" , max_tokens = 1024 ))

Integrationen

?? Langchain ?️ Weaviate Vector Database – Moduldokumente ? OpenLIT (OTel-native Monitoring) – Dokumente

Veröffentlichungsverlauf

• 2. Juli 2024 : V3.0.0-Veröffentlichung
  • Frische Neugestaltung der Benutzeroberfläche der Chat-Anwendung
  • Verbesserter Benutzerworkflow für LocalDocs
  • Erweiterter Zugriff auf weitere Modellarchitekturen
• 19. Oktober 2023 : GGUF-Support startet mit Unterstützung für:
  • Mistral 7b-Basismodell, eine aktualisierte Modellgalerie auf unserer Website, mehrere neue lokale Codemodelle, einschließlich Rift Coder v1.5
  • Nomic Vulkan-Unterstützung für Q4_0- und Q4_1-Quantisierungen in GGUF.
  • Offline-Build-Unterstützung für die Ausführung alter Versionen des GPT4All Local LLM Chat Client.
• 18. September 2023 : Nomic Vulkan startet die Unterstützung lokaler LLM-Inferenz auf NVIDIA- und AMD-GPUs.
• Juli 2023 : Stabile Unterstützung für LocalDocs, eine Funktion, die es Ihnen ermöglicht, privat und lokal mit Ihren Daten zu chatten.
• 28. Juni 2023 : Start des Docker-basierten API-Servers, der die Inferenz lokaler LLMs von einem OpenAI-kompatiblen HTTP-Endpunkt ermöglicht.

Mitwirken

GPT4All freut sich über Beiträge, Beteiligung und Diskussionen aus der Open-Source-Community! Bitte lesen Sie CONTRIBUTING.md und befolgen Sie die Probleme, Fehlerberichte und PR-Markdown-Vorlagen.

Überprüfen Sie den Projektkonflikt mit den Projektinhabern oder anhand bestehender Probleme/PRs, um Doppelarbeit zu vermeiden. Bitte stellen Sie sicher, dass Sie alle oben genannten Punkte mit relevanten Projektkennungen versehen, da Ihr Beitrag sonst möglicherweise verloren geht. Beispiel-Tags: backend , bindings , python-bindings , documentation usw.

Zitat

Wenn Sie dieses Repository, diese Modelle oder Daten in einem nachgelagerten Projekt verwenden, denken Sie bitte darüber nach, es zu zitieren mit:

 @misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/nomic-ai/gpt4all}},
}