gpt4all

GPT4All

網站 • 文件 • Discord • YouTube 教學課程

GPT4All 在日常桌上型電腦和筆記型電腦上私下運行大型語言模型 (LLM)。

無需 API 呼叫或 GPU - 您只需下載應用程式即可開始。

閱讀我們部落格中的新內容。

訂閱時事通訊

gpt4all_2.mp4

GPT4All 是由我們的運算合作夥伴 Paperspace 實現的。

下載連結

— Ubuntu 安裝程式 —

Windows 和 Linux 需要 Intel Core i3 第二代 / AMD Bulldozer 或更高版本。限 x86-64，無 ARM。

macOS 需要 Monterey 12.6 或更高版本。使用 Apple Silicon M 系列處理器可獲得最佳結果。

有關更多詳細信息，請參閱完整的系統要求。

Flathub（社區維護）

安裝 GPT4All Python

gpt4all使您可以透過我們的 Python 用戶端圍繞llama.cpp實現存取 LLM。

Nomic 為llama.cpp等開源軟體做出了貢獻，使法學碩士可供所有人使用且高效。

pip install gpt4all

 from gpt4all import GPT4All
model = GPT4All ( "Meta-Llama-3-8B-Instruct.Q4_0.gguf" ) # downloads / loads a 4.66GB LLM
with model . chat_session ():
    print ( model . generate ( "How can I run LLMs efficiently on my laptop?" , max_tokens = 1024 ))

整合

?? Langchain ？ OpenLIT（OTel 原生監控）- 文檔

發布歷史

• 2024 年 7 月 2 日：V3.0.0 發布
  • 聊天應用程式 UI 的全新設計
  • 改進了 LocalDocs 的使用者工作流程
  • 擴展對更多模型架構的訪問
• 2023 年 10 月 19 日：GGUF 支持啟動，支援：
  • Mistral 7b 基礎模型，我們網站上更新的模型庫，幾個新的本地程式碼模型，包括 Rift Coder v1.5
  • Nomic Vulkan 支援 GGUF 中的 Q4_0 和 Q4_1 量化。
  • 離線建置支援執行舊版本的 GPT4All 本地 LLM 聊天用戶端。
• 2023 年 9 月 18 日：Nomic Vulkan 推出支援 NVIDIA 和 AMD GPU 上的本地 LLM 推理。
• 2023 年 7 月：對 LocalDocs 的穩定支持，該功能允許您在本地私下與您的資料聊天。
• 2023 年 6 月 28 日：基於 Docker 的 API 伺服器啟動，允許從相容 OpenAI 的 HTTP 端點推斷本地 LLM。

貢獻

GPT4All 歡迎開源社群的貢獻、參與和討論！請參閱 CONTRIBUTING.md 並遵循問題、錯誤報告和 PR markdown 範本。

與專案所有者或透過現有問題/PR 檢查專案不一致，以避免重複工作。請確保使用相關項目識別碼標記上述所有內容，否則您的貢獻可能會遺失。範例標籤： backend 、 bindings 、 python-bindings 、 documentation等。

引文

如果您在下游專案中使用此儲存庫、模型或數據，請考慮使用以下方式引用它：

 @misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/nomic-ai/gpt4all}},
}