gpt4all

GPT4All

网站 • 文档 • Discord • YouTube 教程

GPT4All 在日常台式机和笔记本电脑上私下运行大型语言模型 (LLM)。

无需 API 调用或 GPU - 您只需下载应用程序即可开始。

阅读我们博客中的新内容。

订阅时事通讯

gpt4all_2.mp4

GPT4All 是由我们的计算合作伙伴 Paperspace 实现的。

下载链接

— Ubuntu 安装程序 —

Windows 和 Linux 需要 Intel Core i3 第二代 / AMD Bulldozer 或更高版本。仅限 x86-64，无 ARM。

macOS 需要 Monterey 12.6 或更高版本。使用 Apple Silicon M 系列处理器可获得最佳结果。

有关更多详细信息，请参阅完整的系统要求。

Flathub（社区维护）

安装 GPT4All Python

gpt4all使您可以通过我们的 Python 客户端围绕llama.cpp实现访问 LLM。

Nomic 为llama.cpp等开源软件做出了贡献，使法学硕士可供所有人使用且高效。

pip install gpt4all

 from gpt4all import GPT4All
model = GPT4All ( "Meta-Llama-3-8B-Instruct.Q4_0.gguf" ) # downloads / loads a 4.66GB LLM
with model . chat_session ():
    print ( model . generate ( "How can I run LLMs efficiently on my laptop?" , max_tokens = 1024 ))

集成

?? Langchain ？️ Weaviate 矢量数据库 - 模块文档？ OpenLIT（OTel 原生监控）- 文档

发布历史

• 2024 年 7 月 2 日：V3.0.0 发布
  • 聊天应用程序 UI 的全新设计
  • 改进了 LocalDocs 的用户工作流程
  • 扩展对更多模型架构的访问
• 2023 年 10 月 19 日：GGUF 支持启动，支持：
  • Mistral 7b 基础模型，我们网站上更新的模型库，几个新的本地代码模型，包括 Rift Coder v1.5
  • Nomic Vulkan 支持 GGUF 中的 Q4_0 和 Q4_1 量化。
  • 离线构建支持运行旧版本的 GPT4All 本地 LLM 聊天客户端。
• 2023 年 9 月 18 日：Nomic Vulkan 推出支持 NVIDIA 和 AMD GPU 上的本地 LLM 推理。
• 2023 年 7 月：对 LocalDocs 的稳定支持，该功能允许您在本地私下与您的数据聊天。
• 2023 年 6 月 28 日：基于 Docker 的 API 服务器启动，允许从兼容 OpenAI 的 HTTP 端点推断本地 LLM。

贡献

GPT4All 欢迎开源社区的贡献、参与和讨论！请参阅 CONTRIBUTING.md 并遵循问题、错误报告和 PR markdown 模板。

与项目所有者或通过现有问题/PR 检查项目不一致，以避免重复工作。请确保使用相关项目标识符标记上述所有内容，否则您的贡献可能会丢失。示例标签： backend 、 bindings 、 python-bindings 、 documentation等。

引文

如果您在下游项目中使用此存储库、模型或数据，请考虑使用以下方式引用它：

 @misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/nomic-ai/gpt4all}},
}