gpt4all

GPT4Все

Веб-сайт • Документация • Discord • Учебное пособие по YouTube

GPT4All запускает большие языковые модели (LLM) в частном порядке на повседневных настольных компьютерах и ноутбуках.

Никаких вызовов API или графических процессоров не требуется — вы можете просто загрузить приложение и начать работу.

О новинках читайте в нашем блоге.

Подписаться на рассылку

gpt4all_2.mp4

GPT4All стал возможным благодаря нашему партнеру по компьютерным технологиям Paperspace.

Ссылки для скачивания

— Установщик Ubuntu —

Для Windows и Linux требуется Intel Core i3 2-го поколения/AMD Bulldozer или выше. Только x86-64, без ARM.

Для macOS требуется Monterey 12.6 или новее. Наилучшие результаты с процессорами Apple Silicon серии M.

Более подробную информацию можно найти в полных системных требованиях.

Flathub (поддерживается сообществом)

Установить GPT4All Python

gpt4all предоставляет вам доступ к LLM с помощью нашего клиента Python, связанного с реализациями llama.cpp .

Nomic вносит свой вклад в программное обеспечение с открытым исходным кодом, такое как llama.cpp чтобы сделать программы LLM доступными и эффективными для всех .

pip install gpt4all

 from gpt4all import GPT4All
model = GPT4All ( "Meta-Llama-3-8B-Instruct.Q4_0.gguf" ) # downloads / loads a 4.66GB LLM
with model . chat_session ():
    print ( model . generate ( "How can I run LLMs efficiently on my laptop?" , max_tokens = 1024 ))

Интеграции

?? Langchain ? ️ База данных векторов Weaviate — документация по модулю? OpenLIT (собственный мониторинг OTel) - Документация

История выпусков

• 2 июля 2024 г .: выпуск версии 3.0.0.
  • Свежий редизайн пользовательского интерфейса приложения чата
  • Улучшен рабочий процесс пользователя для LocalDocs.
  • Расширенный доступ к большему количеству архитектур моделей.
• 19 октября 2023 г .: Запускается поддержка GGUF для:
  • Базовая модель Mistral 7b, обновленная галерея моделей на нашем сайте, несколько новых моделей с локальным кодом, включая Rift Coder v1.5.
  • Nomic Vulkan поддерживает квантование Q4_0 и Q4_1 в GGUF.
  • Поддержка автономной сборки для запуска старых версий локального клиента чата LLM GPT4All.
• 18 сентября 2023 г .: Nomic Vulkan запускает поддержку локального вывода LLM на графических процессорах NVIDIA и AMD.
• Июль 2023 г .: Стабильная поддержка LocalDocs — функции, которая позволяет вам обмениваться данными в частном и локальном режиме.
• 28 июня 2023 г .: Запускается API-сервер на базе Docker, позволяющий получать локальные LLM из конечной точки HTTP, совместимой с OpenAI.

Содействие

GPT4All приветствует вклад, участие и обсуждение сообщества открытого исходного кода! Пожалуйста, посетите CONTRIBUTING.md и следите за проблемами, отчетами об ошибках и шаблонами PR-уценок.

Проверьте разногласия в проекте с владельцами проектов или через существующие проблемы/запросы, чтобы избежать дублирования работы. Обязательно пометьте все вышеперечисленное соответствующими идентификаторами проекта, иначе ваш вклад может быть потерян. Примеры тегов: backend , bindings , python-bindings , documentation и т. д.

Цитирование

Если вы используете этот репозиторий, модели или данные в дальнейшем проекте, рассмотрите возможность цитирования его с помощью:

 @misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/nomic-ai/gpt4all}},
}