gpt4all

GPT4모두

웹사이트 • 문서 • Discord • YouTube 튜토리얼

GPT4All은 일상적인 데스크톱 및 노트북에서 비공개로 대규모 언어 모델(LLM)을 실행합니다.

API 호출이나 GPU가 필요하지 않습니다. 애플리케이션을 다운로드하고 시작하기만 하면 됩니다.

블로그의 새로운 소식을 읽어보세요.

뉴스레터를 구독하세요

gpt4all_2.mp4

GPT4All은 당사의 컴퓨팅 파트너인 Paperspace를 통해 가능해졌습니다.

다운로드 링크

— 우분투 설치 프로그램 —

Windows 및 Linux에는 Intel Core i3 2세대/AMD Bulldozer 이상이 필요합니다. x86-64 전용, ARM 없음.

macOS에는 Monterey 12.6 이상이 필요합니다. Apple Silicon M 시리즈 프로세서를 사용하면 최상의 결과를 얻을 수 있습니다.

자세한 내용은 전체 시스템 요구 사항을 참조하세요.

Flathub(커뮤니티 유지)

GPT4All Python 설치

gpt4all llama.cpp 구현과 관련된 Python 클라이언트를 사용하여 LLM에 대한 액세스를 제공합니다.

Nomic은 llama.cpp 와 같은 오픈 소스 소프트웨어에 기여하여 모든 사람 이 LLM에 액세스하고 효율적으로 사용할 수 있도록 합니다.

pip install gpt4all

 from gpt4all import GPT4All
model = GPT4All ( "Meta-Llama-3-8B-Instruct.Q4_0.gguf" ) # downloads / loads a 4.66GB LLM
with model . chat_session ():
    print ( model . generate ( "How can I run LLMs efficiently on my laptop?" , max_tokens = 1024 ))

통합

?? Langchain ?️ Weaviate 벡터 데이터베이스 - 모듈 문서 ? OpenLIT(OTel 기반 모니터링) - 문서

출시 내역

• 2024년 7월 2일 : V3.0.0 출시
  • 채팅 애플리케이션 UI가 새롭게 재설계되었습니다.
  • LocalDocs에 대한 사용자 작업 흐름 개선
  • 더 많은 모델 아키텍처에 대한 확장된 액세스
• 2023년 10월 19일 : 다음을 지원하는 GGUF 지원 출시:
  • Mistral 7b 기본 모델, 당사 웹사이트의 업데이트된 모델 갤러리, Rift Coder v1.5를 포함한 몇 가지 새로운 로컬 코드 모델
  • GGUF의 Q4_0 및 Q4_1 양자화에 대한 Nomic Vulkan 지원.
  • GPT4All 로컬 LLM 채팅 클라이언트의 이전 버전 실행을 위한 오프라인 빌드 지원.
• 2023년 9월 18일 : Nomic Vulkan은 NVIDIA 및 AMD GPU에서 로컬 LLM 추론을 지원하기 시작합니다.
• 2023년 7월 : 데이터와 비공개 및 로컬 채팅을 할 수 있는 기능인 LocalDocs가 안정적으로 지원됩니다.
• 2023년 6월 28일 : OpenAI 호환 HTTP 엔드포인트에서 로컬 LLM을 추론할 수 있는 Docker 기반 API 서버가 출시됩니다.

기여

GPT4All은 오픈 소스 커뮤니티의 기여, 참여 및 토론을 환영합니다! CONTRIBUTING.md를 참조하여 문제, 버그 보고서 및 PR 마크다운 템플릿을 따르세요.

중복 작업을 피하기 위해 프로젝트 소유자 또는 기존 이슈/PR을 통해 프로젝트 불일치를 확인하세요. 관련 프로젝트 식별자로 위의 모든 항목에 태그를 지정했는지 확인하세요. 그렇지 않으면 귀하의 기여가 손실될 수 있습니다. 태그 예: backend , bindings , python-bindings , documentation 등

소환

다운스트림 프로젝트에서 이 저장소, 모델 또는 데이터를 활용하는 경우 다음과 함께 인용하는 것을 고려해 보십시오.

 @misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/nomic-ai/gpt4all}},
}