h2oGPT

프로젝트가 마음에 들면 ★를 (오른쪽 상단)으로 바꾸세요!

문서를 쿼리 및 요약하거나 Apache V2 오픈 소스 프로젝트인 h2oGPT를 사용하여 로컬 개인 GPT LLM과 채팅하세요.

긴 CoT Open-o1 오픈을 확인해 보세요. 딸기? 프로젝트: https://github.com/pseudotensor/open-strawberry

라이브 데모

그라디오 데모

OpenWebUI 데모

비디오 데모

데모2.mp4

유튜브 4K 비디오

특징

모든 문서(PDF, Excel, Word, 이미지, 비디오 프레임, YouTube, 오디오, 코드, 텍스트, MarkDown 등)의 비공개 오프라인 데이터베이스
- 정확한 임베딩(강사형, 전체 MiniLM-L6-v2 등)을 사용하는 영구 데이터베이스(Chroma, Weaviate 또는 인메모리 FAISS)
- 지시 조정된 LLM을 사용하여 컨텍스트를 효율적으로 사용(LangChain의 몇 번의 접근 방식이 필요 없음)
- 13B LLaMa2 모델을 사용하여 초당 80개의 토큰 출력에 도달하는 병렬 요약 및 추출
- LLM 응답을 기반으로 향상된 검색을 위한 HYDE (Hypothetical Document Embeddings)
- 더 나은 문서 분할을 위한 의미적 청킹 (GPU 필요)
다양한 모델 지원(LLaMa2, Mistral, Falcon, Vicuna, WizardLM. AutoGPTQ, 4비트/8비트, LORA 등 포함)
- HF 및 LLaMa.cpp GGML 모델의 GPU 지원 및 HF, LLaMa.cpp 및 GPT4ALL 모델을 사용한 CPU 지원
- 임의로 긴 세대에 대한 주의 싱크 (LLaMa-2, Mistral, MPT, Pythia, Falcon 등)
모든 모델의 스트리밍을 지원하는 Gradio UI 또는 CLI
- UI를 통해 문서 업로드 및 보기 (여러 공동 작업 또는 개인 컬렉션 제어)
- 비전 모델 LLaVa, Claude-3, Gemini-Pro-Vision, GPT-4-Vision
- 이미지 생성 Stable Diffusion(sdxl-turbo, sdxl, SD3), PlaygroundAI(playv2) 및 Flux
- 스트리밍 오디오 변환과 함께 Whisper를 사용하는 음성 STT
- 다중 음성 및 스트리밍 오디오 변환 기능이 있는 MIT 라이선스 Microsoft Speech T5를 사용하는 음성 TTS
- 음성 복제 및 스트리밍 오디오 변환을 포함하는 MPL2 라이센스 TTS를 사용하는 음성 TTS
- h2oGPT 채팅을 핸즈프리로 제어할 수 있는 AI 보조 음성 제어 모드
- 동시에 여러 모델에 대한 베이크오프 UI 모드
- UI를 통해 모델 아티팩트를 쉽게 다운로드 하고 LLaMa.cpp와 같은 모델을 제어할 수 있습니다.
- Native 또는 Google OAuth를 통해 사용자/비밀번호로 UI 인증
- 사용자/비밀번호로 UI의 상태 보존
OpenAI 프록시를 통해 h2oGPT를 백엔드로 사용하는 개방형 웹 UI
- 시작 문서를 참조하세요.
- 스트리밍으로 채팅 완료
- DocTR의 고급 OCR과 함께 h2oGPT 수집을 사용하여 문서 Q/A
- 비전 모델
- 오디오 전사(STT)
- 오디오 생성(TTS)
- 이미지 생성
- 입증
- 상태 보존
Linux, Docker, macOS 및 Windows 지원
oLLaMa, HF TGI 서버, vLLM, Gradio, ExLLaMa, Replicate, Together.ai, OpenAI, Azure OpenAI, Anthropic, MistralAI, Google 및 Groq에 대한 추론 서버 지원
OpenAI 호환
- 서버 프록시 API(h2oGPT는 OpenAI 서버에 대한 드롭인 대체 역할을 함)
- 채팅 및 텍스트 완료(스트리밍 및 비스트리밍)
- 오디오 전사(STT)
- 오디오 생성(TTS)
- 이미지 생성
- 임베딩
- 자동 도구 선택을 통한 기능 도구 호출
- AutoGen 코드 실행 에이전트
JSON 모드
- 아웃라인 사용을 통한 vLLM에 대한 엄격한 스키마 제어
- OpenAI, Anthropic, Google Gemini, MistralAI 모델에 대한 엄격한 스키마 제어
- 모델이 충분히 똑똑한 경우 스키마 제어 기능이 있는 일부 이전 OpenAI 또는 Gemini 모델에 대한 JSON 모드(예: gemini 1.5 플래시)
- 코드 블록 추출을 통한 모든 모델
채팅 및 문서 Q/A와 웹 검색 통합
검색용 에이전트 , 문서 Q/A, Python 코드, CSV 프레임
- 별도의 포트에서 OpenAI 프록시 서버를 통한 고품질 에이전트
- 비전 모델 등을 통해 플롯을 생성하고, 연구하고, 이미지를 평가하는 코드 우선 에이전트(클라이언트 코드 openai_server/openai_client.py).
- 이를 위한 UI는 없고 API만 있습니다.
보상 모델을 사용하여 성과 평가
1000개 이상의 단위 테스트와 24 GPU 시간이 넘는 통합 테스트를 통해 품질 유지

시작하기

h2oGPT 설치

Docker는 전체 기능을 사용하려면 Linux, Windows 및 MAC에 권장됩니다. Linux 스크립트에는 모든 기능이 있지만 Windows 및 MAC 스크립트에는 Docker를 사용하는 것보다 기능이 적습니다.

Docker 빌드 및 문서 실행(Linux, Windows, MAC)
Linux 문서 설치 및 실행
Windows 10/11 설치 스크립트
MAC 설치 및 문서 실행
모든 플랫폼에서 빠른 시작

협업 데모

h2oGPT CPU
h2oGPT GPU

자원

자주 묻는 질문
LangChain에 대한 읽어보기
불화
모델(LLaMa-2, Falcon 40 등)은 ?
YouTube: 100% 오프라인 채팅GPT 대안?
YouTube: 최고의 오픈 소스 LLM 대결(6개 모델 테스트) - 놀라운 결과!
YouTube: Blazing Fast Falcon 40b 무수정, 오픈 소스, 완전 호스팅, 문서와 채팅
기술 문서: https://arxiv.org/pdf/2306.08161.pdf

문서 가이드

시작하기
- 리눅스(CPU 또는 CUDA)
- macOS(CPU 또는 M1/M2)
- Windows 10/11(CPU 또는 CUDA)
- GPU(CUDA, AutoGPTQ, exllama) 실행 세부정보
- CPU 실행 세부정보
- CLI 채팅
- 그라디오 UI
- 클라이언트 API(Gradio, OpenAI 호환)
- 추론 서버(oLLaMa, HF TGI 서버, vLLM, Groq, Anthropic, Google, Mistral, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI)
- Python 휠 빌드
- 오프라인 설치
- 메모리 부족
- 도커
LangChain 문서 지원
PrivateGPT et al.과 비교해 보세요.
로드맵
개발
돕다
- 지원되는 LangChain 파일 형식
- CLI 데이터베이스 제어
- FAQ
  - 모델 사용 참고 사항
  - LLM 모델 추가(GGUF 및 Attention Sink 사용 포함)
  - 임베딩 모델 추가
  - 프롬프트 추가
  - 상황에 맞는 학습
  - 다중 GPU
  - 낮은 메모리 사용량
  - 환경 변수
  - 서버 및 클라이언트에 대한 HTTPS 액세스
- 유용한 링크
- 미세 조정
- 트리톤
- 상업적 생존 가능성
감사의 말
왜 H2O.ai인가?
부인 성명

개발

학습 및 생성을 위한 개발 환경을 만들려면 설치 지침을 따르세요.
데이터의 LLM 모델을 미세 조정하려면 미세 조정 지침을 따르세요.

h2oGPT 테스트를 실행하려면:

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

또는 tests/test4gpus.sh 조정/실행하여 테스트를 병렬로 실행하세요.

감사의 말

일부 훈련 코드는 Alpaca-LoRA의 3월 24일 버전을 기반으로 했습니다.
OpenAssistant에서 생성된 고품질 데이터를 사용했습니다.
EleutherAI의 기본 모델을 사용했습니다.
LAION에서 생성한 OIG 데이터를 사용했습니다.

왜 H2O.ai인가?

H2O.ai의 제작자들은 여러 가지 세계적 수준의 기계 학습, 딥 러닝 및 AI 플랫폼을 구축했습니다.

엔터프라이즈 H2O-3를 위한 최고의 오픈 소스 머신 러닝 플랫폼
H2O Driverless AI를 통한 세계 최고의 AutoML(자동 기계 학습)
H2O 수소 토치를 사용한 노코드 딥 러닝
Document AI의 딥러닝을 통한 문서 처리

또한 배포 및 모니터링, 데이터 랭글링 및 거버넌스를 위한 플랫폼도 구축했습니다.

대규모 모델 배포 및 모니터링을 위한 H2O MLOps
AT&T와 협업한 H2O Feature Store
오픈 소스 로우 코드 AI 앱 개발 프레임워크 Wave 및 Nitro
오픈 소스 Python 데이터 테이블(H2O Driverless AI 기능 엔지니어링용 엔진)

많은 고객이 H2O AI 클라우드에서 모델을 만들고 전사적 규모로 배포하고 있습니다.

멀티 클라우드 또는 온프레미스
관리형 클라우드(SaaS)
하이브리드 클라우드
AI 앱스토어

우리는 세계 1위에 오른 세 명의 Kaggle Grandmaster를 포함하여 (세계 280명 중) 25명 이상의 Kaggle Grandmaster가 H2O를 고향으로 삼고 있다는 사실을 자랑스럽게 생각합니다.

부인 성명

이 저장소에서 제공되는 대규모 언어 모델을 사용하기 전에 이 고지 사항을 주의 깊게 읽으십시오. 귀하가 모델을 사용하는 것은 다음 이용 약관에 동의함을 의미합니다.

편견 및 공격성: 대규모 언어 모델은 편견, 인종 차별, 공격 또는 기타 부적절한 콘텐츠가 포함될 수 있는 다양한 범위의 인터넷 텍스트 데이터에 대해 훈련됩니다. 이 모델을 사용함으로써 귀하는 생성된 콘텐츠가 때때로 편견을 나타내거나 공격적이거나 부적절한 콘텐츠를 생성할 수 있음을 인정하고 동의합니다. 이 저장소의 개발자는 그러한 콘텐츠나 관점을 보증, 지원 또는 홍보하지 않습니다.
한계: 대규모 언어 모델은 인간이 아닌 AI 기반 도구입니다. 이는 부정확하거나, 무의미하거나, 관련 없는 응답을 생성할 수 있습니다. 생성된 콘텐츠를 비판적으로 평가하고 재량에 따라 사용하는 것은 사용자의 책임입니다.
사용에 따른 책임은 사용자에게 있습니다. 이 대규모 언어 모델의 사용자는 도구 사용으로 인해 발생할 수 있는 모든 결과에 대해 전적인 책임을 져야 합니다. 이 저장소의 개발자 및 기여자는 제공된 모델의 사용 또는 오용으로 인해 발생하는 손해, 손실 또는 손해에 대해 책임을 지지 않습니다.
윤리적 고려 사항: 사용자는 대규모 언어 모델을 책임감 있고 윤리적으로 사용하도록 권장됩니다. 이 모델을 사용함으로써 귀하는 증오심 표현, 차별, 괴롭힘 또는 모든 형태의 불법적이거나 유해한 활동을 조장하는 목적으로 모델을 사용하지 않을 것에 동의합니다.
보고 문제: 대규모 언어 모델에서 생성된 편견, 공격적 또는 기타 부적절한 콘텐츠를 발견한 경우 제공된 채널을 통해 저장소 관리자에게 보고하십시오. 귀하의 의견은 모델을 개선하고 잠재적인 문제를 완화하는 데 도움이 됩니다.
본 면책 조항의 변경: 이 저장소의 개발자는 사전 통지 없이 언제든지 본 면책 조항을 수정하거나 업데이트할 권리를 보유합니다. 면책조항을 주기적으로 검토하여 변경 사항에 대한 최신 정보를 얻는 것은 사용자의 책임입니다.

이 저장소에서 제공되는 대규모 언어 모델을 사용함으로써 귀하는 이 면책 조항에 설명된 이용 약관을 수락하고 준수하는 데 동의하는 것입니다. 본 면책 조항의 일부에 동의하지 않는 경우 해당 모델 및 해당 모델에서 생성된 모든 콘텐츠의 사용을 삼가해야 합니다.