h2oGPT

Ubah ★ menjadi (pojok kanan atas) jika Anda menyukai proyek ini!

Buat kueri dan rangkum dokumen Anda atau cukup ngobrol dengan LLM GPT pribadi lokal menggunakan h2oGPT, sebuah proyek sumber terbuka Apache V2.

Lihat CoT Open-o1 yang panjang, buka ?strawberry? proyek: https://github.com/pseudotensor/open-strawberry

Demo Langsung

Demo Gradio

Demo OpenWebUI

Demo Video

demo2.mp4

Video YouTube 4K

Fitur

Basis data offline pribadi dari dokumen apa pun (PDF, Excel, Word, Gambar, Bingkai Video, YouTube, Audio, Kode, Teks, Penurunan Harga, dll.)
- Basis data persisten (Chroma, Weaviate, atau FAISS dalam memori) menggunakan penyematan yang akurat (instruktur-besar, semua-MiniLM-L6-v2, dll.)
- Penggunaan konteks yang efisien menggunakan LLM yang disesuaikan dengan instruksi (tidak memerlukan pendekatan beberapa langkah LangChain)
- Peringkasan dan ekstraksi paralel , mencapai output 80 token per detik dengan model 13B LLaMa2
- HYDE (Hypothetical Document Embeddings) untuk pengambilan yang ditingkatkan berdasarkan tanggapan LLM
- Potongan Semantik untuk pemisahan dokumen yang lebih baik (membutuhkan GPU)
Berbagai model yang didukung (LLaMa2, Mistral, Falcon, Vicuna, WizardLM. Dengan AutoGPTQ, 4-bit/8-bit, LORA, dll.)
- Dukungan GPU dari model HF dan LLaMa.cpp GGML, dan dukungan CPU menggunakan model HF, LLaMa.cpp, dan GPT4ALL
- Perhatian Tenggelam untuk generasi yang panjang (LLaMa-2, Mistral, MPT, Pythia, Falcon, dll.)
Gradio UI atau CLI dengan streaming semua model
- Unggah dan Lihat dokumen melalui UI (kontrol beberapa koleksi kolaboratif atau pribadi)
- Model Visi LLaVa, Claude-3, Gemini-Pro-Vision, GPT-4-Vision
- Difusi Stabil Pembuatan Gambar (sdxl-turbo, sdxl, SD3), PlaygroundAI (playv2), dan Flux
- Suara STT menggunakan Whisper dengan konversi audio streaming
- TTS Suara menggunakan Microsoft Speech T5 Berlisensi MIT dengan banyak suara dan konversi audio streaming
- TTS Suara menggunakan TTS Berlisensi MPL2 termasuk Kloning Suara dan konversi audio Streaming
- Mode Kontrol Suara Asisten AI untuk kontrol obrolan h2oGPT secara handsfree
- Mode UI Bake-off terhadap banyak model secara bersamaan
- Pengunduhan artefak model dengan mudah dan kontrol atas model seperti LLaMa.cpp melalui UI
- Otentikasi di UI berdasarkan pengguna/kata sandi melalui Native atau Google OAuth
- Pelestarian Status di UI berdasarkan pengguna/kata sandi
Buka UI Web dengan h2oGPT sebagai backend melalui OpenAI Proxy
- Lihat Dokumen Pemula.
- Penyelesaian obrolan dengan streaming
- Dokumentasikan Tanya Jawab menggunakan penyerapan h2oGPT dengan OCR tingkat lanjut dari DocTR
- Model visi
- Transkripsi Audio (STT)
- Generasi Audio (TTS)
- Pembuatan gambar
- Otentikasi
- Pelestarian negara
Dukungan Linux, Docker, macOS, dan Windows
Dukungan Server Inferensi untuk oLLaMa, server HF TGI, vLLM, Gradio, ExLLaMa, Replikasi, Together.ai, OpenAI, Azure OpenAI, Anthropic, MistralAI, Google, dan Groq
Sesuai dengan OpenAI
- Server Proxy API (h2oGPT bertindak sebagai pengganti server OpenAI)
- Penyelesaian Obrolan dan Teks (streaming dan non-streaming)
- Transkripsi Audio (STT)
- Generasi Audio (TTS)
- Pembuatan Gambar
- Penyematan
- Pemanggilan alat fungsi dengan pemilihan alat otomatis
- Agen Eksekusi Kode AutoGen
Modus JSON
- Kontrol skema yang ketat untuk vLLM melalui penggunaan garis besarnya
- Kontrol skema yang ketat untuk model OpenAI, Anthropic, Google Gemini, MistralAI
- Mode JSON untuk beberapa model OpenAI atau Gemini lama dengan kontrol skema jika model cukup pintar (misalnya gemini 1.5 flash)
- Model apa pun melalui ekstraksi blok kode
Integrasi Pencarian Web dengan Obrolan dan Tanya Jawab Dokumen
Agen untuk Pencarian, Tanya Jawab Dokumen, Kode Python, bingkai CSV
- Agen berkualitas tinggi melalui server proxy OpenAI pada port terpisah
- Agen kode pertama yang menghasilkan plot, meneliti, mengevaluasi gambar melalui model visi, dll. (kode klien openai_server/openai_client.py).
- Tidak ada UI untuk ini, hanya API
Evaluasi kinerja menggunakan model penghargaan
Kualitas terjaga dengan lebih dari 1000 unit dan pengujian integrasi yang memakan waktu lebih dari 24 jam GPU

Memulai

Instal h2oGPT

Docker direkomendasikan untuk Linux, Windows, dan MAC untuk kemampuan penuh. Script Linux juga memiliki kemampuan penuh, sedangkan skrip Windows dan MAC memiliki kemampuan yang lebih sedikit dibandingkan menggunakan Docker.

Docker Membangun dan Menjalankan Dokumen (Linux, Windows, MAC)
Instal Linux dan Jalankan Dokumen
Skrip Instalasi Windows 10/11
Instal MAC dan Jalankan Dokumen
Mulai Cepat di Platform apa pun

Demo Kolaborasi

CPU h2oGPT
GPU h2oGPT

Sumber daya

FAQ
README untuk LangChain
Perselisihan
Model (LLaMa-2, Falcon 40, dll.) di ?
YouTube: Alternatif ChatGPT Offline 100%?
YouTube: Pertunjukan LLM Sumber Terbuka Terbaik (6 Model Diuji) - Hasil Mengejutkan!
YouTube: Blazing Fast Falcon 40b Tanpa Sensor, Sumber Terbuka, Dihosting Sepenuhnya, Ngobrol Dengan Dokumen Anda
Makalah Teknis: https://arxiv.org/pdf/2306.08161.pdf

Panduan Dokumen

Memulai
- Linux (CPU atau CUDA)
- macOS (CPU atau M1/M2)
- Windows 10/11 (CPU atau CUDA)
- GPU (CUDA, AutoGPTQ, exllama) Detail Berjalan
- Detail Proses CPU
- Obrolan CLI
- GradioUI
- API Klien (Gradio, Sesuai OpenAI)
- Server Inferensi (oLLaMa, server HF TGI, vLLM, Groq, Anthropic, Google, Mistral, Gradio, ExLLaMa, Replikasi, OpenAI, Azure OpenAI)
- Bangun Roda Python
- Instalasi Offline
- Memori Rendah
- Buruh pelabuhan
Dukungan Dokumen LangChain
Bandingkan dengan PrivateGPT dkk.
Peta jalan
Perkembangan
Membantu
- Jenis file LangChain didukung
- Kontrol Basis Data CLI
- Pertanyaan Umum
  - Catatan Penggunaan Model
  - Menambahkan Model LLM (termasuk menggunakan GGUF dan Attention Sinks)
  - Menambahkan Model Penyematan
  - Menambahkan Anjuran
  - Pembelajaran Dalam Konteks
  - Beberapa GPU
  - Penggunaan Memori Rendah
  - Variabel Lingkungan
  - Akses HTTPS untuk server dan klien
- Tautan Berguna
- Penyempurnaan
- Triton
- Kelangsungan komersial
Ucapan Terima Kasih
Mengapa H2O.ai?
Penafian

Perkembangan

Untuk menciptakan lingkungan pengembangan untuk pelatihan dan pembuatan, ikuti petunjuk instalasi.
Untuk menyempurnakan model LLM apa pun pada data Anda, ikuti petunjuk penyesuaian.

Untuk menjalankan pengujian h2oGPT:

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

atau atur/jalankan tests/test4gpus.sh untuk menjalankan tes secara paralel.

Ucapan Terima Kasih

Beberapa kode pelatihan didasarkan pada Alpaca-LoRA versi 24 Maret.
Menggunakan data berkualitas tinggi yang dibuat oleh OpenAssistant.
Model dasar yang digunakan oleh EleutherAI.
Data OIG yang digunakan dibuat oleh LAION.

Mengapa H2O.ai?

Pembuat kami di H2O.ai telah membangun beberapa platform Machine Learning, Deep Learning, dan AI kelas dunia:

Platform pembelajaran mesin sumber terbuka #1 untuk perusahaan H2O-3
AutoML (Pembelajaran Mesin Otomatis) terbaik di dunia dengan H2O Driverless AI
Pembelajaran Mendalam Tanpa Kode dengan H2O Hydrogen Torch
Pemrosesan Dokumen dengan Pembelajaran Mendalam di Dokumen AI

Kami juga membangun platform untuk penerapan dan pemantauan, serta untuk perselisihan dan tata kelola data:

H2O MLOps untuk menerapkan dan memantau model dalam skala besar
Toko Fitur H2O bekerja sama dengan AT&T
Kerangka Pengembangan Aplikasi AI Kode Rendah Sumber Terbuka Wave dan Nitro
Datatable Python sumber terbuka (mesin untuk rekayasa fitur H2O Driverless AI)

Banyak pelanggan kami yang membuat model dan menerapkannya di seluruh perusahaan dan dalam skala besar di H2O AI Cloud:

Multi-Cloud atau Lokal
Cloud Terkelola (SaaS)
Awan Hibrida
Toko Aplikasi AI

Kami bangga memiliki lebih dari 25 (dari 280) Grandmaster Kaggle di dunia yang menyebut H2O sebagai rumah mereka, termasuk tiga Grandmaster Kaggle yang berhasil mencapai peringkat #1 dunia.

Penafian

Harap baca penafian ini dengan cermat sebelum menggunakan model bahasa besar yang disediakan dalam repositori ini. Penggunaan Anda atas model ini menandakan persetujuan Anda terhadap syarat dan ketentuan berikut.

Bias dan Menyinggung: Model bahasa besar dilatih pada beragam data teks internet, yang mungkin berisi konten yang bias, rasis, menyinggung, atau tidak pantas. Dengan menggunakan model ini, Anda mengakui dan menerima bahwa konten yang dibuat terkadang menunjukkan bias atau menghasilkan konten yang menyinggung atau tidak pantas. Pengembang repositori ini tidak mendukung, mendukung, atau mempromosikan konten atau sudut pandang apa pun.
Keterbatasan: Model bahasa besar adalah alat berbasis AI dan bukan manusia. Ini mungkin menghasilkan tanggapan yang salah, tidak masuk akal, atau tidak relevan. Merupakan tanggung jawab pengguna untuk mengevaluasi secara kritis konten yang dihasilkan dan menggunakannya sesuai kebijaksanaan mereka.
Gunakan dengan Resiko Anda Sendiri: Pengguna model bahasa besar ini harus memikul tanggung jawab penuh atas segala konsekuensi yang mungkin timbul dari penggunaan alat tersebut. Pengembang dan kontributor repositori ini tidak bertanggung jawab atas segala kerusakan, kerugian, atau kerugian akibat penggunaan atau penyalahgunaan model yang disediakan.
Pertimbangan Etis: Pengguna didorong untuk menggunakan model bahasa besar secara bertanggung jawab dan etis. Dengan menggunakan model ini, Anda setuju untuk tidak menggunakannya untuk tujuan yang mendorong ujaran kebencian, diskriminasi, pelecehan, atau segala bentuk aktivitas ilegal atau berbahaya.
Masalah Pelaporan: Jika Anda menemukan konten yang bias, menyinggung, atau tidak pantas yang dihasilkan oleh model bahasa besar, harap laporkan ke pengelola repositori melalui saluran yang disediakan. Masukan Anda akan membantu menyempurnakan model dan mengurangi potensi masalah.
Perubahan pada Penafian ini: Pengembang repositori ini berhak mengubah atau memperbarui penafian ini kapan saja tanpa pemberitahuan sebelumnya. Merupakan tanggung jawab pengguna untuk meninjau penafian secara berkala agar tetap mendapat informasi tentang perubahan apa pun.

Dengan menggunakan model bahasa besar yang disediakan dalam repositori ini, Anda setuju untuk menerima dan mematuhi syarat dan ketentuan yang diuraikan dalam penafian ini. Jika Anda tidak setuju dengan bagian mana pun dari penafian ini, Anda sebaiknya tidak menggunakan model dan konten apa pun yang dihasilkan olehnya.