h2oGPT

如果您喜歡這個項目，請將★轉到（右上角）！

查詢並總結您的文檔，或只是使用 h2oGPT（一個 Apache V2 開源專案）與本地私有 GPT LLM 聊天。

看看長的CoT Open-o1 開放？專案：https://github.com/pseudotensor/open-strawberry

現場演示

img-小.png 混音器演示

img-小.png OpenWebUI 演示

影片示範

演示2.mp4

img-小.png YouTube 4K 影片

特徵

任何文件的私人離線資料庫（PDF、Excel、Word、圖像、視訊幀、YouTube、音訊、程式碼、文字、MarkDown 等）
- 使用精確嵌入（大型、全 MiniLM-L6-v2 等）的持久資料庫（Chroma、Weaviate 或記憶體中 FAISS）
- 使用指令調整的 LLM有效利用情境（不需要 LangChain 的少樣本方法）
- 並行匯總與擷取，13B LLaMa2模型達到每秒80個token的輸出
- HYDE （假設文件嵌入）用於基於 LLM 回應增強檢索
- 語意分塊可實現更好的文件分割（需要 GPU）
支援多種模型（LLaMa2、Mistral、Falcon、Vicuna、WizardLM。帶 AutoGPTQ、4 位元/8 位元、LORA 等）
- HF 和 LLaMa.cpp GGML 模型的GPU支持，以及使用 HF、LLaMa.cpp 和 GPT4ALL 模型的CPU支持
- 任意長生成的注意力接收器（LLaMa-2、Mistral、MPT、Pythia、Falcon 等）
具有所有模型串流功能的Gradio UI或 CLI
- 透過 UI上傳和檢視文件（控制多個協作或個人收藏）
- 視覺型號LLaVa、Claude-3、Gemini-Pro-Vision、GPT-4-Vision
- 影像生成穩定擴散（sdxl-turbo、sdxl、SD3）、PlaygroundAI (playv2) 和 Flux
- 使用 Whisper 進行語音 STT和串流音訊轉換
- 使用 MIT 授權的 Microsoft Speech T5 進行語音 TTS，具有多種語音和串流音訊轉換功能
- 使用 MPL2 授權的 TTS 的語音 TTS ，包括語音複製和串流音訊轉換
- AI助理語音控制模式，免持控制h2oGPT聊天
- 同時針對多個模型進行烘焙UI 模式
- 透過 UI輕鬆下載模型工件並控制 LLaMa.cpp 等模型
- 透過 Native 或 Google OAuth 透過使用者/密碼在 UI 中進行身份驗證
- 透過使用者/密碼在 UI 中保存狀態
透過 OpenAI 代理程式以 h2oGPT 作為後端開啟 Web UI
- 請參閱啟動文件。
- 透過串流完成聊天
- 使用 h2oGPT 攝取和 DocTR 的高級 OCR 記錄 Q/A
- 視覺模型
- 音訊轉錄 (STT)
- 音訊產生 (TTS)
- 影像生成
- 驗證
- 國家保存
Linux、Docker、macOS 和 Windows支持
推理伺服器支援 oLLaMa、HF TGI 伺服器、vLLM、Gradio、ExLLaMa、Replicate、Together.ai、OpenAI、Azure OpenAI、Anthropic、MistralAI、Google 和 Groq
符合 OpenAI 標準
- 伺服器代理 API（h2oGPT 充當 OpenAI 伺服器的直接替代品）
- 聊天和文字完成（流式和非流式）
- 音訊轉錄 (STT)
- 音訊產生 (TTS)
- 影像生成
- 嵌入
- 帶有自動工具選擇功能的工具調用
- AutoGen 程式碼執行代理
JSON模式
- 透過使用大綱對 vLLM 進行嚴格的模式控制
- 對 OpenAI、Anthropic、Google Gemini、MistralAI 模型進行嚴格的模式控制
- 如果模型夠智能，則適用於一些具有架構控制的舊版 OpenAI 或 Gemini 模型的 JSON 模式（例如 Gemini 1.5 flash）
- 透過程式碼區塊提取的任何模型
網路搜尋與聊天和文件問答集成
搜尋代理程式、文件問答、Python 程式碼、CSV 框架
- 透過單獨連接埠上的 OpenAI 代理伺服器提供高品質代理
- 程式碼優先代理，透過視覺模型產生繪圖、研究、評估映像等（客戶端程式碼 openai_server/openai_client.py）。
- 沒有 UI，只有 API
使用獎勵模型評估績效
經過 1000 多個單元和整合測試，耗時超過 24 個 GPU 小時，保持品質

開始使用

安裝 h2oGPT

建議在 Linux、Windows 和 MAC 上使用 Docker 以獲得完整功能。 Linux 腳本也具有完整的功能，而 Windows 和 MAC 腳本的功能比使用 Docker 少。

Docker 建置和運行文件（Linux、Windows、MAC）
Linux 安裝和運行文檔
Windows 10/11 安裝腳本
MAC 安裝並運作文檔
在任何平台上快速啟動

協作示範

h2oGPT CPU
h2oGPT GPU

資源

常見問題解答
浪鏈自述文件
不和諧
型號（LLaMa-2、Falcon 40 等）在？
YouTube：100% 離線 ChatGPT 替代方案？
YouTube：終極開源 LLM 對決（測試了 6 個模型）- 令人驚訝的結果！
YouTube：Blazing Fast Falcon 40b 未經審查、開源、完全託管、與您的文件聊天
技術論文：https://arxiv.org/pdf/2306.08161.pdf

文件指南

開始使用
- Linux（CPU 或 CUDA）
- macOS（CPU 或 M1/M2）
- Windows 10/11（CPU 或 CUDA）
- GPU（CUDA、AutoGPTQ、exllama）運行詳細信息
- CPU運作詳情
- CLI 聊天
- 漸變用戶介面
- 客戶端 API（Gradio、OpenAI 相容）
- 推理伺服器（oLLaMa、HF TGI 伺服器、vLLM、Groq、Anthropic、Google、Mistral、Gradio、ExLLaMa、Replicate、OpenAI、Azure OpenAI）
- 建造Python輪
- 離線安裝
- 記憶體不足
- 碼頭工人
浪鏈文件支持
與 PrivateGPT 等人相比。
路線圖
發展
幫助
- 支援的 LangChain 文件類型
- CLI 資料庫控制
- 常問問題
  - 型號使用注意事項
  - 加入LLM模型（包括使用GGUF和注意力池）
  - 新增嵌入模型
  - 新增提示
  - 情境學習
  - 多個 GPU
  - 記憶體使用率低
  - 環境變數
  - 伺服器和客戶端的 HTTPS 訪問
- 有用的連結
- 微調
- 海衛一
- 商業可行性
致謝
為什麼選擇 H2O.ai？
免責聲明

發展

若要建立用於訓練和產生的開發環境，請按照安裝說明進行操作。
若要對您的資料微調任何 LLM 模型，請按照微調說明進行操作。

運行 h2oGPT 測試：

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

或調整/運行tests/test4gpus.sh以並行運行測試。

致謝

一些訓練代碼是基於 3 月 24 日版本的 Alpaca-LoRA。
使用 OpenAssistant 創建的高品質資料。
使用 EleutherAI 的基礎模型。
使用 LAION 建立的 OIG 資料。

為什麼選擇 H2O.ai？

H2O.ai 的創客建構了多個世界一流的機器學習、深度學習和人工智慧平台：

#1 企業開源機器學習平台 H2O-3
世界上最好的 AutoML（自動機器學習）與 H2O 無人駕駛人工智慧
使用 H2O 氫火炬進行無程式碼深度學習
文檔 AI 中的深度學習文檔處理

我們還建立了用於部署和監控以及資料整理和治理的平台：

H2O MLOps 用於大規模部署和監控模型
H2O 功能商店與 AT&T 合作
開源低程式碼人工智慧應用程式開發框架 Wave 和 Nitro
開源Python資料表（H2O Driverless AI特徵工程引擎）

我們的許多客戶正在創建模型並在企業範圍內大規模部署 H2O AI Cloud：

多雲或本地
託管雲端 (SaaS)
混合雲
人工智慧應用商店

我們很自豪有超過 25 名（全球 280 名）Kaggle 大師將 H2O 視為自己的家，其中包括三位已躋身世界第一的 Kaggle 大師。

免責聲明

在使用此儲存庫中提供的大型語言模型之前，請仔細閱讀此免責聲明。您使用該模型即表示您同意以下條款和條件。

偏見和攻擊性：大型語言模型是根據各種網路文字資料進行訓練的，這些資料可能包含偏見、種族主義、攻擊性或其他不適當的內容。透過使用此模型，您承認並接受生成的內容有時可能會表現出偏見或產生冒犯性或不適當的內容。此儲存庫的開發人員不認可、支持或推廣任何此類內容或觀點。
限制：大語言模型是基於人工智慧的工具，而不是人類。它可能會產生不正確、無意義或不相關的回應。使用者有責任嚴格評估產生的內容並自行決定使用它。
使用風險自負：此大型語言模型的使用者必須對其使用該工具可能產生的任何後果承擔全部責任。本儲存庫的開發者和貢獻者不對因使用或誤用所提供的模型而造成的任何損害、損失或傷害承擔責任。
道德考量：鼓勵使用者負責任且合乎道德地使用大型語言模式。使用此模型，您同意不將其用於宣揚仇恨言論、歧視、騷擾或任何形式的非法或有害活動的目的。
回報問題：如果您遇到大語言模型產生的任何偏見、攻擊性或其他不適當的內容，請透過提供的管道向儲存庫維護人員報告。您的回饋將有助於改進模型並減少潛在問題。
本免責聲明的變更：本儲存庫的開發人員保留隨時修改或更新本免責聲明的權利，恕不另行通知。使用者有責任定期查看免責聲明，以隨時了解任何變更。

透過使用此儲存庫中提供的大型語言模型，您同意接受並遵守本免責聲明中概述的條款和條件。如果您不同意本免責聲明的任何部分，您應避免使用該模型及其產生的任何內容。