h2oGPT

如果您喜欢这个项目，请将★转至（右上角）！

查询并总结您的文档，或者只是使用 h2oGPT（一个 Apache V2 开源项目）与本地私有 GPT LLM 聊天。

看看长的CoT Open-o1 开放？草莓？项目：https://github.com/pseudotensor/open-strawberry

现场演示

img-小.png 调音台演示

img-小.png OpenWebUI 演示

视频演示

演示2.mp4

img-小.png YouTube 4K 视频

特征

任何文档的私人离线数据库（PDF、Excel、Word、图像、视频帧、YouTube、音频、代码、文本、MarkDown 等）
- 使用精确嵌入（大型、全 MiniLM-L6-v2 等）的持久数据库（Chroma、Weaviate 或内存中 FAISS）
- 使用指令调整的 LLM有效利用上下文（不需要 LangChain 的少样本方法）
- 并行汇总和提取，13B LLaMa2模型达到每秒80个token的输出
- HYDE （假设文档嵌入）用于基于 LLM 响应增强检索
- 语义分块可实现更好的文档分割（需要 GPU）
支持多种模型（LLaMa2、Mistral、Falcon、Vicuna、WizardLM。带 AutoGPTQ、4 位/8 位、LORA 等）
- HF 和 LLaMa.cpp GGML 模型的GPU支持，以及使用 HF、LLaMa.cpp 和 GPT4ALL 模型的CPU支持
- 任意长生成的注意力接收器（LLaMa-2、Mistral、MPT、Pythia、Falcon 等）
具有所有模型流式传输功能的Gradio UI或 CLI
- 通过 UI上传和查看文档（控制多个协作或个人收藏）
- 视觉型号LLaVa、Claude-3、Gemini-Pro-Vision、GPT-4-Vision
- 图像生成稳定扩散（sdxl-turbo、sdxl、SD3）、PlaygroundAI (playv2) 和 Flux
- 使用 Whisper 进行语音 STT和流音频转换
- 使用 MIT 许可的 Microsoft Speech T5 进行语音 TTS，具有多种语音和流式音频转换功能
- 使用 MPL2 许可的 TTS 的语音 TTS ，包括语音克隆和流音频转换
- AI助手语音控制模式，免提控制h2oGPT聊天
- 同时针对多个模型进行烘焙UI 模式
- 通过 UI轻松下载模型工件并控制 LLaMa.cpp 等模型
- 通过 Native 或 Google OAuth 通过用户/密码在 UI 中进行身份验证
- 通过用户/密码在 UI 中保存状态
通过 OpenAI 代理以 h2oGPT 作为后端打开 Web UI
- 请参阅启动文档。
- 通过流式传输完成聊天
- 使用 h2oGPT 摄取和 DocTR 的高级 OCR 记录 Q/A
- 视觉模型
- 音频转录 (STT)
- 音频生成 (TTS)
- 图像生成
- 验证
- 国家保存
Linux、Docker、macOS 和 Windows支持
推理服务器支持 oLLaMa、HF TGI 服务器、vLLM、Gradio、ExLLaMa、Replicate、Together.ai、OpenAI、Azure OpenAI、Anthropic、MistralAI、Google 和 Groq
符合 OpenAI 标准
- 服务器代理 API（h2oGPT 充当 OpenAI 服务器的直接替代品）
- 聊天和文本完成（流式和非流式）
- 音频转录 (STT)
- 音频生成 (TTS)
- 图像生成
- 嵌入
- 带自动工具选择功能的工具调用
- AutoGen 代码执行代理
JSON模式
- 通过使用大纲对 vLLM 进行严格的模式控制
- 对 OpenAI、Anthropic、Google Gemini、MistralAI 模型进行严格的模式控制
- 如果模型足够智能，则适用于一些具有架构控制的旧版 OpenAI 或 Gemini 模型的 JSON 模式（例如 Gemini 1.5 flash）
- 通过代码块提取的任何模型
网络搜索与聊天和文档问答集成
搜索代理、文档问答、Python 代码、CSV 框架
- 通过单独端口上的 OpenAI 代理服务器提供高质量代理
- 代码优先代理，通过视觉模型生成绘图、研究、评估图像等（客户端代码 openai_server/openai_client.py）。
- 没有 UI，只有 API
使用奖励模型评估绩效
经过 1000 多个单元和集成测试，耗时超过 24 个 GPU 小时，保持质量

开始使用

安装 h2oGPT

建议在 Linux、Windows 和 MAC 上使用 Docker 以获得完整功能。 Linux 脚本也具有完整的功能，而 Windows 和 MAC 脚本的功能比使用 Docker 少。

Docker 构建和运行文档（Linux、Windows、MAC）
Linux 安装和运行文档
Windows 10/11 安装脚本
MAC 安装和运行文档
在任何平台上快速启动

协作演示

h2oGPT CPU
h2oGPT GPU

资源

常见问题解答
浪链自述文件
不和谐
型号（LLaMa-2、Falcon 40 等）在？
YouTube：100% 离线 ChatGPT 替代方案？
YouTube：终极开源 LLM 对决（测试了 6 个模型）- 令人惊讶的结果！
YouTube：Blazing Fast Falcon 40b 未经审查、开源、完全托管、与您的文档聊天
技术论文：https://arxiv.org/pdf/2306.08161.pdf

文档指南

开始使用
- Linux（CPU 或 CUDA）
- macOS（CPU 或 M1/M2）
- Windows 10/11（CPU 或 CUDA）
- GPU（CUDA、AutoGPTQ、exllama）运行详细信息
- CPU运行详情
- CLI 聊天
- 渐变用户界面
- 客户端 API（Gradio、OpenAI 兼容）
- 推理服务器（oLLaMa、HF TGI 服务器、vLLM、Groq、Anthropic、Google、Mistral、Gradio、ExLLaMa、Replicate、OpenAI、Azure OpenAI）
- 构建Python轮
- 离线安装
- 内存不足
- 码头工人
浪链文档支持
与 PrivateGPT 等人相比。
路线图
发展
帮助
- 支持的 LangChain 文件类型
- CLI 数据库控制
- 常问问题
  - 型号使用注意事项
  - 添加LLM模型（包括使用GGUF和注意力池）
  - 添加嵌入模型
  - 添加提示
  - 情境学习
  - 多个 GPU
  - 内存使用率低
  - 环境变量
  - 服务器和客户端的 HTTPS 访问
- 有用的链接
- 微调
- 海卫一
- 商业可行性
致谢
为什么选择 H2O.ai？
免责声明

发展

要创建用于训练和生成的开发环境，请按照安装说明进行操作。
要对您的数据微调任何 LLM 模型，请按照微调说明进行操作。

运行 h2oGPT 测试：

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

或调整/运行tests/test4gpus.sh以并行运行测试。

致谢

一些训练代码基于 3 月 24 日版本的 Alpaca-LoRA。
使用 OpenAssistant 创建的高质量数据。
使用 EleutherAI 的基础模型。
使用 LAION 创建的 OIG 数据。

为什么选择 H2O.ai？

H2O.ai 的创客构建了多个世界一流的机器学习、深度学习和人工智能平台：

#1 企业开源机器学习平台 H2O-3
世界上最好的 AutoML（自动机器学习）与 H2O 无人驾驶人工智能
使用 H2O 氢火炬进行无代码深度学习
文档 AI 中的深度学习文档处理

我们还构建了用于部署和监控以及数据整理和治理的平台：

H2O MLOps 用于大规模部署和监控模型
H2O 功能商店与 AT&T 合作
开源低代码人工智能应用程序开发框架 Wave 和 Nitro
开源Python数据表（H2O Driverless AI特征工程引擎）

我们的许多客户正在创建模型并在企业范围内大规模部署 H2O AI Cloud：

多云或本地
托管云 (SaaS)
混合云
人工智能应用商店

我们很自豪有超过 25 名（全球 280 名）Kaggle 大师将 H2O 视为自己的家，其中包括三位已跻身世界第一的 Kaggle 大师。

免责声明

在使用此存储库中提供的大型语言模型之前，请仔细阅读此免责声明。您使用该模型即表示您同意以下条款和条件。

偏见和攻击性：大型语言模型是根据各种互联网文本数据进行训练的，这些数据可能包含偏见、种族主义、攻击性或其他不适当的内容。通过使用此模型，您承认并接受生成的内容有时可能会表现出偏见或产生冒犯性或不适当的内容。此存储库的开发人员不认可、支持或推广任何此类内容或观点。
局限性：大语言模型是基于人工智能的工具，而不是人类。它可能会产生不正确、无意义或不相关的响应。用户有责任严格评估生成的内容并自行决定使用它。
使用风险自负：此大型语言模型的用户必须对其使用该工具可能产生的任何后果承担全部责任。本存储库的开发者和贡献者不对因使用或误用所提供的模型而造成的任何损害、损失或伤害承担责任。
道德考虑：鼓励用户负责任且合乎道德地使用大型语言模型。通过使用此模型，您同意不将其用于宣扬仇恨言论、歧视、骚扰或任何形式的非法或有害活动的目的。
报告问题：如果您遇到大语言模型生成的任何偏见、攻击性或其他不适当的内容，请通过提供的渠道向存储库维护人员报告。您的反馈将有助于改进模型并减少潜在问题。
本免责声明的变更：本存储库的开发人员保留随时修改或更新本免责声明的权利，恕不另行通知。用户有责任定期查看免责声明，以随时了解任何更改。

通过使用此存储库中提供的大型语言模型，您同意接受并遵守本免责声明中概述的条款和条件。如果您不同意本免责声明的任何部分，您应避免使用该模型及其生成的任何内容。