h2oGPT

プロジェクトが気に入ったら、★を（右上隅）に変えてください。

Apache V2 オープンソースプロジェクトである h2oGPT を使用して、ドキュメントをクエリして要約したり、ローカルのプライベート GPT LLM とチャットしたりできます。

長い CoT Open-o1 オープン「イチゴ」をチェックしてください。プロジェクト: https://github.com/pseudotensor/open-strawberry

ライブデモ

グラディオデモ

OpenWebUI デモ

ビデオデモ

デモ2.mp4

YouTube 4K ビデオ

特徴

あらゆるドキュメントのプライベートオフラインデータベース (PDF、Excel、Word、画像、ビデオフレーム、YouTube、オーディオ、コード、テキスト、MarkDown など)
- 正確なエンベディング (インストラクターラージ、オール MiniLM-L6-v2 など) を使用した永続データベース (Chroma、Weaviate、またはインメモリ FAISS)
- 命令調整された LLM を使用したコンテキストの効率的な使用 (LangChain の少数ショットアプローチは必要ありません)
- 13B LLaMa2 モデルで、要約と抽出を並行して実行し、1 秒あたり 80 トークンの出力に達します
- LLM 応答に基づいた拡張検索のためのHYDE (Hypothetical Document Embeddings)
- ドキュメント分割を改善するためのセマンティックチャンク(GPU が必要)
サポートされているさまざまなモデル (LLaMa2、Mistral、Falcon、Vicuna、WizardLM、AutoGPTQ 付き、4 ビット/8 ビット、LORA など)
- HF および LLaMa.cpp GGML モデルによるGPUサポート、および HF、LLaMa.cpp、および GPT4ALL モデルを使用したCPUサポート
- 任意の長い世代のアテンションシンク(LLaMa-2、Mistral、MPT、Pythia、Falcon など)
すべてのモデルのストリーミングを備えたGradio UIまたは CLI
- UI を介してドキュメントをアップロードおよび表示(複数の共同コレクションまたは個人コレクションを制御)
- ビジョンモデルLLaVa、Claude-3、Gemini-Pro-Vision、GPT-4-Vision
- 画像生成安定拡散 (sdxl-turbo、sdxl、SD3)、PlaygroundAI (playv2)、および Flux
- ストリーミングオーディオ変換で Whisper を使用した音声 STT
- 複数の音声とストリーミングオーディオ変換を備えた MIT ライセンスの Microsoft Speech T5 を使用した音声 TTS
- 音声クローン作成およびストリーミングオーディオ変換を含む、MPL2 ライセンス TTS を使用した音声 TTS
- h2oGPT チャットをハンズフリーで制御するAI アシスタント音声制御モード
- 同時に多くのモデルに対するベイクオフUI モード
- モデルアーティファクトの簡単なダウンロードと、UI を介した LLaMa.cpp などのモデルの制御
- ネイティブまたは Google OAuth を介したユーザー/パスワードによる UI での認証
- ユーザー/パスワードによる UI での状態の保持
OpenAI プロキシ経由でバックエンドとして h2oGPT を使用してWeb UI を開く
- 「スタートアップドキュメント」を参照してください。
- ストリーミングによるチャット完了
- DocTR からの高度な OCR による h2oGPT 取り込みを使用したドキュメント Q/A
- ビジョンモデル
- 音声文字起こし（STT）
- オーディオ生成 (TTS)
- 画像生成
- 認証
- 状態保存
Linux、Docker、macOS、および Windows のサポート
推論サーバーは、oLLaMa、HF TGI サーバー、vLLM、Gradio、ExLLaMa、Replicate、Togetter.ai、OpenAI、Azure OpenAI、Anthropic、MistralAI、Google、および Groq をサポートします。
OpenAI準拠
- サーバープロキシ API (h2oGPT は OpenAI サーバーへのドロップイン代替として機能します)
- チャットとテキスト補完 (ストリーミングおよび非ストリーミング)
- 音声文字起こし（STT）
- オーディオ生成 (TTS)
- 画像生成
- 埋め込み
- 自動ツール選択による機能ツール呼び出し
- AutoGen コード実行エージェント
JSONモード
- アウトラインを使用した vLLM の厳密なスキーマ制御
- OpenAI、Anthropic、Google Gemini、MistralAI モデルの厳密なスキーマ制御
- モデルが十分にスマートであれば、スキーマ制御を備えた一部の古い OpenAI または Gemini モデル用の JSON モード (例: Gemini 1.5 フラッシュ)
- コードブロック抽出による任意のモデル
Web 検索とチャットおよびドキュメント Q/A の統合
検索エージェント、ドキュメント Q/A、Python コード、CSV フレーム
- 別のポート上の OpenAI プロキシサーバーを介した高品質エージェント
- プロットの生成、調査、ビジョンモデルなどを介した画像の評価を行うコードファーストエージェント (クライアントコード openai_server/openai_client.py)。
- これには UI はなく、API のみです
報酬モデルを使用してパフォーマンスを評価する
24 GPU 時間以上かかる 1,000 を超える単体テストと統合テストで品質を維持

始めましょう

h2oGPT をインストールする

Linux、Windows、および MAC ですべての機能を利用するには、Docker が推奨されます。 Linux スクリプトもすべての機能を備えていますが、Windows および MAC スクリプトの機能は Docker を使用する場合よりも劣ります。

Docker のビルドと実行に関するドキュメント (Linux、Windows、MAC)
Linux のインストールと実行に関するドキュメント
Windows 10/11 インストールスクリプト
MAC のインストールと実行に関するドキュメント
あらゆるプラットフォームでのクイックスタート

コラボデモ

h2oGPT CPU
h2oGPT GPU

リソース

よくある質問
LangChain の README
不和
モデル (LLaMa-2、Falcon 40 など) ?
YouTube: 100% オフライン ChatGPT の代替?
YouTube: 究極のオープンソース LLM 対決 (6 つのモデルをテスト) - 驚くべき結果!
YouTube: 超高速 Falcon 40b 無修正、オープンソース、完全にホストされ、ドキュメントとチャット
技術文書: https://arxiv.org/pdf/2306.08161.pdf

ドキュメントガイド

始めましょう
- Linux (CPU または CUDA)
- macOS (CPU または M1/M2)
- Windows 10/11 (CPU または CUDA)
- GPU (CUDA、AutoGPTQ、exllama) 実行の詳細
- CPU 実行の詳細
- CLIチャット
- グラデーションUI
- クライアントAPI（Gradio、OpenAI準拠）
- 推論サーバー (oLLaMa、HF TGI サーバー、vLLM、Groq、Anthropic、Google、Mistral、Gradio、ExLLaMa、Replicate、OpenAI、Azure OpenAI)
- Python ホイールを構築する
- オフラインインストール
- メモリ不足
- ドッカー
LangChain ドキュメントのサポート
PrivateGPT などと比較してください。
ロードマップ
発達
ヘルプ
- サポートされている LangChain ファイルの種類
- CLI データベース制御
- よくある質問
  - モデル使用上の注意
  - LLM モデルの追加 (GGUF およびアテンションシンクの使用を含む)
  - 埋め込みモデルの追加
  - プロンプトの追加
  - 状況に応じた学習
  - 複数の GPU
  - メモリ使用量が少ない
  - 環境変数
  - サーバーとクライアントの HTTPS アクセス
- 役立つリンク
- 微調整
- トリトン
- 商業的な実現可能性
謝辞
なぜ H2O.ai なのか?
免責事項

発達

トレーニングと生成のための開発環境を作成するには、インストール手順に従ってください。
データの LLM モデルを微調整するには、微調整手順に従ってください。

h2oGPT テストを実行するには:

pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0
conda install -c conda-forge gst-python -y
sudo apt-get install gstreamer-1.0
pip install pygame
GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests
# for openai server test on already-running local server
pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

または、 tests/test4gpus.sh調整/実行してテストを並列実行します。

謝辞

一部のトレーニングコードは、Alpaca-LoRA の 3 月 24 日バージョンに基づいています。
OpenAssistantによる高品質な作成データを使用。
EleutherAI によるベースモデルを使用。
LAIONが作成したOIGデータを使用しました。

なぜ H2O.ai なのか?

H2O.ai のメーカーは、世界クラスの機械学習、深層学習、および AI プラットフォームをいくつか構築してきました。

エンタープライズ向けの #1 オープンソース機械学習プラットフォーム H2O-3
H2O Driverless AI による世界最高の AutoML (自動機械学習)
H2O 水素トーチによるノーコードディープラーニング
Document AI のディープラーニングによる文書処理

また、導入と監視、データラングリングとガバナンスのためのプラットフォームも構築しました。

H2O MLOps による大規模なモデルの展開と監視
AT&T と協力した H2O フィーチャーストア
オープンソースのローコード AI アプリ開発フレームワーク Wave と Nitro
オープンソースの Python データテーブル (H2O Driverless AI 機能エンジニアリングのエンジン)

当社のお客様の多くはモデルを作成し、それを H2O AI クラウドで企業規模かつ大規模に展開しています。

マルチクラウドまたはオンプレミス
マネージドクラウド (SaaS)
ハイブリッドクラウド
AI アプリストア

私たちは、世界 1 位になった 3 人の Kaggle グランドマスターを含む、25 人以上 (世界 280 人中) の Kaggle グランドマスターが H2O をホームと呼んでいることを誇りに思っています。

免責事項

このリポジトリで提供されている大規模な言語モデルを使用する前に、この免責事項をよくお読みください。モデルを使用すると、以下の利用規約に同意したことになります。

偏見と攻撃性: 大規模な言語モデルは、偏見のあるコンテンツ、人種差別的なコンテンツ、攻撃的なコンテンツ、またはその他の不適切なコンテンツが含まれる可能性がある、さまざまなインターネットテキストデータを使用してトレーニングされます。このモデルを使用することにより、生成されたコンテンツに偏見が見られたり、攻撃的または不適切なコンテンツが生成される場合があることを認識し、受け入れることになります。このリポジトリの開発者は、そのようなコンテンツや観点を承認、サポート、宣伝するものではありません。
制限事項: 大規模言語モデルは AI ベースのツールであり、人間ではありません。不正確、無意味、または無関係な応答が生成される可能性があります。生成されたコンテンツを批判的に評価し、自らの裁量で使用するのはユーザーの責任です。
自己責任で使用してください: この大規模な言語モデルのユーザーは、ツールの使用によって生じる可能性のある結果に対して全責任を負う必要があります。このリポジトリの開発者および寄稿者は、提供されたモデルの使用または誤用から生じるいかなる損害、損失、損害に対しても責任を負わないものとします。
倫理的考慮事項: ユーザーは、責任を持って倫理的に大規模言語モデルを使用することが推奨されます。このモデルを使用することにより、ヘイトスピーチ、差別、嫌がらせ、またはあらゆる形態の違法または有害な活動を促進する目的でモデルを使用しないことに同意するものとします。
問題の報告: 大規模な言語モデルによって生成された、偏ったコンテンツ、不快なコンテンツ、または不適切なコンテンツに遭遇した場合は、提供されているチャネルを通じてリポジトリの管理者に報告してください。フィードバックはモデルを改善し、潜在的な問題を軽減するのに役立ちます。
この免責事項の変更: このリポジトリの開発者は、事前の通知なしにいつでもこの免責事項を変更または更新する権利を留保します。免責事項を定期的に確認して、変更に関する最新情報を入手するのはユーザーの責任です。

このリポジトリで提供されている大規模な言語モデルを使用することにより、この免責事項に概説されている利用規約を受け入れ、これに従うことに同意したものとみなされます。この免責事項のいずれかの部分に同意できない場合は、モデルおよびモデルによって生成されたコンテンツの使用を控えてください。