ChatRTX は、ドキュメント、メモ、写真などの独自のコンテンツに接続された GPT 大規模言語モデル (LLM) をパーソナライズできるデモ アプリです。検索拡張生成 (RAG)、TensorRT-LLM、および RTX アクセラレーションを利用して、カスタム チャットボットにクエリを実行して、コンテキストに関連した回答を迅速に取得できます。このアプリでは、音声で質問することもできます。すべて Windows RTX PC 上でローカルに実行されるため、迅速かつ安全な結果が得られます。 ChatRTX は、テキスト、pdf、doc/docx、xml、png、jpg、bmp などのさまざまなファイル形式をサポートしています。アプリケーションでファイルを含むフォルダーを指定するだけで、数秒以内にファイルがライブラリにロードされます。
このアプリでサポートされている AI モデル:
このパイプラインには、上記の AI モデル、TensorRT-LLM、LlamaIndex、FAISS ベクトル検索ライブラリが組み込まれています。ここのサンプル アプリケーションには、NVIDIA Gefore News から取得した最近の記事で構成されるデータセットがあります。
大規模言語モデル (LLM) の検索拡張生成 (RAG) は、推論中に LLM をデータに接続することで予測精度の向上を目指します。このアプローチでは、コンテキスト、履歴データ、最近の知識または関連知識を豊富に含む包括的なプロンプトが構築されます。
ChatRTX_API: ChatRTX API を使用すると、開発者はアプリケーションを TensorRT-LLM を利用した推論エンジンとシームレスに統合し、ChatRTX でサポートされるさまざまな AI モデルを利用できます。この統合により、開発者は高度な AI 推論と RAG 機能をアプリケーションに組み込むことができます。これらの API は、ChatRTX アプリケーションの基盤として機能します。詳細については、ChatRTX_APIs ディレクトリを参照してください。
ChatRTX_App: ChatRTX_App は、電子コンテナを使用して ChatRTX API 上に構築されるデモ アプリケーションです。 UI は、マテリアル UI ライブラリを使用して React で構築されます。 UI の構築方法の詳細については、ChatRTX_App ディレクトリを参照してください。
このプロジェクトは、追加のサードパーティのオープンソース ソフトウェア プロジェクトをダウンロードしてインストールします。使用する前に、これらのオープンソース プロジェクトのライセンス条項を確認してください。
