doc genius ai

DocGenius AI - ドキュメント用の生成 AI チャットボット

建築

RAG実装によるチャットボット

Cloudera AI 推論

導入

Cloudera AMP

アプリケーション

カスタムナレッジベースの構築

• ベクター DB を使用する
• NiFiを使用する
• Python などを使用してください。

ユーザーの入力と出力を理解する

入力

モデルの選択- ここでユーザーは Llama3 70B パラメーター チャット モデル ( llama-3-70b ) を選択できます。

温度の選択 (応答のランダム性) - ここでユーザーはモデルの応答のランダム性を調整できます。数値が小さいほど、より近似的で客観的な答えが保証され、数値が大きいほど、モデルの創造性が促進されます。

トークンの数 (応答の長さ) を選択します- ここでは、いくつかのオプションが提供されています。ユーザーが使用するトークンの数は、モデルが返す応答の長さと直接相関します。

質問- まさにその通りです。ここでユーザーはモデルに質問を提供できます

出力

応答- これは、ベクトル データベース内のコンテキストに基づいてモデルによって生成された応答です。質問がナレッジ ベースのコンテンツと関連付けられない場合は、幻覚のような応答が返される可能性があることに注意してください。

導入

LLM 用の FastAPI

appディレクトリは LLM の FastAPI をホストします

チャットボットUI（フロントエンド）

chat-uiディレクトリは、Chatbot UI のコードをホストします。

変数

AMP をデプロイするときは変数を確認してください。推論エンドポイントとキーを取得するには、 Cloduera AI 推論ドキュメントを参照してください。

要件

CML インスタンスの種類

• LLM で推論を実行するには GPU インスタンスが必要です
  • CML ドキュメント: GPU
• CUDA 5.0+ 対応の GPU インスタンス タイプが推奨されます(この要件が満たされていない場合、ステップ 2 で失敗します)。
  • このトーチ ライブラリには、CUDA コンピューティング機能 5.0 以降を備えた GPU が必要です。 (つまり、NVIDIA V100、A100、T4 GPU)

推奨ランタイム

JupyterLab - Python 3.11 - Nvidia GPU

AMP ドキュメント

https://docs.cloudera.com/machine-learning/cloud/applied-ml-prototypes/topics/ml-amp-project-spec.html

リソース要件

これにより、リソース要件を伴う次のワークロードが作成されます。

• CML セッション: 2 CPU, 16GB MEM
• CML ジョブ: 2 CPU, 8GB MEM
• CML アプリケーション: 2 CPU, 1 GPU, 16GB MEM

デフォルトのナレッジベース

• この AMP がデプロイされると、小売データ セットからローカル Milvus を使用してナレッジベースを構築するサンプル ジョブがデプロイされます。

コード構造

 doc-genius-ai/
├── app/                      	# Application directory for API and Model Serving
│   └── [..subdirs..]
│   └── chatbot/		# has the model serving python files for RAG, Prompt, Fine-tuning models
│   └── main.py		# main.py file to start the API
├── chat-ui/                  	# Directory for the chatbot UI in Next.js
│   └── [..subdirs..]
│   └── app.py 		# app.py file to serve  build files in .next directory via Flask
├── pipeline/                 	# Pipeline directory for data processing or workflow pipelines and vector load
├── data/                     	# Data directory for storing datasets or data files or RAG KB
├── models/                   	# Models directory for LLMs / ML models
├── session/                  	# Scripts for CML Sessions and Validation Tasks
├── images/                   	# Directory for storing project related images
├── api.md                    	# Documentation for the APIs
├── README.md         	# Detailed description of the project
├── .gitignore                	# Specifies intentionally untracked files to ignore
├── catalog.yaml          	# YAML file that contains descriptive information and metadata for the displaying the AMP projects in the CML Project Catalog.           
├─ .project-metadata.yaml    # Project metadata file that provides configuration and setup details
├── cdsw-build.sh             	# Script for building the Model dependencies
└── requirements.txt          	# Python dependencies for Model Serving

暫定修正

1. [CML ワークスペース] -> [サイト管理] -> [設定] -> [一時ストレージ (GB)] に移動し、値を 50 以上に設定して、一時ストレージ制限を増やします。

• CML モデルが作成されると、モデルはポッドのスクラッチ領域にロードされます。LLM モデルはデフォルトの 10 GB より大きいため、デプロイメント中に問題が発生します。

2. [サイト管理] > [セキュリティ] > [アプリケーションに非認証アクセスの設定を許可する] を選択します。 (ボックスにチェックを入れてください)

重要なお知らせ

重要:続行する前に、以下をお読みください。この AMP には、特定のサードパーティ ソフトウェア パッケージが含まれるか、それに依存します。このようなサードパーティ ソフトウェア パッケージに関する情報は、この AMP に関連付けられた通知ファイルで入手できます。この AMP を構成して起動すると、場合によっては、サードパーティの Web サイトから、そのようなサードパーティのソフトウェア パッケージがダウンロードされ、環境にインストールされることになります。各サードパーティ ソフトウェア パッケージについて、該当するライセンス条項などの詳細については、通知ファイルおよび該当する Web サイトを参照してください。

サードパーティのソフトウェア パッケージをダウンロードしてインストールしたくない場合は、この AMP を設定、起動、またはその他の方法で使用しないでください。 AMP を設定、起動、または使用することにより、お客様は前述の声明を承認し、Cloudera がサードパーティ ソフトウェア パッケージに対していかなる形でも責任を負わないことに同意したものとみなされます。

著作権 (c) 2024 - Cloudera, Inc. 全著作権所有。