genai system evaluation

GenAIシステムの評価

このリポジトリには、LLM 拡張システムを評価する方法を示すサンプル ノートブックが含まれています。ローカル評価のためのツールと方法を提供します。

環境

1. Bedrock Console で Claude Sonnet と Claude Haiku が有効になっていることを確認してください
2. Python SDK (Boto3) から Bedrock を呼び出すための適切な権限があることを確認してください。

地元

これらのノートブックは Python 3.12 でテストされました。ローカルで実行している場合は、3.12 を使用していることを確認してください。また、デフォルトのプロファイルに設定する認証情報を使用して AWS CLI がセットアップされていることを確認してください。これらの認証情報は Amazon Bedrock モデルにアクセスする必要があります

目次

• フォルダー構造
• はじめる
• 使用法
• 著者
• 謝辞
• 貢献する
• ライセンス

フォルダー構造

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

詳細

• data/ : 検索拡張生成 (RAG) コンテキストと検証に使用されるデータセットが含まれます。
• example-notebooks/ : 以下の評価を示す Jupyter ノートブック:
  • 埋め込みとチャンキング戦略
  • 大きなチャンクサイズでの再ランキング
  • LLM-As-A-Judge プロンプトエンジニアリング
  • RAGプロンプトエンジニアリング
  • E2E RAG テスト

はじめる

1. リポジトリのクローンを作成します。

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. 仮想環境をセットアップします。

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. 必要な依存関係をインストールします。

    pip install -r requirements.txt
   

4. RAG コンテキストの opensearch ドキュメントをダウンロードします。

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. ノートブックの例に移動して、jupyter ノートブックを開始してください。

   $ cd ../../example-notebooks
   $ jupyter notebook

6. ノートブック 1 から始めて、順番に進めていきます。

使用法

1. example-notebooks/ディレクトリ内のサンプル ノートブックを調べて、さまざまな評価手法を理解してください。

著者

• Tanner McRae -初期作品- github
• Felix Huthmacher -初期作品- github

安全

詳細については、「貢献」を参照してください。

ライセンス

このライブラリは、MIT-0 ライセンスに基づいてライセンスされています。 LICENSE ファイルを参照してください。