ai testing prompts

大規模言語モデルのテスト ガイド

概要

このリポジトリは、OpenAI の GPT シリーズなどの大規模言語モデル (LLM) をテストするための包括的なガイドを提供することに特化しています。これは、LLM がさまざまなアプリケーションにわたって信頼性が高く、安全で、偏りがなく、効率的であることを保証するために設計された幅広いテスト方法をカバーしています。各タイプのテストは、現実世界のシナリオで効果的かつ倫理的に機能する LLM を開発するために重要です。

テストカテゴリ

このガイドには次のテスト カテゴリが含まれており、それぞれがそれぞれのディレクトリに含まれています。

• 敵対的テスト: 堅牢性を確保するために、トリッキーな入力または誤解を招く入力を使用してモデルに挑戦する手法。

• 動作テスト: モデルがさまざまなシナリオにわたって期待どおりに動作することを確認します。

• コンプライアンステスト: 法的および倫理的基準への準拠をチェックします。

• 事実の正確性テスト: モデルによって提供される情報の正確性を検証します。

• 公平性とバイアスのテスト: 出力を評価して、人口統計上のバイアスがないことを確認します。

• 統合テスト: LLM が他のソフトウェア システムとどの程度統合されているかを評価します。

• 解釈可能性と説明可能性のテスト: モデルの決定を説明する能力をテストします。

• パフォーマンス テスト: さまざまな負荷の下でモデルの効率とスケーラビリティを測定します。

• 回帰テスト: 新しい更新によって既存の機能が中断されないことを確認します。

• 安全性とセキュリティのテスト: モデルが有害な動作を示唆または可能にしないことを確認します。

各ディレクトリには、使用される特定のテスト方法を説明する詳細なREADME.mdと、テストを実行するための実用的な例とシナリオを提供するexamples.mdが含まれています。

使用法

このガイドを使用するには:

1. テストのニーズに合ったテスト カテゴリ ディレクトリに移動します。

2. そのカテゴリのテストの焦点の概要と詳細な説明については、 README.mdお読みください。

3. 特定のテスト シナリオ、予想される結果、テストの実装に関するガイダンスについては、 examples.md参照してください。