論文実験リポジトリ: 生成 AI を使用したユーザー ストーリーからのテスト ケースの生成
概要
このリポジトリは私の修士課程の一部です。 「LLM モデルを使用した生成 AI 技術を使用した要件エンジニアリングにおけるユーザー ストーリーからのテスト ケースの生成: 比較分析」というタイトルの論文。この研究では、ソフトウェア要件エンジニアリング内のユーザー ストーリーからのテスト ケースの生成を自動化するための大規模言語モデル (LLM) のアプリケーションを調査しています。この論文は、さまざまな生成 AI 手法と LLM モデルを比較することにより、テスト ケース生成の精度、完全性、効率を向上させるための最も効果的なアプローチを特定することを目的としています。
論文のアイデア
この論文の背後にある中心的なアイデアは、高度な生成 AI 技術と LLM を活用して、ユーザー ストーリーからテスト ケースを生成する従来の手動で時間のかかるプロセスを自動化することです。ユーザー ストーリーは通常、自然言語で記述され、アジャイル ソフトウェア開発プロセスに不可欠な部分であり、ソフトウェア機能の機能を検証するテスト ケースを導き出すためのソースとして機能します。この論文では、複数のプロンプト手法と LLM モデルを調査して、関連性のある包括的なテスト ケースを生成する能力を評価し、最終的に AI を要件エンジニアリング ワークフローに統合するためのベスト プラクティスについての洞察を提供します。
リポジトリ構造
このリポジトリは、論文研究の一環として実施された実験の詳細かつ組織的なビューを提供するように構成されています。リポジトリ内の各フォルダーは、特定の実験または一連の実験に対応しており、次のコンポーネントが含まれています。
1. 生成されたテストケース (PDF)
- コンテンツ: 各実験フォルダーには、選択した LLM モデルとプロンプト手法によって生成されたテスト ケースを含む PDF ドキュメントが含まれています。これらのテスト ケースは、モデルの精度、完全性、提供されたユーザー ストーリーとの関連性に基づいてモデルを評価するために非常に重要です。
- 目的: PDF は実験の具体的な出力として機能し、テスト ケースの生成におけるモデルの実際の適用を実証します。
2. 詳細な指標を含む Excel シート
- 内容: 各実験には、実験中に計算されたすべての主要な指標とスコアを文書化した Excel ファイルが付属しています。これには、入力データのサンプル数、精度スコア、完全性スコア、その他のパフォーマンス指標が含まれます。
- 目的: Excel シートは各実験の包括的な分析を提供し、さまざまなモデル間で詳細な比較を可能にし、テクニックを促進します。
3. ビジュアルグラフ (画像フォルダー)
- コンテンツ: 各実験フォルダー内の「画像」サブフォルダーには、実験の結果を示す視覚的なグラフとチャートが含まれています。
- 目的: これらの視覚化により、パフォーマンスの傾向、モデル間の比較、使用されている技術の全体的な有効性を直感的に理解できます。これらは、重要な洞察を迅速に把握し、データから結論を引き出すために不可欠です。
4. 論文コード（コードフォルダ）
- コンテンツ: 専用フォルダーには、実験中に使用されたすべての元のコードが含まれています。これには、データの前処理、モデルのプロンプト、テスト ケースの生成、およびパフォーマンス分析のためのスクリプトが含まれます。
- 目的: このフォルダーを使用すると、ユーザーは研究に不可欠なコードを探索して実行できるため、実験の再現性と透明性が確保されます。
実験の背景と目的
このリポジトリに文書化されている実験は、論文内のいくつかの重要な目的を達成するように設計されています。
- 比較分析: ユーザー ストーリーからテスト ケースを生成する際の、さまざまな LLM モデルとプロンプト手法の有効性を評価および比較します。
- Tree of Thoughts (ToT) フレームワーク: Tree of Thoughts (ToT) フレームワークを統合してテストし、より正確なテスト ケースを生成する際の LLM の論理的推論機能を強化します。
- スケーラビリティ テスト: さまざまな入力データ サイズ (100 サンプルと 500 サンプル) で実験を実施し、モデルのスケーラビリティと堅牢性を評価します。
- パフォーマンス メトリクス: 精度、完全性、関連性などのさまざまなメトリクスを使用して生成されたテスト ケースを分析し、最もパフォーマンスの高いモデルと手法を決定します。
このリポジトリの使用方法
- 生成されたテスト ケースを確認する: 各フォルダー内の PDF をナビゲートして、さまざまなモデルや手法によって生成されたテスト ケースを確認します。これらの文書は、研究の実際的な成果を理解するための鍵となります。
- メトリクスを分析する: Excel ファイルを開いて、各実験の詳細なメトリクスとスコアを調べます。これらのファイルは、さまざまな次元にわたるモデルのパフォーマンスを深く掘り下げたものを提供します。
- 結果を視覚化する: データの視覚的表現については、各実験ディレクトリ内の「images」フォルダーを確認します。これらのグラフは、ユーザーが結果をすばやく理解し、傾向を特定できるように設計されています。
- コードを実行する: 「コード」フォルダーを調べて、実験の実行に使用された元のスクリプトを表示または実行します。これは再現性とさらなる実験のために不可欠です。
免責事項
このリポジトリのコンテンツは、学術および研究目的のみに提供されています。提示された結果と結論は、論文で詳述されている特定のモデルと技術に基づいています。データと調査結果の正確性を確保するためにあらゆる努力が払われていますが、これらの方法の状況や用途によっては差異が発生する可能性があります。ユーザーは、このリポジトリに含まれる情報を自身の裁量とリスクで適用することをお勧めします。
著作権
© 2024 アクシャット・メータ。無断転載を禁じます。このリポジトリに含まれる資料を許可なく無断で使用することは固く禁止されています。
