論文實驗儲存庫：使用生成式人工智慧從使用者故事產生測試案例
概述
該存儲庫是我的碩士學位的一部分。論文題目為「使用生成式人工智慧技術和 LLM 模型從需求工程中的使用者故事產生測試案例：比較分析」。該研究探討了大型語言模型 (LLM) 在軟體需求工程中從使用者故事自動產生測試案例的應用。透過比較不同的生成式人工智慧技術和法學碩士模型，本文旨在確定提高測試案例產生的準確性、完整性和效率的最有效方法。
論文思路
本論文背後的核心思想是利用先進的生成式人工智慧技術和法學碩士，使從使用者故事生成測試案例的傳統手動且耗時的流程自動化。使用者故事通常以自然語言編寫，是敏捷軟體開發過程中不可或缺的一部分，是衍生驗證軟體功能的測試案例的來源。該論文研究了多種提示技術和法學碩士模型，以評估它們生成相關且全面的測試案例的能力，最終提供將人工智慧整合到需求工程工作流程中的最佳實踐的見解。
儲存庫結構
這個儲存庫的結構是為了提供作為論文研究一部分進行的實驗的詳細且有組織的視圖。儲存庫中的每個資料夾對應於一個特定的實驗或一組實驗，並包含以下元件：
1.產生的測試用例（PDF）
- 內容：每個實驗資料夾包含一個 PDF 文檔，其中包含由所選 LLM 模型和提示技術產生的測試案例。這些測試案例對於根據模型的準確性、完整性以及與所提供的使用者故事的相關性來評估模型至關重要。
- 目的：PDF 作為實驗的有形輸出，展示模型在產生測試案例的實際應用。
2. 包含詳細指標的 Excel 表格
- 內容：每個實驗附帶一個 Excel 文件，記錄實驗期間計算的所有關鍵指標和分數。這包括輸入資料樣本的數量、準確性分數、完整性分數和其他效能指標。
- 目的：Excel 表格提供每個實驗的全面分析，可以對不同模型和提示技術進行詳細比較。
3.視覺圖表（圖像資料夾）
- 內容：在每個實驗資料夾中，「圖像」子資料夾包含說明實驗結果的視覺化圖形和圖表。
- 目的：這些視覺化提供了對性能趨勢、模型之間的比較以及所採用技術的整體有效性的直觀理解。它們對於快速掌握關鍵見解並從數據中得出結論至關重要。
4. 論文程式碼（程式碼資料夾）
- 內容：專用資料夾包含實驗期間使用的所有原始程式碼。這包括用於資料預處理、模型提示、測試案例產生和效能分析的腳本。
- 目的：此資料夾允許使用者探索和執行研究中不可或缺的程式碼，確保實驗的可重複性和透明度。
實驗背景和目標
此儲存庫中記錄的實驗旨在實現論文中的幾個關鍵目標：
- 比較分析：評估和比較不同LLM模型和提示技術在從使用者故事產生測試案例方面的有效性。
- 思想樹（ToT）框架：整合和測試思想樹（ToT）框架，以增強法學碩士的邏輯推理能力，產生更準確的測試案例。
- 可擴展性測試：使用不同的輸入資料大小（100 和 500 個樣本）進行實驗，以評估模型的可擴展性和穩健性。
- 效能指標：使用一系列指標（包括準確性、完整性和相關性）分析產生的測試案例，以確定最佳效能的模型和技術。
如何使用此儲存庫
- 探索產生的測試案例：瀏覽每個資料夾中的 PDF，以查看由不同模型和技術產生的測試案例。這些文件是理解研究實際成果的關鍵。
- 分析指標：開啟 Excel 檔案以探索每個實驗的詳細指標和分數。這些文件可以深入了解模型在各個維度上的表現。
- 視覺化結果：檢查每個實驗目錄中的“圖像”資料夾以獲取資料的可視化表示。這些圖表旨在幫助使用者快速了解結果並確定趨勢。
- 執行程式碼：瀏覽「程式碼」資料夾以查看或執行用於進行實驗的原始腳本。這對於再現性和進一步的實驗至關重要。
免責聲明
此儲存庫的內容僅用於學術和研究目的。提出的結果和結論是基於論文中詳細介紹的特定模型和技術。儘管我們已盡一切努力確保數據和調查結果的準確性，但根據這些方法的背景和應用，可能會發生變化。建議使用者自行決定套用此儲存庫中包含的資訊並承擔風險。
版權
© 2024 阿克沙特·梅塔。版權所有。未經許可，嚴禁未經授權使用本儲存庫所包含的資料。
