论文实验存储库：使用生成式人工智能从用户故事生成测试用例
概述
该存储库是我的硕士学位的一部分。论文标题为“使用生成式人工智能技术和 LLM 模型从需求工程中的用户故事生成测试用例：比较分析”。该研究探讨了大型语言模型 (LLM) 在软件需求工程中从用户故事自动生成测试用例方面的应用。通过比较不同的生成式人工智能技术和法学硕士模型，本文旨在确定提高测试用例生成的准确性、完整性和效率的最有效方法。
论文思路
本论文背后的核心思想是利用先进的生成式人工智能技术和法学硕士，使从用户故事生成测试用例的传统手动且耗时的过程自动化。用户故事通常用自然语言编写，是敏捷软件开发过程中不可或缺的一部分，是派生验证软件功能的测试用例的来源。该论文研究了多种提示技术和法学硕士模型，以评估它们生成相关且全面的测试用例的能力，最终提供将人工智能集成到需求工程工作流程中的最佳实践的见解。
存储库结构
该存储库的结构是为了提供作为论文研究一部分进行的实验的详细且有组织的视图。存储库中的每个文件夹对应于一个特定的实验或一组实验，并包含以下组件：
1.生成的测试用例（PDF）
- 内容：每个实验文件夹包含一个 PDF 文档，其中包含由所选 LLM 模型和提示技术生成的测试用例。这些测试用例对于根据模型的准确性、完整性以及与所提供的用户故事的相关性来评估模型至关重要。
- 目的：PDF 作为实验的有形输出，展示模型在生成测试用例方面的实际应用。
2. 包含详细指标的 Excel 表格
- 内容：每个实验附带一个 Excel 文件，记录实验期间计算的所有关键指标和分数。这包括输入数据样本的数量、准确性分数、完整性分数和其他性能指标。
- 目的：Excel 表格提供每个实验的全面分析，可以对不同模型和提示技术进行详细比较。
3.视觉图表（图像文件夹）
- 内容：在每个实验文件夹中，“图像”子文件夹包含说明实验结果的可视化图形和图表。
- 目的：这些可视化提供了对性能趋势、模型之间的比较以及所采用技术的整体有效性的直观理解。它们对于快速掌握关键见解并从数据中得出结论至关重要。
4. 论文代码（代码文件夹）
- 内容：专用文件夹包含实验期间使用的所有原始代码。这包括用于数据预处理、模型提示、测试用例生成和性能分析的脚本。
- 目的：该文件夹允许用户探索和运行研究中不可或缺的代码，确保实验的可重复性和透明度。
实验背景和目标
该存储库中记录的实验旨在实现论文中的几个关键目标：
- 比较分析：评估和比较不同LLM模型和提示技术在从用户故事生成测试用例方面的有效性。
- 思想树（ToT）框架：集成和测试思想树（ToT）框架，以增强法学硕士的逻辑推理能力，生成更准确的测试用例。
- 可扩展性测试：使用不同的输入数据大小（100 和 500 个样本）进行实验，以评估模型的可扩展性和稳健性。
- 性能指标：使用一系列指标（包括准确性、完整性和相关性）分析生成的测试用例，以确定性能最佳的模型和技术。
如何使用此存储库
- 探索生成的测试用例：浏览每个文件夹中的 PDF，以查看由不同模型和技术生成的测试用例。这些文件是理解研究实际成果的关键。
- 分析指标：打开 Excel 文件以探索每个实验的详细指标和分数。这些文件可以深入了解模型在各个维度上的性能。
- 可视化结果：检查每个实验目录中的“图像”文件夹以获取数据的可视化表示。这些图表旨在帮助用户快速了解结果并确定趋势。
- 运行代码：浏览“代码”文件夹以查看或执行用于进行实验的原始脚本。这对于再现性和进一步的实验至关重要。
免责声明
该存储库的内容仅用于学术和研究目的。提出的结果和结论基于论文中详述的特定模型和技术。尽管我们已尽一切努力确保数据和调查结果的准确性，但根据这些方法的背景和应用，可能会出现变化。建议用户自行决定应用此存储库中包含的信息并承担风险。
版权
© 2024 阿克沙特·梅塔。版权所有。未经许可，严禁未经授权使用本存储库中包含的材料。
