Repositorio de experimentos de tesis: generación de casos de prueba a partir de historias de usuarios utilizando IA generativa
Descripción general
Este repositorio es parte de mi MSc. tesis titulada "Generación de casos de prueba a partir de historias de usuarios en ingeniería de requisitos utilizando técnicas de IA generativa con modelos LLM: un análisis comparativo". La investigación explora la aplicación de modelos de lenguaje grandes (LLM) para automatizar la generación de casos de prueba a partir de historias de usuarios dentro de la ingeniería de requisitos de software. Al comparar diferentes técnicas de IA generativa y modelos LLM, la tesis tiene como objetivo identificar el enfoque más eficaz para mejorar la precisión, integridad y eficiencia de la generación de casos de prueba.
idea de tesis
La idea central detrás de esta tesis es aprovechar las técnicas avanzadas de IA generativa y los LLM para automatizar el proceso tradicionalmente manual y lento de generar casos de prueba a partir de historias de usuarios. Las historias de usuarios, normalmente escritas en lenguaje natural, son una parte integral del proceso de desarrollo de software ágil y sirven como fuente para derivar casos de prueba que validan la funcionalidad de las características del software. La tesis investiga múltiples técnicas de estimulación y modelos LLM para evaluar su capacidad para generar casos de prueba relevantes y completos y, en última instancia, proporciona información sobre las mejores prácticas para integrar la IA en los flujos de trabajo de ingeniería de requisitos.
Estructura del repositorio
Este repositorio está estructurado para proporcionar una vista detallada y organizada de los experimentos realizados como parte de la investigación de tesis. Cada carpeta dentro del repositorio corresponde a un experimento específico o conjunto de experimentos e incluye los siguientes componentes:
1. Casos de prueba generados (PDF)
- Contenido : cada carpeta de experimento contiene un documento PDF con los casos de prueba generados por los modelos LLM seleccionados y las técnicas de estimulación. Estos casos de prueba son cruciales para evaluar los modelos en función de su precisión, integridad y relevancia para las historias de usuario proporcionadas.
- Propósito : Los archivos PDF sirven como resultado tangible de los experimentos, demostrando la aplicación práctica de los modelos en la generación de casos de prueba.
2. Hojas de Excel con métricas detalladas
- Contenido : Junto a cada experimento, hay un archivo de Excel que documenta todas las métricas clave y las puntuaciones calculadas durante el experimento. Esto incluye la cantidad de muestras de datos de entrada, puntajes de precisión, puntajes de integridad y otros indicadores de desempeño.
- Propósito : Las hojas de Excel proporcionan un análisis completo de cada experimento, lo que permite comparaciones detalladas entre diferentes modelos y técnicas de estimulación.
3. Gráficos visuales (carpeta de imágenes)
- Contenido : dentro de cada carpeta de experimentos, una subcarpeta de "imágenes" contiene gráficos visuales que ilustran los resultados de los experimentos.
- Propósito : estas visualizaciones ofrecen una comprensión intuitiva de las tendencias de rendimiento, las comparaciones entre modelos y la efectividad general de las técnicas empleadas. Son esenciales para captar rápidamente conocimientos clave y sacar conclusiones de los datos.
4. Código de Tesis (Carpeta de Códigos)
- Contenido : una carpeta dedicada contiene todo el código original utilizado durante los experimentos. Esto incluye scripts para el preprocesamiento de datos, solicitud de modelos, generación de casos de prueba y análisis de rendimiento.
- Propósito : esta carpeta permite a los usuarios explorar y ejecutar el código que fue parte integral de la investigación, asegurando la reproducibilidad y transparencia de los experimentos.
Contexto y objetivos experimentales
Los experimentos documentados en este repositorio están diseñados para cumplir varios objetivos clave dentro de la tesis:
- Análisis comparativo : evalúe y compare la efectividad de diferentes modelos LLM y técnicas de estimulación para generar casos de prueba a partir de historias de usuarios.
- Marco del Árbol de Pensamientos (ToT) : integre y pruebe el marco del Árbol de Pensamientos (ToT) para mejorar las capacidades de razonamiento lógico de los LLM para generar casos de prueba más precisos.
- Pruebas de escalabilidad : realice experimentos con diferentes tamaños de datos de entrada (100 y 500 muestras) para evaluar la escalabilidad y solidez de los modelos.
- Métricas de rendimiento : analice los casos de prueba generados utilizando una variedad de métricas, que incluyen precisión, integridad y relevancia, para determinar los modelos y técnicas de mejor rendimiento.
Cómo utilizar este repositorio
- Explore los casos de prueba generados : navegue por los archivos PDF en cada carpeta para revisar los casos de prueba producidos por diferentes modelos y técnicas. Estos documentos son clave para comprender los resultados prácticos de la investigación.
- Analice las métricas : abra los archivos de Excel para explorar las métricas y puntuaciones detalladas de cada experimento. Estos archivos proporcionan una inmersión profunda en el rendimiento de los modelos en varias dimensiones.
- Visualice los resultados : consulte la carpeta "imágenes" dentro de cada directorio de experimentos para obtener representaciones visuales de los datos. Estos gráficos están diseñados para ayudar a los usuarios a comprender rápidamente los resultados e identificar tendencias.
- Ejecute el código : explore la carpeta "Código" para ver o ejecutar los scripts originales utilizados para llevar a cabo los experimentos. Esto es esencial para la reproducibilidad y una mayor experimentación.
Descargo de responsabilidad
El contenido de este repositorio se proporciona únicamente con fines académicos y de investigación. Los resultados y conclusiones presentados se basan en modelos y técnicas específicas como se detalla en la tesis. Si bien se han hecho todos los esfuerzos posibles para garantizar la exactitud de los datos y los hallazgos, pueden ocurrir variaciones según el contexto y la aplicación de estos métodos. Se recomienda a los usuarios que apliquen la información contenida en este repositorio bajo su propia discreción y riesgo.
Derechos de autor
© 2024 Akshat Mehta. Reservados todos los derechos. El uso no autorizado de los materiales contenidos en este repositorio sin permiso está estrictamente prohibido.
