Repositório de experimentos de tese: geração de casos de teste a partir de histórias de usuários usando IA generativa
Visão geral
Este repositório faz parte do meu mestrado. tese intitulada "Geração de casos de teste a partir de histórias de usuários em engenharia de requisitos usando técnicas de IA generativa com modelos LLM: uma análise comparativa." A pesquisa explora a aplicação de Large Language Models (LLMs) na automatização da geração de casos de teste a partir de histórias de usuários na engenharia de requisitos de software. Ao comparar diferentes técnicas de IA generativa e modelos LLM, a tese visa identificar a abordagem mais eficaz para melhorar a precisão, integridade e eficiência da geração de casos de teste.
Ideia de Tese
A ideia central por trás desta tese é aproveitar técnicas avançadas de IA generativa e LLMs para automatizar o processo tradicionalmente manual e demorado de geração de casos de teste a partir de histórias de usuários. As histórias de usuários, normalmente escritas em linguagem natural, são parte integrante do processo de desenvolvimento ágil de software, servindo como fonte para derivar casos de teste que validam a funcionalidade dos recursos do software. A tese investiga múltiplas técnicas de prompting e modelos LLM para avaliar sua capacidade de gerar casos de teste relevantes e abrangentes, fornecendo, em última análise, insights sobre as melhores práticas para integração de IA em fluxos de trabalho de engenharia de requisitos.
Estrutura do Repositório
Este repositório está estruturado para fornecer uma visão detalhada e organizada dos experimentos realizados como parte da pesquisa da tese. Cada pasta do repositório corresponde a um experimento ou conjunto de experimentos específico e inclui os seguintes componentes:
1. Casos de teste gerados (PDF)
- Conteúdo : Cada pasta de experimento contém um documento PDF com os casos de teste gerados pelos modelos LLM selecionados e técnicas de prompt. Esses casos de teste são cruciais para avaliar os modelos com base em sua precisão, integridade e relevância para as histórias de usuários fornecidas.
- Objetivo : Os PDFs servem como saída tangível dos experimentos, demonstrando a aplicação prática dos modelos na geração de casos de teste.
2. Planilhas Excel com métricas detalhadas
- Conteúdo : Acompanhando cada experimento, há um arquivo Excel que documenta todas as principais métricas e pontuações calculadas durante o experimento. Isso inclui o número de amostras de dados de entrada, pontuações de precisão, pontuações de integridade e outros indicadores de desempenho.
- Objetivo : As planilhas Excel fornecem uma análise abrangente de cada experimento, permitindo comparações detalhadas entre diferentes modelos e técnicas de solicitação.
3. Gráficos visuais (pasta de imagens)
- Conteúdo : dentro de cada pasta de experimento, uma subpasta "imagens" contém gráficos visuais e tabelas que ilustram os resultados dos experimentos.
- Objetivo : Essas visualizações oferecem uma compreensão intuitiva das tendências de desempenho, comparações entre modelos e a eficácia geral das técnicas empregadas. Eles são essenciais para compreender rapidamente os principais insights e tirar conclusões dos dados.
4. Código de Tese (Pasta de Código)
- Conteúdo : Uma pasta dedicada contém todo o código original usado durante os experimentos. Isso inclui scripts para pré-processamento de dados, solicitação de modelo, geração de casos de teste e análise de desempenho.
- Objetivo : Esta pasta permite aos usuários explorar e executar o código que fez parte integrante da pesquisa, garantindo reprodutibilidade e transparência dos experimentos.
Contexto Experimental e Objetivos
Os experimentos documentados neste repositório são projetados para cumprir vários objetivos principais da tese:
- Análise Comparativa : Avalie e compare a eficácia de diferentes modelos LLM e técnicas de solicitação na geração de casos de teste a partir de histórias de usuários.
- Estrutura da Árvore de Pensamentos (ToT) : Integre e teste a estrutura da Árvore de Pensamentos (ToT) para aprimorar as capacidades de raciocínio lógico dos LLMs na geração de casos de teste mais precisos.
- Teste de escalabilidade : conduza experimentos com tamanhos variados de dados de entrada (100 e 500 amostras) para avaliar a escalabilidade e robustez dos modelos.
- Métricas de desempenho : analise os casos de teste gerados usando uma variedade de métricas, incluindo precisão, integridade e relevância, para determinar os modelos e técnicas de melhor desempenho.
Como usar este repositório
- Explore os casos de teste gerados : navegue pelos PDFs de cada pasta para revisar os casos de teste produzidos por diferentes modelos e técnicas. Esses documentos são fundamentais para a compreensão dos resultados práticos da pesquisa.
- Analise as métricas : abra os arquivos do Excel para explorar as métricas e pontuações detalhadas de cada experimento. Esses arquivos fornecem uma análise profunda do desempenho dos modelos em várias dimensões.
- Visualize os resultados : Verifique a pasta "imagens" dentro de cada diretório de experimento para representações visuais dos dados. Esses gráficos foram projetados para ajudar os usuários a compreender rapidamente os resultados e identificar tendências.
- Execute o Código : Explore a pasta "Código" para visualizar ou executar os scripts originais utilizados para realizar os experimentos. Isto é essencial para a reprodutibilidade e futuras experimentações.
Isenção de responsabilidade
O conteúdo deste repositório é fornecido apenas para fins acadêmicos e de pesquisa. Os resultados e conclusões apresentados baseiam-se em modelos e técnicas específicas detalhadas na tese. Embora tenham sido feitos todos os esforços para garantir a precisão dos dados e conclusões, podem ocorrer variações dependendo do contexto e da aplicação destes métodos. Os usuários são aconselhados a aplicar as informações contidas neste repositório por sua própria conta e risco.
Direitos autorais
© 2024 Akshat Mehta. Todos os direitos reservados. O uso não autorizado dos materiais contidos neste repositório sem permissão é estritamente proibido.
