LJMU Thesis Results Akshat Mehta 1129239 Télécharger - LJMU Thesis Results Akshat Mehta 1129239 Téléchargement du code source

LJMU Thesis Results Akshat Mehta 1129239

Code Source AI

1.0.0

Télécharger

Référentiel d'expériences de thèse : génération de cas de test à partir de témoignages d'utilisateurs à l'aide de l'IA générative

Aperçu

Ce référentiel fait partie de mon MSc. thèse intitulée « Génération de cas de test à partir de témoignages d'utilisateurs dans l'ingénierie des exigences à l'aide de techniques d'IA générative avec des modèles LLM : une analyse comparative ». La recherche explore l'application des grands modèles linguistiques (LLM) pour automatiser la génération de cas de test à partir de user stories dans le cadre de l'ingénierie des exigences logicielles. En comparant différentes techniques d'IA générative et modèles LLM, la thèse vise à identifier l'approche la plus efficace pour améliorer la précision, l'exhaustivité et l'efficacité de la génération de cas de test.

Idée de thèse

L'idée principale derrière cette thèse est d'exploiter les techniques avancées d'IA générative et les LLM pour automatiser le processus traditionnellement manuel et long de génération de cas de test à partir de user stories. Les user stories, généralement écrites en langage naturel, font partie intégrante du processus de développement logiciel Agile, servant de source pour dériver des cas de test qui valident la fonctionnalité des fonctionnalités logicielles. La thèse étudie plusieurs techniques d'incitation et modèles LLM pour évaluer leur capacité à générer des cas de test pertinents et complets, fournissant ainsi un aperçu des meilleures pratiques pour intégrer l'IA dans les flux de travail d'ingénierie des exigences.

Structure du référentiel

Ce référentiel est structuré pour fournir une vue détaillée et organisée des expériences menées dans le cadre des recherches de la thèse. Chaque dossier du référentiel correspond à une expérience ou un ensemble d'expériences spécifique et comprend les composants suivants :

1. Cas de test générés (PDF)

Contenu : Chaque dossier d'expérience contient un document PDF avec les cas de tests générés par les modèles LLM sélectionnés et les techniques d'invite. Ces cas de test sont cruciaux pour évaluer les modèles en fonction de leur exactitude, de leur exhaustivité et de leur pertinence par rapport aux user stories fournies.
Objectif : Les PDF servent de résultat tangible des expériences, démontrant l'application pratique des modèles dans la génération de cas de test.

2. Feuilles Excel avec des mesures détaillées

Contenu : Chaque expérience est accompagnée d'un fichier Excel qui documente tous les indicateurs clés et scores calculés au cours de l'expérience. Cela inclut le nombre d'échantillons de données d'entrée, les scores d'exactitude, les scores d'exhaustivité et d'autres indicateurs de performance.
Objectif : Les feuilles Excel fournissent une analyse complète de chaque expérience, permettant des comparaisons détaillées entre différents modèles et techniques d'incitation.

3. Graphiques visuels (dossier Images)

Contenu : Au sein de chaque dossier d'expérience, un sous-dossier « images » contient des graphiques visuels et des diagrammes qui illustrent les résultats des expériences.
Objectif : Ces visualisations offrent une compréhension intuitive des tendances de performances, des comparaisons entre les modèles et de l'efficacité globale des techniques utilisées. Ils sont essentiels pour saisir rapidement les informations clés et tirer des conclusions à partir des données.

4. Code de thèse (dossier de codes)

Contenu : Un dossier dédié contient tout le code original utilisé lors des expérimentations. Cela inclut des scripts pour le prétraitement des données, l'invite du modèle, la génération de scénarios de test et l'analyse des performances.
Objectif : Ce dossier permet aux utilisateurs d'explorer et d'exécuter le code qui faisait partie intégrante de la recherche, garantissant la reproductibilité et la transparence des expériences.

Contexte expérimental et objectifs

Les expériences documentées dans ce référentiel sont conçues pour remplir plusieurs objectifs clés de la thèse :

Analyse comparative : évaluer et comparer l'efficacité de différents modèles LLM et techniques d'incitation pour générer des cas de test à partir de user stories.
Framework Tree of Thoughts (ToT) : intégrez et testez le framework Tree of Thoughts (ToT) pour améliorer les capacités de raisonnement logique des LLM en générant des cas de test plus précis.
Tests d'évolutivité : effectuez des expériences avec différentes tailles de données d'entrée (100 et 500 échantillons) pour évaluer l'évolutivité et la robustesse des modèles.
Mesures de performance : analysez les cas de test générés à l'aide d'une gamme de mesures, notamment l'exactitude, l'exhaustivité et la pertinence, pour déterminer les modèles et techniques les plus performants.

Comment utiliser ce référentiel

Explorez les cas de test générés : parcourez les fichiers PDF de chaque dossier pour passer en revue les cas de test produits par différents modèles et techniques. Ces documents sont essentiels pour comprendre les résultats pratiques de la recherche.
Analyser les métriques : ouvrez les fichiers Excel pour explorer les métriques et les scores détaillés de chaque expérience. Ces fichiers fournissent une analyse approfondie des performances des modèles dans diverses dimensions.
Visualisez les résultats : vérifiez le dossier "images" dans chaque répertoire d'expérience pour des représentations visuelles des données. Ces graphiques sont conçus pour aider les utilisateurs à comprendre rapidement les résultats et à identifier les tendances.
Exécuter le code : Explorez le dossier « Code » pour visualiser ou exécuter les scripts originaux utilisés pour réaliser les expériences. Ceci est essentiel pour la reproductibilité et la poursuite des expérimentations.

Clause de non-responsabilité

Le contenu de ce référentiel est fourni uniquement à des fins académiques et de recherche. Les résultats et conclusions présentés sont basés sur des modèles et des techniques spécifiques tels que détaillés dans la thèse. Bien que tous les efforts aient été déployés pour garantir l'exactitude des données et des résultats, des variations peuvent survenir en fonction du contexte et de l'application de ces méthodes. Il est conseillé aux utilisateurs d'appliquer les informations contenues dans ce référentiel à leur propre discrétion et à leurs risques.