Repository für Abschlussexperimente: Testfallgenerierung aus User Stories mithilfe generativer KI
Überblick
Dieses Repository ist Teil meines MSc. Diplomarbeit mit dem Titel „Testfallgenerierung aus User Stories im Requirement Engineering unter Verwendung generativer KI-Techniken mit LLM-Modellen: Eine vergleichende Analyse.“ Die Forschung untersucht die Anwendung von Large Language Models (LLMs) bei der Automatisierung der Generierung von Testfällen aus User Stories im Rahmen der Softwareanforderungsentwicklung. Durch den Vergleich verschiedener generativer KI-Techniken und LLM-Modelle zielt die Arbeit darauf ab, den effektivsten Ansatz zur Verbesserung der Genauigkeit, Vollständigkeit und Effizienz der Testfallgenerierung zu identifizieren.
Thesenidee
Die Kernidee dieser Arbeit besteht darin, fortschrittliche generative KI-Techniken und LLMs zu nutzen, um den traditionell manuellen und zeitaufwändigen Prozess der Generierung von Testfällen aus User Stories zu automatisieren. User Stories, die typischerweise in natürlicher Sprache verfasst sind, sind ein integraler Bestandteil des agilen Softwareentwicklungsprozesses und dienen als Quelle für die Ableitung von Testfällen, die die Funktionalität von Softwarefunktionen validieren. Die Arbeit untersucht mehrere Eingabeaufforderungstechniken und LLM-Modelle, um ihre Fähigkeit zu bewerten, relevante und umfassende Testfälle zu generieren, und liefert letztendlich Einblicke in die Best Practices für die Integration von KI in Anforderungsentwicklungsabläufe.
Repository-Struktur
Dieses Repository ist so strukturiert, dass es einen detaillierten und organisierten Überblick über die im Rahmen der Abschlussarbeit durchgeführten Experimente bietet. Jeder Ordner im Repository entspricht einem bestimmten Experiment oder einer Reihe von Experimenten und enthält die folgenden Komponenten:
1. Generierte Testfälle (PDF)
- Inhalt : Jeder Experimentordner enthält ein PDF-Dokument mit den von den ausgewählten LLM-Modellen generierten Testfällen und Eingabeaufforderungstechniken. Diese Testfälle sind entscheidend für die Bewertung der Modelle auf der Grundlage ihrer Genauigkeit, Vollständigkeit und Relevanz für die bereitgestellten User Stories.
- Zweck : Die PDFs dienen als konkretes Ergebnis der Experimente und demonstrieren die praktische Anwendung der Modelle bei der Generierung von Testfällen.
2. Excel-Tabellen mit detaillierten Metriken
- Inhalt : Zu jedem Experiment gibt es eine Excel-Datei, die alle wichtigen Kennzahlen und Ergebnisse dokumentiert, die während des Experiments berechnet wurden. Dazu gehören die Anzahl der Eingabedatenbeispiele, Genauigkeitswerte, Vollständigkeitswerte und andere Leistungsindikatoren.
- Zweck : Die Excel-Tabellen bieten eine umfassende Analyse jedes Experiments und ermöglichen detaillierte Vergleiche zwischen verschiedenen Modellen und Aufforderungstechniken.
3. Visuelle Diagramme (Ordner „Bilder“)
- Inhalt : In jedem Experimentordner enthält ein Unterordner „images“ visuelle Grafiken und Diagramme, die die Ergebnisse der Experimente veranschaulichen.
- Zweck : Diese Visualisierungen bieten ein intuitives Verständnis von Leistungstrends, Vergleichen zwischen Modellen und der Gesamteffektivität der eingesetzten Techniken. Sie sind unerlässlich, um wichtige Erkenntnisse schnell zu erfassen und Schlussfolgerungen aus den Daten zu ziehen.
4. Code of Thesis (Code-Ordner)
- Inhalt : Ein spezieller Ordner enthält den gesamten Originalcode, der während der Experimente verwendet wurde. Dazu gehören Skripte für die Datenvorverarbeitung, Modellaufforderung, Testfallgenerierung und Leistungsanalyse.
- Zweck : In diesem Ordner können Benutzer den für die Forschung wesentlichen Code erkunden und ausführen, um die Reproduzierbarkeit und Transparenz der Experimente sicherzustellen.
Experimenteller Kontext und Ziele
Die in diesem Repository dokumentierten Experimente sollen mehrere Hauptziele der Dissertation erfüllen:
- Vergleichende Analyse : Bewerten und vergleichen Sie die Wirksamkeit verschiedener LLM-Modelle und Aufforderungstechniken bei der Generierung von Testfällen aus User Stories.
- Tree of Thoughts (ToT)-Framework : Integrieren und testen Sie das Tree of Thoughts (ToT)-Framework, um die logischen Denkfähigkeiten der LLMs bei der Generierung genauerer Testfälle zu verbessern.
- Skalierbarkeitstests : Führen Sie Experimente mit unterschiedlichen Eingabedatengrößen (100 und 500 Stichproben) durch, um die Skalierbarkeit und Robustheit der Modelle zu bewerten.
- Leistungsmetriken : Analysieren Sie die generierten Testfälle anhand einer Reihe von Metriken, einschließlich Genauigkeit, Vollständigkeit und Relevanz, um die Modelle und Techniken mit der besten Leistung zu ermitteln.
So verwenden Sie dieses Repository
- Erkunden Sie die generierten Testfälle : Navigieren Sie durch die PDFs in jedem Ordner, um die von verschiedenen Modellen und Techniken erstellten Testfälle zu überprüfen. Diese Dokumente sind der Schlüssel zum Verständnis der praktischen Ergebnisse der Forschung.
- Analysieren Sie die Metriken : Öffnen Sie die Excel-Dateien, um die detaillierten Metriken und Ergebnisse für jedes Experiment zu erkunden. Diese Dateien bieten einen tiefen Einblick in die Leistung der Modelle in verschiedenen Dimensionen.
- Visualisieren Sie die Ergebnisse : Überprüfen Sie den Ordner „images“ in jedem Experimentverzeichnis auf visuelle Darstellungen der Daten. Diese Diagramme sollen Benutzern helfen, die Ergebnisse schnell zu verstehen und Trends zu erkennen.
- Führen Sie den Code aus : Durchsuchen Sie den Ordner „Code“, um die Originalskripte anzuzeigen oder auszuführen, die zur Durchführung der Experimente verwendet wurden. Dies ist für die Reproduzierbarkeit und weitere Experimente von wesentlicher Bedeutung.
Haftungsausschluss
Der Inhalt dieses Repositorys wird ausschließlich für akademische und Forschungszwecke bereitgestellt. Die präsentierten Ergebnisse und Schlussfolgerungen basieren auf spezifischen Modellen und Techniken, wie in der Arbeit detailliert beschrieben. Obwohl alle Anstrengungen unternommen wurden, um die Genauigkeit der Daten und Ergebnisse sicherzustellen, können je nach Kontext und Anwendung dieser Methoden Abweichungen auftreten. Benutzern wird empfohlen, die in diesem Repository enthaltenen Informationen nach eigenem Ermessen und auf eigenes Risiko zu verwenden.
Copyright
© 2024 Akshat Mehta. Alle Rechte vorbehalten. Die unbefugte Nutzung der in diesem Repository enthaltenen Materialien ohne Genehmigung ist strengstens untersagt.
