Repositori Eksperimen Tesis: Pembuatan Kasus Uji dari Kisah Pengguna Menggunakan AI Generatif
Ringkasan
Repositori ini adalah bagian dari MSc saya. tesis berjudul "Uji Pembuatan Kasus dari Kisah Pengguna dalam Rekayasa Persyaratan menggunakan Teknik AI Generatif dengan Model LLM: Analisis Komparatif." Penelitian ini mengeksplorasi penerapan Model Bahasa Besar (LLM) dalam mengotomatisasi pembuatan kasus uji dari cerita pengguna dalam rekayasa kebutuhan perangkat lunak. Dengan membandingkan berbagai teknik AI Generatif dan model LLM, tesis ini bertujuan untuk mengidentifikasi pendekatan yang paling efektif untuk meningkatkan akurasi, kelengkapan, dan efisiensi pembuatan kasus uji.
Ide Tesis
Ide inti di balik tesis ini adalah untuk memanfaatkan teknik AI Generatif dan LLM yang canggih untuk mengotomatisasi proses yang biasanya manual dan memakan waktu dalam menghasilkan kasus uji dari cerita pengguna. Cerita pengguna, biasanya ditulis dalam bahasa alami, merupakan bagian integral dari proses pengembangan perangkat lunak Agile, yang berfungsi sebagai sumber untuk mendapatkan kasus uji yang memvalidasi fungsionalitas fitur perangkat lunak. Tesis ini menyelidiki beberapa teknik dorongan dan model LLM untuk menilai kemampuannya dalam menghasilkan kasus uji yang relevan dan komprehensif, yang pada akhirnya memberikan wawasan tentang praktik terbaik untuk mengintegrasikan AI ke dalam alur kerja rekayasa persyaratan.
Struktur Repositori
Repositori ini disusun untuk memberikan pandangan rinci dan terorganisir tentang eksperimen yang dilakukan sebagai bagian dari penelitian tesis. Setiap folder dalam repositori berhubungan dengan eksperimen atau kumpulan eksperimen tertentu dan mencakup komponen berikut:
1. Kasus Uji yang Dihasilkan (PDF)
- Isi : Setiap folder eksperimen berisi dokumen PDF dengan kasus uji yang dihasilkan oleh model LLM yang dipilih dan teknik prompt. Kasus uji ini sangat penting untuk mengevaluasi model berdasarkan keakuratan, kelengkapan, dan relevansinya dengan cerita pengguna yang diberikan.
- Tujuan : PDF berfungsi sebagai keluaran nyata dari eksperimen, yang menunjukkan penerapan praktis model dalam menghasilkan kasus uji.
2. Lembar Excel dengan Metrik Terperinci
- Isi : Di samping setiap eksperimen, terdapat file Excel yang mendokumentasikan semua metrik dan skor utama yang dihitung selama eksperimen. Hal ini mencakup jumlah sampel data masukan, skor akurasi, skor kelengkapan, dan indikator kinerja lainnya.
- Tujuan : Lembar Excel memberikan analisis komprehensif dari setiap eksperimen, memungkinkan perbandingan mendetail di berbagai model dan teknik dorongan.
3. Grafik Visual (Folder Gambar)
- Isi : Dalam setiap folder percobaan, subfolder "gambar" berisi grafik visual dan bagan yang mengilustrasikan hasil percobaan.
- Tujuan : Visualisasi ini menawarkan pemahaman intuitif tentang tren kinerja, perbandingan antar model, dan efektivitas keseluruhan teknik yang digunakan. Hal ini penting untuk menangkap wawasan penting dan menarik kesimpulan dari data dengan cepat.
4. Kode Skripsi (Kode Folder)
- Isi : Folder khusus berisi semua kode asli yang digunakan selama percobaan. Ini termasuk skrip untuk prapemrosesan data, permintaan model, pembuatan kasus uji, dan analisis kinerja.
- Tujuan : Folder ini memungkinkan pengguna untuk menjelajahi dan menjalankan kode yang merupakan bagian integral dari penelitian, memastikan reproduktifitas dan transparansi eksperimen.
Konteks dan Tujuan Eksperimental
Eksperimen yang didokumentasikan dalam repositori ini dirancang untuk memenuhi beberapa tujuan utama dalam tesis:
- Analisis Komparatif : Mengevaluasi dan membandingkan efektivitas berbagai model LLM dan teknik prompt dalam menghasilkan kasus uji dari cerita pengguna.
- Kerangka Pohon Pemikiran (ToT) : Mengintegrasikan dan menguji kerangka Pohon Pemikiran (ToT) untuk meningkatkan kemampuan penalaran logis LLM dalam menghasilkan kasus uji yang lebih akurat.
- Pengujian Skalabilitas : Melakukan eksperimen dengan berbagai ukuran data masukan (100 dan 500 sampel) untuk menilai skalabilitas dan ketahanan model.
- Metrik Kinerja : Analisis kasus pengujian yang dihasilkan menggunakan serangkaian metrik, termasuk akurasi, kelengkapan, dan relevansi, untuk menentukan model dan teknik dengan kinerja terbaik.
Cara Menggunakan Repositori Ini
- Jelajahi Kasus Uji yang Dihasilkan : Telusuri PDF di setiap folder untuk meninjau kasus uji yang dihasilkan oleh model dan teknik berbeda. Dokumen-dokumen ini adalah kunci untuk memahami hasil praktis dari penelitian ini.
- Analisis Metrik : Buka file Excel untuk menjelajahi metrik dan skor terperinci untuk setiap eksperimen. File-file ini memberikan penjelasan mendalam tentang performa model di berbagai dimensi.
- Visualisasikan Hasilnya : Periksa folder "gambar" dalam setiap direktori eksperimen untuk representasi visual data. Grafik ini dirancang untuk membantu pengguna dengan cepat memahami hasil dan mengidentifikasi tren.
- Jalankan Kode : Jelajahi folder "Kode" untuk melihat atau menjalankan skrip asli yang digunakan untuk melakukan eksperimen. Hal ini penting untuk reproduktifitas dan eksperimen lebih lanjut.
Penafian
Isi repositori ini disediakan untuk tujuan akademis dan penelitian saja. Hasil dan kesimpulan yang disajikan didasarkan pada model dan teknik tertentu sebagaimana dirinci dalam tesis. Meskipun segala upaya telah dilakukan untuk memastikan keakuratan data dan temuan, variasi dapat terjadi tergantung pada konteks dan penerapan metode ini. Pengguna disarankan untuk menerapkan informasi yang terkandung dalam repositori ini atas kebijakan dan risiko mereka sendiri.
Hak cipta
© 2024 Akshat Mehta. Semua hak dilindungi undang-undang. Dilarang keras menggunakan materi yang terkandung dalam repositori ini tanpa izin.
