พื้นที่เก็บข้อมูลการทดลองวิทยานิพนธ์: การสร้างกรณีทดสอบจากเรื่องราวของผู้ใช้โดยใช้ Generative AI
ภาพรวม
พื้นที่เก็บข้อมูลนี้เป็นส่วนหนึ่งของ MSc ของฉัน วิทยานิพนธ์เรื่อง "การสร้างกรณีทดสอบจากเรื่องราวของผู้ใช้ในวิศวกรรมความต้องการโดยใช้เทคนิค Generative AI ด้วยแบบจำลอง LLM: การวิเคราะห์เปรียบเทียบ" การวิจัยสำรวจการประยุกต์ใช้โมเดลภาษาขนาดใหญ่ (LLM) ในการสร้างกรณีทดสอบโดยอัตโนมัติจากเรื่องราวของผู้ใช้ภายในวิศวกรรมความต้องการซอฟต์แวร์ ด้วยการเปรียบเทียบเทคนิค Generative AI และโมเดล LLM ที่แตกต่างกัน วิทยานิพนธ์นี้มีจุดมุ่งหมายเพื่อระบุแนวทางที่มีประสิทธิภาพสูงสุดในการปรับปรุงความแม่นยำ ความสมบูรณ์ และประสิทธิภาพของการสร้างกรณีทดสอบ
แนวคิดวิทยานิพนธ์
แนวคิดหลักเบื้องหลังวิทยานิพนธ์นี้คือการใช้ประโยชน์จากเทคนิค Generative AI ขั้นสูงและ LLM เพื่อทำให้กระบวนการสร้างกรณีทดสอบจากเรื่องราวของผู้ใช้เป็นแบบอัตโนมัติและใช้เวลานาน เรื่องราวของผู้ใช้ซึ่งโดยทั่วไปเขียนด้วยภาษาธรรมชาติเป็นส่วนสำคัญของกระบวนการพัฒนาซอฟต์แวร์แบบ Agile ซึ่งทำหน้าที่เป็นแหล่งข้อมูลสำหรับกรณีทดสอบที่ตรวจสอบการทำงานของคุณลักษณะซอฟต์แวร์ วิทยานิพนธ์จะศึกษาเทคนิคการกระตุ้นเตือนหลายประการและแบบจำลอง LLM เพื่อประเมินความสามารถในการสร้างกรณีทดสอบที่เกี่ยวข้องและครอบคลุม โดยท้ายที่สุดแล้วจะให้ข้อมูลเชิงลึกเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดในการบูรณาการ AI เข้ากับขั้นตอนการทำงานด้านวิศวกรรมความต้องการ
โครงสร้างพื้นที่เก็บข้อมูล
พื้นที่เก็บข้อมูลนี้มีโครงสร้างเพื่อให้มุมมองที่ละเอียดและเป็นระเบียบของการทดลองที่ดำเนินการโดยเป็นส่วนหนึ่งของการวิจัยวิทยานิพนธ์ แต่ละโฟลเดอร์ภายในที่เก็บสอดคล้องกับการทดลองเฉพาะหรือชุดการทดลอง และมีส่วนประกอบต่อไปนี้:
1. สร้างกรณีทดสอบ (PDF)
- เนื้อหา : โฟลเดอร์การทดลองแต่ละโฟลเดอร์ประกอบด้วยเอกสาร PDF พร้อมกรณีการทดสอบที่สร้างโดยแบบจำลอง LLM ที่เลือกและเทคนิคการแจ้งเตือน กรณีทดสอบเหล่านี้มีความสำคัญอย่างยิ่งในการประเมินแบบจำลองตามความถูกต้อง ความสมบูรณ์ และความเกี่ยวข้องกับเรื่องราวของผู้ใช้ที่ให้ไว้
- วัตถุประสงค์ : PDF ทำหน้าที่เป็นผลลัพธ์ที่จับต้องได้ของการทดลอง ซึ่งสาธิตการใช้งานแบบจำลองในทางปฏิบัติในการสร้างกรณีทดสอบ
2. แผ่นงาน Excel พร้อมตัวชี้วัดโดยละเอียด
- เนื้อหา : ในแต่ละการทดสอบจะมีไฟล์ Excel ที่บันทึกการวัดและคะแนนหลักทั้งหมดที่คำนวณระหว่างการทดสอบ ซึ่งรวมถึงจำนวนตัวอย่างข้อมูลอินพุต คะแนนความแม่นยำ คะแนนความสมบูรณ์ และตัวบ่งชี้ประสิทธิภาพอื่นๆ
- วัตถุประสงค์ : แผ่นงาน Excel ให้การวิเคราะห์ที่ครอบคลุมของการทดลองแต่ละครั้ง ทำให้สามารถเปรียบเทียบรายละเอียดระหว่างแบบจำลองต่างๆ และเทคนิคการกระตุ้นเตือนได้
3. กราฟภาพ (โฟลเดอร์รูปภาพ)
- เนื้อหา : ภายในโฟลเดอร์การทดสอบแต่ละโฟลเดอร์ โฟลเดอร์ย่อย "รูปภาพ" จะมีกราฟและแผนภูมิที่แสดงผลลัพธ์ของการทดสอบ
- วัตถุประสงค์ : การแสดงภาพเหล่านี้นำเสนอความเข้าใจโดยสัญชาตญาณเกี่ยวกับแนวโน้มประสิทธิภาพ การเปรียบเทียบระหว่างแบบจำลอง และประสิทธิผลโดยรวมของเทคนิคที่ใช้ สิ่งเหล่านี้จำเป็นสำหรับการเข้าใจข้อมูลเชิงลึกที่สำคัญอย่างรวดเร็วและสรุปผลจากข้อมูล
4. รหัสวิทยานิพนธ์ (โฟลเดอร์รหัส)
- เนื้อหา : โฟลเดอร์เฉพาะประกอบด้วยโค้ดต้นฉบับทั้งหมดที่ใช้ระหว่างการทดลอง ซึ่งรวมถึงสคริปต์สำหรับการประมวลผลข้อมูลล่วงหน้า การแจ้งโมเดล การสร้างกรณีทดสอบ และการวิเคราะห์ประสิทธิภาพ
- วัตถุประสงค์ : โฟลเดอร์นี้อนุญาตให้ผู้ใช้สำรวจและเรียกใช้โค้ดที่เป็นส่วนสำคัญในการวิจัย เพื่อให้มั่นใจถึงความสามารถในการทำซ้ำและความโปร่งใสของการทดลอง
บริบทและวัตถุประสงค์การทดลอง
การทดลองที่บันทึกไว้ในที่เก็บข้อมูลนี้ได้รับการออกแบบมาเพื่อตอบสนองวัตถุประสงค์หลักหลายประการภายในวิทยานิพนธ์:
- การวิเคราะห์เชิงเปรียบเทียบ : ประเมินและเปรียบเทียบประสิทธิภาพของโมเดล LLM ต่างๆ และแจ้งเทคนิคในการสร้างกรณีทดสอบจากเรื่องราวของผู้ใช้
- กรอบงาน Tree of Thoughts (ToT) : บูรณาการและทดสอบกรอบงาน Tree of Thoughts (ToT) เพื่อเพิ่มความสามารถในการให้เหตุผลเชิงตรรกะของ LLM ในการสร้างกรณีทดสอบที่แม่นยำยิ่งขึ้น
- การทดสอบความสามารถในการขยายขนาด : ดำเนินการทดลองด้วยขนาดข้อมูลอินพุตที่แตกต่างกัน (100 และ 500 ตัวอย่าง) เพื่อประเมินความสามารถในการขยายขนาดและความทนทานของแบบจำลอง
- ตัวชี้วัดประสิทธิภาพ : วิเคราะห์กรณีทดสอบที่สร้างขึ้นโดยใช้ช่วงของตัวชี้วัด รวมถึงความถูกต้อง ความสมบูรณ์ และความเกี่ยวข้อง เพื่อกำหนดแบบจำลองและเทคนิคที่มีประสิทธิภาพดีที่สุด
วิธีใช้พื้นที่เก็บข้อมูลนี้
- สำรวจกรณีทดสอบที่สร้างขึ้น : นำทางผ่าน PDF ในแต่ละโฟลเดอร์เพื่อตรวจสอบกรณีทดสอบที่เกิดจากโมเดลและเทคนิคที่แตกต่างกัน เอกสารเหล่านี้เป็นกุญแจสำคัญในการทำความเข้าใจผลการวิจัยเชิงปฏิบัติ
- วิเคราะห์เมตริก : เปิดไฟล์ Excel เพื่อสำรวจเมตริกและคะแนนโดยละเอียดสำหรับการทดสอบแต่ละรายการ ไฟล์เหล่านี้ให้ข้อมูลเชิงลึกเกี่ยวกับประสิทธิภาพของโมเดลในมิติต่างๆ
- แสดงผลลัพธ์เป็นภาพ : ตรวจสอบโฟลเดอร์ "รูปภาพ" ภายในไดเร็กทอรีการทดลองแต่ละรายการเพื่อดูการแสดงข้อมูลเป็นภาพ กราฟเหล่านี้ออกแบบมาเพื่อช่วยให้ผู้ใช้เข้าใจผลลัพธ์และระบุแนวโน้มได้อย่างรวดเร็ว
- เรียกใช้โค้ด : สำรวจโฟลเดอร์ "โค้ด" เพื่อดูหรือรันสคริปต์ต้นฉบับที่ใช้เพื่อทำการทดลอง นี่เป็นสิ่งสำคัญสำหรับความสามารถในการทำซ้ำและการทดลองเพิ่มเติม
ข้อสงวนสิทธิ์
เนื้อหาของพื้นที่เก็บข้อมูลนี้จัดทำขึ้นเพื่อวัตถุประสงค์ทางวิชาการและการวิจัยเท่านั้น ผลลัพธ์และข้อสรุปที่นำเสนอขึ้นอยู่กับแบบจำลองและเทคนิคเฉพาะตามรายละเอียดในวิทยานิพนธ์ แม้ว่าเราจะพยายามทุกวิถีทางเพื่อรับรองความถูกต้องของข้อมูลและการค้นพบ แต่ความแปรผันอาจเกิดขึ้นได้ขึ้นอยู่กับบริบทและการประยุกต์วิธีการเหล่านี้ ผู้ใช้ควรใช้ข้อมูลที่มีอยู่ในที่เก็บข้อมูลนี้ตามดุลยพินิจและความเสี่ยงของตนเอง
ลิขสิทธิ์
© 2024 อักษัต เมห์ตา. สงวนลิขสิทธิ์. ห้ามใช้วัสดุที่มีอยู่ในพื้นที่เก็บข้อมูลนี้โดยไม่ได้รับอนุญาตโดยไม่ได้รับอนุญาตโดยเด็ดขาด
