LJMU Thesis Results Akshat Mehta 1129239 다운로드 - LJMU Thesis Results Akshat Mehta 1129239 소스 코드 다운로드

LJMU Thesis Results Akshat Mehta 1129239

AI 소스 코드

1.0.0

다운로드

논문 실험 저장소: 생성 AI를 사용한 사용자 스토리에서 테스트 사례 생성

개요

이 저장소는 내 MSc의 일부입니다. "LLM 모델과 함께 생성적 AI 기술을 사용하는 요구 엔지니어링의 사용자 스토리에서 테스트 사례 생성: 비교 분석"이라는 논문입니다. 이 연구에서는 소프트웨어 요구 사항 엔지니어링 내에서 사용자 스토리로부터 테스트 사례 생성을 자동화하는 데 LLM(대형 언어 모델) 적용을 탐구합니다. 다양한 Generative AI 기술과 LLM 모델을 비교함으로써 이 논문은 테스트 사례 생성의 정확성, 완전성 및 효율성을 향상시키기 위한 가장 효과적인 접근 방식을 식별하는 것을 목표로 합니다.

논문 아이디어

이 논문의 핵심 아이디어는 고급 Generative AI 기술과 LLM을 활용하여 사용자 스토리에서 테스트 사례를 생성하는 전통적으로 수동적이고 시간이 많이 걸리는 프로세스를 자동화하는 것입니다. 일반적으로 자연어로 작성된 사용자 스토리는 Agile 소프트웨어 개발 프로세스의 필수적인 부분으로, 소프트웨어 기능의 기능을 검증하는 테스트 사례를 도출하기 위한 소스 역할을 합니다. 이 논문에서는 다양한 프롬프트 기술과 LLM 모델을 조사하여 관련성 있고 포괄적인 테스트 사례를 생성하는 능력을 평가하고 궁극적으로 AI를 요구 사항 엔지니어링 워크플로우에 통합하기 위한 모범 사례에 대한 통찰력을 제공합니다.

저장소 구조

이 저장소는 논문 연구의 일환으로 수행된 실험에 대한 상세하고 체계적인 보기를 제공하도록 구성되어 있습니다. 저장소 내의 각 폴더는 특정 실험 또는 실험 세트에 해당하며 다음 구성 요소를 포함합니다.

1. 생성된 테스트 케이스(PDF)

내용 : 각 실험 폴더에는 선택한 LLM 모델과 프롬프트 기술로 생성된 테스트 사례가 포함된 PDF 문서가 포함되어 있습니다. 이러한 테스트 사례는 제공된 사용자 스토리와의 정확성, 완전성 및 관련성을 기반으로 모델을 평가하는 데 중요합니다.
목적 : PDF는 실험의 실질적인 출력으로 사용되어 테스트 사례 생성 시 모델의 실제 적용을 보여줍니다.

2. 자세한 측정항목이 포함된 Excel 시트

내용 : 각 실험과 함께 실험 중에 계산된 모든 주요 지표와 점수를 문서화한 Excel 파일이 있습니다. 여기에는 입력 데이터 샘플 수, 정확도 점수, 완전성 점수 및 기타 성능 지표가 포함됩니다.
목적 : Excel 시트는 각 실험에 대한 포괄적인 분석을 제공하여 다양한 모델과 프롬프트 기술에 대한 자세한 비교를 가능하게 합니다.

3. 시각적 그래프(이미지 폴더)

내용 : 각 실험 폴더 내의 "이미지" 하위 폴더에는 실험 결과를 보여주는 시각적 그래프와 차트가 포함되어 있습니다.
목적 : 이러한 시각화는 성능 추세, 모델 간 비교 및 사용된 기술의 전반적인 효과에 대한 직관적인 이해를 제공합니다. 이는 주요 통찰력을 빠르게 파악하고 데이터에서 결론을 도출하는 데 필수적입니다.

4. 논문 코드(코드 폴더)

내용 : 전용 폴더에는 실험 중에 사용된 모든 원본 코드가 포함되어 있습니다. 여기에는 데이터 전처리, 모델 프롬프트, 테스트 사례 생성 및 성능 분석을 위한 스크립트가 포함됩니다.
목적 : 이 폴더를 통해 사용자는 연구에 필수적인 코드를 탐색하고 실행할 수 있으며 실험의 재현성과 투명성을 보장할 수 있습니다.

실험적 맥락과 목표

이 저장소에 문서화된 실험은 논문 내의 몇 가지 주요 목표를 달성하도록 설계되었습니다.

비교 분석 : 사용자 스토리에서 테스트 사례를 생성할 때 다양한 LLM 모델과 프롬프트 기술의 효과를 평가하고 비교합니다.
ToT(생각의 나무) 프레임워크 : ToT(생각의 나무) 프레임워크를 통합하고 테스트하여 LLM의 논리적 추론 기능을 강화하여 보다 정확한 테스트 사례를 생성합니다.
확장성 테스트 : 다양한 입력 데이터 크기(100 및 500개 샘플)로 실험을 수행하여 모델의 확장성과 견고성을 평가합니다.
성능 지표 : 정확성, 완전성, 관련성을 포함한 다양한 지표를 사용하여 생성된 테스트 사례를 분석하여 최고 성능의 모델과 기술을 결정합니다.

이 저장소를 사용하는 방법

생성된 테스트 사례 탐색 : 각 폴더의 PDF를 탐색하여 다양한 모델과 기술로 생성된 테스트 사례를 검토합니다. 이러한 문서는 연구의 실제 결과를 이해하는 데 중요합니다.
측정항목 분석 : Excel 파일을 열어 각 실험에 대한 자세한 측정항목과 점수를 살펴보세요. 이러한 파일은 다양한 차원에서 모델의 성능에 대한 심층적인 정보를 제공합니다.
결과 시각화 : 데이터의 시각적 표현을 보려면 각 실험 디렉터리 내의 "이미지" 폴더를 확인하세요. 이러한 그래프는 사용자가 결과를 빠르게 이해하고 추세를 파악하는 데 도움이 되도록 설계되었습니다.
코드 실행 : "코드" 폴더를 탐색하여 실험을 수행하는 데 사용된 원본 스크립트를 보거나 실행합니다. 이는 재현성과 추가 실험에 필수적입니다.

부인 성명

이 저장소의 콘텐츠는 학술 및 연구 목적으로만 제공됩니다. 제시된 결과와 결론은 논문에 자세히 설명된 특정 모델과 기술을 기반으로 합니다. 데이터와 조사 결과의 정확성을 보장하기 위해 모든 노력을 기울였으나 이러한 방법의 맥락과 적용에 따라 차이가 발생할 수 있습니다. 사용자는 자신의 재량과 위험에 따라 이 저장소에 포함된 정보를 적용하는 것이 좋습니다.