Репозиторий диссертационных экспериментов: создание тестовых примеров на основе пользовательских историй с использованием генеративного ИИ
Обзор
Этот репозиторий является частью моей магистратуры. диссертация на тему «Генерация тестовых примеров на основе пользовательских историй в разработке требований с использованием методов генеративного искусственного интеллекта с моделями LLM: сравнительный анализ». В исследовании рассматривается применение моделей большого языка (LLM) для автоматизации создания тестовых примеров на основе пользовательских историй в рамках разработки требований к программному обеспечению. Путем сравнения различных методов генеративного искусственного интеллекта и моделей LLM диссертация направлена на определение наиболее эффективного подхода для повышения точности, полноты и эффективности создания тестовых примеров.
Идея диссертации
Основная идея этой диссертации заключается в использовании передовых методов генеративного искусственного интеллекта и LLM для автоматизации традиционно ручного и трудоемкого процесса создания тестовых примеров на основе пользовательских историй. Пользовательские истории, обычно написанные на естественном языке, являются неотъемлемой частью процесса разработки программного обеспечения Agile и служат источником для создания тестовых примеров, проверяющих функциональность функций программного обеспечения. В диссертации исследуются различные методы подсказок и модели LLM для оценки их способности создавать релевантные и комплексные тестовые примеры, что в конечном итоге дает представление о лучших практиках интеграции ИИ в рабочие процессы разработки требований.
Структура репозитория
Этот репозиторий структурирован так, чтобы обеспечить подробное и систематизированное представление об экспериментах, проведенных в рамках диссертационного исследования. Каждая папка в репозитории соответствует определенному эксперименту или набору экспериментов и включает в себя следующие компоненты:
1. Сгенерированные тестовые примеры (PDF)
- Содержимое : каждая папка эксперимента содержит документ PDF с тестовыми примерами, созданными выбранными моделями LLM, и методами подсказок. Эти тестовые примеры имеют решающее значение для оценки моделей на основе их точности, полноты и соответствия предоставленным пользовательским историям.
- Цель : PDF-файлы служат осязаемым результатом экспериментов, демонстрируя практическое применение моделей при создании тестовых примеров.
2. Таблицы Excel с подробными показателями
- Содержание : К каждому эксперименту прилагается файл Excel, в котором документированы все ключевые показатели и баллы, рассчитанные в ходе эксперимента. Сюда входит количество выборок входных данных, оценки точности, оценки полноты и другие показатели производительности.
- Цель : Таблицы Excel предоставляют всесторонний анализ каждого эксперимента, позволяя проводить детальное сравнение различных моделей и методов подсказок.
3. Визуальные графики (папка изображений)
- Содержимое : в каждой папке экспериментов есть подпапка «изображения», содержащая наглядные графики и диаграммы, иллюстрирующие результаты экспериментов.
- Цель : эти визуализации дают интуитивное понимание тенденций производительности, сравнения моделей и общей эффективности используемых методов. Они необходимы для быстрого понимания ключевых идей и формулирования выводов на основе данных.
4. Код дипломной работы (папка с кодами)
- Содержимое : выделенная папка содержит весь исходный код, использованный во время экспериментов. Сюда входят сценарии для предварительной обработки данных, подсказки модели, создания тестовых примеров и анализа производительности.
- Цель : эта папка позволяет пользователям исследовать и запускать код, который был неотъемлемой частью исследования, обеспечивая воспроизводимость и прозрачность экспериментов.
Экспериментальный контекст и цели
Эксперименты, описанные в этом репозитории, предназначены для достижения нескольких ключевых целей диссертации:
- Сравнительный анализ : оцените и сравните эффективность различных моделей LLM и методов подсказок при создании тестовых примеров на основе пользовательских историй.
- Структура «Древо мыслей» (ToT) : Интегрируйте и протестируйте структуру «Древо мыслей» (ToT), чтобы расширить возможности логических рассуждений LLM для создания более точных тестовых примеров.
- Тестирование масштабируемости . Проведите эксперименты с различными размерами входных данных (100 и 500 выборок) для оценки масштабируемости и надежности моделей.
- Показатели производительности : анализируйте созданные тестовые примеры с использованием ряда показателей, включая точность, полноту и релевантность, чтобы определить наиболее эффективные модели и методы.
Как использовать этот репозиторий
- Изучите созданные тестовые примеры : просматривайте PDF-файлы в каждой папке, чтобы просмотреть тестовые примеры, созданные с помощью различных моделей и методов. Эти документы являются ключом к пониманию практических результатов исследования.
- Анализ показателей : откройте файлы Excel, чтобы просмотреть подробные показатели и оценки для каждого эксперимента. Эти файлы обеспечивают глубокое погружение в производительность моделей в различных измерениях.
- Визуализируйте результаты : проверьте папку «изображения» в каждом каталоге эксперимента на предмет визуального представления данных. Эти графики призваны помочь пользователям быстро понять результаты и выявить тенденции.
- Запустите код . Исследуйте папку «Код», чтобы просмотреть или выполнить исходные сценарии, использованные для проведения экспериментов. Это важно для воспроизводимости и дальнейших экспериментов.
Отказ от ответственности
Содержимое этого репозитория предназначено только для академических и исследовательских целей. Представленные результаты и выводы основаны на конкретных моделях и методах, подробно описанных в диссертации. Несмотря на то, что были приложены все усилия для обеспечения точности данных и выводов, в зависимости от контекста и применения этих методов могут возникать различия. Пользователям рекомендуется применять информацию, содержащуюся в этом репозитории, на свое усмотрение и на свой риск.
Авторское право
© 2024 Акшат Мехта. Все права защищены. Несанкционированное использование материалов, содержащихся в этом репозитории, без разрешения строго запрещено.
