LeagueAI

ЛигаAI

Реализация AI Player для видеоигры League of Legends на основе распознавания изображений с использованием PyTorch.

Демо-видео: https://youtu.be/iB4PoNJuXzc

Внимание: Старую версию с использованием Tensorflow можно найти в ветке «LeagueAI_2017».

Внимание: этот проект все еще находится в разработке, наборы данных, которые я генерирую, и веса обнаружения объектов YOLOv3, которые я обучил, скоро станут доступны!

СТАРАЯ ВЕРСИЯ

Это более новая версия старой реализации, предоставляющая основу, позволяющую создавать собственные приложения на основе обнаружения объектов в игре. В качестве примера я реализую на этом фреймворке старого бота LeagueAI 2017 года. Демонстрационное видео реализации Tensorflow 2017 года: https://www.youtube.com/watch?v=KRWFCaXfOTk

TODO

1. Генерация набора данных, добавьте эти объекты в необработанные данные

• Исправлены некоторые ошибки с обрезкой необработанных данных башней.
• Башни в тумане войны
• Обшивка башни
• Структуры «Туман войны», может быть, фильтр «Туман войны»?
• Мертвые миньоны
• Добавляйте на скриншоты случайные частицы, взрывы и т.п.
• Больше разных курсоров
• Больше курсоров
• батончики здоровья

2. Другие TODO:

• Извлекайте положения объектов с мини-карты, чтобы получить представление о глобальной карте.
• Расчет mAP требует доработки, иногда объекты используются дважды для расчета карты.

Обнаруживаемые в данный момент объекты

• Красная Башня
• Красный каноник-миньон
• Красный заклинатель-миньон
• Красный миньон ближнего боя
• Вейн

Пропавшие объекты

• Больше чемпионов
• Добавьте красные ингибиторы, нексус и суперминьонов.
• Добавьте синие башни, нексус, ингибиторы, миньонов.

Абстрактный

Задача состоит в том, чтобы создать агента, способного играть в массовые многопользовательские онлайн-игры на боевых аренах от третьего лица (MOBA), такие как League of Legends, Dota 2 и Heroes of the Storm, с теми же входными данными, что и игрок-человек, а именно с видением. Поскольку League of Legends не предоставляет интерфейса игры, используется обнаружение объектов. В этом проекте представлена ​​реализация детектора объектов Yolo v3 на Python и способ случайной генерации бесконечного количества обучающих данных.

Обнаружение объектов

Для получения дополнительной информации о детекторе объектов обратитесь к моему техническому отчету по адресу: https://arxiv.org/abs/1905.13546 или непосредственно на веб-сайте YOLOv3 [2].

Установка/Использование

TODO

Набор данных LeagueAI

Создание больших наборов данных с нуля может оказаться очень трудоемким занятием. Для первой реализации LeageAI было использовано около 700 размеченных вручную изображений. Разметка 700 картинок заняла около 4 дней работы и включала всего 4 игровых объекта (1 модель чемпиона, союзные и вражеские миньоны и вражеские башни). Поэтому новый набор данных был создан путем автоматической генерации обучающих данных на основе 3D-моделей, извлеченных из игры.

1. Получение моделей чемпионов и миньонов из 3D-моделей. Чтобы получить данные изображения, я использовал онлайн-просмотр моделей League of Legends по адресу https://teemo.gg/model-viewer. Для каждого игрового объекта и каждой анимации я записал небольшой видеоролик, вращая 3D-модель. Затем я использовал скрипт pyFrameExporter.py для извлечения отдельных изображений из клипов. Для миньонов я использовал Adobe After Effects, чтобы добавить зеленый фон к видео миньонов и башен (все объекты, 3D-модели которых мне не удалось найти). Для каждого из экспортируемых объектов я использовал скрипт pyExportTransparentPNG.py . Скрипт удаляет зеленый/фиолетовый фон с отдельных снимков экрана и оставляет замаскированные PNG объектов. Кроме того, скрипт обрезает изображения по содержимому и удаляет лишнее прозрачное пространство.

В результате у меня остается около 1000 замаскированных изображений каждого объекта, которые позже можно использовать для создания помеченных поддельных скриншотов игры.

2. Объединение замаскированных и обрезанных изображений с фоном игры. Чтобы создать большой объем обучающих данных, охватывающих все регионы игровой карты, я создал серию из 200 снимков экрана со всей карты с помощью скрипта экспорта кадров. Затем замаскированные и обрезанные изображения из шага 1 случайным образом объединяются со скриншотами карты с помощью скрипта bootstrap.py. Поскольку изображения размещаются с помощью скрипта, можно получить положение объектов на изображении и, таким образом, автоматически сгенерировать для него метку.

Для создания большого количества снимков экрана скрипт можно настроить так:

• изменить случайное количество чемпионов, миньонов и других объектов
• случайным образом добавить несколько курсоров
• случайным образом добавить игровой HUD на скриншот
• произвольно масштабировать все объекты
• сгруппируйте миньонов, чтобы создать более реалистичные группы боевых миньонов.
• применить к изображению размытие по Гауссу и случайный шум

Используя этот метод, за считанные часы можно создать набор данных из многих тысяч различных помеченных поддельных скриншотов.

Полное описание процесса создания набора данных и его оценки по сравнению с данными, размеченными вручную, можно найти в следующей публикации: https://arxiv.org/pdf/1905.13546.pdf.

Для цитирования используйте:

 @article{leagueaidatasetgeneration,
  title={LeagueAI: Improving object detector performance and flexibility through automatically generated training data and domain randomization},
  author={Struckmeier, Oliver},
  journal = {arXiv},
  year={2019}
}

Извлечение информации о здоровье

TODO

Источники

[1] Реализация обнаружения объектов Yolov3 с нуля: https://github.com/ayooshkathuria/YOLO_v3_tutorial_from_scratch

[2] Для обучения: https://pjreddie.com/darknet/yolo/, Yolov3: An Incremental Improvement, Дж. Редмонд и А. Фархади, 2018 г.