Descarga de LeagueAI - Descarga del código fuente LeagueAI

LeagueAI

Código Fuente de IA

1.0.0

Descargar

LigaAI

Implementación de un AI Player para el videojuego League of Legends basado en Reconocimiento de Imágenes usando PyTorch

Vídeo de demostración: https://youtu.be/iB4PoNJuXzc

Atención: la versión anterior que usa Tensorflow se puede encontrar en la rama "LeagueAI_2017".

Atención: este proyecto aún está en desarrollo, los conjuntos de datos que genero y los pesos de detección de objetos YOLOv3 que entrené estarán disponibles pronto.

VERSIÓN ANTIGUA

Esta es una versión más nueva de la implementación anterior y proporcionará un marco que te permitirá crear tus propias aplicaciones basadas en la detección de objetos en el juego. Como ejemplo, implementaré el antiguo bot LeagueAI de 2017 en este marco. Vídeo de demostración de la implementación de Tensorflow de 2017: https://www.youtube.com/watch?v=KRWFCaXfOTk

HACER

Generación de conjuntos de datos, agregue estos objetos a los datos sin procesar

Se corrigieron algunos errores con el recorte en torre de los datos sin procesar.
Torres en niebla de guerra
Revestimiento de torreta
Estructuras de niebla de guerra, ¿tal vez filtro de niebla de guerra?
Minions muertos
Añade partículas aleatorias a las capturas de pantalla, explosiones, etc.
Más cursores diferentes
Más cursores
barras de salud

Otros TODO:

Extraiga las posiciones de los objetos del minimapa para comprender el mapa global.
El cálculo del mapa necesita una revisión; a veces, los objetos se utilizan dos veces para el cálculo del mapa.

Objetos actualmente detectables

Torre Roja
Minion canon rojo
Minion lanzador rojo
Minion rojo cuerpo a cuerpo
Vayne

Objetos faltantes

Más campeones
Añade inhibidores rojos, nexos y supersúbditos.
Añadir torres azules, nexos, inhibidores, minions

Abstracto

La tarea es crear un agente que sea capaz de jugar juegos de campo de batalla en línea (MOBA) multijugador masivo en tercera persona como League of Legends, Dota 2 y Heroes of the Storm con la misma información que un jugador humano, es decir, la visión. Dado que League of Legends no proporciona una interfaz para el juego, se utiliza la detección de objetos. En este proyecto se introduce una implementación en Python del detector de objetos Yolo v3 y una forma de generar aleatoriamente una cantidad infinita de datos de entrenamiento.

Detección de objetos

Para obtener más información sobre el detector de objetos, consulte mi informe técnico en: https://arxiv.org/abs/1905.13546 o directamente al sitio web de YOLOv3 [2]

Instalación/Uso

HACER

El conjunto de datos de LeagueAI

Crear grandes conjuntos de datos desde cero puede requerir mucho trabajo. Para la primera implementación de LeageAI se utilizaron alrededor de 700 imágenes etiquetadas a mano. Etiquetar 700 imágenes tomó alrededor de 4 días de trabajo y solo incluyó 4 objetos del juego (1 modelo de campeón, súbditos aliados y enemigos y torres enemigas). Por lo tanto, el nuevo conjunto de datos se creó generando automáticamente datos de entrenamiento basados en modelos 3D extraídos del juego.

Obtención de modelos de campeones y minions a partir de modelos 3D. Para obtener los datos de la imagen utilicé el visor de modelos en línea de League of Legends de https://teemo.gg/model-viewer. Para cada objeto del juego y cada animación, grabé un breve videoclip mientras rotaba el modelo 3D. Luego utilicé el script pyFrameExporter.py para extraer imágenes individuales de los clips. Para los minions utilicé Adobe After Effects para agregar un fondo verde a los videos de los minions y las torres (todos objetos donde no pude encontrar los modelos 3D). Para cada uno de los cuadros de objetos exportados utilicé el script pyExportTransparentPNG.py . El script elimina el fondo verde/púrpura de las capturas de pantalla individuales y te deja con el png enmascarado de un objeto. Además, el script recorta las imágenes según el contenido y elimina el exceso de espacio transparente.

Esto me deja con alrededor de 1000 imágenes enmascaradas de cada objeto que luego pueden usarse para generar capturas de pantalla falsas etiquetadas del juego.

Combinando las imágenes enmascaradas y recortadas con el fondo del juego Para generar una gran cantidad de datos de entrenamiento que cubran todas las regiones del mapa del juego, generé una serie de 200 capturas de pantalla de todo el mapa usando el script exportador de cuadros. Luego, las imágenes enmascaradas y recortadas del paso 1 se combinan aleatoriamente con las capturas de pantalla del mapa utilizando el script bootstrap.py. Dado que las imágenes se colocan mediante un script, es posible obtener la posición de los objetos en la imagen y así generar automáticamente una etiqueta para el mismo.

Para generar una gran variedad de capturas de pantalla, el script se puede ajustar a:

cambiar la cantidad aleatoria de campeones, minions y otros objetos
agregar aleatoriamente una cantidad de cursores
agregue aleatoriamente el HUD del juego a la captura de pantalla
escalar aleatoriamente todos los objetos
agrupa a los minions para crear grupos más realistas de minions luchadores
aplicar desenfoque gaussiano y ruido aleatorio a la imagen

Con este método se puede generar en cuestión de horas un conjunto de datos de miles de capturas de pantalla falsas etiquetadas diferentes.

Puede encontrar una descripción completa del proceso de generación y evaluación del conjunto de datos en comparación con los datos etiquetados manualmente en la siguiente publicación: https://arxiv.org/pdf/1905.13546.pdf

Para citar por favor utilice:

 @article{leagueaidatasetgeneration,
  title={LeagueAI: Improving object detector performance and flexibility through automatically generated training data and domain randomization},
  author={Struckmeier, Oliver},
  journal = {arXiv},
  year={2019}
}