SkateboardML

Trucos de skate con aprendizaje automático

Los patinadores pueden reconocer fácilmente los trucos realizados por otros patinadores. Nuestro objetivo en este proyecto es enseñarle a la computadora a reconocer los trucos del skate. Dado un vídeo de un truco en patineta, ¿puede la computadora clasificar el truco con alta probabilidad? Desarrollamos un conjunto de datos y un modelo de aprendizaje automático que puede distinguir entre dos de los trucos de skate más comunes: ollies y kickflips.

Comenzamos reuniendo más de 200 videos cortos (de 1 a 2 segundos) de kickflips y ollies. Adaptamos el enfoque descrito en Hands on Computer Vision con Tensorflow a nuestro nuevo conjunto de datos. Los datos comienzan como un video, luego pasan a través de una red neuronal convolucional (CNN), luego a través de un modelo de memoria a corto plazo (LSTM) y finalmente a una salida de probabilidades de que el video represente cada clase de trucos.

Por ejemplo, aquí Stephen realiza un kickflip:

El modelo predice que se trata de un kickflip con probabilidad de 0,9, por lo que funciona bien. Descubrimos que los vídeos claros en los que se ve todo el cuerpo del patinador obtuvieron mejores resultados que los vídeos en los que solo se ven las piernas del patinador. También descubrimos que el modelo era capaz de predecir correctamente un kickflip bajando una escalera, a pesar de que todos los datos de entrenamiento eran de trucos en terreno plano. Esto muestra que el modelo pudo generalizarse a una situación nueva y diferente.

Para llevar este trabajo más allá, podemos agregar más trucos además de kickflips y ollies, así como combinaciones de trucos, por ejemplo, un kickflip trasero de 180. Con más datos de entrenamiento y más ajustes en el modelo, este podría volverse lo suficientemente bueno como para rivalizar con un patinador humano.

Gracias a Justin Wang y Vessela Ensberg por su ayuda en este proyecto.

Usando nuestros datos

Los datos de video etiquetados se encuentran en el directorio Tricks de este repositorio. Hay dos subdirectorios, Ollie , que contiene 108 vídeos de patinadores realizando un ollie, y Kickflip , que contiene 114 vídeos de patinadores realizando un kickflip. Cada uno de los archivos de estos directorios es un clip corto, de unos 2 segundos, en formato .mov (QuickTime). Para utilizar estos datos para el aprendizaje automático supervisado, entrene el modelo con los datos del directorio Tricks , utilizando los subdirectorios como etiquetas.

Eres libre de utilizar estos datos con fines académicos, siempre que cites este trabajo.

Detalles

Clasificando trucos de skate

Este proyecto, en las palabras más simples, clasifica los trucos del monopatín. Estamos intentando utilizar el aprendizaje automático para clasificar cada truco de skate. Hay muchos trucos de skate y elegimos dos para clasificarlos en el medio. Elegimos entre Ollie y Kickflip.

Entonces, ese algoritmo tomaría una entrada como la anterior y generaría una probabilidad de qué tan seguro es que sea un ollie o un kickflip.

16 de junio TODO:

• Recopile datos de entrenamiento en video sobre trucos buscando la licencia Creative Commons en YouTube. También necesitaremos mantener los enlaces a todos los videos para que podamos acreditarlos adecuadamente.
• Edite videos en clips de 1 a 2 segundos del truco. Nuestro objetivo es tener 100 clips de cada truco. Deberíamos empezar eligiendo sólo dos trucos: ¿ollie y kickflip?
• (Tal vez) comience a procesar videos en forma homogénea: 30 cuadros por segundo con una duración y resolución específicas.
• Comience a leer sobre los antecedentes del aprendizaje automático por video: ¿son suficientes 100 clips de datos de entrenamiento?

23 DE JUNIO TODO:

• (Tal vez) comience a procesar videos en forma homogénea: 30 cuadros por segundo con una duración y resolución específicas.
• Termine de recopilar datos de entrenamiento en video
• Envía un correo electrónico a Justin
• Lectura sobre los antecedentes del aprendizaje automático por vídeo

30 DE JUNIO TODO:

• Resumir el enfoque UCF101
• Intente ejecutar el código UCF101
• DIVERSIÓN: haz un vídeo de introducción al proyecto

7 de julio:

• Adapte el código UCF101 a nuestros datos y entrene a LSTM

15 de julio:

• Resumen escrito que describe exactamente qué hace nuestro código y cuáles son nuestros resultados. Google "Programación alfabetizada"
• Ejecute algunos videos individuales a través del modelo entrenado e interprete los resultados. Por ejemplo, P(kickflip) = 0,8
• Compruebe si ejecutar menos épocas de entrenamiento mejorará la precisión de la validación.
• Construya CNN y compare el rendimiento con LSTM. (esto llevará más tiempo)

21 de julio:

• Distribuya aleatoriamente el tren de prueba y verifique la precisión
• Piensa en cómo quieres presentar este trabajo.
• Descubra por qué algunos de los vídeos están mal clasificados

28 de julio:

• Escribe objetivos de alto nivel y haz un vídeo de 30 segundos.
• Empaquetar y publicar este conjunto de datos en un repositorio abierto (Clark)
• Intente usar kickflip escaleras abajo para ver si el truco clasifica

4 de agosto:

• Reescribir agregar más clasificador de trucos
• Notas push de créditos de vídeo
• Vídeo mejorado!
• 180 o truco de variación a través del clasificador.

Enfoque general

Nuestro objetivo es crear un clasificador razonable de trucos para videoclips de 1 a 2 segundos. Planeamos utilizar los enfoques más convenientes y capaces para lograrlo.

Nuestro plan para el preprocesamiento de los datos es muestrear los videos hasta obtener una cantidad constante de fotogramas y resolución. Por ejemplo, cada vídeo puede constar de 30 fotogramas, cada uno de los cuales es una imagen de 480 x 360 (360p), de modo que cada vídeo se convierte en una matriz 3D (o tensor) con una dimensión de 480 x 360 x 30. Estas son las entradas al modelo. El color no es importante para la clasificación de trucos, por lo que también podemos transformarlo a blanco y negro.

La idea general es construir una red neuronal convolucional (CNN), siguiendo aproximadamente el enfoque de clasificación de imágenes.

Preguntas

Una CNN para imágenes combina información espacial local de píxeles cercanos mediante filtros de convolución. ¿Deberíamos hacer lo mismo con los píxeles que están muy juntos en el tiempo? El tutorial de Google utiliza una convolución 2D. ¿Hay alguna razón por la que no podamos usar una convolución 3D? Claro, tensorflow tiene uno. Y hay muchos artículos académicos populares que hacen exactamente esto. Ojalá podamos aprovechar estas ideas.

Lectura de fondo

• Tutorial de redes neuronales convolucionales de Google. Explica cómo funciona un filtro convolucional y cómo diseñar la red, en términos prácticos y explícitos.
• Documento de Google que describe el entrenamiento en un gran conjunto de datos de video. Necesitamos descubrir cómo hacer más con menos, usando solo aproximadamente 100 videos de cada clase.
• Redes neuronales convolucionales 3D para el reconocimiento de la acción humana. Me pregunto qué tan avanzado es esto.