SkateboardML

Trik Pembelajaran Mesin Skateboarding

Pemain skateboard dapat dengan mudah mengenali trik yang dilakukan oleh pemain skateboard lainnya. Tujuan kami dalam proyek ini adalah untuk mengajarkan komputer mengenali trik skateboard. Diberikan video trik skateboard, dapatkah komputer mengklasifikasikan trik tersebut dengan probabilitas tinggi? Kami mengembangkan kumpulan data dan model pembelajaran mesin yang dapat membedakan dua trik skateboard paling umum, ollies dan kickflips.

Kami memulai dengan mengumpulkan lebih dari 200 video pendek (1 hingga 2 detik) tentang kickflip dan ollies. Kami mengadaptasi pendekatan yang dijelaskan dalam Hands on Computer Vision dengan Tensorflow ke kumpulan data baru kami. Data dimulai sebagai video, kemudian melewati jaringan saraf konvolusional (CNN), lalu melalui model memori jangka pendek (LSTM), dan terakhir ke keluaran probabilitas bahwa video tersebut menggambarkan setiap kelas trik.

Misalnya, di sini Stephen melakukan kickflip:

Model memperkirakan ini adalah kickflip dengan probabilitas 0,9, sehingga berfungsi dengan baik. Kami menemukan bahwa video jernih yang menampilkan seluruh tubuh pemain skateboard memiliki kinerja lebih baik dibandingkan video yang hanya menampilkan kaki pemain skateboard. Kami juga menemukan bahwa model tersebut mampu memprediksi dengan tepat kickflip menuruni tangga, meskipun semua data pelatihannya berupa trik di permukaan datar. Hal ini menunjukkan bahwa model mampu melakukan generalisasi pada situasi baru dan berbeda.

Untuk mengembangkan pekerjaan ini lebih jauh, kita dapat menambahkan lebih banyak trik selain kickflip dan ollies, serta kombinasi trik, misalnya, kickflip 180 bagian belakang. Dengan lebih banyak data pelatihan dan lebih banyak penyesuaian model, model ini bisa menjadi cukup baik untuk menyaingi pemain skateboard manusia.

Terima kasih kepada Justin Wang dan Vessela Ensberg atas bantuan mereka dalam proyek ini.

Menggunakan Data Kami

Data video berlabel ada di direktori Tricks repositori ini. Ada dua subdirektori, Ollie , yang berisi 108 video pemain skateboard melakukan ollie, dan Kickflip , yang berisi 114 video pemain skateboard melakukan kickflip. Masing-masing file dalam direktori ini adalah klip pendek, sekitar 2 detik, dalam format .mov (QuickTime). Untuk menggunakan data ini untuk pembelajaran mesin yang diawasi, latih model pada data di direktori Tricks , menggunakan subdirektori sebagai label.

Anda bebas menggunakan data ini untuk tujuan akademis, asalkan Anda mengutip karya ini.

Detail

Mengklasifikasikan trik skateboard

Proyek ini dengan kata paling sederhana mengklasifikasikan trik skateboard. Kami mencoba menggunakan pembelajaran mesin untuk mengklasifikasikan setiap trik skateboard. Ada banyak trik skateboard yang kami pilih dua untuk diklasifikasikan di antaranya. Kami memilih antara Ollie dan Kickflip.

Sehingga algoritme tersebut akan mengambil masukan seperti di atas dan mengeluarkan kemungkinan seberapa yakinnya itu adalah ollie atau kickflip.

16 Juni TODO:

• Kumpulkan data video pelatihan trik dengan mencari lisensi Creative Commons di YouTube. Kami juga harus menjaga tautan ke semua video sehingga kami dapat memberi kredit pada video tersebut dengan benar.
• Edit video menjadi klip berdurasi 1 hingga 2 detik saja caranya. Tujuan kami adalah memiliki 100 klip untuk setiap trik. Kita harus mulai dengan memilih dua trik saja – ollie dan kickflip?
• (Mungkin) mulai memproses video menjadi bentuk homogen: 30 frame/detik dengan panjang dan resolusi tertentu.
• Mulailah membaca tentang latar belakang pembelajaran mesin video- apakah 100 klip data pelatihan cukup?

TANGGAL 23 JUNI:

• (Mungkin) mulai memproses video menjadi bentuk homogen: 30 frame/detik dengan panjang dan resolusi tertentu.
• Selesaikan pengumpulan data pelatihan video
• Email Justin
• Membaca tentang latar belakang pembelajaran mesin video

30 JUNI YANG HARUS DILAKUKAN:

• Ringkaslah pendekatan UCF101
• Coba jalankan kode UCF101
• MENYENANGKAN: membuat video pengenalan proyek

7 Juli:

• Sesuaikan kode UCF101 dengan data kami, dan latih LSTM

15 Juli:

• Ringkasan tertulis yang menjelaskan dengan tepat apa yang dilakukan kode kami dan apa hasilnya. Google "Pemrograman melek huruf"
• Jalankan beberapa video individual melalui model terlatih dan interpretasikan hasilnya. Misalnya, P(kickflip) = 0,8
• Periksa apakah menjalankan periode pelatihan yang lebih sedikit akan meningkatkan akurasi validasi.
• Bangun CNN dan bandingkan kinerjanya dengan LSTM. (ini akan memakan waktu lebih lama)

21 Juli:

• Acak pembagian rangkaian uji dan periksa akurasi
• Pikirkan tentang bagaimana Anda ingin mempresentasikan karya ini
• Cari tahu mengapa beberapa video salah klasifikasi

28 Juli:

• Tulis tujuan tingkat tinggi dan buat video berdurasi 30 detik
• Kemas dan rilis kumpulan data ini pada repositori terbuka (Clark)
• Coba gunakan kickflip menuruni tangga untuk melihat apakah triknya tergolong

4 Agustus:

• Tulis ulang tambahkan lebih banyak pengklasifikasi trik
• Catatan push kredit video
• Video yang ditingkatkan!
• 180 atau trik variasi melalui pengklasifikasi

Pendekatan umum

Tujuan kami adalah menghasilkan pengklasifikasian trik yang masuk akal untuk klip video berdurasi 1-2 detik. Kami berencana untuk menggunakan pendekatan apa pun yang paling nyaman dan mampu untuk menyukseskannya.

Rencana kami untuk melakukan pra-pemrosesan data adalah dengan mengambil sampel video hingga jumlah frame dan resolusi yang konsisten. Misalnya setiap video dapat terdiri dari 30 frame yang masing-masing berupa gambar berukuran 480 x 360 (360p), sehingga setiap video menjadi array 3d (atau tensor) berdimensi 480 x 360 x 30. Ini adalah input ke model. Warna tidak penting untuk klasifikasi trik, jadi kita juga bisa mengubahnya menjadi hitam putih.

Ide umumnya adalah membangun jaringan saraf konvolusional (CNN), yang secara kasar mengikuti pendekatan klasifikasi gambar.

Pertanyaan

CNN untuk gambar menggabungkan informasi lokal spasial dari piksel terdekat menggunakan filter konvolusi. Haruskah kita melakukan hal yang sama dengan piksel-piksel yang berdekatan? Tutorial Google menggunakan konvolusi 2d. Apakah ada alasan mengapa kita tidak bisa menggunakan konvolusi 3d? Tentu, Tensorflow punya satu. Dan ada banyak makalah akademis populer yang melakukan hal ini. Mudah-mudahan kita dapat mengembangkan ide-ide ini.

Membaca latar belakang

• Tutorial Jaringan Neural Konvolusional dari Google. Menjelaskan cara kerja filter konvolusional, dan cara mendesain jaringan, secara praktis dan eksplisit.
• Makalah Google menjelaskan pelatihan tentang kumpulan data video besar. Kita perlu mencari cara untuk berbuat lebih banyak dengan lebih sedikit menggunakan hanya 100 atau lebih video di setiap kelas.
• Jaringan Neural Konvolusional 3D untuk Pengenalan Tindakan Manusia Saya bertanya-tanya betapa canggihnya hal ini.