SkateboardML

機械学習によるスケートボードのトリック

スケートボーダーは、他のスケートボーダーが実行したトリックを簡単に認識できます。このプロジェクトの目標は、コンピュータにスケートボードのトリックを認識できるように教えることです。スケートボードのトリックのビデオが与えられた場合、コンピューターはそのトリックを高い確率で分類できるでしょうか?私たちは、スケートボードの最も一般的な 2 つのトリック、オーリーとキックフリップを区別できるデータセットと機械学習モデルを開発しました。

私たちはキックフリップとオーリーの 200 以上の短い (1 ～ 2 秒) ビデオを収集することから始めました。 Tensorflow を使用したコンピューター ビジョンのハンズオンで説明されているアプローチを新しいデータ セットに適用しました。データはビデオとして始まり、畳み込みニューラル ネットワーク (CNN)、次に長期短期記憶 (LSTM) モデルを通過し、最後にビデオが各クラスのトリックを描写する確率の出力に至ります。

たとえば、ここではスティーブンがキックフリップを実行しています。

モデルはこれが確率 0.9 のキックフリップであると予測しているため、うまく機能します。スケートボーダーの全身が映っている鮮明なビデオのほうが、スケートボーダーの脚だけのビデオよりも効果が高いことがわかりました。また、すべてのトレーニング データが平地でのトリックに関するものであったにもかかわらず、モデルが階段セットでのキックフリップを正確に予測できることもわかりました。これは、モデルが新しい異なる状況に一般化できたことを示しています。

この作業をさらに進めるために、キックフリップやオーリー以外のトリックや、バックサイド 180 キックフリップなどのトリックの組み合わせを追加できます。より多くのトレーニング データとより多くのモデルを調整すれば、このモデルは人間のスケートボーダーに匹敵するほど優れたものになる可能性があります。

このプロジェクトに協力してくれた Justin Wang と Vessela Ensberg に感謝します。

データの使用

ラベル付きビデオ データは、このリポジトリのTricksディレクトリにあります。サブディレクトリは 2 つあり、 Ollieにはオーリーを実行するスケートボーダーの 108 本のビデオが含まれ、 Kickflipにはキックフリップを実行するスケートボーダーの 114 本のビデオが含まれています。これらのディレクトリ内の各ファイルは、 .mov形式 (QuickTime) の約 2 秒の短いクリップです。このデータを教師あり機械学習に使用するには、サブディレクトリをラベルとして使用して、 Tricksディレクトリ内のデータでモデルをトレーニングします。

この研究を引用する限り、このデータを学術目的に自由に使用できます。

詳細

スケートボードのトリックの分類

このプロジェクトは、最も簡単な言葉で言うと、スケートボードのトリックを分類します。私たちは機械学習を使用してスケートボードの各トリックを分類しようとしています。スケートボードのトリックはたくさんありますが、その中間に分類するために 2 つを選択しました。オーリーとキックフリップのどちらかを選択しました。

したがって、そのアルゴリズムは上記のような入力を受け取り、それがオーリーかキックフリップであるかどうかの確率を吐き出します。

6月16日のTODO:

• YouTube でクリエイティブ コモンズ ライセンスを検索して、トリックのトレーニング動画データを収集します。また、すべてのビデオへのリンクを維持して、ビデオのクレジットを適切に表示できるようにする必要もあります。
• ビデオを 1 ～ 2 秒のトリックだけのクリップに編集します。私たちの目標は、各トリックのクリップを 100 個作成することです。オーリーとキックフリップの 2 つのトリックだけを選ぶことから始めるべきでしょうか?
• (おそらく) ビデオを均一な形式 (特定の長さと解像度で 30 フレーム/秒) に処理し始めます。
• ビデオ機械学習の背景について読み始めます。トレーニング データの 100 クリップで十分ですか?

6月23日のトド:

• (おそらく) ビデオを均一な形式 (特定の長さと解像度で 30 フレーム/秒) に処理し始めます。
• ビデオトレーニングデータの収集を完了する
• ジャスティンにメールする
• ビデオ機械学習の背景について読む

6月30日のトド:

• UCF101アプローチの要約
• UCF101コードを実行してみる
• 楽しい: プロジェクト紹介ビデオを作成する

7月7日:

• UCF101 コードをデータに適応させ、LSTM をトレーニングする

7月15日:

• コードが何を行うのか、そしてその結果がどのようなものであるかを正確に説明する書面による概要。 Google「読み書き可能なプログラミング」
• トレーニングされたモデルを通じていくつかの個別のビデオを実行し、結果を解釈します。たとえば、P(キックフリップ) = 0.8
• 実行するトレーニング エポックの数を減らすと検証の精度が向上するかどうかを確認します。
• CNN を構築し、パフォーマンスを LSTM と比較します。 (これにはさらに時間がかかります)

7月21日:

• テストトレインをランダムに分割して精度を確認する
• この作品をどのように表現したいかを考える
• 一部の動画が誤って分類された理由を調べる

7月28日:

• 大まかな目標を書き、30 秒のビデオを作成します。
• このデータセットをパッケージ化し、オープン リポジトリにリリースします (Clark)
• キックフリップを使って階段を下りてみて、トリックが適切かどうかを確認してください。

8月4日:

• さらにトリック分類子を追加して書き直す
• ビデオクレジットのプッシュメモ
• ビデオが改善されました！
• 180 または分類子によるバリエーション トリック

一般的なアプローチ

私たちの目標は、1 ～ 2 秒のビデオ クリップに対するトリックの合理的な分類子を考え出すことです。私たちはそれを成功させるために、最も便利で有能なアプローチを何でも使用するつもりです。

データの前処理に関する計画は、ビデオを一定のフレーム数と解像度までサンプリングすることです。たとえば、各ビデオは 30 フレームで構成され、それぞれが 480 x 360 (360p) 画像であるため、すべてのビデオは 480 x 360 x 30 の次元の 3D 配列 (またはテンソル) になります。これらは、モデル。色はトリックの分類には重要ではないため、白黒に変換することもできます。

一般的なアイデアは、画像分類のアプローチに従って畳み込みニューラル ネットワーク (CNN) を構築することです。

質問

画像の CNN は、畳み込みフィルターを使用して、近くのピクセルからの空間的にローカルな情報を組み合わせます。時間的に近いピクセルに対しても同じことをすべきでしょうか? Google のチュートリアルでは 2D 畳み込みを使用します。 3D コンボリューションを使用できない理由はありますか?確かに、tensorflow にはそれがあります。そして、まさにこれを行っている人気のある学術論文がたくさんあります。これらのアイデアに基づいて構築できることを願っています。

バックグラウンドでの読み取り

• Google の畳み込みニューラル ネットワークのチュートリアル。畳み込みフィルターの仕組みとネットワークの設計方法を実践的かつ明示的に説明します。
• 大規模なビデオ データセットでのトレーニングについて説明した Google の論文。各クラスの 100 程度のビデオだけを使用して、より少ない労力でより多くのことを行う方法を見つける必要があります。
• 人間の行動認識のための 3D 畳み込みニューラル ネットワーク これがどれほど最先端なのか疑問に思います。