LeagueAI

リーグAI

PyTorch を使用した画像認識に基づくビデオゲーム「リーグ・オブ・レジェンド」用の AI プレーヤーの実装

デモビデオ: https://youtu.be/iB4PoNJuXzc

注意: Tensorflow を使用する古いバージョンは、ブランチ「LeagueAI_2017」にあります。

注意: このプロジェクトはまだ開発中です。生成したデータセットとトレーニングした YOLOv3 オブジェクト検出重みは間もなく利用可能になります。

旧バージョン

これは古い実装の新しいバージョンであり、ゲーム内のオブジェクトの検出に基づいて独自のアプリケーションを構築できるフレームワークを提供します。例として、このフレームワークに古い 2017 LeagueAI ボットを実装します。 2017 年の Tensorflow 実装のデモ ビデオ: https://www.youtube.com/watch?v=KRWFCaXfOTk

TODO

1. データセットの生成、これらのオブジェクトを生データに追加します

• 生データのタワークロップに関するいくつかのバグを修正
• 戦争の霧の中の塔
• タレットのメッキ
• 戦争の霧の構造物、おそらく戦争の霧フィルター?
• 死んだ手下たち
• スクリーンショットや爆発などにランダムなパーティクルを追加します
• さらにさまざまなカーソル
• カーソルの追加
• ヘルスバー

2. その他の TODO:

• ミニマップからオブジェクトの位置を抽出して、グローバル マップを理解します。
• mAP の計算には再作業が必要であり、マップの計算にオブジェクトが 2 回使用される場合があります。

現在検出可能なオブジェクト

• レッドタワー
• レッドキャノン ミニオン
• レッドキャスターミニオン
• レッド近接ミニオン
• ヴェイン

見つからないオブジェクト

• さらなるチャンピオン
• レッドインヒビター、ネクサス、スーパーミニオンを追加
• 青いタワー、ネクサス、インヒビター、ミニオンを追加

抽象的な

タスクは、人間のプレイヤーと同じ入力、つまり視覚を使用して、リーグ オブ レジェンド、Dota 2、Heroes of the Storm などの三人称の大規模マルチプレイヤー オンライン バトル アリーナ ゲーム (MOBA) をプレイできるエージェントを作成することです。 League of Legends はゲームへのインターフェイスを提供しないため、オブジェクト検出が使用されます。このプロジェクトでは、Yolo v3 オブジェクト検出器の Python 実装と、無限量のトレーニング データをランダムに生成する方法が導入されています。

物体検出

オブジェクト検出器の詳細については、https://arxiv.org/abs/1905.13546 にある私の技術レポートを参照するか、YOLOv3 Web サイト [2] を直接参照してください。

設置・使用方法

TODO

LeagueAI データセット

大規模なデータセットを最初から作成するのは、非常に多くの作業が必要になる場合があります。 LeageAI の最初の実装では、約 700 枚の手作業でラベル付けされた写真が使用されました。 700 枚の写真にラベルを付けるには約 4 日の作業がかかり、含まれるゲーム オブジェクトは 4 つだけでした (チャンピオン モデル 1 つ、味方と敵のミニオン、敵のタワー)。そのため、新しいデータセットは、ゲームから抽出された 3D モデルに基づいてトレーニング データを自動生成することによって作成されました。

1. 3D モデルからチャンピオンとミニオンのモデルを取得する 画像データを取得するには、https://teemo.gg/model-viewer からオンラインの League of Legends モデル ビューアを使用しました。ゲーム内のオブジェクトとアニメーションごとに、3D モデルを回転させながら短いビデオ クリップを録画しました。次に、 pyFrameExporter.pyスクリプトを使用して、クリップから個々の画像を抽出しました。ミニオンについては、Adobe After Effects を使用して、ミニオンとタワー (3D モデルが見つからなかったすべてのオブジェクト) のビデオに緑色の背景を追加しました。エクスポートされたフレームごとに、 pyExportTransparentPNG.pyスクリプトを使用しました。スクリプトは個々のスクリーンショットから緑/紫の背景を削除し、オブジェクトのマスクされた PNG を残します。さらに、スクリップは画像をコンテンツに合わせてトリミングし、余分なシースルー スペースを削除します。

これにより、各オブジェクトの約 1000 枚のマスクされた画像が残り、後でラベル付きのゲームの偽のスクリーンショットを生成するために使用できます。

2. マスクされトリミングされた画像とゲームの背景を組み合わせる ゲーム マップのすべての領域をカバーする大量のトレーニング データを生成するために、フレーム エクスポーター スクリプトを使用してマップ全体から一連の 200 枚のスクリーンショットを生成しました。次に、ステップ 1 でマスクされトリミングされた画像が、bootstrap.py スクリプトを使用してマップのスクリーンショットとランダムに結合されます。画像はスクリプトを使用して配置されるため、画像内のオブジェクトの位置を取得し、そのラベルを自動的に生成することができます。

多種多様なスクリーンショットを生成するには、スクリプトを次のように調整できます。

• チャンピオン、ミニオン、その他のオブジェクトのランダムな量を変更する
• いくつかのカーソルをランダムに追加します
• ゲームの HUD をスクリーンショットにランダムに追加します
• すべてのオブジェクトをランダムに拡大縮小する
• ミニオンをクラスター化して、より現実的な戦闘ミニオンの塊を作成します
• ガウスぼかしとランダムノイズを画像に適用します

この方法を使用すると、何千もの異なるラベルが付けられた偽のスクリーンショットのデータセットを数時間で生成できます。

データセットの生成プロセスと手作業でラベル付けされたデータと比較した評価の詳しい説明は、次の出版物でご覧いただけます: https://arxiv.org/pdf/1905.13546.pdf

引用するには以下を使用してください:

 @article{leagueaidatasetgeneration,
  title={LeagueAI: Improving object detector performance and flexibility through automatically generated training data and domain randomization},
  author={Struckmeier, Oliver},
  journal = {arXiv},
  year={2019}
}

健康情報の抽出

TODO

情報源

[1] Yolov3 オブジェクト検出を最初から実装する: https://github.com/ayooshkathuria/YOLO_v3_tutorial_from_scratch

[2] トレーニング用: https://pjreddie.com/darknet/yolo/、Yolov3: An Incremental Improvement、J. Redmond および A. Farhadi、2018 年