image gpt

画像GPT

画像 GPT の PyTorch 実装。論文「Generative Pretraining from Pixels 」(Chen et al.) とそれに付随するコードに基づいています。

モデルによって生成された、テスト セットからの半分のイメージの完成。最初の列は入力です。最後の列は元の画像です

CIFAR10 で事前トレーニングされた iGPT-S。モデルは ImageNet のすべてではなく CIFAR10 でのみトレーニングされたため、完成度はかなり悪いです。

WIP

• より大きなデータセットの量子化のために GPU 上でk平均法をバッチ処理します (現在sklearn.cluster.MiniBatchKMeansを使用しています)。
• BERT スタイルの事前トレーニング (現在は生成のみがサポートされています)。
• OpenAI から事前トレーニング済みモデルを読み込みます。
• 少なくとも iGPT-S の結果を再現します。

彼らのブログ投稿によると、最大のモデルである iGPT-L (140 万パラメータ) は 2500 V100 日間トレーニングされました。アテンション ヘッドの数、レイヤーの数、および入力サイズ (モデル サイズに二次的に影響します) を大幅に削減することで、単一の NVIDIA 2070 上の Fashion-MNIST で独自のモデル (26 K パラメーター) を 2 時間以内にトレーニングできます。

• 画像GPT
  • 使用法
    • 事前トレーニングされたモデル
    • 重心を計算する
    • トレーニング
      • 生成的な事前トレーニング
      • 分類の微調整
    • サンプリング

使用法

事前トレーニングされたモデル

一部の事前トレーニング済みモデルはmodelsディレクトリにあります。 ./download.shを実行して、 cifar10事前トレーニング済み iGPT-S モデルをダウンロードします。

重心を計算する

画像がダウンロードされ、 num_clustersクラスターを使用したk平均法を使用して重心が計算されます。これらの重心は、モデルに入力される前に画像を量子化するために使用されます。

 # options: mnist, fmnist, cifar10
python src/compute_centroids.py --dataset mnist --num_clusters=8

# creates data/_centroids.npy

注: モデル内のnum_vocabと同じnum_clustersを使用します。

トレーニング

モデルは、 src/run.pyとtrainサブコマンドを使用してトレーニングできます。

生成的な事前トレーニング

データセットとモデル構成を指定することで、モデルを事前トレーニングできます。 configs/s_gen.yml論文の iGPT-S に対応し、 configs/xxs_gen.ymlは限られたコンピューティングでおもちゃのデータセットを試すための非常に小さなモデルです。

python src/run.py --dataset mnist train configs/xxs_gen.yml

分類の微調整

事前トレーニングされたモデルは、構成ファイルとデータセットとともに、事前トレーニングされたチェックポイントへのパスを--pretrainedに渡すことで微調整できます。

python src/run.py --dataset mnist train configs/xxs_clf.yml --pretrained=models/mnist_gen.ckpt `

サンプリング

上記のような図は、テスト セットからのランダムな画像を使用して作成できます。

 # outputs to figure.png
python src/sample.py models/mnist_gen.ckpt

私のツイートにあるような GIF は次のようにして作成できます。

 # outputs to out.gif
python src/gif.py models/mnist_gen.ckpt