ai_and_memory_wall

CV/NLP/音声における SOTA モデルのメモリ フットプリントと FLOP

これは、AI とメモリの壁紙に使用されるデータのリポジトリです。 CV、音声学習、NLP における SOTA モデルの推論/トレーニングのパラメータ数、機能サイズ、総 FLOP をレポートします。

NLP モデル

私たちは主に、トレーニング/推論用の元の BERT FLOP から始まる、トランスフォーマー モデルのさまざまなメトリクス、およびそのパラメーターとメモリ フットプリントを計算することに重点を置いています。次に、以下の表に示すように、さまざまな BERT 変動に対して同じメトリックを計算します。

PS: 各モデルのトレーニングに必要な合計 PFLOP は、各論文で報告されている設定を使用して計算されます。

日付	モデル	トークンサイズ	#Params	＃特徴	推論 GFLOP	PFLOP のトレーニング
2014/09/10	シーケンス 2 シーケンス					11,000
2017/12/06	トランス	512	65M	77M	54	23,000
2018/02/15	エルモ		94M			3,300
2018/10/11	バート ラージ	512	330M	230M	340	250,000
2018/11/06	GPT-1	512	110M	85M	96	57,000
2019/02/14	GPT-2	1024	1,500M	2,000M	3,400
2019/07/26	ロベルタ ラージ	512	1,500M	2,000M	3,400	4,300,000
2019/08/17	メガトロン	1024	8,300M	4,700M	18,000	8,100,000
2019/09/26	アルバートxxl	512	235M	450M	2,500	31,000,000
2020/02/13	マイクロソフト T-NLG	1024	17,000M	5,700M	36,000	28,000,000
2020/03/23	エレクトラ ラージ	128	330M	38M	79	3,100,000
2020/05/28	GPT-3	2048年	175,000M	63,000M	740,000	310,000,000
2020/06/30	ジーシャード		600,000M
2020/06/20	百度 RecSys-C	該当なし	2,000,000M	該当なし	~O(0.1)	該当なし
2020/06/20	百度 RecSys-E	該当なし	10,000,000M	該当なし	~O(0.1)	該当なし

CVモデル

以下の表は、入力画像解像度、パラメータ数、総推論 GFLOP、各モデルのトレーニングに必要な総 PFLOP など、さまざまな SOTA ビジョン モデルのさまざまなメトリクスを報告します。

日付	モデル	入力解像度	#Params	推論 GFLOP	PFLOP のトレーニング
2012/06/01	アレックスネット	227×227	61M	1.4	460
2014/09/04	VGG-19	224×224	138M	39	11,000
2015/12/02	インセプションV3	299×299	24M	5.7	100,000
2015/12/10	レスネット152	224×224	55M	23	11,000
2016/02/26	インセプションV4	299×299	82M	24.6
2016/10/07	ゼセプション	299×299	23M	17	450,000
2016 年 11 月 16 日	ResNeXt101(64x4d)	224×224	83M	31	12,000
2016/12/03	デンスネット201	224×224	20M	8.9	2,800

メモリの内訳

以下の表は、年間を通じてさまざまな SOTA モデルをトレーニングするために必要なメモリの内訳を報告しています。これらには、パラメータを保存するために必要な合計メモリ、最適化アルゴリズムに関連するメモリ使用量、およびアクティベーション/機能メモリが含まれます。

年	モデル	入力解像度（文の長さ）	バッチサイズ	パラメータメモリ	オプティマイザーメモリ	アクティベーションメモリ	総メモリ
2012年	アレックスネット	227×227	128	0.23GB	0.23GB	0.71GB	1.71GB
2014年	VGG19	224×224	64	0.54GB	0.54GB	4.64GB	5.72GB
2015年	レスネット152	224×224	32	0.22GB	0.22GB	5.14GB	5.58GB
2016年	デンスネット201	224×224	32	0.07GB	0.07GB	6.04GB	6.18GB
2016年	ResNeXt101 (64x4d)	224×224	32	0.31GB	0.31GB	7.34GB	7.96GB
2017年	トランスフォーマービッグ (WMT)	512	6	1.02GB	2.04GB	11.78GB	14.84GB
2018年	バート ラージ	512	16	1.32GB	2.64GB	14.38GB	18.34GB
2019年	GPT-2	2014年	1	5.86GB	11.62GB	8.63GB	26.21GB

謝辞

ライブラリがあなたの仕事に役立つと思われた場合は、次の論文を引用していただければ幸いです。

 Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.

 @article{gholami2020ai_and_memory_wall,
  title={AI and Memory Wall},
  author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
  journal={IEEE Micro Journal},
  year={2024}
}