ai_and_memory_wall

CV/NLP/语音中 SOTA 模型的内存占用和 FLOPs

这是一个存储库，其中包含用于人工智能和记忆壁纸的数据。我们报告了 CV、语音学习和 NLP 中 SOTA 模型的参数数量、特征大小以及推理/训练的总 FLOP。

自然语言处理模型

我们主要关注计算 Transformer 模型的不同指标，从用于训练/推理的原始 BERT FLOP 及其参数和内存占用开始。然后，我们针对不同的 BERT 变体计算相同的指标，如下表所示。

PS：训练每个模型所需的总 PFLOP 是通过使用每篇论文中报告的设置来计算的。

日期	模型	代币大小	#参数	＃特征	推理 GFLOP	训练 PFLOP
2014年9月10日	序列到序列					11,000
12/06/2017	变压器	第512章	65M	77M	54	23,000
2018年2月15日	ELMo		94M			3,300
2018年10月11日	BERT 大号	第512章	330M	230M	340	250,000
2018年6月11日	GPT-1	第512章	110M	85M	96	57,000
2019年2月14日	GPT-2	1024	1,500M	2,000M	3,400
2019年7月26日	罗伯塔·拉格	第512章	1,500M	2,000M	3,400	4,300,000
2019/08/17	威震天	1024	8,300M	4,700M	18,000	8,100,000
2019年9月26日	阿尔伯特 xxl	第512章	235M	450M	2,500 人	31,000,000
2020年2月13日	微软T-NLG	1024	17,000M	5,700M	36,000	28,000,000
2020年3月23日	伊莱克特拉大号	128	330M	38M	79	3,100,000
2020年5月28日	GPT-3	2048	175,000M	63,000M	740,000	310,000,000
2020年6月30日	GShard		600,000M
2020年6月20日	百度RecSys-C	不适用	2,000,000M	不适用	～O(0.1)	不适用
2020年6月20日	百度RecSys-E	不适用	10,000,000M	不适用	～O(0.1)	不适用

CV 模型

下表报告了各种 SOTA 视觉模型的不同指标，包括输入图像分辨率、参数数量、总推理 GFLOP 以及训练每个模型所需的总 PFLOP。

日期	模型	输入分辨率	#参数	推理 GFLOP	训练 PFLOP
2012年6月1日	亚历克斯网	227×227	61M	1.4	第460章
2014年9月4日	VGG-19	224×224	138M	39	11,000
12/02/2015	盗梦空间V3	299×299	24M	5.7	100,000
2015年10月12日	残网152	224×224	55M	23	11,000
2016年2月26日	盗梦空间V4	299×299	82M	24.6
10/07/2016	Xception	299×299	23M	17 号	450,000
2016年11月16日	ResNeXt101(64x4d)	224×224	83M	31	12,000
12/03/2016	密集网201	224×224	20M	8.9	2,800

内存故障

下表报告了多年来训练不同 SOTA 模型所需的内存明细。这些包括存储参数所需的总内存、与优化算法相关的内存足迹以及激活/特征内存。

年	模型	输入分辨率（句子长度）	批量大小	参数内存	优化器内存	激活记忆	总内存
2012年	亚历克斯网	227×227	128	0.23GB	0.23GB	0.71GB	1.71GB
2014年	VGG19	224×224	64	0.54GB	0.54GB	4.64GB	5.72GB
2015年	残网152	224×224	32	0.22GB	0.22GB	5.14GB	5.58GB
2016年	密集网201	224×224	32	0.07GB	0.07GB	6.04GB	6.18GB
2016年	ResNeXt101 (64x4d)	224×224	32	0.31GB	0.31GB	7.34GB	7.96GB
2017年	大变压器 (WMT)	第512章	6	1.02GB	2.04GB	11.78GB	14.84GB
2018年	BERT 大号	第512章	16	1.32GB	2.64GB	14.38GB	18.34GB
2019年	GPT-2	2014年	1	5.86GB	11.62GB	8.63GB	26.21GB

致谢

如果您发现该库对您的工作有用，请引用以下论文，我们将不胜感激：

 Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.

 @article{gholami2020ai_and_memory_wall,
  title={AI and Memory Wall},
  author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
  journal={IEEE Micro Journal},
  year={2024}
}