ai_and_memory_wall

CV/NLP/語音中 SOTA 模型的記憶體佔用和 FLOPs

這是一個儲存庫，其中包含用於人工智慧和記憶壁紙的資料。我們報告了 CV、語音學習和 NLP 中 SOTA 模型的參數數量、特徵大小以及推理/訓練的總 FLOP。

自然語言處理模型

我們主要關注計算 Transformer 模型的不同指標，從用於訓練/推理的原始 BERT FLOP 及其參數和記憶體佔用開始。然後，我們針對不同的 BERT 變體計算相同的指標，如下表所示。

PS：訓練每個模型所需的總 PFLOP 是透過使用每篇論文中報告的設定來計算的。

日期	模型	代幣大小	#參數	＃特徵	推理 GFLOP	訓練 PFLOP
2014年9月10日	序列到序列					11,000
12/06/2017	變壓器	第512章	65M	77M	54	23,000
2018年2月15日	ELMo		94M			3,300
2018年10月11日	BERT 大號	第512章	330M	230M	340	250,000
2018年6月11日	GPT-1	第512章	110M	85M	96	57,000
2019年2月14日	GPT-2	1024	1,500M	2,000M	3,400
2019年7月26日	羅伯塔拉格	第512章	1,500M	2,000M	3,400	4,300,000
2019/08/17	威震天	1024	8,300M	4,700M	18,000	8,100,000
2019年9月26日	阿爾伯特 xxl	第512章	235M	450M	2,500 人	31,000,000
2020年2月13日	微軟T-NLG	1024	17,000M	5,700M	36,000	28,000,000
2020年3月23日	伊萊克特拉大號	128	330M	38M	79	3,100,000
2020年5月28日	GPT-3	2048	175,000M	63,000M	740,000	310,000,000
2020年6月30日	GShard		600,000M
2020年6月20日	百度RecSys-C	不適用	2,000,000M	不適用	～O(0.1)	不適用
2020年6月20日	百度RecSys-E	不適用	10,000,000M	不適用	～O(0.1)	不適用

CV 模型

下表報告了各種 SOTA 視覺模型的不同指標，包括輸入影像解析度、參數數量、總推理 GFLOP 以及訓練每個模型所需的總 PFLOP。

日期	模型	輸入解析度	#參數	推理 GFLOP	訓練 PFLOP
2012年6月1日	亞歷克斯網	227×227	61M	1.4	第460章
2014年9月4日	VGG-19	224×224	138M	39	11,000
12/02/2015	盜夢空間V3	299×299	24M	5.7	100,000
2015年10月12日	殘網152	224×224	55M	23	11,000
2016年2月26日	盜夢空間V4	299×299	82M	24.6
10/07/2016	Xception	299×299	23M	17 號	450,000
2016年11月16日	ResNeXt101(64x4d)	224×224	83M	31	12,000
12/03/2016	密集網201	224×224	20M	8.9	2,800

記憶體故障

下表報告了多年來訓練不同 SOTA 模型所需的記憶體明細。這些包括存儲參數所需的總內存、與優化演算法相關的內存足跡以及激活/特徵內存。

年	模型	輸入解析度（句子長度）	批量大小	參數記憶體	優化器記憶體	激活記憶	總記憶體
2012年	亞歷克斯網	227×227	128	0.23GB	0.23GB	0.71GB	1.71GB
2014年	VGG19	224×224	64	0.54GB	0.54GB	4.64GB	5.72GB
2015年	殘網152	224×224	32	0.22GB	0.22GB	5.14GB	5.58GB
2016年	密集網201	224×224	32	0.07GB	0.07GB	6.04GB	6.18GB
2016年	ResNeXt101 (64x4d)	224×224	32	0.31GB	0.31GB	7.34GB	7.96GB
2017年	大變壓器 (WMT)	第512章	6	1.02GB	2.04GB	11.78GB	14.84GB
2018年	BERT 大號	第512章	16	1.32GB	2.64GB	14.38GB	18.34GB
2019年	GPT-2	2014年	1	5.86GB	11.62GB	8.63GB	26.21GB

致謝

如果您發現該庫對您的工作有用，請引用以下論文，我們將不勝感激：

 Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.

 @article{gholami2020ai_and_memory_wall,
  title={AI and Memory Wall},
  author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
  journal={IEEE Micro Journal},
  year={2024}
}