ai_and_memory_wall

Huella de memoria y FLOP para modelos SOTA en CV/NLP/Speech

Este es un repositorio con los datos utilizados para el documento AI and Memory Wall. Informamos la cantidad de parámetros, el tamaño de la característica, así como los FLOP totales para inferencia/entrenamiento para modelos SOTA en CV, aprendizaje del habla y PNL.

Modelos de PNL

Nos centramos principalmente en calcular las diferentes métricas para modelos de transformadores, a partir de los BERT FLOP originales para entrenamiento/inferencia, así como sus parámetros y huella de memoria. Luego calculamos las mismas métricas para diferentes variaciones de BERT como se muestra en la siguiente tabla.

PD: El total de PFLOP necesarios para entrenar cada modelo se calcula utilizando la configuración informada en cada artículo.

Fecha	Modelo	Tamaño del token	#parámetros	#Características	GFLOP de inferencia	Capacitación de PFLOP
10/09/2014	Sec2Seq					11.000
06/12/2017	Transformador	512	65M	77M	54	23.000
15/02/2018	ELMo		94M			3.300
10/11/2018	BERT Grande	512	330M	230M	340	250.000
11/06/2018	GPT-1	512	110M	85M	96	57.000
14/02/2019	GPT-2	1024	1.500M	2.000 millones	3.400
26/07/2019	Roberta Grande	512	1.500M	2.000M	3.400	4.300.000
17/08/2019	megatrón	1024	8.300 millones	4.700M	18.000	8.100.000
26/09/2019	ALBERTO xxl	512	235M	450M	2.500	31.000.000
13/02/2020	Microsoft T-NLG	1024	17.000 millones	5.700 millones	36.000	28.000.000
23/03/2020	ELECTRA Grande	128	330M	38M	79	3.100.000
28/05/2020	GPT-3	2048	175.000M	63.000M	740.000	310.000.000
30/06/2020	ghard		600.000 millones
20/06/2020	Baidu RecSys-C	N / A	2.000.000M	N / A	~O(0.1)	N / A
20/06/2020	Baidu RecSys-E	N / A	10.000.000 millones	N / A	~O(0.1)	N / A

Modelos CV

La siguiente tabla informa las diferentes métricas para varios modelos de visión SOTA, incluida la resolución de la imagen de entrada, la cantidad de parámetros, los GFLOP de inferencia totales, así como los PFLOP totales necesarios para entrenar cada modelo.

Fecha	Modelo	Resolución de entrada	#parámetros	GFLOP de inferencia	Capacitación de PFLOP
01/06/2012	alexnet	227 x 227	61M	1.4	460
04/09/2014	VGG-19	224 x 224	138M	39	11.000
02/12/2015	InicioV3	299 x 299	24M	5.7	100.000
10/12/2015	ResNet152	224 x 224	55M	23	11.000
26/02/2016	InicioV4	299 x 299	82M	24.6
07/10/2016	Xcepción	299 x 299	23M	17	450.000
16/11/2016	ResNeXt101(64x4d)	224 x 224	83M	31	12.000
03/12/2016	DensoNet201	224 x 224	20M	8.9	2.800

Desglose de la memoria

La siguiente tabla informa el desglose de la memoria necesaria para entrenar diferentes modelos SOTA a lo largo de los años. Estos incluyen la memoria total requerida para almacenar los parámetros, el espacio de memoria asociado con el algoritmo de optimización, así como la memoria de activación/función.

Año	Modelo	Resolución de entrada (longitud de la oración)	Tamaño del lote	Memoria de parámetros	Memoria optimizadora	Memoria de activación	Memoria Total
2012	alexnet	227 x 227	128	0,23GB	0,23GB	0,71GB	1,71GB
2014	VGG19	224 x 224	64	0,54GB	0,54GB	4,64GB	5,72GB
2015	ResNet152	224 x 224	32	0,22GB	0,22GB	5,14GB	5,58GB
2016	DensoNet201	224 x 224	32	0,07GB	0,07GB	6,04GB	6,18GB
2016	ResNeXt101 (64x4d)	224 x 224	32	0,31GB	0,31 GB	7,34GB	7,96GB
2017	Transformador grande (WMT)	512	6	1,02GB	2,04GB	11,78GB	14,84GB
2018	BERT Grande	512	16	1,32GB	2,64GB	14,38GB	18,34GB
2019	GPT-2	2014	1	5,86GB	11,62GB	8,63GB	26,21GB

Expresiones de gratitud

Le agradeceríamos que citara el siguiente artículo si encuentra la biblioteca útil para su trabajo:

 Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.

 @article{gholami2020ai_and_memory_wall,
  title={AI and Memory Wall},
  author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
  journal={IEEE Micro Journal},
  year={2024}
}