ai_and_memory_wall

Pegada de memória e FLOPs para modelos SOTA em CV/PNL/Fala

Este é um repositório com os dados utilizados para o artigo AI e Memory Wall. Relatamos o número de parâmetros, tamanho do recurso, bem como o total de FLOPs para inferência/treinamento para modelos SOTA em CV, aprendizagem de fala e PNL.

Modelos de PNL

Nós nos concentramos principalmente no cálculo das diferentes métricas para modelos de transformadores, começando pelos BERT FLOPs originais para treinamento/inferência, bem como seus parâmetros e consumo de memória. Em seguida, calculamos as mesmas métricas para diferentes variações do BERT, conforme relatado na tabela abaixo.

PS: O total de PFLOPs necessários para treinar cada modelo é calculado usando a configuração relatada em cada artigo.

Data	Modelo	Tamanho do token	#Params	#Características	Inferência de GFLOPs	Treinamento de PFLOPs
10/09/2014	Seq2Seq					11.000
12/06/2017	Transformador	512	65 milhões	77 milhões	54	23.000
15/02/2018	ELMo		94 milhões			3.300
11/10/2018	BERT Grande	512	330 milhões	230 milhões	340	250.000
11/06/2018	GPT-1	512	110 milhões	85 milhões	96	57.000
14/02/2019	GPT-2	1024	1.500 milhões	2.000 milhões	3.400
26/07/2019	RoBERTa Grande	512	1.500 milhões	2.000 milhões	3.400	4.300.000
17/08/2019	Megatron	1024	8.300 milhões	4.700 milhões	18.000	8.100.000
26/09/2019	ALBERTO xxl	512	235 milhões	450 milhões	2.500	31.000.000
13/02/2020	Microsoft T-NLG	1024	17.000 milhões	5.700 milhões	36.000	28.000.000
23/03/2020	ELECTRA Grande	128	330 milhões	38 milhões	79	3.100.000
28/05/2020	GPT-3	2048	175.000 milhões	63.000 milhões	740.000	310.000.000
30/06/2020	GShard		600.000 milhões
20/06/2020	Baidu RecSys-C	N / D	2.000.000 milhões	N / D	~O(0,1)	N / D
20/06/2020	Baidu RecSys-E	N / D	10.000.000 milhões	N / D	~O(0,1)	N / D

Modelos de CV

A tabela abaixo relata as diferentes métricas para vários modelos de visão SOTA, incluindo a resolução da imagem de entrada, o número de parâmetros, o total de GFLOPs de inferência, bem como o total de PFLOPs necessários para treinar cada modelo.

Data	Modelo	Resolução de entrada	#Params	Inferência de GFLOPs	Treinamento de PFLOPs
01/06/2012	Alex Net	227x227	61 milhões	1.4	460
09/04/2014	VGG-19	224x224	138 milhões	39	11.000
12/02/2015	InícioV3	299x299	24 milhões	5.7	100.000
10/12/2015	ResNet152	224x224	55 milhões	23	11.000
26/02/2016	InícioV4	299x299	82 milhões	24,6
07/10/2016	Xcepção	299x299	23 milhões	17	450.000
16/11/2016	ResNeXt101(64x4d)	224x224	83 milhões	31	12.000
12/03/2016	DenseNet201	224x224	20 milhões	8,9	2.800

Quebra de memória

A tabela abaixo relata a divisão da memória necessária para treinar diferentes modelos SOTA ao longo dos anos. Isso inclui a memória total necessária para armazenar os parâmetros, o espaço de memória associado ao algoritmo de otimização, bem como a memória de ativação/recurso.

Ano	Modelo	Resolução de entrada (comprimento da frase)	Tamanho do lote	Memória de parâmetros	Memória do otimizador	Memória de ativação	Memória total
2012	Alex Net	227x227	128	0,23GB	0,23GB	0,71 GB	1,71GB
2014	VGG19	224x224	64	0,54 GB	0,54GB	4,64GB	5,72GB
2015	ResNet152	224x224	32	0,22GB	0,22GB	5,14GB	5,58GB
2016	DenseNet201	224x224	32	0,07GB	0,07GB	6,04GB	6,18 GB
2016	ResNeXt101 (64x4d)	224x224	32	0,31 GB	0,31 GB	7,34GB	7,96GB
2017	Transformador Grande (WMT)	512	6	1,02 GB	2,04 GB	11,78GB	14,84GB
2018	BERT Grande	512	16	1,32 GB	2,64GB	14,38 GB	18,34GB
2019	GPT-2	2014	1	5,86GB	11,62GB	8,63GB	26,21GB

Agradecimentos

Agradecemos se você citar o seguinte artigo se achar a biblioteca útil para o seu trabalho:

 Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.

 @article{gholami2020ai_and_memory_wall,
  title={AI and Memory Wall},
  author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
  journal={IEEE Micro Journal},
  year={2024}
}