ai_and_memory_wall

Empreinte mémoire et FLOP pour les modèles SOTA en CV/NLP/Speech

Il s'agit d'un référentiel contenant les données utilisées pour le papier peint AI et Memory. Nous rapportons le nombre de paramètres, la taille des fonctionnalités, ainsi que le nombre total de FLOP pour l'inférence/la formation pour les modèles SOTA en CV, apprentissage de la parole et PNL.

Modèles PNL

Nous nous concentrons principalement sur le calcul des différentes métriques pour les modèles de transformateur, à partir des FLOP BERT d'origine pour la formation/inférence, ainsi que sur ses paramètres et son empreinte mémoire. Nous calculons ensuite les mêmes métriques pour différentes variantes du BERT, comme indiqué dans le tableau ci-dessous.

PS : Le total des PFLOP requis pour entraîner chaque modèle est calculé en utilisant la configuration rapportée dans chaque article.

Date	Modèle	Taille du jeton	#Params	#Caractéristiques	GFLOP d'inférence	Entraînement des PFLOP
09/10/2014	Séq2Séq					11 000
12/06/2017	Transformateur	512	65M	77M	54	23 000
15/02/2018	ELMo		94M			3 300
10/11/2018	BERT Grand	512	330M	230M	340	250 000
06/11/2018	GPT-1	512	110M	85M	96	57 000
14/02/2019	GPT-2	1024	1 500 millions	2 000 millions	3 400
26/07/2019	RoBERTa Grand	512	1 500 millions	2 000 millions	3 400	4 300 000
17/08/2019	Mégatron	1024	8 300 millions	4 700 millions	18 000	8 100 000
26/09/2019	ALBERT xxl	512	235M	450M	2 500	31 000 000
13/02/2020	Microsoft T-NLG	1024	17 000 millions	5 700 millions	36 000	28 000 000
23/03/2020	ÉLECTRE Grand	128	330M	38M	79	3 100 000
28/05/2020	GPT-3	2048	175 000 millions	63 000 millions	740 000	310 000 000
30/06/2020	GShard		600 000 millions
20/06/2020	Baidu RecSys-C	N / A	2 000 000M	N / A	~O(0,1)	N / A
20/06/2020	Baidu RecSys-E	N / A	10 000 000M	N / A	~O(0,1)	N / A

Modèles de CV

Le tableau ci-dessous présente les différentes métriques pour différents modèles de vision SOTA, y compris la résolution de l'image d'entrée, le nombre de paramètres, le nombre total de GFLOP d'inférence, ainsi que le total de PFLOP requis pour entraîner chaque modèle.

Date	Modèle	Résolution d'entrée	#Params	GFLOP d'inférence	Entraînement des PFLOP
01/06/2012	AlexNet	227 x 227	61M	1.4	460
09/04/2014	VGG-19	224 x 224	138M	39	11 000
12/02/2015	CréationV3	299x299	24 M	5.7	100 000
10/12/2015	ResNet152	224 x 224	55M	23	11 000
26/02/2016	CréationV4	299x299	82M	24.6
10/07/2016	Xception	299x299	23M	17	450 000
16/11/2016	ResNeXt101(64x4d)	224 x 224	83M	31	12 000
12/03/2016	DenseNet201	224 x 224	20M	8.9	2 800

Panne de mémoire

Le tableau ci-dessous présente la répartition de la mémoire requise pour entraîner différents modèles SOTA au fil des années. Ceux-ci incluent la mémoire totale requise pour stocker les paramètres, l'espace mémoire associé à l'algorithme d'optimisation, ainsi que la mémoire d'activation/fonctionnalité.

Année	Modèle	Résolution d'entrée (longueur de la phrase)	Taille du lot	Mémoire de paramètres	Mémoire de l'optimiseur	Mémoire d'activation	Mémoire totale
2012	AlexNet	227 x 227	128	0,23 Go	0,23 Go	0,71 Go	1,71 Go
2014	VGG19	224 x 224	64	0,54 Go	0,54 Go	4,64 Go	5,72 Go
2015	ResNet152	224 x 224	32	0,22 Go	0,22 Go	5,14 Go	5,58 Go
2016	DenseNet201	224 x 224	32	0,07 Go	0,07 Go	6,04 Go	6,18 Go
2016	ResNeXt101 (64x4j)	224 x 224	32	0,31 Go	0,31 Go	7,34 Go	7,96 Go
2017	Transformateur grand (WMT)	512	6	1,02 Go	2,04 Go	11,78 Go	14,84 Go
2018	BERT Grand	512	16	1,32 Go	2,64 Go	14,38 Go	18,34 Go
2019	GPT-2	2014	1	5,86 Go	11,62 Go	8,63 Go	26,21 Go

Remerciements

Nous vous serions reconnaissants de bien vouloir citer l'article suivant si vous avez trouvé la bibliothèque utile pour votre travail :

 Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.

 @article{gholami2020ai_and_memory_wall,
  title={AI and Memory Wall},
  author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
  journal={IEEE Micro Journal},
  year={2024}
}