ai_and_memory_wall

Jejak Memori dan FLOP untuk Model SOTA di CV/NLP/Pidato

Ini adalah gudang dengan data yang digunakan untuk AI dan kertas Dinding Memori. Kami melaporkan jumlah parameter, ukuran fitur, serta total FLOP untuk inferensi/pelatihan model SOTA di CV, Pembelajaran Pidato, dan NLP.

Model NLP

Kami sebagian besar fokus pada penghitungan metrik yang berbeda untuk model transformator, mulai dari BERT FLOP asli untuk pelatihan/inferensi, serta parameter dan jejak memorinya. Kami kemudian menghitung metrik yang sama untuk variasi BERT yang berbeda seperti yang dilaporkan pada tabel di bawah.

PS: Total PFLOP yang diperlukan untuk melatih setiap model dihitung dengan menggunakan pengaturan yang dilaporkan di setiap makalah.

Tanggal	Model	Ukuran Token	#Param	#Fitur	GFLOP inferensi	Pelatihan PFLOP
09/10/2014	Seq2Seq					11.000
12/06/2017	Transformator	512	65M	77M	54	23.000
15/02/2018	ELMo		94M			3.300
10/11/2018	BERT Besar	512	330M	230M	340	250.000
06/11/2018	GPT-1	512	110M	85M	96	57.000
14/02/2019	GPT-2	1024	1.500M	2.000 juta	3.400
26/07/2019	RoBERTa Besar	512	1.500M	2.000 juta	3.400	4.300.000
17/08/2019	Megatron	1024	8.300M	4,700M	18.000	8.100.000
26/09/2019	ALBERT xxl	512	235M	450M	2.500	31.000.000
13/02/2020	Microsoft T-NLG	1024	17.000M	5,700 juta	36.000	28.000.000
23/03/2020	ELEKTRA Besar	128	330M	38M	79	3.100.000
28/05/2020	GPT-3	2048	175.000M	63.000M	740.000	310.000.000
30/06/2020	keras		600.000M
20/06/2020	Baidu RecSys-C	T/A	2.000.000M	T/A	~O(0,1)	T/A
20/06/2020	Baidu RecSys-E	T/A	10.000.000M	T/A	~O(0,1)	T/A

Model CV

Tabel di bawah ini melaporkan metrik yang berbeda untuk berbagai model visi SOTA, termasuk resolusi gambar masukan, jumlah parameter, total GFLOP inferensi, serta total PFLOP yang diperlukan untuk melatih setiap model.

Tanggal	Model	Resolusi Masukan	#Param	GFLOP inferensi	Pelatihan PFLOP
01/06/2012	AlexNet	227x227	61M	1.4	460
09/04/2014	VGG-19	224x224	138M	39	11.000
12/02/2015	AwalV3	299x299	24M	5.7	100.000
12/10/2015	ResNet152	224x224	55M	23	11.000
26/02/2016	AwalV4	299x299	82M	24.6
10/07/2016	Xsepsi	299x299	23M	17	450.000
16/11/2016	ResNeXt101(64x4d)	224x224	83M	31	12.000
12/03/2016	Jaringan Padat201	224x224	20M	8.9	2.800

Kerusakan Memori

Tabel di bawah ini melaporkan perincian memori yang diperlukan untuk melatih model SOTA yang berbeda sepanjang tahun. Ini termasuk total memori yang diperlukan untuk menyimpan parameter, jejak memori yang terkait dengan algoritma optimasi, serta memori aktivasi/fitur.

Tahun	Model	Resolusi Masukan (Panjang kalimat)	Ukuran Batch	Memori Param	Memori Pengoptimal	Memori Aktivasi	Jumlah Memori
2012	AlexNet	227x227	128	0,23 GB	0,23 GB	0,71 GB	1,71 GB
2014	VGG19	224x224	64	0,54 GB	0,54 GB	4,64 GB	5,72 GB
2015	ResNet152	224x224	32	0,22 GB	0,22 GB	5,14GB	5,58 GB
2016	Jaringan Padat201	224x224	32	0,07 GB	0,07 GB	6,04GB	6,18GB
2016	ResNeXt101 (64x4d)	224x224	32	0,31 GB	0,31 GB	7,34GB	7,96 GB
2017	Transformator Besar (WMT)	512	6	1,02 GB	2,04 GB	11,78GB	14,84GB
2018	BERT Besar	512	16	1,32 GB	2,64GB	14,38 GB	18,34GB
2019	GPT-2	2014	1	5,86GB	11,62GB	8,63 GB	26,21 GB

Ucapan Terima Kasih

Kami menghargai jika Anda mau mengutip makalah berikut jika menurut Anda perpustakaan ini berguna untuk pekerjaan Anda:

 Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.

 @article{gholami2020ai_and_memory_wall,
  title={AI and Memory Wall},
  author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
  journal={IEEE Micro Journal},
  year={2024}
}