ai_and_memory_wall
1.0.0
Dies ist ein Repository mit den Daten, die für das AI- und Memory-Wallpaper verwendet werden. Wir berichten über die Anzahl der Parameter, die Merkmalsgröße sowie die gesamten FLOPs für Inferenz/Training für SOTA-Modelle in CV, Sprachlernen und NLP.
Wir konzentrieren uns hauptsächlich auf die Berechnung der verschiedenen Metriken für Transformatormodelle, ausgehend von den ursprünglichen BERT-FLOPs für Training/Inferenz, sowie auf deren Parameter und Speicherbedarf. Anschließend berechnen wir dieselben Metriken für verschiedene BERT-Varianten, wie in der folgenden Tabelle aufgeführt.
PS: Die gesamten PFLOPs, die zum Trainieren jedes Modells erforderlich sind, werden anhand des in jedem Artikel angegebenen Setups berechnet.
| Datum | Modell | Tokengröße | #Params | #Merkmale | Inferenz-GFLOPs | PFLOPs trainieren |
|---|---|---|---|---|---|---|
| 10.09.2014 | Seq2Seq | 11.000 | ||||
| 06.12.2017 | Transformator | 512 | 65M | 77M | 54 | 23.000 |
| 15.02.2018 | ELMo | 94M | 3.300 | |||
| 11.10.2018 | BERT Groß | 512 | 330M | 230M | 340 | 250.000 |
| 11.06.2018 | GPT-1 | 512 | 110M | 85M | 96 | 57.000 |
| 14.02.2019 | GPT-2 | 1024 | 1.500 Millionen | 2.000 Millionen | 3.400 | |
| 26.07.2019 | RoBERTa Large | 512 | 1.500 Millionen | 2.000 Millionen | 3.400 | 4.300.000 |
| 17.08.2019 | Megatron | 1024 | 8.300 Millionen | 4.700 Millionen | 18.000 | 8.100.000 |
| 26.09.2019 | ALBERT xxl | 512 | 235M | 450M | 2.500 | 31.000.000 |
| 13.02.2020 | Microsoft T-NLG | 1024 | 17.000 Millionen | 5.700 Millionen | 36.000 | 28.000.000 |
| 23.03.2020 | ELECTRA Groß | 128 | 330M | 38M | 79 | 3.100.000 |
| 28.05.2020 | GPT-3 | 2048 | 175.000 Millionen | 63.000 Millionen | 740.000 | 310.000.000 |
| 30.06.2020 | GShard | 600.000 Millionen | ||||
| 20.06.2020 | Baidu RecSys-C | N / A | 2.000.000 Millionen | N / A | ~O(0,1) | N / A |
| 20.06.2020 | Baidu RecSys-E | N / A | 10.000.000 Millionen | N / A | ~O(0,1) | N / A |
In der folgenden Tabelle sind die verschiedenen Metriken für verschiedene SOTA-Vision-Modelle aufgeführt, einschließlich der Eingabebildauflösung, der Anzahl der Parameter, der gesamten Inferenz-GFLOPs sowie der gesamten PFLOPs, die zum Trainieren jedes Modells erforderlich sind.
| Datum | Modell | Eingabeauflösung | #Params | Inferenz-GFLOPs | PFLOPs trainieren |
|---|---|---|---|---|---|
| 01.06.2012 | AlexNet | 227 x 227 | 61M | 1.4 | 460 |
| 04.09.2014 | VGG-19 | 224 x 224 | 138M | 39 | 11.000 |
| 12.02.2015 | InceptionV3 | 299 x 299 | 24M | 5.7 | 100.000 |
| 10.12.2015 | ResNet152 | 224 x 224 | 55M | 23 | 11.000 |
| 26.02.2016 | InceptionV4 | 299 x 299 | 82M | 24.6 | |
| 10.07.2016 | Xception | 299 x 299 | 23M | 17 | 450.000 |
| 16.11.2016 | ResNeXt101(64x4d) | 224 x 224 | 83M | 31 | 12.000 |
| 12.03.2016 | DenseNet201 | 224 x 224 | 20M | 8.9 | 2.800 |
Die folgende Tabelle zeigt die Aufteilung des Speicherbedarfs, der zum Trainieren verschiedener SOTA-Modelle im Laufe der Jahre erforderlich ist. Dazu gehören der Gesamtspeicher, der zum Speichern der Parameter erforderlich ist, der mit dem Optimierungsalgorithmus verbundene Speicherbedarf sowie der Aktivierungs-/Funktionsspeicher.
| Jahr | Modell | Eingabeauflösung (Satzlänge) | Chargengröße | Parameterspeicher | Optimiererspeicher | Aktivierungsspeicher | Gesamtspeicher |
|---|---|---|---|---|---|---|---|
| 2012 | AlexNet | 227 x 227 | 128 | 0,23 GB | 0,23 GB | 0,71 GB | 1,71 GB |
| 2014 | VGG19 | 224 x 224 | 64 | 0,54 GB | 0,54 GB | 4,64 GB | 5,72 GB |
| 2015 | ResNet152 | 224 x 224 | 32 | 0,22 GB | 0,22 GB | 5,14 GB | 5,58 GB |
| 2016 | DenseNet201 | 224 x 224 | 32 | 0,07 GB | 0,07 GB | 6,04 GB | 6,18 GB |
| 2016 | ResNeXt101 (64x4d) | 224 x 224 | 32 | 0,31 GB | 0,31 GB | 7,34 GB | 7,96 GB |
| 2017 | Transformer Big (WMT) | 512 | 6 | 1,02 GB | 2,04 GB | 11,78 GB | 14,84 GB |
| 2018 | BERT Groß | 512 | 16 | 1,32 GB | 2,64 GB | 14,38 GB | 18,34 GB |
| 2019 | GPT-2 | 2014 | 1 | 5,86 GB | 11,62 GB | 8,63 GB | 26,21 GB |
Wenn Sie die Bibliothek für Ihre Arbeit nützlich finden, würden wir uns freuen, wenn Sie den folgenden Artikel zitieren würden:
Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.
@article{gholami2020ai_and_memory_wall,
title={AI and Memory Wall},
author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
journal={IEEE Micro Journal},
year={2024}
}
