ai_and_memory_wall
1.0.0
Это репозиторий с данными, используемыми для обоев искусственного интеллекта и памяти. Мы сообщаем количество параметров, размер функции, а также общее количество FLOP для вывода/обучения моделей SOTA в CV, обучении речи и НЛП.
В основном мы фокусируемся на расчете различных показателей для моделей трансформаторов, начиная с исходных BERT FLOP для обучения/вывода, а также его параметров и объема памяти. Затем мы рассчитываем те же показатели для различных вариантов BERT, как указано в таблице ниже.
PS: Общее количество PFLOP, необходимое для обучения каждой модели, рассчитывается с использованием настроек, описанных в каждой статье.
| Дата | Модель | Размер токена | #Параметры | #Функции | Вывод GFLOP | Обучение PFLOP |
|---|---|---|---|---|---|---|
| 10.09.2014 | Seq2Seq | 11 000 | ||||
| 06.12.2017 | Трансформатор | 512 | 65М | 77М | 54 | 23 000 |
| 15.02.2018 | ЭЛМО | 94М | 3300 | |||
| 11.10.2018 | БЕРТ Большой | 512 | 330М | 230М | 340 | 250 000 |
| 11.06.2018 | ГПТ-1 | 512 | 110М | 85М | 96 | 57 000 |
| 14.02.2019 | ГПТ-2 | 1024 | 1500 млн. | 2000 млн. | 3400 | |
| 26.07.2019 | РОБЕРТа Большой | 512 | 1500 млн. | 2000 млн. | 3400 | 4 300 000 |
| 17.08.2019 | Мегатрон | 1024 | 8300 млн. | 4700 млн. | 18 000 | 8 100 000 |
| 26.09.2019 | АЛЬБЕРТ xxl | 512 | 235М | 450М | 2500 | 31 000 000 |
| 13.02.2020 | Майкрософт Т-НЛГ | 1024 | 17 000 млн. | 5700 млн. | 36 000 | 28 000 000 |
| 23.03.2020 | ЭЛЕКТРА Большой | 128 | 330М | 38М | 79 | 3 100 000 |
| 28.05.2020 | ГПТ-3 | 2048 | 175 000 млн. | 63 000 млн. | 740 000 | 310 000 000 |
| 30.06.2020 | Гшард | 600 000 млн. | ||||
| 20.06.2020 | Baidu RecSys-C | Н/Д | 2 000 000 М | Н/Д | ~О(0,1) | Н/Д |
| 20.06.2020 | Baidu RecSys-E | Н/Д | 10 000 000М | Н/Д | ~О(0,1) | Н/Д |
В таблице ниже представлены различные показатели для различных моделей машинного зрения SOTA, включая разрешение входного изображения, количество параметров, общее количество GFLOP вывода, а также общее количество PFLOP, необходимое для обучения каждой модели.
| Дата | Модель | Входное разрешение | #Параметры | Вывод GFLOP | Обучение PFLOP |
|---|---|---|---|---|---|
| 01.06.2012 | АлексНет | 227 х 227 | 61М | 1,4 | 460 |
| 04.09.2014 | ВГГ-19 | 224 х 224 | 138М | 39 | 11 000 |
| 02.12.2015 | НачалоV3 | 299 х 299 | 24М | 5,7 | 100 000 |
| 10.12.2015 | Реснет152 | 224 х 224 | 55М | 23 | 11 000 |
| 26.02.2016 | НачалоV4 | 299 х 299 | 82М | 24,6 | |
| 07.10.2016 | Xception | 299 х 299 | 23М | 17 | 450 000 |
| 16.11.2016 | ResNeXt101(64x4d) | 224 х 224 | 83М | 31 | 12 000 |
| 03.12.2016 | Плотная сеть201 | 224 х 224 | 20М | 8,9 | 2800 |
В таблице ниже представлена разбивка памяти, необходимой для обучения различных моделей SOTA на протяжении многих лет. К ним относятся общий объем памяти, необходимый для хранения параметров, объем памяти, связанный с алгоритмом оптимизации, а также память активации/функций.
| Год | Модель | Входное разрешение (длина предложения) | Размер партии | Память параметров | Оптимизатор памяти | Память активации | Общая память |
|---|---|---|---|---|---|---|---|
| 2012 год | АлексНет | 227 х 227 | 128 | 0,23 ГБ | 0,23 ГБ | 0,71 ГБ | 1,71 ГБ |
| 2014 год | ВГГ19 | 224 х 224 | 64 | 0,54 ГБ | 0,54 ГБ | 4,64 ГБ | 5,72 ГБ |
| 2015 год | Реснет152 | 224 х 224 | 32 | 0,22 ГБ | 0,22 ГБ | 5,14 ГБ | 5,58 ГБ |
| 2016 год | Плотная сеть201 | 224 х 224 | 32 | 0,07 ГБ | 0,07 ГБ | 6,04 ГБ | 6,18 ГБ |
| 2016 год | ResNeXt101 (64x4d) | 224 х 224 | 32 | 0,31 ГБ | 0,31 ГБ | 7,34 ГБ | 7,96 ГБ |
| 2017 год | Трансформатор большой (WMT) | 512 | 6 | 1,02 ГБ | 2,04 ГБ | 11,78 ГБ | 14,84 ГБ |
| 2018 год | БЕРТ Большой | 512 | 16 | 1,32 ГБ | 2,64 ГБ | 14,38 ГБ | 18,34 ГБ |
| 2019 год | ГПТ-2 | 2014 год | 1 | 5,86 ГБ | 11,62 ГБ | 8,63 ГБ | 26,21 ГБ |
Мы будем признательны, если вы процитируете следующий документ, если найдете библиотеку полезной для вашей работы:
Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of Califonia Berkeley, 2021, March 29.
@article{gholami2020ai_and_memory_wall,
title={AI and Memory Wall},
author={ Gholami, Amir and Yao, Zhewei and Kim, Sehoon and Hooper, Coleman and Mahoney, Michael W, and Keutzer, Kurt},
journal={IEEE Micro Journal},
year={2024}
}
