nnl

Нейронная логика

---

nnl — это механизм вывода для больших моделей на платформе графического процессора с малым объемом памяти.

Содержание

• Введение
• Построить библиотеку
• Пример GPT2-XL
• Дорожная карта
• Лицензия
• Благодарности

Введение

Большие модели слишком велики, чтобы поместиться в память графического процессора. nnl решает эту проблему, находя компромисс между пропускной способностью PCIE и памятью.

Типичный конвейер вывода выглядит следующим образом:

1. составить граф вычислений, используя модель с $n$ узлы
2. топологическая сортировка каждого узла в графе вычислений, чтобы создать таблицу вычислений
3. для i в [1, 2, 3, ..., n]:
   • выполнить следующие задачи асинхронно
     • вычислить вывод узла i
     • загрузить веса в графический процессор для узла i+1
     • выделить память графического процессора (выходной тензор и кэш) для узла i+1
     • освободить память графического процессора (выходные тензоры, веса и кеши) для узла i-1

Благодаря пулу памяти графического процессора и дефрагментации памяти NNIL позволяет построить большую модель на платформе графического процессора начального уровня.

Построить библиотеку

Это всего лишь хобби-проект, написанный за несколько недель, в настоящее время поддерживается только бэкэнд CUDA.

Протестировано с

• gcc 13.2.1
• куда 12.2
• куднн 8.9.2.26

Создайте статическую библиотеку

nnl _cuda_kernels.a">

make lib nnl _cuda.a && make lib nnl _cuda_kernels.a

Эта команда создаст две статические библиотеки: lib/lib nnl _cuda.a и lib/lib nnl _cuda_kernels.a . Первая — это основная библиотека с серверной частью CUDA на C++, а вторая — для ядер CUDA.

Пример GPT2-XL

Демо-программа GPT2-XL (1.6B) представлена ​​здесь. Эту программу можно скомпилировать этой командой:

make gpt2_1558m

После загрузки всех весов из релиза мы можем запустить следующую команду на младшей платформе графического процессора, такой как GTX 1050 (память 2 ГБ):

./bin/gpt2_1558m --max_len 20  " Hi. My name is Feng and I am a machine learning engineer "

И вывод такой:

Отказ от ответственности: это всего лишь пример, созданный gpt2-xl, я не работаю в Google и не знаю Рэнди.

И вы можете найти шаблон доступа к памяти графического процессора.

Дорожная карта

• поддержка int8
• больше слоев
• больше примеров приложений
• сохранение веса в случае маленькой модели

Лицензия

МирOSL

Благодарности

• один поток
• nlohmann_json
• Спдлог

Почему nnl ?