nnl

Logique NeuralNet

---

nnl est un moteur d'inférence pour les grands modèles sur une plate-forme GPU à faible mémoire.

Contenu

• Introduction
• Construire la bibliothèque
• Exemple GPT2-XL
• Feuille de route
• Licence
• Remerciements

Introduction

Les gros modèles sont trop volumineux pour tenir dans la mémoire du GPU. nnl résout ce problème avec un compromis entre la bande passante PCIE et la mémoire.

Un pipeline d'inférence typique est le suivant :

1. composer le graphe de calcul à l'aide d'un modèle avec $n$ nœuds
2. trier topologiquement chaque nœud du graphe de calcul pour créer une table de calcul
3. pour je dans [1, 2, 3, ..., n] :
   • exécuter les tâches suivantes de manière asynchrone
     • calculer la sortie du nœud i
     • charger les poids sur le GPU pour le nœud i+1
     • allouer la mémoire GPU (tenseur de sortie et cahces) pour le nœud i+1
     • libérer la mémoire GPU (tenseurs de sortie, poids et caches) pour le nœud i-1

Avec le pool de mémoire GPU et la défragmentation de la mémoire, NNIL permet d'inférer un grand modèle sur une plateforme GPU bas de gamme.

Construire la bibliothèque

Il ne s'agit que d'un projet de loisir rédigé en quelques semaines, actuellement seul le backend CUDA est pris en charge.

Testé avec

• gcc 13.2.1
• cuda 12.2
• cudnn 8.9.2.26

Construire la bibliothèque statique

nnl _cuda_kernels.a">

make lib nnl _cuda.a && make lib nnl _cuda_kernels.a

Cette commande construira les deux bibliothèques statiques : lib/lib nnl _cuda.a et lib/lib nnl _cuda_kernels.a . La première est la bibliothèque principale avec le backend CUDA en C++, et la seconde est destinée aux noyaux CUDA.

Exemple GPT2-XL

Un programme de démonstration de GPT2-XL (1.6B) est fourni ici. Ce programme peut être compilé par cette commande :

make gpt2_1558m

Après avoir téléchargé tous les poids de la version, nous pouvons exécuter la commande suivante sur une plate-forme GPU bas de gamme telle que GTX 1050 (2 Go de mémoire) :

./bin/gpt2_1558m --max_len 20  " Hi. My name is Feng and I am a machine learning engineer "

Et le résultat est comme ceci :

Avertissement : ce n'est qu'un exemple généré par gpt2-xl, je ne travaille pas chez Google et je ne connais pas Randi.

Et vous pouvez trouver le modèle d'accès à la mémoire GPU

Feuille de route

• prise en charge int8
• plus de couches
• plus d'exemples d'applications
• persistance du poids dans le cas d'un petit modèle

Licence

PaixOSL

Remerciements

• un flux
• nlohmann_json
• journal spd

Pourquoi nnl ?