nnl

Lógica de red neuronal

---

nnl es un motor de inferencia para modelos grandes en una plataforma GPU con poca memoria.

Contenido

• Introducción
• construir la biblioteca
• Ejemplo de GPT2-XL
• Hoja de ruta
• Licencia
• Expresiones de gratitud

Introducción

Los modelos grandes son demasiado grandes para caber en la memoria de la GPU. nnl aborda este problema con una compensación entre el ancho de banda PCIE y la memoria.

Un proceso de inferencia típico es el siguiente:

1. componer el gráfico de cálculo utilizando un modelo con $n$ nodos
2. Ordene topológicamente cada nodo en el gráfico de cálculo para hacer una tabla de cálculo.
3. para i en [1, 2, 3, ..., n]:
   • ejecutar las siguientes tareas de forma asincrónica
     • calcular la salida del nodo i
     • cargar los pesos en la GPU para el nodo i+1
     • asignar la memoria de la GPU (tensor de salida y cahces) para el nodo i+1
     • desasignar la memoria de la GPU (tensores de salida, pesos y cachés) para el nodo i-1

Con el grupo de memoria de la GPU y la desfragmentación de la memoria, NNIL hace posible inferir un modelo grande en una plataforma de GPU de gama baja.

construir la biblioteca

Este es solo un proyecto de hobby escrito en unas pocas semanas; actualmente solo se admite el backend CUDA.

Probado con

• gcc 13.2.1
• cuda 12.2
• cudnn 8.9.2.26

Construya la biblioteca estática

nnl _cuda_kernels.a">

make lib nnl _cuda.a && make lib nnl _cuda_kernels.a

Este comando construirá las dos bibliotecas estáticas: lib/lib nnl _cuda.a y lib/lib nnl _cuda_kernels.a . La primera es la biblioteca central con backend CUDA en C++, y la segunda es para los núcleos CUDA.

Ejemplo de GPT2-XL

Aquí se proporciona un programa de demostración de GPT2-XL (1.6B). Este programa se puede compilar con este comando:

make gpt2_1558m

Después de descargar todos los pesos de la versión, podemos ejecutar el siguiente comando en una plataforma GPU de gama baja como GTX 1050 (2 GB de memoria):

./bin/gpt2_1558m --max_len 20  " Hi. My name is Feng and I am a machine learning engineer "

Y la salida es así:

Descargo de responsabilidad: este es solo un ejemplo generado por gpt2-xl, no trabajo en Google y no conozco a Randi.

Y puedes encontrar el patrón de acceso a la memoria de la GPU.

Hoja de ruta

• soporte int8
• más capas
• más aplicaciones de ejemplo
• persistencia del peso en caso de un modelo pequeño

Licencia

PazOSL

Expresiones de gratitud

• un flujo
• nlohmann_json
• spdlog

¿Por qué nnl ?