nnl

Logika NeuralNet

---

nnl adalah mesin inferensi untuk model besar pada platform GPU dengan memori rendah.

Isi

• Perkenalan
• Bangun perpustakaan
• Contoh GPT2-XL
• Peta jalan
• Lisensi
• Ucapan Terima Kasih

Perkenalan

Model besar terlalu besar untuk dimasukkan ke dalam memori GPU. nnl mengatasi masalah ini dengan trade-off antara bandwidth PCIE dan memori.

Pipa inferensi yang umum adalah sebagai berikut:

1. buatlah grafik komputasi menggunakan model dengan $n$ node
2. mengurutkan topologi setiap node dalam grafik komputasi untuk membuat tabel komputasi
3. untuk saya di [1, 2, 3, ..., n]:
   • jalankan tugas berikut secara asinkron
     • menghitung output dari node i
     • memuat bobot ke GPU untuk node i+1
     • mengalokasikan memori GPU (tensor keluaran dan cahces) untuk node i+1
     • membatalkan alokasi memori GPU (tensor keluaran, bobot, dan cache) untuk node i-1

Dengan kumpulan memori GPU dan defragmentasi memori, NNIL memungkinkan inferensi model besar pada platform GPU kelas bawah.

Bangun perpustakaan

Ini hanyalah proyek hobi yang ditulis dalam beberapa minggu, saat ini hanya backend CUDA yang didukung.

Diuji dengan

• gcc 13.2.1
• cuda 12.2
• tidak ada 8.9.2.26

Bangun perpustakaan statis

nnl _cuda_kernels.a">

make lib nnl _cuda.a && make lib nnl _cuda_kernels.a

Perintah ini akan membangun dua perpustakaan statis: lib/lib nnl _cuda.a dan lib/lib nnl _cuda_kernels.a . Yang pertama adalah perpustakaan inti dengan backend CUDA di C++, dan yang kedua adalah untuk kernel CUDA.

Contoh GPT2-XL

Program demo GPT2-XL (1.6B) disediakan di sini. Program ini dapat dikompilasi dengan perintah ini:

make gpt2_1558m

Setelah mengunduh semua bobot dari rilis, kita dapat menjalankan perintah berikut pada platform GPU kelas bawah seperti GTX 1050 (memori 2 GB):

./bin/gpt2_1558m --max_len 20  " Hi. My name is Feng and I am a machine learning engineer "

Dan outputnya seperti ini:

Penafian: ini hanyalah contoh yang dihasilkan oleh gpt2-xl, saya tidak bekerja di Google dan saya tidak mengenal Randi.

Dan Anda dapat menemukan pola akses memori GPU

Peta jalan

• dukungan int8
• lebih banyak lapisan
• lebih banyak contoh aplikasi
• persistensi berat dalam kasus model kecil

Lisensi

PerdamaianOSL

Ucapan Terima Kasih

• satu aliran
• nlohmann_json
• spdlog

Mengapa nnl ?