nnl

神經網路邏輯

---

nnl是低記憶體 GPU 平台上大型模型的推理引擎。

內容

• 介紹
• 建立圖書館
• GPT2-XL 範例
• 路線圖
• 執照
• 致謝

介紹

大模型太大，無法裝入 GPU 記憶體。 nnl透過 PCIE 頻寬和記憶體之間的權衡解決了這個問題。

典型的推理流程如下：

1. 使用模型組成計算圖 $n$節點
2. 將計算圖中的每個節點進行拓樸排序，形成計算表
3. 對於 [1, 2, 3, ..., n] 中的 i：
   • 非同步執行以下任務
     • 計算節點 i 的輸出
     • 將節點 i+1 的權重載入到 GPU
     • 為節點 i+1 分配 GPU 記憶體（輸出張量和 cahces）
     • 取消分配節點 i-1 的 GPU 記憶體（輸出張量、權重和快取）

透過 GPU 記憶體池和記憶體碎片整理，NNIL 使得在低階 GPU 平台上推理大型模型成為可能。

建立圖書館

這只是幾週內寫的一個業餘愛好項目，目前僅支援 CUDA 後端。

測試用

• 海灣合作委員會 13.2.1
• CUDA 12.2
• cudnn 8.9.2.26

建構靜態庫

nnl _cuda_kernels.a">

make lib nnl _cuda.a && make lib nnl _cuda_kernels.a

此指令將建置兩個靜態函式庫： lib/lib nnl _cuda.a和lib/lib nnl _cuda_kernels.a 。第一個是 C++ 的 CUDA 後端核心函式庫，第二個是 CUDA 核心。

GPT2-XL 範例

這裡提供了GPT2-XL (1.6B)的示範程式。該程式可以透過以下命令編譯：

make gpt2_1558m

從版本下載所有權重後，我們可以在低階 GPU 平台（例如 GTX 1050（2 GB 記憶體））上執行以下命令：

./bin/gpt2_1558m --max_len 20  " Hi. My name is Feng and I am a machine learning engineer "

輸出是這樣的：

免責聲明：這只是 gpt2-xl 生成的範例，我不在 Google 工作，我不認識 Randi。

你可以找到GPU記憶體存取模式

路線圖

• int8支持
• 更多層數
• 更多範例應用
• 小模型的重量持久性

執照

和平OSL

致謝

• 單流
• nlohmann_json
• 日誌記錄

為什麼是nnl ？