HugeCTR
Merlin: HugeCTR 24.06
HugeCTR 是一個 GPU 加速的推薦框架，專為大型深度學習模型的訓練和推理而設計。
設計目標：
注意：如果您在使用 HugeCTR 時有任何疑問，請提交問題或加入我們的 Slack 頻道進行更多互動討論。
HugeCTR 支援多種功能，包括以下功能：
若要了解我們最新的增強功能，請參閱我們的發行說明。
如果您想使用 Python 介面快速訓練模型，請執行以下操作：
透過執行下列命令啟動具有本機主機目錄（/your/host/dir 已安裝）的 NGC 容器：
docker run --gpus=all --rm -it --cap-add SYS_NICE -v /your/host/dir:/your/container/dir -w /your/container/dir -it -u $(id -u):$(id -g) nvcr.io/nvidia/merlin/merlin-hugectr:24.06
注意： /your/host/dir目錄與/your/container/dir目錄一樣可見。 /your/host/dir目錄也是您的起始目錄。
注意：HugeCTR 使用 NCCL 在佇列之間共享數據，NCCL 可能需要用於 IPC 的共享記憶體和固定（頁面鎖定）系統記憶體資源。建議您透過在docker run命令中發出以下選項來增加這些資源。
-shm-size=1g -ulimit memlock=-1
編寫一個簡單的 Python 腳本來產生合成資料集：
# dcn_parquet_generate.py
import hugectr
from hugectr.tools import DataGeneratorParams, DataGenerator
data_generator_params = DataGeneratorParams(
format = hugectr.DataReaderType_t.Parquet,
label_dim = 1,
dense_dim = 13,
num_slot = 26,
i64_input_key = False,
source = "./dcn_parquet/file_list.txt",
eval_source = "./dcn_parquet/file_list_test.txt",
slot_size_array = [39884, 39043, 17289, 7420, 20263, 3, 7120, 1543, 39884, 39043, 17289, 7420,
20263, 3, 7120, 1543, 63, 63, 39884, 39043, 17289, 7420, 20263, 3, 7120,
1543 ],
dist_type = hugectr.Distribution_t.PowerLaw,
power_law_type = hugectr.PowerLaw_t.Short)
data_generator = DataGenerator(data_generator_params)
data_generator.generate()
透過執行以下命令為您的 DCN 模型產生 Parquet 資料集：
python dcn_parquet_generate.py
注意：產生的資料集將駐留在資料夾./dcn_parquet中，其中包含訓練和評估資料。
寫一個簡單的Python腳本進行訓練：
# dcn_parquet_train.py
import hugectr
from mpi4py import MPI
solver = hugectr.CreateSolver(max_eval_batches = 1280,
batchsize_eval = 1024,
batchsize = 1024,
lr = 0.001,
vvgpu = [[0]],
repeat_dataset = True)
reader = hugectr.DataReaderParams(data_reader_type = hugectr.DataReaderType_t.Parquet,
source = ["./dcn_parquet/file_list.txt"],
eval_source = "./dcn_parquet/file_list_test.txt",
slot_size_array = [39884, 39043, 17289, 7420, 20263, 3, 7120, 1543, 39884, 39043, 17289, 7420,
20263, 3, 7120, 1543, 63, 63, 39884, 39043, 17289, 7420, 20263, 3, 7120, 1543 ])
optimizer = hugectr.CreateOptimizer(optimizer_type = hugectr.Optimizer_t.Adam,
update_type = hugectr.Update_t.Global)
model = hugectr.Model(solver, reader, optimizer)
model.add(hugectr.Input(label_dim = 1, label_name = "label",
dense_dim = 13, dense_name = "dense",
data_reader_sparse_param_array =
[hugectr.DataReaderSparseParam("data1", 1, True, 26)]))
model.add(hugectr.SparseEmbedding(embedding_type = hugectr.Embedding_t.DistributedSlotSparseEmbeddingHash,
workspace_size_per_gpu_in_mb = 75,
embedding_vec_size = 16,
combiner = "sum",
sparse_embedding_name = "sparse_embedding1",
bottom_name = "data1",
optimizer = optimizer))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Reshape,
bottom_names = ["sparse_embedding1"],
top_names = ["reshape1"],
leading_dim=416))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Concat,
bottom_names = ["reshape1", "dense"], top_names = ["concat1"]))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.MultiCross,
bottom_names = ["concat1"],
top_names = ["multicross1"],
num_layers=6))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.InnerProduct,
bottom_names = ["concat1"],
top_names = ["fc1"],
num_output=1024))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.ReLU,
bottom_names = ["fc1"],
top_names = ["relu1"]))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Dropout,
bottom_names = ["relu1"],
top_names = ["dropout1"],
dropout_rate=0.5))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Concat,
bottom_names = ["dropout1", "multicross1"],
top_names = ["concat2"]))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.InnerProduct,
bottom_names = ["concat2"],
top_names = ["fc2"],
num_output=1))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.BinaryCrossEntropyLoss,
bottom_names = ["fc2", "label"],
top_names = ["loss"]))
model.compile()
model.summary()
model.graph_to_json(graph_config_file = "dcn.json")
model.fit(max_iter = 5120, display = 200, eval_interval = 1000, snapshot = 5000, snapshot_prefix = "dcn")
注意：確保該 Python 腳本的合成資料集路徑正確。 data_reader_type 、 check_type 、 label_dim 、 dense_dim和data_reader_sparse_param_array應與產生的資料集一致。
透過執行以下命令來訓練模型：
python dcn_parquet_train.py
注意：由於使用隨機產生的資料集，因此推測評估 AUC 值不正確。訓練完成後，將產生包含轉儲圖 JSON、已儲存的模型權重和優化器狀態的檔案。
欲了解更多信息，請參閱HugeCTR用戶指南。
我們能夠透過使用以下方式導出重要的 HugeCTR 組件來支援無法直接使用 HugeCTR 的外部開發人員：
如果您遇到任何問題或有疑問，請訪問 https://github.com/NVIDIA/HugeCTR/issues 並提交問題，以便我們為您提供必要的解決方案和答案。為了進一步推進 HugeCTR 路線圖，我們鼓勵您使用此調查分享有關推薦系統管道的所有詳細資訊。
HugeCTR 是一個開源項目，我們歡迎公眾的貢獻。透過您的貢獻，我們可以繼續提高 HugeCTR 的品質和性能。要了解如何貢獻，請參閱我們的 HugeCTR 貢獻者指南。
| 網頁 |
|---|
| 英偉達梅林 |
| NVIDIA 龐大點擊率 |
Yingcan Wei、Matthias Langer、Fan Yu、Minseok Lee、Jie Liu、Ji Shi 和 Zehuan Wang ，“用於大規模深度推薦模型的GPU 專用推理參數伺服器”，第16 屆ACM 推薦系統會議論文集，第15- 16 頁。
Zehuan Wang、Yingcan Wei、Minseok Lee、Matthias Langer、Fan Yu、Jie Liu、Shijie Liu、Daniel G. Abel、XuGuo、Jianbing Dong、Ji Shi 和 Kunlun Li ，“Merlin HugeCTR：GPU 推薦加速系統訓練和推理，”第16 屆ACM 推薦系統會議論文集，第534-537 頁，2022 年。
| 會議/網站 | 標題 | 日期 | 揚聲器 | 語言 |
|---|---|---|---|---|
| ACM Resys 2022 | 用於大規模深度推薦模型的 GPU 專用推理參數伺服器 | 2022 年 9 月 | 馬蒂亞斯·蘭格 | 英語 |
| 短片第 1 集 | Merlin HugeCTR：GPU加速的推薦系統框架 | 2022年5月 | 王喬伊 | 中文 |
| 短片第 2 集 | HugeCTR 分級參數伺服器如何加速推理 | 2022年5月 | 王喬伊 | 中文 |
| 短片第 3 集 | 使用 HugeCTR SOK 加速 TensorFlow 訓練 | 2022年5月 | 郭寶石 | 中文 |
| GTC 春季 2022 | Merlin HugeCTR：使用 GPU 嵌入快取的分散式分層推理參數伺服器 | 2022 年 3 月 | 馬蒂亞斯·蘭格、魏英燦、範宇 | 英語 |
| 飛天2021 | GPU推薦系統 Merlin | 2021 年 10 月 | 王喬伊 | 中文 |
| 2021 年春季 GTC | 了解騰訊如何在 Merlin GPU 推薦框架上部署廣告系統 | 2021 年 4 月 | 孔祥霆、王祖賢 | 英語 |
| 2021 年春季 GTC | Merlin HugeCTR：深入探討效能優化 | 2021 年 4 月 | 李珉錫 | 英語 |
| 2021 年春季 GTC | 將 HugeCTR 嵌入與 TensorFlow 集成 | 2021 年 4 月 | 董建兵 | 英語 |
| 2020年GTC中國 | MERLIN HUGECTR：深入研究性能優化 | 2020年10月 | 李珉錫 | 英語 |
| 2020年GTC中國 | 效能提升7倍+的效能 GPU廣告推薦加速系統的落地實現 | 2020年10月 | 孔祥亭 | 中文 |
| 2020年GTC中國 | 使用 GPU 嵌入快取加速 CTR 推理過程 | 2020年10月 | 範宇 | 中文 |
| 2020年GTC中國 | 將 HUGECTR EMBEDDING 整合於 TENSORFLOW | 2020年10月 | 董建兵 | 中文 |
| 2020 年春季 GTC | HugeCTR：高性能點擊率估算訓練 | 2020年3月 | 李珉錫、王祖賢 | 英語 |
| 2019年GTC中國 | HUGECTR：GPU加速的推薦系統訓練 | 2019 年 10 月 | 王喬伊 | 中文 |
| 會議/網站 | 標題 | 日期 | 作者 | 語言 |
|---|---|---|---|---|
| 微信部落格 | Merlin HugeCTR 分級參數伺服器系列之三：整合到TensorFlow | 2022 年 11 月 | 劉金斯利 | 中文 |
| NVIDIA 開發博客 | 使用 Merlin 分層參數伺服器擴充功能推薦系統推理/使用 Merlin 分層參數伺服器擴充推薦系統推理 | 2022 年 8 月 | Shashank Verma、高文、魏英燦、Matthias Langer、Jerry Shi、Fan Yu、Kingsley Liu、Minseok Lee | 英文/中文 |
| NVIDIA 開發博客 | Merlin HugeCTR稀疏操作套件系列之二 | 2022 年 6 月 | 李崑崙 | 中文 |
| NVIDIA 開發博客 | Merlin HugeCTR稀疏操作套件系列之一 | 2022 年 3 月 | 郭寶石、董建兵 | 中文 |
| 微信部落格 | Merlin HugeCTR 分級參數伺服器系列之二 | 2022 年 3 月 | 魏英燦、Matthias Langer、Jerry Shi | 中文 |
| 微信部落格 | Merlin HugeCTR 分級參數伺服器系列之一 | 2022年1月 | 魏英燦、史傑瑞 | 中文 |
| NVIDIA 開發博客 | 使用 HugeCTR TensorFlow 嵌入插件加速嵌入 | 2021 年 9 月 | Vinh Nguyen、Ann Spencer、Joey Wang 和 Jiabing Dong | 英語 |
| 媒體網站 | 優化美團機器學習平台：專訪黃軍 | 2021 年 9 月 | 羅盛和 Benedikt Schifferer | 英語 |
| 媒體網站 | 騰訊廣告推薦系統的主導設計與發展：專訪孔祥霆 | 2021 年 9 月 | 孔祥婷，安‧史賓塞 | 英語 |
| NVIDIA 開發博客 | 擴展和加速大型深度學習推薦系統 – HugeCTR 系列第 1 部分 | 2021 年 6 月 | 李珉錫 | 中文 |
| NVIDIA 開發博客 | 使用 Merlin HugeCTR 的 Python API 訓練大型深度學習推薦模型 – HugeCTR 系列第 2 部分 | 2021 年 6 月 | 永阮 | 中文 |
| 媒體網站 | 使用 Merlin HugeCTR 的 Python API 訓練大型深度學習推薦模型 — HugeCTR 系列第 2 部分 | 2021 年 5 月 | Minseok Lee、Joey Wang、Vinh Nguyen 和 Ashish Sardana | 英語 |
| 媒體網站 | 擴展與加速大型深度學習推薦系統 — HugeCTR 系列第 1 部分 | 2021 年 5 月 | 李珉錫 | 英語 |
| 國稅局 2020 | Merlin：GPU 加速推薦框架 | 2020年8月 | 甚至奧爾德里奇等。 | 英語 |
| NVIDIA 開發博客 | NVIDIA Merlin HugeCTR 簡介：專用於推薦系統的訓練框架 | 2020年7月 | 李珉錫和王祖賢 | 英語 |
