HugeCTR
Merlin: HugeCTR 24.06
HugeCTR 是一个 GPU 加速的推荐框架，专为大型深度学习模型的训练和推理而设计。
设计目标：
注意：如果您在使用 HugeCTR 时有任何疑问，请提交问题或加入我们的 Slack 频道进行更多互动讨论。
HugeCTR 支持多种功能，包括以下功能：
要了解我们最新的增强功能，请参阅我们的发行说明。
如果您想使用 Python 界面快速训练模型，请执行以下操作：
通过运行以下命令启动具有本地主机目录（/your/host/dir 已安装）的 NGC 容器：
docker run --gpus=all --rm -it --cap-add SYS_NICE -v /your/host/dir:/your/container/dir -w /your/container/dir -it -u $(id -u):$(id -g) nvcr.io/nvidia/merlin/merlin-hugectr:24.06
注意： /your/host/dir目录与/your/container/dir目录一样可见。 /your/host/dir目录也是您的起始目录。
注意：HugeCTR 使用 NCCL 在队列之间共享数据，NCCL 可能需要用于 IPC 的共享内存和固定（页面锁定）系统内存资源。建议您通过在docker run命令中发出以下选项来增加这些资源。
-shm-size=1g -ulimit memlock=-1
编写一个简单的 Python 脚本来生成合成数据集：
# dcn_parquet_generate.py
import hugectr
from hugectr.tools import DataGeneratorParams, DataGenerator
data_generator_params = DataGeneratorParams(
format = hugectr.DataReaderType_t.Parquet,
label_dim = 1,
dense_dim = 13,
num_slot = 26,
i64_input_key = False,
source = "./dcn_parquet/file_list.txt",
eval_source = "./dcn_parquet/file_list_test.txt",
slot_size_array = [39884, 39043, 17289, 7420, 20263, 3, 7120, 1543, 39884, 39043, 17289, 7420,
20263, 3, 7120, 1543, 63, 63, 39884, 39043, 17289, 7420, 20263, 3, 7120,
1543 ],
dist_type = hugectr.Distribution_t.PowerLaw,
power_law_type = hugectr.PowerLaw_t.Short)
data_generator = DataGenerator(data_generator_params)
data_generator.generate()
通过运行以下命令为您的 DCN 模型生成 Parquet 数据集：
python dcn_parquet_generate.py
注意：生成的数据集将驻留在文件夹./dcn_parquet中，其中包含训练和评估数据。
编写一个简单的Python脚本进行训练：
# dcn_parquet_train.py
import hugectr
from mpi4py import MPI
solver = hugectr.CreateSolver(max_eval_batches = 1280,
batchsize_eval = 1024,
batchsize = 1024,
lr = 0.001,
vvgpu = [[0]],
repeat_dataset = True)
reader = hugectr.DataReaderParams(data_reader_type = hugectr.DataReaderType_t.Parquet,
source = ["./dcn_parquet/file_list.txt"],
eval_source = "./dcn_parquet/file_list_test.txt",
slot_size_array = [39884, 39043, 17289, 7420, 20263, 3, 7120, 1543, 39884, 39043, 17289, 7420,
20263, 3, 7120, 1543, 63, 63, 39884, 39043, 17289, 7420, 20263, 3, 7120, 1543 ])
optimizer = hugectr.CreateOptimizer(optimizer_type = hugectr.Optimizer_t.Adam,
update_type = hugectr.Update_t.Global)
model = hugectr.Model(solver, reader, optimizer)
model.add(hugectr.Input(label_dim = 1, label_name = "label",
dense_dim = 13, dense_name = "dense",
data_reader_sparse_param_array =
[hugectr.DataReaderSparseParam("data1", 1, True, 26)]))
model.add(hugectr.SparseEmbedding(embedding_type = hugectr.Embedding_t.DistributedSlotSparseEmbeddingHash,
workspace_size_per_gpu_in_mb = 75,
embedding_vec_size = 16,
combiner = "sum",
sparse_embedding_name = "sparse_embedding1",
bottom_name = "data1",
optimizer = optimizer))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Reshape,
bottom_names = ["sparse_embedding1"],
top_names = ["reshape1"],
leading_dim=416))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Concat,
bottom_names = ["reshape1", "dense"], top_names = ["concat1"]))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.MultiCross,
bottom_names = ["concat1"],
top_names = ["multicross1"],
num_layers=6))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.InnerProduct,
bottom_names = ["concat1"],
top_names = ["fc1"],
num_output=1024))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.ReLU,
bottom_names = ["fc1"],
top_names = ["relu1"]))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Dropout,
bottom_names = ["relu1"],
top_names = ["dropout1"],
dropout_rate=0.5))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Concat,
bottom_names = ["dropout1", "multicross1"],
top_names = ["concat2"]))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.InnerProduct,
bottom_names = ["concat2"],
top_names = ["fc2"],
num_output=1))
model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.BinaryCrossEntropyLoss,
bottom_names = ["fc2", "label"],
top_names = ["loss"]))
model.compile()
model.summary()
model.graph_to_json(graph_config_file = "dcn.json")
model.fit(max_iter = 5120, display = 200, eval_interval = 1000, snapshot = 5000, snapshot_prefix = "dcn")
注意：确保该 Python 脚本的合成数据集路径正确。 data_reader_type 、 check_type 、 label_dim 、 dense_dim和data_reader_sparse_param_array应与生成的数据集一致。
通过运行以下命令来训练模型：
python dcn_parquet_train.py
注意：由于使用随机生成的数据集，因此推测评估 AUC 值不正确。训练完成后，将生成包含转储图 JSON、保存的模型权重和优化器状态的文件。
欲了解更多信息，请参阅HugeCTR用户指南。
我们能够通过使用以下方式导出重要的 HugeCTR 组件来支持无法直接使用 HugeCTR 的外部开发人员：
如果您遇到任何问题或有疑问，请访问 https://github.com/NVIDIA/HugeCTR/issues 并提交问题，以便我们为您提供必要的解决方案和答案。为了进一步推进 HugeCTR 路线图，我们鼓励您使用此调查分享有关推荐系统管道的所有详细信息。
HugeCTR 是一个开源项目，我们欢迎公众的贡献。通过您的贡献，我们可以继续提高 HugeCTR 的质量和性能。要了解如何贡献，请参阅我们的 HugeCTR 贡献者指南。
| 网页 |
|---|
| 英伟达梅林 |
| NVIDIA 巨大点击率 |
Yingcan Wei、Matthias Langer、Fan Yu、Minseok Lee、Jie Liu、Ji Shi 和 Zehuan Wang ，“用于大规模深度推荐模型的 GPU 专用推理参数服务器”，第 16 届 ACM 推荐系统会议论文集，第 15-16 页。 408-419，2022。
Zehuan Wang、Yingcan Wei、Minseok Lee、Matthias Langer、Fan Yu、Jie Liu、Shijie Liu、Daniel G. Abel、XuGuo、Jianbing Dong、Ji Shi 和 Kunlun Li ，“Merlin HugeCTR：GPU 加速推荐系统训练和推理，”第 16 届 ACM 推荐系统会议论文集，第 534-537 页， 2022 年。
| 会议/网站 | 标题 | 日期 | 扬声器 | 语言 |
|---|---|---|---|---|
| ACM Resys 2022 | 用于大规模深度推荐模型的 GPU 专用推理参数服务器 | 2022 年 9 月 | 马蒂亚斯·兰格 | 英语 |
| 短视频第 1 集 | Merlin HugeCTR：GPU加速的推荐系统框架 | 2022年5月 | 王乔伊 | 中文 |
| 短视频第 2 集 | HugeCTR 分级参数服务器如何加速推理 | 2022年5月 | 王乔伊 | 中文 |
| 短视频第 3 集 | 使用 HugeCTR SOK 加速 TensorFlow 训练 | 2022年5月 | 郭宝石 | 中文 |
| GTC 春季 2022 | Merlin HugeCTR：使用 GPU 嵌入缓存的分布式分层推理参数服务器 | 2022 年 3 月 | 马蒂亚斯·兰格、魏英灿、范宇 | 英语 |
| 飞天2021 | GPU推荐系统 Merlin | 2021 年 10 月 | 王乔伊 | 中文 |
| 2021 年春季 GTC | 了解腾讯如何在 Merlin GPU 推荐框架上部署广告系统 | 2021 年 4 月 | 孔祥霆、王祖贤 | 英语 |
| 2021 年春季 GTC | Merlin HugeCTR：深入探讨性能优化 | 2021 年 4 月 | 李珉锡 | 英语 |
| 2021 年春季 GTC | 将 HugeCTR 嵌入与 TensorFlow 集成 | 2021 年 4 月 | 董建兵 | 英语 |
| 2020年GTC中国 | MERLIN HUGECTR：深入研究性能优化 | 2020年10月 | 李珉锡 | 英语 |
| 2020年GTC中国 | 性能提升7倍+的性能 GPU广告推荐加速系统的落地实现 | 2020年10月 | 孔祥亭 | 中文 |
| 2020年GTC中国 | 使用 GPU 嵌入缓存加速 CTR 推理过程 | 2020年10月 | 范宇 | 中文 |
| 2020年GTC中国 | 将 HUGECTR EMBEDDING 集成于 TENSORFLOW | 2020年10月 | 董建兵 | 中文 |
| 2020 年春季 GTC | HugeCTR：高性能点击率估算训练 | 2020年3月 | 李珉锡、王祖贤 | 英语 |
| 2019年GTC中国 | HUGECTR：GPU加速的推荐系统训练 | 2019 年 10 月 | 王乔伊 | 中文 |
| 会议/网站 | 标题 | 日期 | 作者 | 语言 |
|---|---|---|---|---|
| 微信博客 | Merlin HugeCTR 分级参数服务器系列之三：集成到TensorFlow | 2022 年 11 月 | 刘金斯利 | 中文 |
| NVIDIA 开发博客 | 使用 Merlin 分层参数服务器扩展推荐系统推理/使用 Merlin 分层参数服务器扩展推荐系统推理 | 2022 年 8 月 | Shashank Verma、高文文、魏英灿、Matthias Langer、Jerry Shi、Fan Yu、Kingsley Liu、Minseok Lee | 英文/中文 |
| NVIDIA 开发博客 | Merlin HugeCTR稀疏操作套件系列之二 | 2022 年 6 月 | 李昆仑 | 中文 |
| NVIDIA 开发博客 | Merlin HugeCTR稀疏操作套件系列之一 | 2022 年 3 月 | 郭宝石、董建兵 | 中文 |
| 微信博客 | Merlin HugeCTR 分级参数服务器系列之二 | 2022 年 3 月 | 魏英灿、Matthias Langer、Jerry Shi | 中文 |
| 微信博客 | Merlin HugeCTR 分级参数服务器系列之一 | 2022年1月 | 魏英灿、史杰瑞 | 中文 |
| NVIDIA 开发博客 | 使用 HugeCTR TensorFlow 嵌入插件加速嵌入 | 2021 年 9 月 | Vinh Nguyen、Ann Spencer、Joey Wang 和 Jiabing Dong | 英语 |
| 媒体网站 | 优化美团机器学习平台：专访黄军 | 2021 年 9 月 | 罗盛和 Benedikt Schifferer | 英语 |
| 媒体网站 | 腾讯广告推荐系统的主导设计与开发：专访孔祥霆 | 2021 年 9 月 | 孔祥婷，安·斯宾塞 | 英语 |
| NVIDIA 开发博客 | 扩展和加速大型深度学习推荐系统 – HugeCTR 系列第 1 部分 | 2021 年 6 月 | 李珉锡 | 中文 |
| NVIDIA 开发博客 | 使用 Merlin HugeCTR 的 Python API 训练大型深度学习推荐模型 – HugeCTR 系列第 2 部分 | 2021 年 6 月 | 永阮 | 中文 |
| 媒体网站 | 使用 Merlin HugeCTR 的 Python API 训练大型深度学习推荐模型 — HugeCTR 系列第 2 部分 | 2021 年 5 月 | Minseok Lee、Joey Wang、Vinh Nguyen 和 Ashish Sardana | 英语 |
| 媒体网站 | 扩展和加速大型深度学习推荐系统 — HugeCTR 系列第 1 部分 | 2021 年 5 月 | 李珉锡 | 英语 |
| 国税局 2020 | Merlin：GPU 加速推荐框架 | 2020年8月 | 甚至奥尔德里奇等。 | 英语 |
| NVIDIA 开发博客 | NVIDIA Merlin HugeCTR 简介：专用于推荐系统的训练框架 | 2020年7月 | 李珉锡和王祖贤 | 英语 |
