HLLM下载 - HLLM源代码下载

HLLM

其他源码

下载

HLLM：通过用于项目和用户建模的分层大型语言模型增强顺序推荐

？更新

[2024.09.20] 代码和权重发布！

安装

通过pip3 install -r requirements.txt安装软件包。一些基本的包如下所示：

 pytorch==2.1.0
deepspeed==0.14.2
transformers==4.41.1
lightning==2.4.0
flash-attn==2.5.9post1
fbgemm-gpu==0.5.0 [optional for HSTU]
sentencepiece==0.2.0 [optional for Baichuan2]

准备PixelRec和Amazon Book Reviews数据集：
1. 从 PixelRec 下载PixelRec交互和项目信息并放入数据集和信息文件夹中。
2. 下载Amazon Book Reviews Interactions 和 Item Information，通过process_books.py进行处理，并放入数据集和信息文件夹中。我们还提供处理后的书籍交互和项目信息。
3. 请注意，交互和项目信息应放入两个文件夹中，例如：
```
├── dataset # Store Interactions
│   ├── amazon_books.csv
│   ├── Pixel1M.csv
│   ├── Pixel200K.csv
│   └── Pixel8M.csv
└── information # Store Item Information
    ├── amazon_books.csv
    ├── Pixel1M.csv
    ├── Pixel200K.csv
    └── Pixel8M.csv
```
  这里 dataset 代表data_path ， infomation 代表text_path 。
准备预训练的LLM模型，例如TinyLlama、Baichuan2。

训练

要在 PixelRec / Amazon Book Reviews 上训练 HLLM，您可以运行以下命令。

在环境变量中设置master_addr 、 master_port 、 nproc_per_node 、 nnodes和node_rank以进行多节点训练。

所有超参数（模型的配置除外）都可以在 code/REC/utils/argument_list.py 中找到并通过 CLI 传递。更多模型的超参数位于IDNet/*或HLLM/*中。

 # Item and User LLM are initialized by specific pretrain_dir.
python3 main . py 
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml  # We use deepspeed for training by default.
- - loss nce 
- - epochs 5 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 16 
- - MAX_TEXT_LENGTH 256 
- - MAX_ITEM_LIST_LENGTH 10 
- - checkpoint_dir saved_path 
- - optim_args . learning_rate 1e-4 
- - item_pretrain_dir item_pretrain_dir  # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir  # Set to LLM dir.
- - text_path text_path  # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]' # Please remove tag in books dataset.

您可以将--gradient_checkpointing True和--stage 3与 deepspeed 一起使用来节省内存。

您还可以通过以下命令训练基于 ID 的模型。

 python3 main . py 
- - config_file overall / ID . yaml IDNet / { hstu / sasrec / llama_id }. yaml 
- - loss nce 
- - epochs 201 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 64 
- - MAX_ITEM_LIST_LENGTH 10 
- - optim_args . learning_rate 1e-4

要在 Pixel8M 和 Books 上重现我们的实验，您可以在reproduce文件夹中运行脚本。您应该能够重现以下结果。

对于基于 ID 的模型，我们遵循 PixelRec 和 HSTU 的超参数。

方法	数据集	负面影响	电阻@10	R@50	电阻@200	N@10	N@50	N@200
高速传输单元	像素8M	5632	4.83	10.30	18.28	2.75	3.94	5.13
SASRec	像素8M	5632	5.08	10.62	18.64	2.92	4.12	5.32
HLLM-1B	像素8M	5632	6.13	12.48	21.18	3.54	4.92	6.22
HSTU-大型	图书	第512章	5.00	11.29	20.13	2.78	4.14	5.47
SASRec	图书	第512章	5.35	11.91	21.02	2.98	4.40	5.76
HLLM-1B	图书	第512章	6.97	14.61	24.78	3.98	5.64	7.16
HSTU-大型	图书	28672	6.50	12.22	19.93	4.04	5.28	6.44
HLLM-1B	图书	28672	9.28	17.34	27.22	5.65	7.41	8.89
HLLM-7B	图书	28672	9.39	17.65	27.59	5.69	7.50	8.99

推理

我们提供微调的 HLLM 模型进行评估，您可以从以下链接或 Hughginface 下载。请记住将权重放入checkpoint_dir 。

模型	数据集	重量
HLLM-1B	像素8M	HLLM-1B-Pixel8M
HLLM-1B	图书	HLLM-1B-书籍-neg512
HLLM-1B	图书	HLLM-1B-书籍
HLLM-7B	图书	HLLM-7B-书籍

使用相应权重时请确保遵守TinyLlama-1.1B和Baichuan2-7B各自的许可证。

然后您可以通过以下命令评估模型（与训练相同，但仅 val_only）。

 python3 main . py 
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml  # We use deepspeed for training by default.
- - loss nce 
- - epochs 5 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 16 
- - MAX_TEXT_LENGTH 256 
- - MAX_ITEM_LIST_LENGTH 10 
- - checkpoint_dir saved_path 
- - optim_args . learning_rate 1e-4 
- - item_pretrain_dir item_pretrain_dir  # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir  # Set to LLM dir.
- - text_path text_path  # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]'  # Please remove tag in books dataset.
- - val_only True # Add this for evaluation

引文

如果我们的工作对您的工作有帮助，请随时给我们一颗星 ⭐ 或使用以下方式引用我们：

 @article{HLLM,
title={HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling},
author={Junyi Chen and Lu Chi and Bingyue Peng and Zehuan Yuan},
journal={arXiv preprint arXiv:2409.12740},
year={2024}
}