pip3 install -r requirements.txt . Nachfolgend sind einige Basispakete aufgeführt: pytorch==2.1.0
deepspeed==0.14.2
transformers==4.41.1
lightning==2.4.0
flash-attn==2.5.9post1
fbgemm-gpu==0.5.0 [optional for HSTU]
sentencepiece==0.2.0 [optional for Baichuan2]
PixelRec und Amazon Book Reviews vor:PixelRec Interactions and Item Information von PixelRec herunter und legen Sie es im Datensatz- und Informationsordner ab.Amazon Book Reviews herunter, verarbeiten Sie sie mit process_books.py und legen Sie sie im Datensatz- und Informationsordner ab. Wir stellen auch Interaktionen und Artikelinformationen von Büchern nach der Verarbeitung bereit.├── dataset # Store Interactions
│ ├── amazon_books.csv
│ ├── Pixel1M.csv
│ ├── Pixel200K.csv
│ └── Pixel8M.csv
└── information # Store Item Information
├── amazon_books.csv
├── Pixel1M.csv
├── Pixel200K.csv
└── Pixel8M.csvUm HLLM auf PixelRec/Amazon Book Reviews zu trainieren, können Sie den folgenden Befehl ausführen.
Legen Sie
master_addr,master_port,nproc_per_node,nnodesundnode_rankin Umgebungsvariablen für das Training mit mehreren Knoten fest.
Alle Hyperparameter (außer der Modellkonfiguration) sind in code/REC/utils/argument_list.py zu finden und werden über die CLI übergeben. Weitere Hyperparameter des Modells befinden sich in
IDNet/*oderHLLM/*.
# Item and User LLM are initialized by specific pretrain_dir.
python3 main . py
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml # We use deepspeed for training by default.
- - loss nce
- - epochs 5
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books }
- - train_batch_size 16
- - MAX_TEXT_LENGTH 256
- - MAX_ITEM_LIST_LENGTH 10
- - checkpoint_dir saved_path
- - optim_args . learning_rate 1e-4
- - item_pretrain_dir item_pretrain_dir # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir # Set to LLM dir.
- - text_path text_path # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]' # Please remove tag in books dataset.Sie können
--gradient_checkpointing Trueund--stage 3mit Deepspeed verwenden, um Speicher zu sparen.
Mit dem folgenden Befehl können Sie auch ID-basierte Modelle trainieren.
python3 main . py
- - config_file overall / ID . yaml IDNet / { hstu / sasrec / llama_id }. yaml
- - loss nce
- - epochs 201
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books }
- - train_batch_size 64
- - MAX_ITEM_LIST_LENGTH 10
- - optim_args . learning_rate 1e-4 Um unsere Experimente mit Pixel8M und Books zu reproduzieren, können Sie Skripte im reproduce ausführen. Sie sollten in der Lage sein, die folgenden Ergebnisse zu reproduzieren.
Für ID-basierte Modelle folgen wir den Hyperparametern von PixelRec und HSTU.
| Verfahren | Datensatz | Negative | R@10 | R@50 | R@200 | N@10 | N@50 | N@200 |
|---|---|---|---|---|---|---|---|---|
| HSTU | Pixel8M | 5632 | 4,83 | 10.30 Uhr | 18.28 | 2,75 | 3,94 | 5.13 |
| SASRec | Pixel8M | 5632 | 5.08 | 10.62 | 18.64 | 2,92 | 4.12 | 5.32 |
| HLLM-1B | Pixel8M | 5632 | 6.13 | 12.48 | 21.18 | 3,54 | 4,92 | 6.22 |
| HSTU-groß | Bücher | 512 | 5.00 | 11.29 | 20.13 | 2,78 | 4.14 | 5.47 |
| SASRec | Bücher | 512 | 5.35 | 11.91 | 21.02 | 2,98 | 4.40 | 5,76 |
| HLLM-1B | Bücher | 512 | 6,97 | 14.61 | 24.78 | 3,98 | 5,64 | 7.16 |
| HSTU-groß | Bücher | 28672 | 6,50 | 12.22 | 19.93 | 4.04 | 5.28 | 6.44 |
| HLLM-1B | Bücher | 28672 | 9.28 | 17.34 | 27.22 | 5,65 | 7.41 | 8,89 |
| HLLM-7B | Bücher | 28672 | 9.39 | 17.65 | 27.59 | 5,69 | 7,50 | 8,99 |
Wir stellen fein abgestimmte HLLM-Modelle zur Evaluierung zur Verfügung, die Sie über die folgenden Links oder bei Hugginface herunterladen können. Denken Sie daran, die Gewichte auf checkpoint_dir zu setzen.
| Modell | Datensatz | Gewichte |
|---|---|---|
| HLLM-1B | Pixel8M | HLLM-1B-Pixel8M |
| HLLM-1B | Bücher | HLLM-1B-Books-neg512 |
| HLLM-1B | Bücher | HLLM-1B-Bücher |
| HLLM-7B | Bücher | HLLM-7B-Bücher |
Bitte achten Sie bei der Verwendung entsprechender Gewichte auf die Einhaltung der jeweiligen Lizenzen von TinyLlama-1.1B und Baichuan2-7B.
Anschließend können Sie Modelle mit dem folgenden Befehl auswerten (dasselbe wie Training, aber nur val_).
python3 main . py
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml # We use deepspeed for training by default.
- - loss nce
- - epochs 5
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books }
- - train_batch_size 16
- - MAX_TEXT_LENGTH 256
- - MAX_ITEM_LIST_LENGTH 10
- - checkpoint_dir saved_path
- - optim_args . learning_rate 1e-4
- - item_pretrain_dir item_pretrain_dir # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir # Set to LLM dir.
- - text_path text_path # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]' # Please remove tag in books dataset.
- - val_only True # Add this for evaluation Wenn unsere Arbeit Ihnen bei Ihrer Arbeit geholfen hat, geben Sie uns gerne einen Stern ⭐ oder zitieren Sie uns mit:
@article{HLLM,
title={HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling},
author={Junyi Chen and Lu Chi and Bingyue Peng and Zehuan Yuan},
journal={arXiv preprint arXiv:2409.12740},
year={2024}
}
Vielen Dank an das hervorragende Code-Repository RecBole, VisRec, PixelRec und HSTU! HLLM wird unter der Apache-Lizenz 2.0 veröffentlicht, einige Codes wurden von HSTU und PixelRec geändert, die unter der Apache-Lizenz 2.0 bzw. MIT-Lizenz veröffentlicht werden.
