HLLM

HLLM: Aprimorando recomendações sequenciais por meio de modelos hierárquicos de linguagem grande para modelagem de itens e usuários

? Atualizar

• [2024.09.20] Códigos e pesos liberados!

Instalação

1. Instale pacotes via pip3 install -r requirements.txt . Alguns pacotes básicos são mostrados abaixo:

 pytorch==2.1.0
deepspeed==0.14.2
transformers==4.41.1
lightning==2.4.0
flash-attn==2.5.9post1
fbgemm-gpu==0.5.0 [optional for HSTU]
sentencepiece==0.2.0 [optional for Baichuan2]

2. Prepare conjuntos de dados de resenhas de livros PixelRec e Amazon Book Reviews :
   1. Baixe as interações PixelRec e as informações do item do PixelRec e coloque-as no conjunto de dados e na pasta de informações.
   2. Baixe as interações e informações do item Amazon Book Reviews , processe-as por process_books.py e coloque-as no conjunto de dados e na pasta de informações. Também fornecemos interações e informações de itens de livros após o processamento.
   3. Observe que as interações e as informações do item devem ser colocadas em duas pastas como:

      ├── dataset # Store Interactions
      │   ├── amazon_books.csv
      │   ├── Pixel1M.csv
      │   ├── Pixel200K.csv
      │   └── Pixel8M.csv
      └── information # Store Item Information
          ├── amazon_books.csv
          ├── Pixel1M.csv
          ├── Pixel200K.csv
          └── Pixel8M.csv

      Aqui dataset representa data_path e infomation representa text_path .
3. Prepare modelos LLM pré-treinados, como TinyLlama, Baichuan2.

Treinamento

Para treinar HLLM em PixelRec/Amazon Book Reviews, você pode executar o seguinte comando.

Defina master_addr , master_port , nproc_per_node , nnodes e node_rank em variáveis ​​de ambiente para treinamento de vários nós.

Todos os hiperparâmetros (exceto a configuração do modelo) podem ser encontrados em code/REC/utils/argument_list.py e passados ​​​​pela CLI. Mais hiperparâmetros do modelo estão em IDNet/* ou HLLM/* .

 # Item and User LLM are initialized by specific pretrain_dir.
python3 main . py 
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml  # We use deepspeed for training by default.
- - loss nce 
- - epochs 5 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 16 
- - MAX_TEXT_LENGTH 256 
- - MAX_ITEM_LIST_LENGTH 10 
- - checkpoint_dir saved_path 
- - optim_args . learning_rate 1e-4 
- - item_pretrain_dir item_pretrain_dir  # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir  # Set to LLM dir.
- - text_path text_path  # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]' # Please remove tag in books dataset.

Você pode usar --gradient_checkpointing True e --stage 3 com deepspeed para economizar memória.

Você também pode treinar modelos baseados em ID com o comando a seguir.

 python3 main . py 
- - config_file overall / ID . yaml IDNet / { hstu / sasrec / llama_id }. yaml 
- - loss nce 
- - epochs 201 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 64 
- - MAX_ITEM_LIST_LENGTH 10 
- - optim_args . learning_rate 1e-4

Para reproduzir nossos experimentos em Pixel8M e Books você pode executar scripts na pasta reproduce . Você deve ser capaz de reproduzir os seguintes resultados.

Para modelos baseados em ID, seguimos os hiperparâmetros de PixelRec e HSTU.

Método	Conjunto de dados	Negativos	R@10	R@50	R@200	N@10	N@50	N@200
HSTU	Pixel8M	5632	4,83	10h30	18h28	2,75	3,94	5.13
SASRec	Pixel8M	5632	5.08	10,62	18,64	2,92	4.12	5.32
HLLM-1B	Pixel8M	5632	6.13	12h48	21.18	3,54	4,92	6.22
HSTU-grande	Livros	512	5h00	11.29	20.13	2,78	4.14	5,47
SASRec	Livros	512	5,35	11.91	21.02	2,98	4h40	5,76
HLLM-1B	Livros	512	6,97	14,61	24,78	3,98	5,64	7.16
HSTU-grande	Livros	28672	6h50	12.22	19,93	4.04	5.28	6,44
HLLM-1B	Livros	28672	9.28	17h34	27.22	5,65	7.41	8,89
HLLM-7B	Livros	28672	9h39	17h65	27,59	5,69	7h50	8,99

Inferência

Fornecemos modelos HLLM ajustados para avaliação, você pode baixar nos links a seguir ou no hugginface. Lembre-se de colocar os pesos em checkpoint_dir .

Modelo	Conjunto de dados	Pesos
HLLM-1B	Pixel8M	HLLM-1B-Pixel8M
HLLM-1B	Livros	HLLM-1B-Livros-neg512
HLLM-1B	Livros	HLLM-1B-Livros
HLLM-7B	Livros	HLLM-7B-Livros

Garanta a conformidade com as respectivas licenças de TinyLlama-1.1B e Baichuan2-7B ao usar os pesos correspondentes.

Então você pode avaliar os modelos pelo seguinte comando (o mesmo que treinamento, mas val_only).

 python3 main . py 
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml  # We use deepspeed for training by default.
- - loss nce 
- - epochs 5 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 16 
- - MAX_TEXT_LENGTH 256 
- - MAX_ITEM_LIST_LENGTH 10 
- - checkpoint_dir saved_path 
- - optim_args . learning_rate 1e-4 
- - item_pretrain_dir item_pretrain_dir  # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir  # Set to LLM dir.
- - text_path text_path  # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]'  # Please remove tag in books dataset.
- - val_only True # Add this for evaluation 

Citação

Se nosso trabalho tem ajudado o seu trabalho, sinta-se à vontade para nos dar uma estrela ⭐ ou nos citar usando:

 @article{HLLM,
title={HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling},
author={Junyi Chen and Lu Chi and Bingyue Peng and Zehuan Yuan},
journal={arXiv preprint arXiv:2409.12740},
year={2024}
}

Graças ao excelente repositório de código RecBole, VisRec, PixelRec e HSTU! HLLM é lançado sob a Licença Apache 2.0, alguns códigos são modificados de HSTU e PixelRec, que são lançados sob a Licença Apache 2.0 e Licença MIT, respectivamente.