Descarga de HLLM - Descarga del código fuente de HLLM

HLLM

Otro código fuente

Descargar

HLLM: mejora de las recomendaciones secuenciales mediante modelos jerárquicos de lenguaje grande para el modelado de elementos y usuarios

? Actualizar

[2024.09.20] ¡Se publican códigos y pesos!

Instalación

Instale paquetes a través de pip3 install -r requirements.txt . Algunos paquetes básicos se muestran a continuación:

 pytorch==2.1.0
deepspeed==0.14.2
transformers==4.41.1
lightning==2.4.0
flash-attn==2.5.9post1
fbgemm-gpu==0.5.0 [optional for HSTU]
sentencepiece==0.2.0 [optional for Baichuan2]

Prepare conjuntos de datos Amazon Book Reviews PixelRec y Amazon:
1. Descargue PixelRec Interactions and Item Information de PixelRec y colóquelos en la carpeta de información y conjunto de datos.
2. Descargue las interacciones y la información del artículo Amazon Book Reviews , procéselas mediante process_books.py y colóquelas en la carpeta del conjunto de datos y la información. También proporcionamos interacciones e información sobre artículos de libros después del procesamiento.
3. Tenga en cuenta que las interacciones y la información del elemento deben colocarse en dos carpetas como:
```
├── dataset # Store Interactions
│   ├── amazon_books.csv
│   ├── Pixel1M.csv
│   ├── Pixel200K.csv
│   └── Pixel8M.csv
└── information # Store Item Information
    ├── amazon_books.csv
    ├── Pixel1M.csv
    ├── Pixel200K.csv
    └── Pixel8M.csv
```
  Aquí el conjunto de datos representa data_path y la información representa text_path .
Prepare modelos LLM previamente entrenados, como TinyLlama, Baichuan2.

Capacitación

Para entrenar HLLM en PixelRec/Amazon Book Reviews, puede ejecutar el siguiente comando.

Establezca master_addr , master_port , nproc_per_node , nnodes y node_rank en las variables de entorno para el entrenamiento de múltiples nodos.

Todos los hiperparámetros (excepto la configuración del modelo) se pueden encontrar en code/REC/utils/argument_list.py y pasar a través de CLI. Hay más hiperparámetros del modelo en IDNet/* o HLLM/* .

 # Item and User LLM are initialized by specific pretrain_dir.
python3 main . py 
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml  # We use deepspeed for training by default.
- - loss nce 
- - epochs 5 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 16 
- - MAX_TEXT_LENGTH 256 
- - MAX_ITEM_LIST_LENGTH 10 
- - checkpoint_dir saved_path 
- - optim_args . learning_rate 1e-4 
- - item_pretrain_dir item_pretrain_dir  # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir  # Set to LLM dir.
- - text_path text_path  # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]' # Please remove tag in books dataset.

Puedes usar --gradient_checkpointing True y --stage 3 con deepspeed para ahorrar memoria.

También puede entrenar modelos basados en ID con el siguiente comando.

 python3 main . py 
- - config_file overall / ID . yaml IDNet / { hstu / sasrec / llama_id }. yaml 
- - loss nce 
- - epochs 201 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 64 
- - MAX_ITEM_LIST_LENGTH 10 
- - optim_args . learning_rate 1e-4

Para reproducir nuestros experimentos en Pixel8M y Books, puede ejecutar scripts en la carpeta reproduce . Debería poder reproducir los siguientes resultados.

Para los modelos basados en ID, seguimos los hiperparámetros de PixelRec y HSTU.

Método	Conjunto de datos	Negativos	R@10	$50	$200	N@10	N@50	N@200
HSTU	Píxel8M	5632	4.83	10.30	18.28	2,75	3.94	5.13
SASRec	Píxel8M	5632	5.08	10.62	18.64	2.92	4.12	5.32
HLLM-1B	Píxel8M	5632	6.13	12.48	21.18	3.54	4.92	6.22
HSTU-grande	Libros	512	5.00	11.29	20.13	2,78	4.14	5.47
SASRec	Libros	512	5.35	11.91	21.02	2,98	4.40	5.76
HLLM-1B	Libros	512	6,97	14.61	24,78	3,98	5.64	7.16
HSTU-grande	Libros	28672	6.50	12.22	19,93	4.04	5.28	6.44
HLLM-1B	Libros	28672	9.28	17.34	27.22	5.65	7.41	8,89
HLLM-7B	Libros	28672	9.39	17,65	27,59	5.69	7.50	8,99

Inferencia

Proporcionamos modelos HLLM ajustados para su evaluación, que puede descargar desde los siguientes enlaces o desde hugginface. Recuerde poner los pesos en checkpoint_dir .

Modelo	Conjunto de datos	Pesos
HLLM-1B	Píxel8M	HLLM-1B-Pixel8M
HLLM-1B	Libros	HLLM-1B-Libros-neg512
HLLM-1B	Libros	HLLM-1B-Libros
HLLM-7B	Libros	HLLM-7B-Libros

Asegúrese de cumplir con las licencias respectivas de TinyLlama-1.1B y Baichuan2-7B cuando utilice los pesos correspondientes.

Luego puede evaluar los modelos con el siguiente comando (igual que el entrenamiento pero val_only).

 python3 main . py 
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml  # We use deepspeed for training by default.
- - loss nce 
- - epochs 5 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 16 
- - MAX_TEXT_LENGTH 256 
- - MAX_ITEM_LIST_LENGTH 10 
- - checkpoint_dir saved_path 
- - optim_args . learning_rate 1e-4 
- - item_pretrain_dir item_pretrain_dir  # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir  # Set to LLM dir.
- - text_path text_path  # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]'  # Please remove tag in books dataset.
- - val_only True # Add this for evaluation

Citación

Si nuestro trabajo ha sido de ayuda para tu trabajo, no dudes en darnos una estrella ⭐ o citarnos usando:

 @article{HLLM,
title={HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling},
author={Junyi Chen and Lu Chi and Bingyue Peng and Zehuan Yuan},
journal={arXiv preprint arXiv:2409.12740},
year={2024}
}

¡Gracias al excelente repositorio de código RecBole, VisRec, PixelRec y HSTU! HLLM se publica bajo la licencia Apache 2.0, algunos códigos se modifican de HSTU y PixelRec, que se publican bajo la licencia Apache 2.0 y la licencia MIT, respectivamente.

Expandir

Información adicional