Unduhan HLLM - Unduhan kode sumber HLLM

HLLM

Kode sumber lainnya

Unduh

HLLM: Meningkatkan Rekomendasi Berurutan melalui Model Bahasa Besar Hierarki untuk Pemodelan Item dan Pengguna

? Memperbarui

[2024.09.20] Kode dan Bobot dirilis!

Instalasi

Instal paket melalui pip3 install -r requirements.txt . Beberapa paket dasar ditunjukkan di bawah ini:

 pytorch==2.1.0
deepspeed==0.14.2
transformers==4.41.1
lightning==2.4.0
flash-attn==2.5.9post1
fbgemm-gpu==0.5.0 [optional for HSTU]
sentencepiece==0.2.0 [optional for Baichuan2]

Siapkan Kumpulan Data Amazon Book Reviews PixelRec dan Amazon:
1. Unduh Interaksi PixelRec dan Informasi Item dari PixelRec dan masukkan ke dalam folder dataset dan informasi.
2. Unduh Interaksi Amazon Book Reviews dan Informasi Item, proses dengan process_books.py , dan masukkan ke dalam folder dataset dan informasi. Kami juga menyediakan Interaksi dan Informasi Item Buku setelah diproses.
3. Harap dicatat bahwa Interaksi dan Informasi Item harus dimasukkan ke dalam dua folder seperti:
```
├── dataset # Store Interactions
│   ├── amazon_books.csv
│   ├── Pixel1M.csv
│   ├── Pixel200K.csv
│   └── Pixel8M.csv
└── information # Store Item Information
    ├── amazon_books.csv
    ├── Pixel1M.csv
    ├── Pixel200K.csv
    └── Pixel8M.csv
```
  Di sini kumpulan data mewakili data_path , dan informasi mewakili text_path .
Siapkan model LLM terlatih, seperti TinyLlama, Baichuan2.

Pelatihan

Untuk melatih HLLM di PixelRec / Amazon Book Review, Anda dapat menjalankan perintah berikut.

Tetapkan master_addr , master_port , nproc_per_node , nnodes dan node_rank dalam variabel lingkungan untuk pelatihan multinode.

Semua hyper-parameter (kecuali konfigurasi model) dapat ditemukan di code/REC/utils/argument_list.py dan melewati CLI. Hyper-parameter model lainnya ada di IDNet/* atau HLLM/* .

 # Item and User LLM are initialized by specific pretrain_dir.
python3 main . py 
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml  # We use deepspeed for training by default.
- - loss nce 
- - epochs 5 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 16 
- - MAX_TEXT_LENGTH 256 
- - MAX_ITEM_LIST_LENGTH 10 
- - checkpoint_dir saved_path 
- - optim_args . learning_rate 1e-4 
- - item_pretrain_dir item_pretrain_dir  # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir  # Set to LLM dir.
- - text_path text_path  # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]' # Please remove tag in books dataset.

Anda dapat menggunakan --gradient_checkpointing True dan --stage 3 dengan kecepatan tinggi untuk menghemat memori.

Anda juga dapat melatih model berbasis ID dengan perintah berikut.

 python3 main . py 
- - config_file overall / ID . yaml IDNet / { hstu / sasrec / llama_id }. yaml 
- - loss nce 
- - epochs 201 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 64 
- - MAX_ITEM_LIST_LENGTH 10 
- - optim_args . learning_rate 1e-4

Untuk mereproduksi eksperimen kami pada Pixel8M dan Buku, Anda dapat menjalankan skrip di folder reproduce . Anda seharusnya dapat mereproduksi hasil berikut.

Untuk model berbasis ID, kami mengikuti hyper-parameter dari PixelRec dan HSTU.

Metode	Kumpulan data	Negatif	R@10	R@50	R@200	T@10	N@50	N@200
HSTU	Piksel8M	5632	4.83	10.30	18.28	2.75	3.94	5.13
SASRec	Piksel8M	5632	5.08	10.62	18.64	2.92	4.12	5.32
HLLM-1B	Piksel8M	5632	6.13	12.48	21.18	3.54	4.92	6.22
HSTU-besar	Buku	512	5.00	11.29	20.13	2.78	4.14	5.47
SASRec	Buku	512	5.35	11.91	21.02	2.98	4.40	5.76
HLLM-1B	Buku	512	6.97	14.61	24.78	3,98	5.64	7.16
HSTU-besar	Buku	28672	6.50	12.22	19.93	4.04	5.28	6.44
HLLM-1B	Buku	28672	9.28	17.34	27.22	5.65	7.41	8.89
HLLM-7B	Buku	28672	9.39	17.65	27.59	5.69	7.50	8.99

Kesimpulan

Kami menyediakan model HLLM yang telah disesuaikan untuk evaluasi, Anda dapat mengunduh dari tautan berikut atau pelukan. Ingat, masukkan bobot ke checkpoint_dir .

Model	Kumpulan data	beban
HLLM-1B	Piksel8M	HLLM-1B-Pixel8M
HLLM-1B	Buku	HLLM-1B-Buku-neg512
HLLM-1B	Buku	Buku HLLM-1B
HLLM-7B	Buku	HLLM-7B-Buku

Harap pastikan kepatuhan terhadap masing-masing lisensi TinyLlama-1.1B dan Baichuan2-7B saat menggunakan anak timbangan yang sesuai.

Kemudian Anda dapat mengevaluasi model dengan perintah berikut (sama seperti pelatihan tetapi val_only).

 python3 main . py 
- - config_file overall / LLM_deepspeed . yaml HLLM / HLLM . yaml  # We use deepspeed for training by default.
- - loss nce 
- - epochs 5 
- - dataset { Pixel200K / Pixel1M / Pixel8M / amazon_books } 
- - train_batch_size 16 
- - MAX_TEXT_LENGTH 256 
- - MAX_ITEM_LIST_LENGTH 10 
- - checkpoint_dir saved_path 
- - optim_args . learning_rate 1e-4 
- - item_pretrain_dir item_pretrain_dir  # Set to LLM dir.
- - user_pretrain_dir user_pretrain_dir  # Set to LLM dir.
- - text_path text_path  # Use absolute path to text files.
- - text_keys '[ " title " , " tag " , " description " ]'  # Please remove tag in books dataset.
- - val_only True # Add this for evaluation

Kutipan

Jika pekerjaan kami membantu pekerjaan Anda, silakan beri kami bintang ⭐ atau kutip kami menggunakan :

 @article{HLLM,
title={HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling},
author={Junyi Chen and Lu Chi and Bingyue Peng and Zehuan Yuan},
journal={arXiv preprint arXiv:2409.12740},
year={2024}
}

Berkat repositori kode yang luar biasa RecBole, VisRec, PixelRec, dan HSTU! HLLM dirilis di bawah Lisensi Apache 2.0, beberapa kode dimodifikasi dari HSTU dan PixelRec, yang masing-masing dirilis di bawah Lisensi Apache 2.0 dan Lisensi MIT.

Memperluas

Informasi Tambahan