Transformator Tabular untuk Pemodelan Rangkaian Waktu Multivariat

Repositori ini menyediakan kode sumber pytorch, dan data untuk transformator tabel (TabFormer). Detailnya dijelaskan dalam makalah Tabular Transformers for Modeling Multivariate Time Series, yang akan dipresentasikan di ICASSP 2021.

Ringkasan

Modul untuk transformator hierarki untuk data tabular
Kumpulan data transaksi kartu kredit sintetis
Softmax Adaptif yang dimodifikasi untuk menangani masking
DataCollatorForLanguageModeling yang dimodifikasi untuk data tabel
Modul dibangun di dalam transformator dari HuggingFace?. (HuggingFace adalah ❤️)

Persyaratan

ular piton (3.7)
Pytorch (1.6.0)
Memeluk Wajah / Transformator (3.2.0)
scikit-belajar (0.23.2)
Panda (1.1.2)

(X) mewakili versi kode yang diuji.

Ini dapat diinstal menggunakan yaml dengan menjalankan :

 conda env create -f setup.yml

Dataset Transaksi Kartu Kredit

Dataset transaksi kartu kredit sintetis disediakan di ./data/credit_card. Ada 24 juta catatan dengan 12 bidang. Anda memerlukan git-lfs untuk mengakses data. Jika Anda menghadapi masalah terkait bandwidth LFS, Anda dapat menggunakan tautan langsung ini untuk mengakses data. Anda kemudian dapat mengabaikan file git-lfs dengan mengawali GIT_LFS_SKIP_SMUDGE=1 ke perintah git clone .. ...

angka

Kumpulan Data PRSA

Untuk kumpulan data PRSA, seseorang harus mengunduh kumpulan data PRSA dari Kaggle dan menempatkannya di direktori ./data/card.

BERT tabel

Untuk melatih model BERT tabular pada transaksi kartu kredit atau dataset PRSA, jalankan :

 $ python main.py --do_train --mlm --field_ce --lm_type bert 
                 --field_hs 64 --data_type [prsa/card] 
                 --output_dir [output_dir]

GPT2 tabel

Untuk melatih model tabel GPT2 pada transaksi kartu kredit untuk user-id tertentu :


$ python main.py --do_train --lm_type gpt2 --field_ce --flatten --data_type card 
                 --data_root [path_to_data] --user_ids [user-id] 
                 --output_dir [output_dir]

Deskripsi beberapa opsi (selengkapnya dapat ditemukan di args.py ):

--data_type pilihan masing-masing adalah prsa dan card untuk kumpulan data PM2.5 Beijing dan kumpulan data transaksi kartu kredit.
--mlm untuk model bahasa bertopeng; pilihan untuk pelatih transformator untuk BERT
--field_hs ukuran tersembunyi untuk transformator tingkat bidang
--lm_type pilihan dari bert dan gpt2
Opsi --user_ids untuk memilih hanya transaksi dari id pengguna tertentu.

Kutipan

 @inproceedings{padhi2021tabular,
  title={Tabular transformers for modeling multivariate time series},
  author={Padhi, Inkit and Schiff, Yair and Melnyk, Igor and Rigotti, Mattia and Mroueh, Youssef and Dognin, Pierre and Ross, Jerret and Nair, Ravi and Altman, Erik},
  booktitle={ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
  pages={3565--3569},
  year={2021},
  organization={IEEE},
  url={https://ieeexplore.ieee.org/document/9414142}
}

Memperluas

Informasi Tambahan