^{^{Dihasilkan oleh DALL·E 3}}
Penilaian Sistematis Algoritma Sintesis Data Tabular

Pustaka berprinsip untuk menyetel, melatih, dan mengevaluasi sintesis data tabular.

Apa yang Baru

[24 Nov 2024] Kami menambahkan synthesizer SOTA HP baru REaLTabFormer ke SynMeter! Cobalah!

[18 Sep 2024] Kami menambahkan synthesizer SOTA HP baru TabSyn ke SynMeter! Cobalah!

Mengapa SynMeter:

? Mudah untuk menambahkan synthesizer baru, menyetel, melatih, dan mengevaluasi berbagai synthesizer dengan lancar.
? Metrik evaluasi berprinsip untuk fidelitas, privasi, dan utilitas untuk synthesizer Differential Private (DP) dan Heuristic Private (HP).
Beberapa synthesizer SOTA, berdasarkan jenisnya:
- Metode statistik: MST, PrivSyn
- Berbasis GAN: CTGAN, PATE-GAN
- Berbasis VAE: TVAE
- Berbasis difusi: TabDDPM, TabSyn, TableDiffusion
- Berbasis LLM: HEBAT, REaLTabFormer

Instalasi

Buat lingkungan dan pengaturan conda baru:

conda create -n synmeter python==3.9
conda activate synmeter
pip install -r requirements.txt # install dependencies
pip install -e . # package the library

Ubah kamus dasar di ./lib/info/ROOT_DIR :

 ROOT_DIR = root_to_synmeter

? Penggunaan

Kumpulan data

SynMeter menyediakan 12 set data standar dengan set data train/val/test untuk benchmarking, yang dapat diunduh dari sini: Google Drive
Anda juga dapat dengan mudah menggunakan kumpulan data tambahan dengan memasukkannya ke ./dataset .

Sesuaikan evaluator untuk evaluasi utilitas

Afinitas pembelajaran mesin memerlukan model pembelajaran mesin dengan hyperparameter yang disesuaikan, SynMeter menyediakan 8 model pembelajaran mesin yang umum digunakan dan konfigurasinya di ./exp/evaluators .
Anda dapat menyesuaikan evaluator ini pada kumpulan data khusus Anda:

python scripts/tune_evaluator.py -d [dataset] -c [cuda]

Tune synthesizer

Kami menyediakan tujuan penyetelan terpadu untuk penyetelan model, sehingga semua jenis synthesizer dapat disetel hanya dengan satu perintah:

python scripts/tune_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

Latih synthesizer

Setelah penyetelan, konfigurasi harus direkam ke /exp/dataset/synthesizer , SynMeter dapat menggunakannya untuk melatih dan menyimpan synthesizer:

python scripts/train_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

Evaluasi synthesizer

Menilai keakuratan data sintetik:

python scripts/eval_fidelity.py -d [dataset] -m [synthesizer] -s [seed] -t [target]

Menilai privasi data sintetis:

python scripts/eval_privacy.py -d [dataset] -m [synthesizer] -s [seed]

Menilai kegunaan data sintetis:

python scripts/eval_utility.py -d [dataset] -m [synthesizer] -s [seed]

Hasil evaluasi harus disimpan dalam kamus yang sesuai /exp/dataset/synthesizer .

Sesuaikan synthesizer Anda sendiri

Salah satu keunggulan SynMeter adalah menyediakan cara termudah untuk menambahkan algoritma sintesis baru, diperlukan tiga langkah:

Tulis kode sintesis baru dalam modularitas ke ./synthesizer/my_synthesiszer
Buat konfigurasi dasar di ./exp/base_config .
Buat fungsi python pemanggil di ./synthesizer , yang berisi tiga fungsi: train , sample , dan tune .

Kemudian, Anda bebas menyetel, menjalankan, dan menguji synthesizer baru!

? Metode

Metode Statistik

Metode	Jenis	Keterangan	Referensi
MST	DP	Metode ini menggunakan model grafis probabilistik untuk mempelajari ketergantungan marginal berdimensi rendah untuk sintesis data.	Kertas, Kode
Sinkronisasi Pribadi	DP	Sintesis DP non-parametrik, yang memperbarui kumpulan data sintetik secara berulang agar sesuai dengan batas kebisingan target.	Kertas, Kode

Jaringan Adversarial Generatif (GAN)

Metode	Jenis	Keterangan	Referensi
CTGAN	HP	Jaringan permusuhan generatif bersyarat yang dapat menangani data tabular.	Kertas, Kode
PATE-GAN	DP	Metode ini menggunakan kerangka Private Aggregation of Teacher Ensembles (PATE) dan menerapkannya pada GAN.	Kertas, Kode

Autoencoder Variasi (VAE)

Metode	Jenis	Keterangan	Referensi
TVAE	HP	Jaringan VAE bersyarat yang dapat menangani data tabular.	Kertas, Kode

Model Difusi

Metode	Jenis	Keterangan	Referensi
TabDDPM	HP	Gunakan model difusi untuk sintesis data tabular	Kertas, Kode
TabSyn	HP	Gunakan model difusi laten dan VAE untuk sintesis.	Kertas, Kode
Tabel Difusi	DP	Menghasilkan kumpulan data tabular dalam privasi diferensial.	Kertas, Kode

Model berbasis Model Bahasa Besar (LLM).

Metode	Jenis	Keterangan	Referensi
Besar	HP	Gunakan LLM untuk menyempurnakan kumpulan data tabel.	Kertas, Kode
REaLTabMantan	HP	Gunakan GPT-2 untuk mempelajari ketergantungan relasional data tabular.	Kertas, Kode

⚡ Metrik Evaluasi

Metrik fidelitas : kami menganggap jarak Wasserstein sebagai metrik fidelitas berprinsip, yang dihitung oleh semua marginal satu dan dua arah.
Metrik privasi : kami menyusun Skor Pengungkapan Keanggotaan (MDS) untuk mengukur risiko privasi keanggotaan dari penyintesis HP dan DP.
Metrik utilitas : kami menggunakan afinitas pembelajaran mesin dan kesalahan kueri untuk mengukur kegunaan data sintetis.

Silakan lihat makalah kami untuk detail dan penggunaan.