^{^{Généré par DALL·E 3}}
Évaluation systématique des algorithmes de synthèse de données tabulaires

Une bibliothèque de principes pour le réglage, la formation et l'évaluation de la synthèse de données tabulaires.

Quoi de neuf

[24 novembre 2024] Nous ajoutons un nouveau synthétiseur SOTA HP REaLTabFormer à SynMeter ! Essayez-le !

[18 septembre 2024] Nous ajoutons un nouveau synthétiseur SOTA HP TabSyn à SynMeter ! Essayez-le !

Pourquoi SynMeter :

? Ajout facile de nouveaux synthétiseurs, réglage, formation et évaluation transparents de divers synthétiseurs.
? Mesures d'évaluation fondées sur des principes pour la fidélité, la confidentialité et l'utilité des synthétiseurs différentiels privés (DP) et heuristiques privés (HP).
Plusieurs synthétiseurs SOTA, par type :
- Méthodes statistiques : MST, PrivSyn
- Basé sur GAN : CTGAN, PATE-GAN
- Basé sur la VAE : TVAE
- Basé sur la diffusion : TabDDPM, TabSyn, TableDiffusion
- Basé sur LLM : GREaT, REaLTabFormer

Installation

Créez un nouvel environnement Conda et configurez-le :

conda create -n synmeter python==3.9
conda activate synmeter
pip install -r requirements.txt # install dependencies
pip install -e . # package the library

Changez le dictionnaire de base dans ./lib/info/ROOT_DIR :

 ROOT_DIR = root_to_synmeter

? Usage

Ensembles de données

SynMeter fournit 12 ensembles de données standardisés avec des ensembles de données d'entraînement/val/test pour l'analyse comparative, qui peuvent être téléchargés à partir d'ici : Google Drive
Vous pouvez également facilement utiliser un ensemble de données supplémentaire en le plaçant dans ./dataset .

Optimiser les évaluateurs pour les évaluations d'utilité

L'affinité pour l'apprentissage automatique nécessite des modèles d'apprentissage automatique avec des hyperparamètres optimisés. SynMeter fournit 8 modèles d'apprentissage automatique couramment utilisés et leurs configurations dans ./exp/evaluators .
Vous pouvez ajuster ces évaluateurs sur votre ensemble de données personnalisé :

python scripts/tune_evaluator.py -d [dataset] -c [cuda]

Régler le synthétiseur

Nous fournissons un objectif de réglage unifié pour le réglage du modèle, ainsi, tous les types de synthétiseurs peuvent être réglés par une seule commande :

python scripts/tune_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

Train synthétiseur

Après le réglage, une configuration doit être enregistrée dans /exp/dataset/synthesizer , SynMeter peut l'utiliser pour entraîner et stocker le synthétiseur :

python scripts/train_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

Évaluer le synthétiseur

Évaluation de la fidélité des données synthétiques :

python scripts/eval_fidelity.py -d [dataset] -m [synthesizer] -s [seed] -t [target]

Évaluation de la confidentialité des données synthétiques :

python scripts/eval_privacy.py -d [dataset] -m [synthesizer] -s [seed]

Évaluation de l'utilité des données synthétiques :

python scripts/eval_utility.py -d [dataset] -m [synthesizer] -s [seed]

Les résultats des évaluations doivent être enregistrés dans le dictionnaire correspondant /exp/dataset/synthesizer .

Personnalisez votre propre synthétiseur

L'un des avantages de SynMeter est de fournir le moyen le plus simple d'ajouter de nouveaux algorithmes de synthèse, trois étapes sont nécessaires :

Écrivez un nouveau code de synthèse en modularité dans ./synthesizer/my_synthesiszer
Créez une configuration de base dans ./exp/base_config .
Créez une fonction python appelante dans ./synthesizer , qui contient trois fonctions : train , sample et tune .

Ensuite, vous êtes libre de régler, d’exécuter et de tester le nouveau synthétiseur !

? Méthodes

Méthodes statistiques

Méthode	Taper	Description	Référence
MST	DP	La méthode utilise des modèles graphiques probabilistes pour apprendre la dépendance des marginaux de faible dimension pour la synthèse des données.	Papier, Code
PrivSyn	DP	Un synthétiseur DP non paramétrique, qui met à jour de manière itérative l'ensemble de données synthétiques pour le faire correspondre aux marges de bruit cibles.	Papier, Code

Réseaux adverses génératifs (GAN)

Méthode	Taper	Description	Référence
CTGAN	HP	Un réseau contradictoire génératif conditionnel capable de gérer des données tabulaires.	Papier, Code
PATE-GAN	DP	La méthode utilise le cadre d'agrégation privée d'ensembles d'enseignants (PATE) et l'applique aux GAN.	Papier, Code

Auto-encodeurs variationnels (VAE)

Méthode	Taper	Description	Référence
TVAE	HP	Un réseau VAE conditionnel capable de gérer des données tabulaires.	Papier, Code

Modèles de diffusion

Méthode	Taper	Description	Référence
OngletDDPM	HP	Utiliser le modèle de diffusion pour la synthèse de données tabulaires	Papier, Code
TabSyn	HP	Utilisez le modèle de diffusion latente et le VAE pour la synthèse.	Papier, Code
TableDiffusion	DP	Génération d'ensembles de données tabulaires sous confidentialité différentielle.	Papier, Code

Modèles basés sur un grand modèle linguistique (LLM)

Méthode	Taper	Description	Référence
Super	HP	Utilisez LLM pour affiner un ensemble de données tabulaires.	Papier, Code
REaLTabFormer	HP	Utilisez GPT-2 pour apprendre la dépendance relationnelle des données tabulaires.	Papier, Code

⚡ Paramètres d'évaluation

Métriques de fidélité : nous considérons la distance de Wasserstein comme une métrique de fidélité de principe, qui est calculée par toutes les marginales unidirectionnelles et bidirectionnelles.
Métriques de confidentialité : nous concevons le Membership Disclosure Score (MDS) pour mesurer les risques liés à la confidentialité des membres des synthétiseurs HP et DP.
Métriques d'utilité : nous utilisons l'affinité du machine learning et l'erreur de requête pour mesurer l'utilité des données synthétiques.

Veuillez consulter notre article pour plus de détails et d'utilisations.