^{^{Gerado por DALL·E 3}}
Avaliação Sistemática de Algoritmos de Síntese de Dados Tabulares

Uma biblioteca de princípios para ajuste, treinamento e avaliação da síntese de dados tabulares.

O que há de novo

[24 de novembro de 2024] Adicionamos um novo sintetizador SOTA HP REaLTabFormer ao SynMeter! Experimente!

[18 de setembro de 2024] Adicionamos um novo sintetizador SOTA HP TabSyn ao SynMeter! Experimente!

Por que SynMeter:

? Fácil de adicionar novos sintetizadores, ajustando, treinando e avaliando perfeitamente vários sintetizadores.
? Métricas de avaliação baseadas em princípios para fidelidade, privacidade e utilidade para sintetizadores Privados Diferenciais (DP) e Privados Heurísticos (HP).
Vários sintetizadores SOTA, por tipo:
- Métodos estatísticos: MST, PrivSyn
- Baseado em GAN: CTGAN, PATE-GAN
- Baseado em VAE: TVAE
- Baseado em difusão: TabDDPM, TabSyn, TableDiffusion
- Baseado em LLM: GReaT, REaLTabFormer

Instalação

Crie um novo ambiente conda e configure:

conda create -n synmeter python==3.9
conda activate synmeter
pip install -r requirements.txt # install dependencies
pip install -e . # package the library

Altere o dicionário base em ./lib/info/ROOT_DIR :

 ROOT_DIR = root_to_synmeter

? Uso

Conjuntos de dados

SynMeter fornece 12 conjuntos de dados padronizados com conjuntos de dados de treinamento/val/teste para benchmarking, que podem ser baixados aqui: Google Drive
Você também pode usar facilmente um conjunto de dados adicional colocando-o em ./dataset .

Ajustar avaliadores para avaliações de utilidade

A afinidade de aprendizado de máquina requer modelos de aprendizado de máquina com hiperparâmetros ajustados. O SynMeter fornece 8 modelos de aprendizado de máquina comumente usados e suas configurações em ./exp/evaluators .
Você pode ajustar esses avaliadores em seu conjunto de dados personalizado:

python scripts/tune_evaluator.py -d [dataset] -c [cuda]

Sintetizador de sintonia

Fornecemos um objetivo de ajuste unificado para ajuste de modelo, assim, todos os tipos de sintetizadores podem ser ajustados com apenas um único comando:

python scripts/tune_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

Sintetizador de trem

Após o ajuste, uma configuração deve ser gravada em /exp/dataset/synthesizer , o SynMeter pode usá-la para treinar e armazenar o sintetizador:

python scripts/train_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

Avaliar sintetizador

Avaliando a fidelidade dos dados sintéticos:

python scripts/eval_fidelity.py -d [dataset] -m [synthesizer] -s [seed] -t [target]

Avaliando a privacidade dos dados sintéticos:

python scripts/eval_privacy.py -d [dataset] -m [synthesizer] -s [seed]

Avaliando a utilidade dos dados sintéticos:

python scripts/eval_utility.py -d [dataset] -m [synthesizer] -s [seed]

Os resultados das avaliações devem ser salvos no dicionário correspondente /exp/dataset/synthesizer .

Personalize seu próprio sintetizador

Uma vantagem do SynMeter é fornecer a maneira mais fácil de adicionar novos algoritmos de síntese; são necessárias três etapas:

Escreva um novo código de síntese em modularidade em ./synthesizer/my_synthesiszer
Crie uma configuração base em ./exp/base_config .
Crie uma função python de chamada em ./synthesizer , que contém três funções: train , sample e tune .

Então, você está livre para ajustar, executar e testar o novo sintetizador!

? Métodos

Métodos Estatísticos

Método	Tipo	Descrição	Referência
MST	PD	O método utiliza modelos gráficos probabilísticos para aprender a dependência de marginais de baixa dimensão para síntese de dados.	Papel, Código
PrivSyn	PD	Um sintetizador DP não paramétrico, que atualiza iterativamente o conjunto de dados sintético para fazê-lo corresponder aos marginais de ruído alvo.	Papel, Código

Redes Adversariais Gerativas (GANs)

Método	Tipo	Descrição	Referência
CTGAN	HP	Uma rede adversária generativa condicional que pode lidar com dados tabulares.	Papel, Código
PATÊ-GAN	PD	O método usa a estrutura Private Aggregation of Teacher Ensembles (PATE) e a aplica a GANs.	Papel, Código

Autoencodificadores Variacionais (VAE)

Método	Tipo	Descrição	Referência
TVAE	HP	Uma rede VAE condicional que pode lidar com dados tabulares.	Papel, Código

Modelos de Difusão

Método	Tipo	Descrição	Referência
GuiaDDPM	HP	Use modelo de difusão para síntese de dados tabulares	Papel, Código
TabSyn	HP	Use modelo de difusão latente e VAE para síntese.	Papel, Código
Difusão de mesa	PD	Gerando conjuntos de dados tabulares sob privacidade diferencial.	Papel, Código

Modelos baseados em Large Language Model (LLM)

Método	Tipo	Descrição	Referência
Ótimo	HP	Use LLM para ajustar um conjunto de dados tabular.	Papel, Código
REaLTabFormer	HP	Use GPT-2 para aprender a dependência relacional de dados tabulares.	Papel, Código

⚡ Métricas de avaliação

Métricas de fidelidade : consideramos a distância de Wasserstein como uma métrica de fidelidade baseada em princípios, que é calculada por todas as marginais unidirecionais e bidirecionais.
Métricas de privacidade : desenvolvemos o Membership Disclosure Score (MDS) para medir os riscos de privacidade dos membros dos sintetizadores HP e DP.
Métricas de utilidade : usamos afinidade de aprendizado de máquina e erro de consulta para medir a utilidade dos dados sintéticos.

Consulte nosso artigo para obter detalhes e usos.