^{^{由 DALL·E 3 生成}}
表格数据合成算法的系统评估

用于调整、训练和评估表格数据合成的原则性库。

什么是新的

[2024 年 11 月 24 日] 我们向 SynMeter 添加了新的 SOTA HP 合成器 REaLTabFormer！尝试一下！

[2024 年 9 月 18 日] 我们向 SynMeter 添加了新的 SOTA HP 合成器 TabSyn！尝试一下！

为什么选择 SynMeter：

？轻松添加新的合成器，无缝调优、训练和评估各种合成器。
？差分专用 (DP) 和启发式专用 (HP) 合成器的保真度、隐私和实用性的原则性评估指标。
几种 SOTA 合成器，按类型：
- 统计方法：MST、PrivSyn
- 基于GAN：CTGAN、PATE-GAN
- 基于 VAE：TVAE
- 基于扩散：TabDDPM、TabSyn、TableDiffusion
- 法学硕士：伟大、真实

安装

创建新的 conda 环境并设置：

conda create -n synmeter python==3.9
conda activate synmeter
pip install -r requirements.txt # install dependencies
pip install -e . # package the library

更改./lib/info/ROOT_DIR中的基本字典：

 ROOT_DIR = root_to_synmeter

？用法

数据集

SynMeter 提供了 12 个标准化数据集，其中包含用于基准测试的训练/验证/测试数据集，可以从此处下载：Google Drive
您还可以通过将附加数据集放入./dataset轻松使用它。

调整评估器以进行效用评估

机器学习亲和力需要具有调整超参数的机器学习模型，SynMeter 在./exp/evaluators中提供了 8 个常用的机器学习模型及其配置。
您可以在自定义数据集上调整这些评估器：

python scripts/tune_evaluator.py -d [dataset] -c [cuda]

调音合成器

我们为模型调优提供了统一的调优目标，因此，只需一个命令即可调优各种合成器：

python scripts/tune_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

火车合成器

调整后，应将配置记录到/exp/dataset/synthesizer ，SynMeter 可以使用它来训练和存储合成器：

python scripts/train_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

评估合成器

评估合成数据的保真度：

python scripts/eval_fidelity.py -d [dataset] -m [synthesizer] -s [seed] -t [target]

评估合成数据的隐私性：

python scripts/eval_privacy.py -d [dataset] -m [synthesizer] -s [seed]

评估合成数据的效用：

python scripts/eval_utility.py -d [dataset] -m [synthesizer] -s [seed]

评估结果应保存在相应的字典/exp/dataset/synthesizer下。

定制您自己的合成器

SynMeter的优点之一是提供最简单的方法来添加新的合成算法，需要三个步骤：

将新的模块化合成代码写入./synthesizer/my_synthesiszer
在./exp/base_config中创建基本配置。
在./synthesizer中创建一个调用 python 函数，其中包含三个函数： train 、 sample和tune 。

然后，您可以自由地调整、运行和测试新的合成器！

？方法

统计方法

方法	类型	描述	参考
MST	DP	该方法使用概率图模型来学习数据合成的低维边缘的依赖性。	纸张、代码
专用同步器	DP	非参数 DP 合成器，迭代更新合成数据集以使其与目标噪声边际匹配。	纸张、代码

生成对抗网络（GAN）

方法	类型	描述	参考
CTGAN	惠普	可以处理表格数据的条件生成对抗网络。	纸张、代码
帕特甘	DP	该方法使用教师集合的私有聚合（PATE）框架并将其应用于 GAN。	纸张、代码

变分自动编码器 (VAE)

方法	类型	描述	参考
电视AE	惠普	可以处理表格数据的条件 VAE 网络。	纸张、代码

扩散模型

方法	类型	描述	参考
选项卡DDPM	惠普	使用扩散模型进行表格数据合成	纸张、代码
标签同步	惠普	使用潜在扩散模型和 VAE 进行合成。	纸张、代码
表扩散	DP	在差异隐私下生成表格数据集。	纸张、代码

基于大型语言模型 (LLM) 的模型

方法	类型	描述	参考
伟大的	惠普	使用 LLM 微调表格数据集。	纸张、代码
REALTabFormer	惠普	使用 GPT-2 学习表格数据的关系依赖性。	纸张、代码