ซินมิเตอร์

^{สร้างโดย DALL·E 3}
การประเมินอย่างเป็นระบบของอัลกอริธึมการสังเคราะห์ข้อมูลแบบตาราง

ไลบรารีหลักสำหรับการปรับแต่ง ฝึกฝน และประเมินการสังเคราะห์ข้อมูลแบบตาราง

มีอะไรใหม่

[24 พ.ย. 2024] เราเพิ่ม REaLTabFormer ซินธิไซเซอร์ SOTA HP ใหม่ให้กับ SynMeter! ลองดูสิ!

[18 ก.ย. 2024] เราเพิ่ม TabSyn ซินธิไซเซอร์ SOTA HP ใหม่ให้กับ SynMeter! ลองดูสิ!

ทำไมต้องซินมิเตอร์:

• - ง่ายต่อการเพิ่มซินธิไซเซอร์ใหม่ ปรับแต่ง ฝึกฝน และประเมินซินธิไซเซอร์ต่างๆ ได้อย่างราบรื่น
• - ตัวชี้วัดการประเมินหลักสำหรับความเที่ยงตรง ความเป็นส่วนตัว และอรรถประโยชน์สำหรับซินธิไซเซอร์ทั้ง Differential Private (DP) และ Heuristic Private (HP)
• ซินธิไซเซอร์ SOTA หลายตัว ตามประเภท:
  • วิธีการทางสถิติ: MST, PrivSyn
  • ใช้ GAN: CTGAN, PATE-GAN
  • อิง VAE: TVAE
  • ตามการแพร่กระจาย: TabDDPM, TabSyn, TableDiffusion
  • ที่ใช้ LLM: GReaT, REaLTabFormer

การติดตั้ง

สร้างสภาพแวดล้อมและการตั้งค่า conda ใหม่:

conda create -n synmeter python==3.9
conda activate synmeter
pip install -r requirements.txt # install dependencies
pip install -e . # package the library

เปลี่ยนพจนานุกรมพื้นฐานใน ./lib/info/ROOT_DIR :

 ROOT_DIR = root_to_synmeter

- การใช้งาน

ชุดข้อมูล

• SynMeter มีชุดข้อมูลมาตรฐาน 12 ชุดพร้อมชุดข้อมูล Train/val/test สำหรับการวัดประสิทธิภาพ ซึ่งสามารถดาวน์โหลดได้จากที่นี่: Google Drive
• คุณยังสามารถใช้ชุดข้อมูลเพิ่มเติมได้อย่างง่ายดายโดยวางไว้ที่ ./dataset dataset

ปรับแต่งผู้ประเมินสำหรับการประเมินยูทิลิตี้

• ความเกี่ยวข้องของแมชชีนเลิร์นนิงต้องใช้โมเดลแมชชีนเลิร์นนิงที่มีไฮเปอร์พารามิเตอร์ที่ได้รับการปรับแต่ง SynMeter มีโมเดลแมชชีนเลิร์นนิงที่ใช้กันทั่วไป 8 โมเดลและการกำหนดค่าใน ./exp/evaluators
• คุณสามารถปรับแต่งผู้ประเมินเหล่านี้บนชุดข้อมูลที่คุณกำหนดเองได้:

python scripts/tune_evaluator.py -d [dataset] -c [cuda]

ปรับแต่งซินธิไซเซอร์

เรามีวัตถุประสงค์ในการปรับแต่งแบบรวมศูนย์สำหรับการปรับแต่งโมเดล ดังนั้น ซินธิไซเซอร์ทุกประเภทจึงสามารถปรับแต่งได้ด้วยคำสั่งเดียว:

python scripts/tune_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

เทรนซินธิไซเซอร์

หลังจากปรับแต่งแล้ว ควรบันทึกการกำหนดค่าลงใน /exp/dataset/synthesizer โดย SynMeter จะสามารถใช้เพื่อฝึกและจัดเก็บซินธิไซเซอร์ได้:

python scripts/train_synthesizer.py -d [dataset] -m [synthesizer] -s [seed] -c [cuda]

ประเมินซินธิไซเซอร์

การประเมินความเที่ยงตรงของข้อมูลสังเคราะห์:

python scripts/eval_fidelity.py -d [dataset] -m [synthesizer] -s [seed] -t [target] 

การประเมินความเป็นส่วนตัวของข้อมูลสังเคราะห์:

python scripts/eval_privacy.py -d [dataset] -m [synthesizer] -s [seed]

การประเมินประโยชน์ของข้อมูลสังเคราะห์:

python scripts/eval_utility.py -d [dataset] -m [synthesizer] -s [seed]

ผลลัพธ์ของการประเมินควรบันทึกไว้ในพจนานุกรม /exp/dataset/synthesizer ที่เกี่ยวข้อง

ปรับแต่งซินธิไซเซอร์ของคุณเอง

ข้อดีอย่างหนึ่งของ SynMeter คือการมอบวิธีที่ง่ายที่สุดในการเพิ่มอัลกอริธึมการสังเคราะห์ใหม่ โดยต้องมีสามขั้นตอน:

1. เขียนโค้ดการสังเคราะห์ใหม่ในรูปแบบโมดูลาร์ลงใน ./synthesizer/my_synthesiszer
2. สร้างการกำหนดค่าพื้นฐานใน ./exp/base_config
3. สร้างฟังก์ชันการเรียก python ใน ./synthesizer ซึ่งมี 3 ฟังก์ชัน: train , sample และ tune

จากนั้น คุณมีอิสระในการปรับแต่ง รัน และทดสอบซินธิไซเซอร์ตัวใหม่!

- วิธีการ

วิธีการทางสถิติ

วิธี	พิมพ์	คำอธิบาย	อ้างอิง
วิทยาศาสตรมหาบัณฑิต	ดีพี	วิธีการนี้ใช้แบบจำลองกราฟิกที่น่าจะเป็นเพื่อเรียนรู้การพึ่งพาส่วนขอบมิติต่ำสำหรับการสังเคราะห์ข้อมูล	กระดาษ, รหัส
พริฟซิน	ดีพี	ซินธิไซเซอร์ DP แบบไม่มีพารามิเตอร์ ซึ่งจะอัปเดตชุดข้อมูลสังเคราะห์ซ้ำๆ เพื่อให้ตรงกับส่วนขอบของสัญญาณรบกวนเป้าหมาย	กระดาษ, รหัส

เครือข่ายปฏิปักษ์ทั่วไป (GAN)

วิธี	พิมพ์	คำอธิบาย	อ้างอิง
ซีทีแกน	เอชพี	เครือข่ายฝ่ายตรงข้ามที่สร้างเงื่อนไขที่สามารถจัดการข้อมูลแบบตารางได้	กระดาษ, รหัส
ปาเต้-GAN	ดีพี	วิธีการนี้ใช้เฟรมเวิร์ก Private Aggregation of Teacher Ensembles (PATE) และนำไปใช้กับ GAN	กระดาษ, รหัส

ตัวเข้ารหัสอัตโนมัติแบบแปรผัน (VAE)

วิธี	พิมพ์	คำอธิบาย	อ้างอิง
ทีวีเออี	เอชพี	เครือข่าย VAE แบบมีเงื่อนไขซึ่งสามารถจัดการข้อมูลแบบตารางได้	กระดาษ, รหัส

แบบจำลองการแพร่กระจาย

วิธี	พิมพ์	คำอธิบาย	อ้างอิง
แท็บDDPM	เอชพี	ใช้แบบจำลองการแพร่กระจายสำหรับการสังเคราะห์ข้อมูลแบบตาราง	กระดาษ, รหัส
แท็บซิน	เอชพี	ใช้แบบจำลองการแพร่กระจายแฝงและ VAE สำหรับการสังเคราะห์	กระดาษ, รหัส
ตารางการแพร่กระจาย	ดีพี	การสร้างชุดข้อมูลแบบตารางภายใต้ความเป็นส่วนตัวที่แตกต่างกัน	กระดาษ, รหัส

โมเดลที่ใช้โมเดลภาษาขนาดใหญ่ (LLM)

วิธี	พิมพ์	คำอธิบาย	อ้างอิง
ยอดเยี่ยม	เอชพี	ใช้ LLM เพื่อปรับแต่งชุดข้อมูลแบบตาราง	กระดาษ, รหัส
REaLTabอดีต	เอชพี	ใช้ GPT-2 เพื่อเรียนรู้การพึ่งพาเชิงสัมพันธ์ของข้อมูลแบบตาราง	กระดาษ, รหัส

⚡ ตัวชี้วัดการประเมินผล

• ตัวชี้วัดความเที่ยงตรง : เราถือว่าระยะทาง Wasserstein เป็นตัวชี้วัดความเที่ยงตรงตามหลักการ ซึ่งคำนวณโดยระยะขอบด้านเดียวและสองทางทั้งหมด

• ตัวชี้วัดความเป็นส่วนตัว : เรากำหนดคะแนนการเปิดเผยข้อมูลสมาชิก (MDS) เพื่อวัดความเสี่ยงความเป็นส่วนตัวของสมาชิกภาพของทั้งซินธิไซเซอร์ของ HP และ DP

• ตัวชี้วัดยูทิลิตี้ : เราใช้ความสัมพันธ์ของการเรียนรู้ของเครื่องและข้อผิดพลาดในการสืบค้นเพื่อวัดยูทิลิตี้ของข้อมูลสังเคราะห์

โปรดดูเอกสารของเราสำหรับรายละเอียดและการใช้งาน

- รับทราบ

อัลกอริธึมการสังเคราะห์ที่ยอดเยี่ยมและไลบรารีโอเพ่นซอร์สจำนวนมากถูกนำมาใช้ในโปรเจ็กต์นี้:

• ห้องนิรภัยข้อมูลสังเคราะห์
• ซินธ์ซิตี้