HypEx

HypEx: Inferensi Kausal Tingkat Lanjut dan Perangkat Pengujian AB

Perkenalan

HypEx (Hipotesis dan Eksperimen) adalah perpustakaan komprehensif yang dibuat untuk menyederhanakan proses inferensi kausal dan pengujian AB dalam analisis data. Dikembangkan untuk efisiensi dan efektivitas, HypEx menggunakan Rubin's Causal Model (RCM) untuk mencocokkan pasangan yang berkerabat dekat, memastikan perbandingan kelompok yang adil ketika memperkirakan efek pengobatan.

Dengan jalur pipa yang sepenuhnya otomatis, HypEx dengan cekatan menghitung Efek Perawatan Rata-Rata (ATE), Efek Perawatan Rata-Rata pada yang Diobati (ATT), dan Efek Perawatan Rata-rata pada Kontrol (ATC). Ini menawarkan antarmuka standar untuk melaksanakan estimasi ini, memberikan wawasan tentang dampak intervensi di berbagai subkelompok populasi.

Selain inferensi kausal, HypEx dilengkapi dengan alat pengujian AB yang tangguh, termasuk metode Difference-in-Differences (Diff-in-Diff) dan CUPED, untuk menguji hipotesis secara ketat dan memvalidasi hasil eksperimen.

Fitur

• Pencocokan Faiss KNN : Memanfaatkan Faiss untuk pencarian tetangga terdekat yang efisien dan tepat, menyelaraskan dengan RCM untuk pencocokan pasangan yang optimal.
• Filter Data : Filter outlier dan Spearman bawaan memastikan kualitas data untuk pencocokan.
• Validasi Hasil : Menawarkan beberapa metode validasi, termasuk perlakuan acak, validasi fitur, dan subset.
• Pengujian Data : Menggabungkan pengujian SMD, KS, PSI, dan Berulang untuk menegaskan kekokohan estimasi efek.
• Pemilihan Fitur : Menggunakan pemilihan fitur LGBM dan Catboost untuk menentukan fitur yang paling berdampak untuk analisis sebab akibat.
• AB Testing Suite : Menampilkan serangkaian alat pengujian AB untuk evaluasi hipotesis yang komprehensif.
• Dukungan stratifikasi : Stratifikasi kelompok untuk analisis yang berbeda
• Dukungan bobot : Perkuat analisis Anda dengan menetapkan bobot khusus pada fitur, sehingga meningkatkan presisi pencocokan agar sesuai dengan kebutuhan riset spesifik Anda

Peringatan

Beberapa fungsi di HypEx dapat memfasilitasi penyelesaian tugas tambahan tertentu tetapi tidak dapat mengotomatiskan keputusan pada desain eksperimen. Di bawah ini, kami akan membahas fitur-fitur yang diterapkan di HypEx tetapi tidak mengotomatiskan desain eksperimen.

Catatan: Untuk Pencocokan, disarankan untuk tidak menggunakan lebih dari 7 fitur karena dapat mengakibatkan kutukan dimensi, sehingga hasilnya tidak representatif.

Pemilihan Fitur

Pemilihan fitur memodelkan pentingnya fitur untuk keakuratan perkiraan target. Namun, tidak menutup kemungkinan adanya fitur yang terabaikan, dampak kompleks fitur terhadap deskripsi target, atau pentingnya fitur dari perspektif logika bisnis. Algoritma tidak akan berfungsi dengan benar jika terjadi kebocoran data.

Hal-hal yang perlu dipertimbangkan ketika memilih fitur:

• Kebocoran data - hal ini seharusnya tidak terjadi.
• Pengaruh terhadap distribusi pengobatan - fitur tidak boleh mempengaruhi distribusi pengobatan.
• Target harus dapat dijelaskan berdasarkan fitur.
• Semua fitur yang secara signifikan mempengaruhi target harus disertakan.
• Alasan bisnis dari fitur.
• Fungsi pemilihan fitur dapat berguna untuk mengatasi tugas-tugas ini, namun tidak menyelesaikannya, juga tidak membebaskan pengguna dari tanggung jawab atas pemilihannya, juga tidak membenarkannya.

Tautan ke ReadTheDocs

Perawatan Acak

Algoritme Perlakuan Acak mengacak perlakuan sebenarnya secara acak. Diharapkan efek pengobatan pada target akan mendekati 0.

Metode ini tidak cukup akurat sebagai penanda kesuksesan eksperimen.

Tautan ke ReadTheDocs

Instalasi

pip install -U hypex

Mulai cepat

Jelajahi contoh penggunaan dan tutorial di sini.

Contoh yang cocok

 from hypex import Matcher
from hypex . utils . tutorial_data_creation import create_test_data

# Define your data and parameters
df = create_test_data ( rs = 42 , na_step = 45 , nan_cols = [ 'age' , 'gender' ])

info_col = [ 'user_id' ]
outcome = 'post_spends'
treatment = 'treat'
model = Matcher ( input_data = df , outcome = outcome , treatment = treatment , info_col = info_col )
results , quality_results , df_matched = model . estimate ()

Contoh tes AA

 from hypex import AATest
from hypex . utils . tutorial_data_creation import create_test_data

data = create_test_data ( rs = 52 , na_step = 10 , nan_cols = [ 'age' , 'gender' ])

info_cols = [ 'user_id' , 'signup_month' ]
target = [ 'post_spends' , 'pre_spends' ]

experiment = AATest ( info_cols = info_cols , target_fields = target )
results = experiment . process ( data , iterations = 1000 )
results . keys ()

Contoh uji AB

 from hypex import ABTest
from hypex . utils . tutorial_data_creation import create_test_data

data = create_test_data ( rs = 52 , na_step = 10 , nan_cols = [ 'age' , 'gender' ])

model = ABTest ()
results = model . execute (
    data = data ,
    target_field = 'post_spends' ,
    target_field_before = 'pre_spends' ,
    group_field = 'group'
)

model . show_beautiful_result ()

Dokumentasi

Untuk informasi lebih rinci tentang perpustakaan dan fitur-fiturnya, kunjungi dokumentasi kami di ReadTheDocs.

Anda akan menemukan panduan dan tutorial komprehensif yang akan membantu Anda memulai HypEx, serta dokumentasi API terperinci untuk kasus penggunaan tingkat lanjut.

Kontribusi

Bergabunglah dengan komunitas kami yang dinamis! Untuk pedoman dalam berkontribusi, melaporkan masalah, atau mencari dukungan, silakan merujuk ke Pedoman Berkontribusi kami.

Informasi & Sumber Daya Lebih Lanjut

Habr (ru) - temukan bagaimana HypEx merevolusi inferensi kausal di berbagai bidang.
Seminar pengujian A/B - Seminar dalam NoML tentang pencocokan dan pengujian A/B
Mencocokkan dengan HypEx: Panduan Sederhana - Panduan pencocokan sederhana dengan penjelasan
Mencocokkan dengan HypEx: Pengelompokan - Mencocokkan dengan panduan pengelompokan
HypEx vs Inferensi Kausal dan DoMengapa - temukan mengapa HypEx adalah solusi terbaik untuk inferensi kausal
HypEx vs Inferensi Kausal dan DoMengapa: bagian 2 - temukan mengapa HypEx adalah solusi terbaik untuk inferensi kausal

Menguji perpustakaan yang berbeda untuk kecepatan pencocokan

Kunjungi buku catatan ini di Kaggle dan perkirakan sendiri hasilnya.

Ukuran kelompok	32768	65536	131 072	262 144	524 288	1 048 576	2 097 152	4 194 304
Inferensi Kausal	46 detik	169 detik	Tidak ada	Tidak ada	Tidak ada	Tidak ada	Tidak ada	Tidak ada
LakukanMengapa	9 detik	19-an	40an	77-an	159 detik	312 detik	615 detik	1 235 detik
HypEx dengan pengelompokan	2 detik	6 detik	16 detik	42 detik	167 detik	509-an	1932-an	7 248 detik
HypEx tanpa pengelompokan	2 detik	7 detik	21 detik	101 detik	273 detik	982-an	3 750an	14 720an

Bergabunglah dengan Komunitas Kami

Punya pertanyaan atau ingin berdiskusi tentang HypEx? Bergabunglah dengan obrolan Telegram kami dan terhubung dengan komunitas dan pengembang.

Kesimpulan

HypEx berdiri sebagai sumber daya yang sangat diperlukan bagi analis data dan peneliti yang mempelajari inferensi kausal dan pengujian AB. Dengan kemampuan otomatisnya, teknik pencocokan canggih, dan prosedur validasi menyeluruh, HypEx siap mengungkap hubungan sebab akibat dalam kumpulan data kompleks dengan kecepatan dan presisi yang belum pernah terjadi sebelumnya.