HypEx

HypEx: kit de herramientas de prueba AB y inferencia causal avanzada

Introducción

HypEx (Hypotheses and Experiments) es una biblioteca integral diseñada para optimizar los procesos de inferencia causal y pruebas AB en el análisis de datos. Desarrollado para lograr eficiencia y eficacia, HypEx emplea el modelo causal de Rubin (RCM) para emparejar pares estrechamente relacionados, asegurando comparaciones de grupos equitativas al estimar los efectos del tratamiento.

Con un proceso totalmente automatizado, HypEx calcula hábilmente el efecto promedio del tratamiento (ATE), el efecto promedio del tratamiento en los tratados (ATT) y el efecto promedio del tratamiento en el control (ATC). Ofrece una interfaz estandarizada para ejecutar estas estimaciones, proporcionando información sobre el impacto de las intervenciones en varios subgrupos de población.

Más allá de la inferencia causal, HypEx está equipado con sólidas herramientas de prueba AB, incluidos los métodos de diferencia en diferencias (Diff-in-Diff) y CUPED, para probar hipótesis rigurosamente y validar resultados experimentales.

Características

• Faiss KNN Matching : utiliza Faiss para búsquedas eficientes y precisas de vecinos más cercanos, alineándose con RCM para una coincidencia de pares óptima.
• Filtros de datos : los filtros Spearman y de valores atípicos integrados garantizan la calidad de los datos para las coincidencias.
• Validación de resultados : ofrece múltiples métodos de validación, incluidas validaciones de tratamiento aleatorio, características y subconjuntos.
• Pruebas de datos : incorpora pruebas SMD, KS, PSI y repeticiones para afirmar la solidez de las estimaciones de efectos.
• Selección de funciones : Emplea la selección de funciones LGBM y Catboost para identificar las funciones más impactantes para el análisis causal.
• AB Testing Suite : presenta un conjunto de herramientas de pruebas AB para una evaluación integral de hipótesis.
• Soporte de estratificación : estratifique grupos para un análisis matizado
• Compatibilidad con ponderaciones : potencie su análisis asignando ponderaciones personalizadas a las funciones, mejorando la precisión de coincidencia para satisfacer sus necesidades de investigación específicas.

Advertencias

Algunas funciones de HypEx pueden facilitar la resolución de tareas auxiliares específicas, pero no pueden automatizar decisiones sobre el diseño de experimentos. A continuación, analizaremos las funciones que se implementan en HypEx pero que no automatizan el diseño de experimentos.

Nota: Para la coincidencia, se recomienda no utilizar más de 7 funciones, ya que podría provocar la maldición de la dimensionalidad y hacer que los resultados no sean representativos.

Selección de funciones

La selección de características modela la importancia de las características para la precisión de la aproximación del objetivo. Sin embargo, no descarta la posibilidad de que se pasen por alto características, el impacto complejo de las características en la descripción del objetivo o la importancia de las características desde una perspectiva de lógica empresarial. El algoritmo no funcionará correctamente si hay fugas de datos.

Puntos a considerar al seleccionar funciones:

• Fugas de datos: no deberían estar presentes.
• Influencia en la distribución del tratamiento: las características no deberían afectar la distribución del tratamiento.
• El objetivo debe poder describirse mediante características.
• Deben incluirse todas las características que afecten significativamente al objetivo.
• La lógica empresarial de las características.
• La función de selección de funciones puede resultar útil para abordar estas tareas, pero no las soluciona ni exime al usuario de la responsabilidad de su selección, ni la justifica.

Enlace a ReadTheDocs

Tratamiento aleatorio

El algoritmo de tratamiento aleatorio mezcla aleatoriamente el tratamiento real. Se espera que el efecto del tratamiento sobre el objetivo sea cercano a 0.

Este método no es un marcador suficientemente preciso de un experimento exitoso.

Enlace a ReadTheDocs

Instalación

pip install -U hypex

Inicio rápido

Explore ejemplos de uso y tutoriales aquí.

Ejemplo coincidente

 from hypex import Matcher
from hypex . utils . tutorial_data_creation import create_test_data

# Define your data and parameters
df = create_test_data ( rs = 42 , na_step = 45 , nan_cols = [ 'age' , 'gender' ])

info_col = [ 'user_id' ]
outcome = 'post_spends'
treatment = 'treat'
model = Matcher ( input_data = df , outcome = outcome , treatment = treatment , info_col = info_col )
results , quality_results , df_matched = model . estimate ()

Ejemplo de prueba AA

 from hypex import AATest
from hypex . utils . tutorial_data_creation import create_test_data

data = create_test_data ( rs = 52 , na_step = 10 , nan_cols = [ 'age' , 'gender' ])

info_cols = [ 'user_id' , 'signup_month' ]
target = [ 'post_spends' , 'pre_spends' ]

experiment = AATest ( info_cols = info_cols , target_fields = target )
results = experiment . process ( data , iterations = 1000 )
results . keys ()

Ejemplo de prueba AB

 from hypex import ABTest
from hypex . utils . tutorial_data_creation import create_test_data

data = create_test_data ( rs = 52 , na_step = 10 , nan_cols = [ 'age' , 'gender' ])

model = ABTest ()
results = model . execute (
    data = data ,
    target_field = 'post_spends' ,
    target_field_before = 'pre_spends' ,
    group_field = 'group'
)

model . show_beautiful_result ()

Documentación

Para obtener información más detallada sobre la biblioteca y sus características, visite nuestra documentación en ReadTheDocs.

Encontrará guías y tutoriales completos que lo ayudarán a comenzar con HypEx, así como documentación API detallada para casos de uso avanzados.

Contribuciones

¡Únase a nuestra vibrante comunidad! Para obtener pautas sobre cómo contribuir, informar problemas o buscar ayuda, consulte nuestras Pautas de contribución.

Más información y recursos

Habr (ru): descubra cómo HypEx está revolucionando la inferencia causal en varios campos.
Seminario de pruebas A/B - Seminario en NoML sobre emparejamiento y pruebas A/B
Emparejamiento con HypEx: Guía simple - Guía de emparejamiento simple con explicación
Emparejamiento con HypEx: Agrupación - Emparejamiento con guía de agrupación
HypEx vs Causal Inference y DoWhy: descubra por qué HypEx es la mejor solución para la inferencia causal
HypEx vs Inferencia causal y DoWhy: parte 2: descubra por qué HypEx es la mejor solución para la inferencia causal

Probar diferentes bibliotecas para determinar la velocidad de coincidencia

Visite este cuaderno en Kaggle y calcule los resultados usted mismo.

Tamaño del grupo	32 768	65 536	131 072	262 144	524 288	1 048 576	2 097 152	4 194 304
Inferencia causal	46s	169s	Ninguno	Ninguno	Ninguno	Ninguno	Ninguno	Ninguno
hacer por qué	9s	19 años	40 años	77	159s	312	615	1 235s
HypEx con agrupación	2s	6s	16	42s	167s	509	1 932	7 248
HypEx sin agrupar	2s	7s	21	101	273s	982	3 750	14 720

Únase a nuestra comunidad

¿Tiene preguntas o quiere hablar sobre HypEx? Únase a nuestro chat de Telegram y conéctese con la comunidad y los desarrolladores.

Conclusión

HypEx se erige como un recurso indispensable para los analistas de datos e investigadores que profundizan en la inferencia causal y las pruebas AB. Con sus capacidades automatizadas, técnicas de comparación sofisticadas y procedimientos de validación exhaustivos, HypEx está preparado para desentrañar relaciones causales en conjuntos de datos complejos con una velocidad y precisión sin precedentes.