HypEx

HypEx: Kit de ferramentas de inferência causal avançada e teste AB

Introdução

HypEx (Hipóteses e Experimentos) é uma biblioteca abrangente criada para agilizar a inferência causal e os processos de teste AB na análise de dados. Desenvolvido para eficiência e eficácia, o HypEx emprega o Modelo Causal de Rubin (RCM) para combinar pares intimamente relacionados, garantindo comparações equitativas de grupos ao estimar os efeitos do tratamento.

Apresentando um pipeline totalmente automatizado, o HypEx calcula habilmente o Efeito Médio do Tratamento (ATE), o Efeito Médio do Tratamento no Tratado (ATT) e o Efeito Médio do Tratamento no Controle (ATC). Oferece uma interface padronizada para a execução destas estimativas, fornecendo informações sobre o impacto das intervenções em vários subgrupos populacionais.

Além da inferência causal, o HypEx está equipado com ferramentas robustas de teste AB, incluindo métodos Difference-in-Differences (Diff-in-Diff) e CUPED, para testar rigorosamente hipóteses e validar resultados experimentais.

Características

• Correspondência Faiss KNN : utiliza Faiss para pesquisas eficientes e precisas do vizinho mais próximo, alinhando-se com RCM para correspondência ideal de pares.
• Filtros de dados : filtros outlier e Spearman integrados garantem a qualidade dos dados para correspondência.
• Validação de resultado : oferece vários métodos de validação, incluindo tratamento aleatório, recurso e validações de subconjunto.
• Testes de dados : incorpora testes SMD, KS, PSI e repetições para afirmar a robustez das estimativas de efeito.
• Seleção de recursos : emprega seleção de recursos LGBM e Catboost para identificar os recursos mais impactantes para análise causal.
• AB Testing Suite : Apresenta um conjunto de ferramentas de teste AB para avaliação abrangente de hipóteses.
• Suporte à estratificação : estratifique grupos para análises diferenciadas
• Suporte a pesos : potencialize sua análise atribuindo pesos personalizados aos recursos, melhorando a precisão da correspondência para atender às suas necessidades específicas de pesquisa

Avisos

Algumas funções do HypEx podem facilitar a resolução de tarefas auxiliares específicas, mas não podem automatizar decisões sobre o projeto de experimentos. Abaixo, discutiremos recursos que são implementados no HypEx, mas não automatizam o projeto de experimentos.

Nota: Para Matching, é recomendado não usar mais de 7 recursos, pois isso pode resultar na maldição da dimensionalidade, tornando os resultados pouco representativos.

Seleção de recursos

A seleção de recursos modela a importância dos recursos para a precisão da aproximação do alvo. No entanto, isso não exclui a possibilidade de recursos negligenciados, o impacto complexo dos recursos na descrição do alvo ou a importância dos recursos do ponto de vista da lógica de negócios. O algoritmo não funcionará corretamente se houver vazamento de dados.

Pontos a considerar ao selecionar recursos:

• Vazamentos de dados – estes não deveriam estar presentes.
• Influência na distribuição do tratamento – as características não devem afetar a distribuição do tratamento.
• O alvo deve ser descritível por recursos.
• Todas as características que afetem significativamente o alvo devem ser incluídas.
• A lógica comercial dos recursos.
• A função de seleção de funcionalidades pode ser útil para resolver estas tarefas, mas não as resolve nem isenta o utilizador da responsabilidade pela sua seleção, nem a justifica.

Link para ReadTheDocs

Tratamento Aleatório

O algoritmo de tratamento aleatório embaralha aleatoriamente o tratamento real. Espera-se que o efeito do tratamento no alvo seja próximo de 0.

Este método não é um marcador suficientemente preciso de um experimento bem-sucedido.

Link para ReadTheDocs

Instalação

pip install -U hypex

Início rápido

Explore exemplos de uso e tutoriais aqui.

Exemplo de correspondência

 from hypex import Matcher
from hypex . utils . tutorial_data_creation import create_test_data

# Define your data and parameters
df = create_test_data ( rs = 42 , na_step = 45 , nan_cols = [ 'age' , 'gender' ])

info_col = [ 'user_id' ]
outcome = 'post_spends'
treatment = 'treat'
model = Matcher ( input_data = df , outcome = outcome , treatment = treatment , info_col = info_col )
results , quality_results , df_matched = model . estimate ()

Exemplo de teste AA

 from hypex import AATest
from hypex . utils . tutorial_data_creation import create_test_data

data = create_test_data ( rs = 52 , na_step = 10 , nan_cols = [ 'age' , 'gender' ])

info_cols = [ 'user_id' , 'signup_month' ]
target = [ 'post_spends' , 'pre_spends' ]

experiment = AATest ( info_cols = info_cols , target_fields = target )
results = experiment . process ( data , iterations = 1000 )
results . keys ()

Exemplo de teste AB

 from hypex import ABTest
from hypex . utils . tutorial_data_creation import create_test_data

data = create_test_data ( rs = 52 , na_step = 10 , nan_cols = [ 'age' , 'gender' ])

model = ABTest ()
results = model . execute (
    data = data ,
    target_field = 'post_spends' ,
    target_field_before = 'pre_spends' ,
    group_field = 'group'
)

model . show_beautiful_result ()

Documentação

Para informações mais detalhadas sobre a biblioteca e seus recursos, visite nossa documentação no ReadTheDocs.

Você encontrará guias e tutoriais completos que ajudarão você a começar a usar o HypEx, bem como documentação detalhada da API para casos de uso avançados.

Contribuições

Junte-se à nossa comunidade vibrante! Para obter orientações sobre como contribuir, relatar problemas ou buscar suporte, consulte nossas Diretrizes de Contribuição.

Mais informações e recursos

Habr (ru) - descubra como o HypEx está revolucionando a inferência causal em vários campos.
Seminário de testes A/B - Seminário em NoML sobre correspondência e testes A/B
Combinando com HypEx: Guia Simples - Guia de correspondência simples com explicação
Correspondência com HypEx: Agrupamento - Guia de correspondência com agrupamento
HypEx vs Inferência Causal e DoWhy – descubra por que HypEx é a melhor solução para inferência causal
HypEx vs Inferência Causal e DoWhy: parte 2 - descubra por que HypEx é a melhor solução para inferência causal

Testando diferentes bibliotecas quanto à velocidade de correspondência

Visite este caderno no Kaggle e estime os resultados você mesmo.

Tamanho do grupo	32 768	65 536	131 072	262 144	524 288	1.048.576	2.097.152	4 194 304
Inferência causal	46s	169	Nenhum	Nenhum	Nenhum	Nenhum	Nenhum	Nenhum
Faça por que	9s	19 anos	40 anos	Anos 77	159	312s	615	1.235s
HypEx com agrupamento	2s	6s	16 anos	42s	167s	509	1932	7 248s
HypEx sem agrupamento	2s	7s	21 anos	101s	273s	982	3 750	14 anos 720

Junte-se à nossa comunidade

Tem dúvidas ou deseja discutir sobre HypEx? Participe do nosso chat do Telegram e conecte-se com a comunidade e os desenvolvedores.

Conclusão

HypEx se destaca como um recurso indispensável para analistas de dados e pesquisadores que se aprofundam em inferência causal e testes AB. Com seus recursos automatizados, técnicas sofisticadas de correspondência e procedimentos de validação completos, a HypEx está preparada para desvendar relações causais em conjuntos de dados complexos com velocidade e precisão sem precedentes.