automated explanations

Explicações automatizadas

Uma estrutura generativa para unir modelos baseados em dados e teorias científicas na neurociência da linguagem (arXiv 2024)

Explicando módulos de texto de caixa preta em linguagem natural com modelos de linguagem (arXiv 2023)

Este repositório contém código para reproduzir os experimentos no artigo GEM-V e no artigo SASC. SASC pega um módulo de texto e produz uma explicação natural para ele que descreve quais tipos de entradas provocam a maior resposta do módulo (veja a Figura abaixo). Os testes GEM-V testam isso detalhadamente em um ambiente de fMRI.

SASC é semelhante ao belo artigo simultâneo da OpenAI, mas simplifica as explicações para descrever a função em vez de produzir ativações em nível de token. Isso o torna mais simples/rápido e mais eficaz na descrição de funções semânticas a partir de dados limitados (por exemplo, voxels de fMRI), mas pior na localização de padrões que dependem de sequências/ordenação.

Para uma interface simples do scikit-learn usar SASC, use a biblioteca imodelsX. Instale com pip install imodelsx e abaixo mostra um exemplo de início rápido.

 from imodelsx import explica_module_sasc# um módulo de brinquedo que responde ao comprimento de uma stringmod = lambda str_list: np.array([len(s) for s in str_list])# um conjunto de dados de brinquedo onde as strings mais longas são Animalstext_str_list = ["red" , "azul", "x", "1", "2", "hipopótamo", "elefante", "rinoceronte"]explanation_dict =explicar_module_sasc(text_str_list,mod,ngrams=1,
)

Referência

• Veja experimentos de fMRI relacionados

• Construído a partir deste modelo

 @misc{antonello2024generativeframeworkbridgedatadriven, title={Uma estrutura generativa para unir modelos baseados em dados e teorias científicas na neurociência da linguagem},
       autor={Richard Antonello e Chandan Singh e Shailee Jain e Aliyah Hsu e Jianfeng Gao e Bin Yu e Alexander Huth}, ano={2024}, eprint={2410.00812}, archivePrefix={arXiv}, PrimaryClass={cs.CL} , url={https://arxiv.org/abs/2410.00812},
 }@misc{singh2023explaining, title={Explicando módulos de texto de caixa preta em linguagem natural com modelos de linguagem},
       autor={Chandan Singh e Aliyah R. Hsu e Richard Antonello e Shailee Jain e Alexander G. Huth e Bin Yu e Jianfeng Gao}, ano={2023}, eprint={2305.09863}, archivePrefix={arXiv}, PrimaryClass={ cs.AI}
}