automated explanations

Penjelasan otomatis

Kerangka kerja generatif untuk menjembatani model berbasis data dan teori ilmiah dalam ilmu saraf bahasa (arXiv 2024)

Menjelaskan modul teks black box dalam bahasa natural dengan model bahasa (arXiv 2023)

Repo ini berisi kode untuk mereproduksi eksperimen di makalah GEM-V dan makalah SASC. SASC mengambil modul teks dan menghasilkan penjelasan alami yang menjelaskan jenis input apa yang menghasilkan respons terbesar dari modul (lihat Gambar di bawah). Tes GEM-V mengujinya secara mendetail dalam pengaturan fMRI.

SASC mirip dengan makalah bersamaan yang bagus dari OpenAI, tetapi menyederhanakan penjelasan untuk mendeskripsikan fungsinya daripada menghasilkan aktivasi tingkat token. Hal ini membuatnya lebih sederhana/cepat, dan membuatnya lebih efektif dalam mendeskripsikan fungsi semantik dari data terbatas (misalnya voxel fMRI) namun lebih buruk dalam menemukan pola yang bergantung pada urutan/urutan.

Untuk antarmuka scikit-learn sederhana untuk menggunakan SASC, gunakan perpustakaan imodelsX. Instal dengan pip install imodelsx maka di bawah ini menunjukkan contoh quickstart.

 dari imodelsx importexplain_module_sasc# modul mainan yang merespons panjang stringmod = lambda str_list: np.array([len(s) for s in str_list])# kumpulan data mainan dengan string terpanjang adalah animaltext_str_list = ["red" , "biru", "x", "1", "2", "kuda nil", "gajah", "badak"]explanation_dict = jelaskan_module_sasc(text_str_list,mod,ngram=1,
)

Referensi

• Lihat eksperimen fMRI terkait

• Dibangun dari templat ini

 @misc{antonello2024generativeframeworkbridgedatadriven, title={Kerangka kerja generatif untuk menjembatani model berbasis data dan teori ilmiah dalam ilmu saraf bahasa},
       author={Richard Antonello dan Chandan Singh dan Shailee Jain dan Aliyah Hsu dan Jianfeng Gao dan Bin Yu dan Alexander Huth}, year={2024}, eprint={2410.00812}, archivePrefix={arXiv}, primaryClass={cs.CL} , url={https://arxiv.org/abs/2410.00812},
 }@misc{singh2023explaining, title={Menjelaskan modul teks kotak hitam dalam bahasa alami dengan model bahasa},
       author={Chandan Singh dan Aliyah R. Hsu dan Richard Antonello dan Shailee Jain dan Alexander G. Huth dan Bin Yu dan Jianfeng Gao}, year={2023}, eprint={2305.09863}, archivePrefix={arXiv}, primaryClass={ cs.AI}
}