automated explanations

Automatisierte Erklärungen

Ein generatives Framework zur Verbindung datengesteuerter Modelle und wissenschaftlicher Theorien in der Sprachneurowissenschaft (arXiv 2024)

Erklären von Black-Box-Textmodulen in natürlicher Sprache mit Sprachmodellen (arXiv 2023)

Dieses Repo enthält Code zur Reproduktion der Experimente im GEM-V-Papier und im SASC-Papier. SASC nimmt ein Textmodul auf und erstellt eine natürliche Erklärung dafür, die beschreibt, welche Art von Eingaben die größte Reaktion vom Modul hervorrufen (siehe Abbildung unten). GEM-V-Tests testen dies detailliert in einer fMRT-Umgebung.

SASC ähnelt dem schönen Parallelpapier von OpenAI, vereinfacht jedoch die Erklärungen zur Beschreibung der Funktion, anstatt Aktivierungen auf Token-Ebene zu erzeugen. Dies macht es einfacher/schneller und macht es effektiver bei der Beschreibung semantischer Funktionen aus begrenzten Daten (z. B. fMRI-Voxel), aber schlechter bei der Suche nach Mustern, die von Sequenzen/Reihenfolgen abhängen.

Für eine einfache Scikit-Learn-Schnittstelle zur Verwendung von SASC verwenden Sie die imodelsX-Bibliothek. Installieren Sie mit pip install imodelsx Nachfolgend sehen Sie ein Schnellstartbeispiel.

 from imodelsx import EXPLAIN_MODULE_SASC# ein Toy-Modul, das auf die Länge eines Strings reagiertmod = lambda str_list: np.array([len(s) for s in str_list])# ein Toy-Datensatz, bei dem die längsten Strings Animalstext_str_list = ["red" sind , „blau“, „x“, „1“, „2“, „Hippopotamus“, „Elefant“, „Nashorn“]explanation_dict = erklären_module_sasc(text_str_list,mod,ngrams=1,
)

Referenz

• Siehe verwandte fMRT-Experimente

• Basierend auf dieser Vorlage erstellt

 @misc{antonello2024generativeframeworkbridgedatadriven, title={Ein generatives Framework zur Brücke zwischen datengesteuerten Modellen und wissenschaftlichen Theorien in der Sprachneurowissenschaft},
       Autor={Richard Antonello und Chandan Singh und Shailee Jain und Aliyah Hsu und Jianfeng Gao und Bin Yu und Alexander Huth}, Jahr={2024}, eprint={2410.00812}, archivePrefix={arXiv}, PrimaryClass={cs.CL} , url={https://arxiv.org/abs/2410.00812},
 }@misc{singh2023explaining, title={Black-Box-Textmodule in natürlicher Sprache mit Sprachmodellen erklären},
       Autor={Chandan Singh und Aliyah R. Hsu und Richard Antonello und Shailee Jain und Alexander G. Huth und Bin Yu und Jianfeng Gao}, Jahr={2023}, eprint={2305.09863}, archivePrefix={arXiv}, PrimaryClass={ cs.AI}
}