กรอบการทำงานเชิงกำเนิดเพื่อเชื่อมโยงแบบจำลองที่ขับเคลื่อนด้วยข้อมูลและทฤษฎีทางวิทยาศาสตร์ในด้านประสาทวิทยาศาสตร์ทางภาษา (arXiv 2024)
การอธิบายโมดูลข้อความกล่องดำในภาษาธรรมชาติด้วยโมเดลภาษา (arXiv 2023)
Repo นี้มีโค้ดสำหรับทำซ้ำการทดลองในเอกสาร GEM-V และเอกสาร SASC SASC นำเข้าโมดูลข้อความและสร้างคำอธิบายที่เป็นธรรมชาติซึ่งอธิบายว่าอินพุตประเภทใดทำให้เกิดการตอบสนองที่ใหญ่ที่สุดจากโมดูล (ดูรูปด้านล่าง) การทดสอบ GEM-V จะทดสอบสิ่งนี้โดยละเอียดในการตั้งค่า fMRI
SASC นั้นคล้ายคลึงกับรายงานที่เกิดขึ้นพร้อมกันที่ดีของ OpenAI แต่ทำให้คำอธิบายง่ายขึ้นเพื่ออธิบายฟังก์ชันแทนที่จะสร้างการเปิดใช้งานระดับโทเค็น สิ่งนี้ทำให้ง่ายขึ้น/เร็วขึ้น และทำให้มีประสิทธิภาพมากขึ้นในการอธิบายฟังก์ชันเชิงความหมายจากข้อมูลที่จำกัด (เช่น fMRI voxels) แต่แย่กว่าในการค้นหารูปแบบที่ขึ้นอยู่กับลำดับ/ลำดับ
สำหรับอินเทอร์เฟซ scikit-learn อย่างง่ายเพื่อใช้ SASC ให้ใช้ไลบรารี imodelsX ติดตั้งด้วย pip install imodelsx
จากนั้นด้านล่างจะแสดงตัวอย่างการเริ่มต้นอย่างรวดเร็ว
จาก imodelsx import expl_module_sasc# โมดูลของเล่นที่ตอบสนองต่อความยาวของ stringmod = lambda str_list: np.array([len(s) for s in str_list])# ชุดข้อมูลของเล่นที่สตริงที่ยาวที่สุดคือanimalstext_str_list = ["red" , "สีน้ำเงิน", "x", "1", "2", "ฮิปโปโปเตมัส", "ช้าง", "แรด"]explanation_dict = expl_module_sasc(text_str_list,mod,ngrams=1, -
ดูการทดลอง fMRI ที่เกี่ยวข้อง
สร้างจากเทมเพลตนี้
@misc{antonello2024generativeframeworkbridgedatadriven, title={กรอบงานกำเนิดเพื่อเชื่อมโยงแบบจำลองที่ขับเคลื่อนด้วยข้อมูลและทฤษฎีทางวิทยาศาสตร์ในด้านประสาทวิทยาศาสตร์ทางภาษา}, author={Richard Antonello และ Chandan Singh และ Shailee Jain และ Aliyah Hsu และ Jianfeng Gao และ Bin Yu และ Alexander Huth}, year={2024}, eprint={2410.00812}, archivePrefix={arXiv}, primaryClass={cs.CL} , url={https://arxiv.org/abs/2410.00812}, }@misc{singh2023explaining, title={อธิบายโมดูลข้อความกล่องดำในภาษาธรรมชาติด้วยโมเดลภาษา}, author={Chandan Singh และ Aliyah R. Hsu และ Richard Antonello และ Shailee Jain และ Alexander G. Huth และ Bin Yu และ Jianfeng Gao}, year={2023}, eprint={2305.09863}, archivePrefix={arXiv}, primaryClass={ cs.AI} -