ดาวน์โหลด Deep Learning for BCI - ดาวน์โหลด Deep Learning for BCI ซอร์สโค้ด

Deep Learning for BCI

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

การเรียนรู้เชิงลึกสำหรับการเชื่อมต่อสมองและคอมพิวเตอร์ (BCI)

ผู้เขียนหนังสือ: Dr. Xiang Zhang ([email protected]), Prof. Lina Yao ([email protected])

อัปเดต

ข้อมูลที่ได้รับการประมวลผลอย่างดีและพร้อม DL ทั้งหมดจาก 109 วิชาจาก EEGMMIDB ได้รับการอัปโหลดแล้ว!

ภาพรวม

บทช่วยสอนนี้ประกอบด้วยโค้ดโน้ตบุ๊ก Python และ Jupyter ที่นำไปใช้ได้ และชุดข้อมูลการวัดประสิทธิภาพเพื่อเรียนรู้วิธีจดจำสัญญาณสมองตามโมเดลการเรียนรู้เชิงลึก บทช่วยสอนนี้เชื่อมโยงการสำรวจของเราเกี่ยวกับสัญญาณสมองที่ไม่รุกล้ำที่ใช้ DL และหนังสือเกี่ยวกับ BCI ที่ใช้ DL: การเป็นตัวแทน อัลกอริทึม และการประยุกต์

เรานำเสนออนุกรมวิธานใหม่ของกระบวนทัศน์สัญญาณ BCI ตามวิธีการได้มา ECOG: Electrocorticography, EEG: Electroencephalography, fNIRS: สเปกโทรสโกปีใกล้อินฟราเรดเชิงฟังก์ชัน, fMRI: การถ่ายภาพด้วยคลื่นสนามแม่เหล็กเชิงฟังก์ชัน, EOG: Electrooculography, MEG: Magnetoencephalography

เราแนะนำความรู้พื้นฐานของโมเดลการเรียนรู้เชิงลึกอย่างเป็นระบบ MLP: Multi-Layer Perceptron, RNN: Recurrent Neural Networks, CNN: Convolutional Neural Networks, LSTM: Long Short-Term Memory, GRU: Gated Recurrent Units, AE: Autoencoder, RBM: Restricted Boltzmann Machine, DBN: Deep Belief Networks, VAE : ตัวเข้ารหัสอัตโนมัติแบบแปรผัน, GAN: เครือข่ายฝ่ายตรงข้ามทั่วไป D-AE หมายถึง Stacked-Autoencoder ซึ่งหมายถึงตัวเข้ารหัสอัตโนมัติที่มีเลเยอร์ซ่อนอยู่หลายเลเยอร์ Deep Belief Network สามารถประกอบด้วย AE หรือ RBM ดังนั้นเราจึงแบ่ง DBN ออกเป็น DBN-AE (AE แบบเรียงซ้อน) และ DBN-RBM (RBM แบบเรียงซ้อน)

นอกจากนี้ แนวทางสำหรับการตรวจสอบและออกแบบระบบ BCI นั้นได้มาจากแง่มุมต่างๆ ของหมวดหมู่สัญญาณ โมเดลการเรียนรู้เชิงลึก และการใช้งาน รูปต่อไปนี้แสดงการกระจายของสัญญาณและแบบจำลอง DL ในการศึกษา BCI ที่มี DL เป็นพื้นฐาน

การกระจายสัญญาณ	จำหน่ายในรุ่น DL

ได้รับความสนใจเป็นพิเศษในการศึกษาล้ำสมัยเกี่ยวกับการเรียนรู้เชิงลึกสำหรับการวิจัย BCI ที่ใช้ EEG ในแง่ของอัลกอริทึม โดยเฉพาะอย่างยิ่ง เราได้แนะนำอัลกอริธึมและเฟรมเวิร์กการเรียนรู้เชิงลึกขั้นสูงจำนวนหนึ่งที่มุ่งเป้าไปที่ปัญหาสำคัญหลายประการใน BCI รวมถึงการเรียนรู้การแสดงสัญญาณสมองที่มีประสิทธิภาพ การจำแนกข้ามสถานการณ์ และการจำแนกแบบกึ่งกำกับดูแล
นอกจากนี้ ยังมีการเสนอต้นแบบใหม่ๆ ของระบบ BCI ที่ใช้การเรียนรู้เชิงลึก ซึ่งให้ความกระจ่างในการใช้งานจริง เช่น การรับรองความถูกต้อง การสร้างภาพขึ้นมาใหม่ การตีความภาษา และการวินิจฉัยความผิดปกติทางระบบประสาท การใช้งานดังกล่าวจะเป็นประโยชน์อย่างมากต่อทั้งบุคคลที่มีสุขภาพดีและผู้พิการในชีวิตจริง

ชุดข้อมูล BCI

การรวบรวมสัญญาณสมองมีค่าใช้จ่ายทั้งทางการเงินและทางโลก เราสำรวจชุดข้อมูลเกณฑ์มาตรฐานที่ใช้กับการวิจัยสัญญาณฝนอย่างกว้างขวาง และจัดเตรียมชุดข้อมูลสาธารณะ 31 ชุดพร้อมลิงก์ดาวน์โหลดที่ครอบคลุมประเภทสัญญาณสมองส่วนใหญ่

สัญญาณสมอง	ชุดข้อมูล	#-เรื่อง	#-ชั้นเรียน	อัตราการสุ่มตัวอย่าง (Hz)	#-ช่อง	ลิงค์ดาวน์โหลด
เอฟเอ็ม อีโคจี	BCI-C IV, ชุดข้อมูล IV	3	5	1,000	48 -- 64	ลิงค์
เอ็มไอ อีโคจี	บีซีไอ-ซี 3 ชุดข้อมูล I	1	2	1,000	64	ลิงค์
EEG ขณะหลับ	การวัดทางไกลของ Sleep-EDF	22	6	100	2 EEG, 1 EOG, 1 EMG	ลิงค์
EEG ขณะหลับ	Sleep-EDF: เทปคาสเซ็ต	78	6	100, 1	2 EEG (100 เฮิรตซ์), 1 EOG (100 เฮิรตซ์), 1 EMG (1 เฮิร์ตซ์)	ลิงค์
EEG ขณะหลับ	แมส-1	53	5	256	17/19 EEG, 2 EOG, 5 EMG	ลิงค์
EEG ขณะหลับ	แมส-2	19	6	256	19 EEG, 4 EOG, 1EMG	ลิงค์
EEG ขณะหลับ	มิสซา-3	62	5	256	20 อีอีจี, 2 อีโอจี, 3 อีเอ็มจี	ลิงค์
EEG ขณะหลับ	มิสซา-4	40	6	256	4 EEG, 4 EOG, 1 EMG	ลิงค์
EEG ขณะหลับ	มิสซา-5	26	6	256	20 อีอีจี, 2 อีโอจี, 3 อีเอ็มจี	ลิงค์
EEG ขณะหลับ	สชส	5804	ไม่มี	125, 50	2 EEG (125 เฮิรตซ์), 1EOG (50 เฮิรตซ์), 1 อีเอ็มจี (125 เฮิรตซ์)	ลิงค์
การจับกุม EEG	CHB-เอ็มไอที	22	2	256	18	ลิงค์
การจับกุม EEG	ธอ	315	2	200	19	ลิงค์
MI EEG	อีกมี	109	4	160	64	ลิงค์
MI EEG	BCI-C II, ชุดข้อมูล III	1	2	128	3	ลิงค์
MI EEG	BCI-C III, ชุดข้อมูล III	3	4	250	60	ลิงค์
MI EEG	BCI-C III, ชุดข้อมูล III b	3	2	125	2	ลิงค์
MI EEG	BCI-C III, ชุดข้อมูล IV	5	2	1,000	118	ลิงค์
MI EEG	BCI-C III, ชุดข้อมูล IV b	1	2	1001	119	ลิงค์
MI EEG	BCI-C III, ชุดข้อมูล IV	1	2	1002	120	ลิงค์
MI EEG	BCI-C IV ชุดข้อมูล I	7	2	1,000	64	ลิงค์
MI EEG	BCI-C IV, ชุดข้อมูล II	9	4	250	22 อีอีจี, 3 อีโอจี	ลิงค์
MI EEG	BCI-C IV, ชุดข้อมูล II ข	9	2	250	3 อีอีจี, 3 อีโอจี	ลิงค์
EEG ทางอารมณ์	อามิโกส	40	4	128	14	ลิงค์
EEG ทางอารมณ์	เมล็ดพันธุ์	15	3	200	62	ลิงค์
EEG ทางอารมณ์	ดีเอป	32	4	512	32	ลิงค์
EEG อื่นๆ	เปิด MIIR	10	12	512	64	ลิงค์
วีอีพี	BCI-C II, ชุดข้อมูล II ข	1	36	240	64	ลิงค์
วีอีพี	BCI-C III, ชุดข้อมูล II	2	26	240	64	ลิงค์
เอฟเอ็มอาร์ไอ	แอดนิ	202	3	ไม่มี	ไม่มี	ลิงค์
เอฟเอ็มอาร์ไอ	บราทส์	65	4	ไม่มี	ไม่มี	ลิงค์
เมก	BCI-C IV, ชุดข้อมูล III	2	4	400	10	ลิงค์

เพื่อให้ผู้อ่านสามารถเข้าถึงชุดข้อมูลได้อย่างรวดเร็วและสามารถเล่นได้ เราจึงจัดเตรียมชุดข้อมูลที่ได้รับการประมวลผลอย่างดีและพร้อมใช้งานของฐานข้อมูล EEG Motor Movement/Imagery Database (EEGMMIDB) ชุดข้อมูลนี้ประกอบด้วย 109 หัวข้อ ในขณะที่สัญญาณ EEG จะถูกบันทึกใน 64 ช่องสัญญาณด้วยอัตราการสุ่มตัวอย่าง 160 Hz หลังจากการล้างและการเรียงลำดับของเรา ไฟล์ npy แต่ละไฟล์แสดงถึงหัวเรื่อง: รูปร่างข้อมูลของไฟล์ npy แต่ละไฟล์คือ [N, 65] 64 คอลัมน์แรกสอดคล้องกับคุณลักษณะ 64 แชนเนล คอลัมน์สุดท้ายแสดงถึงป้ายกำกับคลาส N จะแตกต่างกันไปตามวิชาต่างๆ แต่ N ควรเป็น 259520 หรือ 255680 นี่คือความแตกต่างโดยธรรมชาติในชุดข้อมูลดั้งเดิม

กำลังรันโค้ด

ในไฟล์บทช่วยสอนของเรา คุณจะได้เรียนรู้ขั้นตอนและขั้นตอนการทำงานของระบบ BCI รวมถึงการรวบรวมข้อมูล การประมวลผลล่วงหน้า การดึงคุณลักษณะ (ไม่บังคับ) การจำแนกประเภท และการประเมินผล เรานำเสนอข้อมูลอ้างอิงที่จำเป็นและรหัสที่นำไปปฏิบัติได้ของโมเดลการเรียนรู้เชิงลึกทั่วไป (GRU, LSTM, CNN, GNN) ในขณะที่ใช้ประโยชน์จากการพึ่งพาชั่วคราว เชิงพื้นที่ และภูมิประเทศ นอกจากนี้เรายังมีโค้ด Python ที่มีประโยชน์มากอีกด้วย ตัวอย่างเช่น หากต้องการตรวจสอบประสิทธิภาพการจัดหมวดหมู่ EEG ของ CNN ให้รันโค้ดต่อไปนี้:

 python 4-2_CNN.py

สำหรับผู้เริ่มต้นใช้งาน PyTorch เราขอแนะนำบทเรียน PyTorch ของ Morvan Zhou เป็นอย่างยิ่ง

ทรัพยากรบท

สำหรับอัลกอริทึมและแอปพลิเคชันที่แนะนำในหนังสือ เรามีโค้ดการใช้งานที่จำเป็น (เวอร์ชัน TensorFlow):

การเรียนรู้คุณลักษณะแบบปรับเปลี่ยนได้ (บทที่ 7)
MindID: การระบุผู้ใช้ตาม EEG (บทที่ 9)
การสร้างภาพขึ้นใหม่โดยอาศัย EEG ที่มองเห็นได้ (บทที่ 10)
การพิมพ์สมอง: แปลง EEG เป็นข้อความ (บทที่ 11)
การวินิจฉัยความผิดปกติทางระบบประสาท (อาการชัก) (บทที่ 13)

การอ้างอิง

หากคุณพบว่างานวิจัยของเรามีประโยชน์สำหรับการวิจัยของคุณ โปรดพิจารณาอ้างอิงแบบสำรวจหรือหนังสือของเรา:

 @article{zhang2020survey,
  title={A survey on deep learning-based non-invasive brain signals: recent advances and new frontiers},
  author={Zhang, Xiang and Yao, Lina and Wang, Xianzhi and Monaghan, Jessica JM and Mcalpine, David and Zhang, Yu},
  journal={Journal of Neural Engineering},
  year={2020},
  publisher={IOP Publishing}
}

@book{zhang2021deep,
  title={Deep Learning for EEG-based Brain-Computer Interface: Representations, Algorithms and Applications},
  author={Zhang, Xiang and Yao, Lina},
  year={2021},
  publisher={World Scientific Publishing}
}

ความต้องการ

รหัสบทช่วยสอนได้รับการทดสอบว่าทำงานภายใต้ Python 3.7

ต้องใช้ Pytorch, torch-geometric, numpy และ scipy เวอร์ชันล่าสุด แพ็คเกจพื้นฐานที่จำเป็นทั้งหมดสามารถติดตั้งได้โดยใช้คำสั่งต่อไปนี้: ''' pip install -r needs.txt ''' หมายเหตุ: สำหรับ toch-geometric และการอ้างอิงที่เกี่ยวข้อง (เช่น คลัสเตอร์ กระจาย กระจัดกระจาย) เวอร์ชันที่สูงกว่าอาจ ใช้งานได้แต่ยังไม่ได้ทดสอบ