Deep Learning for BCI - Deep Learning for BCI

Deep Learning for BCI

Kode Sumber AI

1.0.0

Unduh

Pembelajaran Mendalam untuk Antarmuka Otak-Komputer (BCI)

Penulis buku: Dr. Xiang Zhang ([email protected]), Prof. Lina Yao ([email protected])

Memperbarui

Seluruh data 109 subjek dari EEGMMIDB yang diproses dengan baik dan siap DL telah diunggah!

Ringkasan

Tutorial ini berisi kode notebook python dan jupyter yang dapat diterapkan serta kumpulan data benchmark untuk mempelajari cara mengenali sinyal otak berdasarkan model pembelajaran mendalam. Tutorial ini mengaitkan survei kami tentang sinyal otak non-invasif berbasis DL dan buku tentang BCI berbasis DL: Representasi, Algoritma, dan Aplikasi.

Kami menyajikan taksonomi baru paradigma sinyal BCI menurut metode akuisisi. ECOG: Elektrokortikografi, EEG: Elektroensefalografi, fNIRS: spektroskopi inframerah dekat fungsional, fMRI: pencitraan resonansi magnetik fungsional, EOG: Elektrookulografi, MEG: Magnetoensephalografi.

Kami secara sistematis memperkenalkan pengetahuan dasar model pembelajaran mendalam. MLP: Perceptron Multi-Lapisan, RNN: Jaringan Neural Berulang, CNN: Jaringan Neural Konvolusional, LSTM: Memori Jangka Pendek Panjang, GRU: Unit Berulang Berpagar, AE: Autoencoder, RBM: Mesin Boltzmann Terbatas, DBN: Deep Belief Networks, VAE : Autoencoder Variasional, GAN: Jaringan Adversarial Generatif. D-AE menunjukkan Stacked-Autoencoder yang mengacu pada autoencoder dengan beberapa lapisan tersembunyi. Deep Belief Network dapat terdiri dari AE atau RBM, oleh karena itu, kami membagi DBN menjadi DBN-AE (stacked AE) dan DBN-RBM (stacked RBM).

Selain itu, pedoman investigasi dan desain sistem BCI disediakan dari aspek kategori sinyal, model pembelajaran mendalam, dan aplikasi. Gambar berikut menunjukkan distribusi sinyal dan model DL dalam studi BCI berbasis DL perbatasan.

Distribusi berdasarkan sinyal	Distribusi pada model DL

Perhatian khusus telah diberikan pada studi mutakhir tentang pembelajaran mendalam untuk penelitian BCI berbasis EEG dalam hal algoritma. Secara khusus, kami memperkenalkan sejumlah algoritme dan kerangka kerja pembelajaran mendalam tingkat lanjut yang ditujukan untuk beberapa masalah utama di BCI termasuk pembelajaran representasi sinyal otak yang kuat, klasifikasi lintas skenario, dan klasifikasi semi-supervisi.
Selain itu, beberapa prototipe baru sistem BCI berbasis pembelajaran mendalam diusulkan yang menjelaskan aplikasi dunia nyata seperti otentikasi, rekonstruksi visual, interpretasi bahasa, dan diagnosis gangguan neurologis. Penerapan semacam ini dapat memberikan manfaat besar bagi individu yang sehat dan penyandang disabilitas dalam kehidupan nyata.

Kumpulan Data BCI

Pengumpulan sinyal otak memerlukan biaya finansial dan waktu. Kami secara ekstensif mengeksplorasi kumpulan data tolok ukur yang berlaku untuk penelitian sinyal hujan dan menyediakan 31 kumpulan data publik dengan tautan unduhan yang mencakup sebagian besar jenis sinyal otak.

Sinyal Otak	Kumpulan data	#-Subjek	#-Kelas	Tingkat Pengambilan Sampel (Hz)	#-Saluran	Tautan Unduh
FM EcoG	BCI-C IV, Kumpulan data IV	3	5	1000	48 -- 64	Link
MI EcoG	BCI-C III Kumpulan data I	1	2	1000	64	Link
EEG tidur	Telemetri Tidur-EDF	22	6	100	2 EEG, 1 EOG, 1 EMG	Link
EEG tidur	Tidur-EDF: Kaset	78	6	100, 1	2 EEG (100Hz), 1 EOG (100Hz), 1 EMG (1 Hz)	Link
EEG tidur	MASSA-1	53	5	256	17/19 EEG, 2 EOG, 5 EMG	Link
EEG tidur	MASSA-2	19	6	256	19 EEG, 4 EOG, 1EMG	Link
EEG tidur	MASSA-3	62	5	256	20 EEG, 2 EOG, 3 EMG	Link
EEG tidur	MASSA-4	40	6	256	4 EEG, 4 EOG, 1 EMG	Link
EEG tidur	MASSA-5	26	6	256	20 EEG, 2 EOG, 3 EMG	Link
EEG tidur	SHS	5804	T/A	125, 50	2 EEG (125Hz), 1EOG (50Hz), 1 EMG (125Hz)	Link
Kejang EEG	CHB-MIT	22	2	256	18	Link
Kejang EEG	TUH	315	2	200	19	Link
MI EEG	EEGMMI	109	4	160	64	Link
MI EEG	BCI-C II, Kumpulan data III	1	2	128	3	Link
MI EEG	BCI-C III, Kumpulan data III a	3	4	250	60	Link
MI EEG	BCI-C III, Kumpulan data III b	3	2	125	2	Link
MI EEG	BCI-C III, Kumpulan data IV a	5	2	1000	118	Link
MI EEG	BCI-C III, Kumpulan data IV b	1	2	1001	119	Link
MI EEG	BCI-C III, Kumpulan data IV c	1	2	1002	120	Link
MI EEG	BCI-C IV, Kumpulan data I	7	2	1000	64	Link
MI EEG	BCI-C IV, Kumpulan data II a	9	4	250	22 EEG, 3 EOG	Link
MI EEG	BCI-C IV, Kumpulan data II b	9	2	250	3 EEG, 3 EOG	Link
EEG emosional	AMIGOS	40	4	128	14	Link
EEG emosional	BENIH	15	3	200	62	Link
EEG emosional	DEAP	32	4	512	32	Link
EEG lainnya	Buka MIIR	10	12	512	64	Link
VEP	BCI-C II, Kumpulan data II b	1	36	240	64	Link
VEP	BCI-C III, Kumpulan data II	2	26	240	64	Link
fMRI	ADNI	202	3	T/A	T/A	Link
fMRI	ANAK	65	4	T/A	T/A	Link
MEG	BCI-C IV, Kumpulan data III	2	4	400	10	Link

Agar pembaca dapat mengakses kumpulan data dengan cepat dan dapat memainkannya, kami menyediakan kumpulan data EEG Motor Movement/Imagery Database (EEGMMIDB) yang telah diproses dengan baik dan siap digunakan. Dataset ini berisi 109 subjek sedangkan sinyal EEG direkam dalam 64 saluran dengan sampling rate 160 Hz. Setelah pembersihan dan pengurutan, setiap file npy mewakili subjek: bentuk data setiap file npy adalah [N, 65], 64 kolom pertama berhubungan dengan 64 fitur saluran, kolom terakhir menunjukkan label kelas. N bervariasi untuk subjek yang berbeda, namun N harus antara 259520 atau 255680. Ini adalah perbedaan yang melekat pada kumpulan data asli.

Menjalankan kode

Dalam file tutorial kami, Anda akan mempelajari alur dan alur kerja sistem BCI termasuk perolehan data, pra-pemrosesan, ekstraksi fitur (opsional), klasifikasi, dan evaluasi. Kami menyajikan referensi yang diperlukan dan kode yang dapat ditindaklanjuti dari model pembelajaran mendalam yang paling umum (GRU, LSTM, CNN, GNN) sambil memanfaatkan ketergantungan temporal, spasial, dan topografi. Kami juga menyediakan kode python yang sangat berguna. Misalnya, untuk memeriksa kinerja klasifikasi EEG CNN, jalankan kode berikut:

 python 4-2_CNN.py

Untuk pemula PyTorch, kami sangat merekomendasikan Tutorial PyTorch Morvan Zhou.

Sumber daya bab

Untuk algoritme dan aplikasi yang diperkenalkan dalam buku ini, kami menyediakan kode implementasi yang diperlukan (versi TensorFlow):

Pembelajaran fitur adaptif (Bab 7)
MindID: identifikasi pengguna berbasis EEG (Bab 9)
Rekonstruksi gambar berdasarkan EEG yang ditimbulkan secara visual (Bab 10)
Pengetikan otak: ubah EEG menjadi teks (Bab 11)
Diagnosis gangguan neurologis (kejang) (Bab 13)

Mengutip

Jika menurut Anda penelitian kami berguna untuk penelitian Anda, mohon pertimbangkan untuk mengutip survei atau buku kami:

 @article{zhang2020survey,
  title={A survey on deep learning-based non-invasive brain signals: recent advances and new frontiers},
  author={Zhang, Xiang and Yao, Lina and Wang, Xianzhi and Monaghan, Jessica JM and Mcalpine, David and Zhang, Yu},
  journal={Journal of Neural Engineering},
  year={2020},
  publisher={IOP Publishing}
}

@book{zhang2021deep,
  title={Deep Learning for EEG-based Brain-Computer Interface: Representations, Algorithms and Applications},
  author={Zhang, Xiang and Yao, Lina},
  year={2021},
  publisher={World Scientific Publishing}
}

Persyaratan

Kode tutorial diuji untuk bekerja di bawah Python 3.7.

Diperlukan versi terbaru Pytorch, torch-geometric, numpy, dan scipy. Semua paket dasar yang diperlukan dapat diinstal menggunakan perintah berikut: ''' pip install -r require.txt ''' Catatan: Untuk toch-geometris dan ketergantungan terkait (misal, cluster, scatter, sparse), versi yang lebih tinggi mungkin berfungsi tetapi belum diuji.