Deep Learning for BCI

التعلم العميق لواجهة الدماغ والحاسوب (BCI)

مؤلفو الكتاب: الدكتور شيانغ تشانغ ([email protected])، البروفيسور لينا ياو ([email protected])

تحديث

تم تحميل البيانات الكاملة المعالجة جيدًا والجاهزة للتنزيل لـ 109 موضوعًا من EEGMMIDB!

ملخص

يحتوي هذا البرنامج التعليمي على أكواد دفتر ملاحظات python وjupyter قابلة للتنفيذ ومجموعات بيانات مرجعية لمعرفة كيفية التعرف على إشارات الدماغ بناءً على نماذج التعلم العميق. يربط هذا البرنامج التعليمي استبياننا حول إشارات الدماغ غير التدخلية المستندة إلى DL وكتابًا عن BCI المستند إلى DL: التمثيلات والخوارزميات والتطبيقات.

• نقدم تصنيفًا جديدًا لنماذج إشارة BCI وفقًا لطرق الاستحواذ. ECOG: تخطيط كهربية القشرة، EEG: تخطيط كهربية الدماغ، fNIRS: التحليل الطيفي الوظيفي للأشعة تحت الحمراء القريبة، الرنين المغناطيسي الوظيفي: التصوير بالرنين المغناطيسي الوظيفي، EOG: تخطيط كهربية العين، MEG: تخطيط الدماغ المغناطيسي.

• نحن نقدم بشكل منهجي المعرفة الأساسية لنماذج التعلم العميق. MLP: الإدراك الحسي متعدد الطبقات، RNN: الشبكات العصبية المتكررة، CNN: الشبكات العصبية التلافيفية، LSTM: الذاكرة الطويلة قصيرة المدى، GRU: الوحدات المتكررة المسورة، AE: التشفير التلقائي، RBM: آلة بولتزمان المقيدة، DBN: شبكات الاعتقاد العميق، VAE : التشفير التلقائي المتغير، GAN: شبكات الخصومة التوليدية. يشير D-AE إلى Stacked-Autoencoder الذي يشير إلى جهاز التشفير التلقائي ذو الطبقات المخفية المتعددة. يمكن أن تتكون شبكة Deep Belief من AE أو RBM، لذلك قمنا بتقسيم DBN إلى DBN-AE (AE مكدس) وDBN-RBM (RBM مكدس).

• علاوة على ذلك، يتم توفير المبادئ التوجيهية لدراسة وتصميم أنظمة BCI من جوانب فئة الإشارة ونماذج التعلم العميق والتطبيقات. توضح الأشكال التالية التوزيع على الإشارات ونماذج DL في دراسات BCI المستندة إلى DL.

التوزيع على الإشارات	التوزيع على نماذج DL

• تم إيلاء اهتمام خاص للدراسات الحديثة حول التعلم العميق لأبحاث BCI المستندة إلى EEG من حيث الخوارزميات. على وجه التحديد، نقدم عددًا من خوارزميات وأطر التعلم العميق المتقدمة التي تستهدف العديد من المشكلات الرئيسية في واجهة التعامل مع الدماغ (BCI)، بما في ذلك التعلم القوي لتمثيل إشارات الدماغ، والتصنيف عبر السيناريوهات، والتصنيف شبه الخاضع للإشراف.

• علاوة على ذلك، تم اقتراح العديد من النماذج الأولية الجديدة لأنظمة BCI القائمة على التعلم العميق والتي تلقي الضوء على تطبيقات العالم الحقيقي مثل المصادقة، وإعادة البناء البصري، وتفسير اللغة، وتشخيص الاضطرابات العصبية. يمكن لمثل هذه التطبيقات أن تفيد الأفراد الأصحاء وذوي الإعاقة بشكل كبير في الحياة الواقعية.

مجموعة بيانات BCI

يعد جمع إشارات الدماغ مكلفًا ماليًا وزمنيًا. نحن نستكشف على نطاق واسع مجموعات البيانات المعيارية المطبقة على أبحاث إشارات المطر ونوفر 31 مجموعة بيانات عامة مع روابط تنزيل تغطي معظم أنواع إشارات الدماغ.

إشارات الدماغ	مجموعة البيانات	#-موضوع	#-الفصول	معدل أخذ العينات (هرتز)	#-القنوات	رابط التحميل
FM إيكو جي	BCI-C IV، مجموعة البيانات IV	3	5	1000	48-64	وصلة
مي إيكو جي	بي سي آي-سي إي مجموعة البيانات I	1	2	1000	64	وصلة
تخطيط كهربية الدماغ أثناء النوم	النوم-EDF القياس عن بعد	22	6	100	2 مخطط كهربية الدماغ، 1 مخطط كهربية العين، 1 مخطط كهربية العضل	وصلة
تخطيط كهربية الدماغ أثناء النوم	النوم-EDF: كاسيت	78	6	100، 1	2 مخطط كهربية الدماغ (100 هرتز)، 1 مخطط كهربية الدماغ (100 هرتز)، 1 إم جي (1 هرتز)	وصلة
تخطيط كهربية الدماغ أثناء النوم	كتلة-1	53	5	256	17/19 مخطط كهربية العين، 2 مخطط كهربية العين، 5 مخطط كهربية العين	وصلة
تخطيط كهربية الدماغ أثناء النوم	كتلة-2	19	6	256	19 إي إي جي، 4 إي أو جي، 1 إم جي	وصلة
تخطيط كهربية الدماغ أثناء النوم	كتلة-3	62	5	256	20 إي جي جي، 2 إي جي جي، 3 إي إم جي	وصلة
تخطيط كهربية الدماغ أثناء النوم	كتلة-4	40	6	256	4 تخطيط كهربية الدماغ، 4 تخطيط كهربية الدماغ، 1 تخطيط كهربية الدماغ	وصلة
تخطيط كهربية الدماغ أثناء النوم	كتلة-5	26	6	256	20 إي جي جي، 2 إي جي جي، 3 إي إم جي	وصلة
تخطيط كهربية الدماغ أثناء النوم	SHHS	5804	لا يوجد	125، 50	2 تخطيط كهربية الدماغ (125 هرتز)، 1EOG (50 هرتز)، 1 إم جي (125 هرتز)	وصلة
الاستيلاء على مخطط كهربية الدماغ	CHB-MIT	22	2	256	18	وصلة
الاستيلاء على مخطط كهربية الدماغ	توه	315	2	200	19	وصلة
مي إي إي جي	إيجمي	109	4	160	64	وصلة
مي إي إي جي	BCI-C II، مجموعة البيانات III	1	2	128	3	وصلة
مي إي إي جي	BCI-C III، مجموعة البيانات III أ	3	4	250	60	وصلة
مي إي إي جي	BCI-C III، مجموعة البيانات III ب	3	2	125	2	وصلة
مي إي إي جي	BCI-C III، مجموعة البيانات IV أ	5	2	1000	118	وصلة
مي إي إي جي	BCI-C III، مجموعة البيانات IV ب	1	2	1001	119	وصلة
مي إي إي جي	BCI-C III، مجموعة البيانات IV ج	1	2	1002	120	وصلة
مي إي إي جي	BCI-C IV، مجموعة البيانات I	7	2	1000	64	وصلة
مي إي إي جي	BCI-C IV، مجموعة البيانات II أ	9	4	250	22 جنيه مصري، 3 جنيه مصري	وصلة
مي إي إي جي	BCI-C IV، مجموعة البيانات II ب	9	2	250	3 إيج، 3 إيج	وصلة
EEG العاطفي	أميجوس	40	4	128	14	وصلة
EEG العاطفي	بذور	15	3	200	62	وصلة
EEG العاطفي	عميق	32	4	512	32	وصلة
أخرى	افتح مير	10	12	512	64	وصلة
VEP	BCI-C II، مجموعة البيانات II ب	1	36	240	64	وصلة
VEP	BCI-C III، مجموعة البيانات II	2	26	240	64	وصلة
الرنين المغناطيسي الوظيفي	أدني	202	3	لا يوجد	لا يوجد	وصلة
الرنين المغناطيسي الوظيفي	النقانق	65	4	لا يوجد	لا يوجد	وصلة
ميج	BCI-C IV، مجموعة البيانات III	2	4	400	10	وصلة

من أجل السماح للقراء بالوصول السريع إلى مجموعة البيانات ويمكنهم التلاعب بها، فإننا نقدم مجموعة البيانات المعالجة جيدًا والجاهزة للاستخدام من قاعدة بيانات حركة/صور EEG Motor (EEGMMIDB). تحتوي مجموعة البيانات هذه على 109 موضوعات بينما يتم تسجيل إشارات تخطيط كهربية الدماغ في 64 قناة بمعدل أخذ عينات يبلغ 160 هرتز. بعد المسح والفرز، يمثل كل ملف npy موضوعًا: شكل البيانات لكل ملف npy هو [N, 65]، وتتوافق الأعمدة الـ 64 الأولى مع 64 ميزة قناة، ويشير العمود الأخير إلى تسمية الفئة. يختلف N باختلاف المواضيع، ولكن يجب أن يكون N إما 259520 أو 255680. وهذا هو الفرق المتأصل في مجموعة البيانات الأصلية.

تشغيل الكود

في ملفاتنا التعليمية، سوف تتعلم خط الأنابيب وسير العمل لنظام BCI بما في ذلك الحصول على البيانات، والمعالجة المسبقة، واستخراج الميزات (اختياري)، والتصنيف، والتقييم. نقدم المراجع الضرورية والأكواد القابلة للتنفيذ لنماذج التعلم العميق الأكثر شيوعًا (GRU، LSTM، CNN، GNN) مع الاستفادة من التبعيات الزمانية والمكانية والطبوغرافية. نحن نقدم أيضًا رموز بايثون سهلة الاستخدام للغاية. على سبيل المثال، للتحقق من أداء تصنيف EEG لـ CNN، قم بتشغيل التعليمات البرمجية التالية:

 python 4-2_CNN.py 

بالنسبة للمبتدئين في PyTorch، نوصي بشدة بدروس PyTorch الخاصة بـ Morvan Zhou.

موارد الفصل

بالنسبة للخوارزميات والتطبيقات المقدمة في الكتاب، نقدم الرموز التنفيذية اللازمة (إصدار TensorFlow):

• التعلم التكيفي (الفصل 7)
• MindID: تعريف المستخدم المستند إلى EEG (الفصل 9)
• إعادة بناء الصورة بناءً على تخطيط كهربية الدماغ (EEG) المثار بصريًا (الفصل 10)
• كتابة الدماغ: تحويل مخطط كهربية الدماغ إلى نص (الفصل 11)
• تشخيص الاضطراب العصبي (النوبات) (الفصل 13)

نقلا عن

إذا وجدت أن بحثنا مفيد لبحثك، فيرجى التفكير في الاستشهاد بمسحنا أو كتابنا:

 @article{zhang2020survey,
  title={A survey on deep learning-based non-invasive brain signals: recent advances and new frontiers},
  author={Zhang, Xiang and Yao, Lina and Wang, Xianzhi and Monaghan, Jessica JM and Mcalpine, David and Zhang, Yu},
  journal={Journal of Neural Engineering},
  year={2020},
  publisher={IOP Publishing}
}

@book{zhang2021deep,
  title={Deep Learning for EEG-based Brain-Computer Interface: Representations, Algorithms and Applications},
  author={Zhang, Xiang and Yao, Lina},
  year={2021},
  publisher={World Scientific Publishing}
}

متطلبات

تم اختبار رموز البرنامج التعليمي للعمل تحت Python 3.7.

يلزم وجود إصدارات حديثة من Pytorch وtorch-geometric وnumpy وscipy. يمكن تثبيت جميع الحزم الأساسية المطلوبة باستخدام الأمر التالي: ''' pip install -r requires.txt ''' ملاحظة: بالنسبة إلى toch-geometric والتبعيات ذات الصلة (على سبيل المثال، الكتلة، والتشتت، والمتفرق)، قد يكون الإصدار الأعلى العمل ولكن لم يتم اختبارها بعد.

متنوع

يرجى إرسال أي أسئلة قد تكون لديكم حول الكود و/أو الخوارزمية إلى [email protected].

رخصة

تم ترخيص هذا البرنامج التعليمي بموجب ترخيص MIT.