Deep Learning for BCI

Deep Learning for BCI

AI 소스 코드

1.0.0

다운로드

뇌-컴퓨터 인터페이스(BCI)를 위한 딥러닝

저서: Xiang Zhang 박사([email protected]), Lina Yao 교수([email protected])

업데이트

EEGMMIDB의 109개 주제에 대해 잘 처리되고 DL 준비가 완료된 전체 데이터가 업로드되었습니다!

개요

이 튜토리얼에는 딥 러닝 모델을 기반으로 뇌 신호를 인식하는 방법을 배우기 위한 구현 가능한 Python 및 jupyter 노트북 코드와 벤치마크 데이터세트가 포함되어 있습니다. 이 튜토리얼은 DL 기반 비침습적 뇌 신호에 대한 조사와 DL 기반 BCI: 표현, 알고리즘 및 응용에 관한 책을 연결합니다.

우리는 획득 방법에 따른 BCI 신호 패러다임의 새로운 분류법을 제시합니다. ECOG: 뇌전도검사, EEG: 뇌파검사, fNIRS: 기능성 근적외선 분광학, fMRI: 기능성 자기공명영상, EOG: 뇌전도검사, MEG: 뇌자기검사.

딥러닝 모델의 기초지식을 체계적으로 소개합니다. MLP: 다층 퍼셉트론, RNN: 순환 신경망, CNN: 컨볼루셔널 신경망, LSTM: 장기 단기 기억, GRU: Gated Recurrent Units, AE: 오토인코더, RBM: 제한된 볼츠만 머신, DBN: Deep Belief Networks, VAE : Variational Autoencoder, GAN: 생성적 적대 신경망. D-AE는 여러 개의 숨겨진 레이어가 있는 오토인코더를 나타내는 Stacked-Autoencoder를 나타냅니다. Deep Belief Network는 AE 또는 RBM으로 구성될 수 있으므로 DBN을 DBN-AE(Stacked AE)와 DBN-RBM(Stacked RBM)으로 나누었습니다.

또한 신호 카테고리, 딥러닝 모델, 응용 측면에서 BCI 시스템의 조사 및 설계에 대한 지침을 제공합니다. 다음 그림은 전면 DL 기반 BCI 연구에서 신호 및 DL 모델의 분포를 보여줍니다.

신호 분포	DL 모델에 대한 배포

알고리즘 측면에서 EEG 기반 BCI 연구를 위한 딥러닝에 대한 최첨단 연구에 특별한 관심이 집중되었습니다. 특히, 강력한 뇌 신호 표현 학습, 교차 시나리오 분류 및 준지도 분류를 포함하여 BCI의 여러 주요 문제를 목표로 하는 다양한 고급 딥 러닝 알고리즘 및 프레임워크를 소개합니다.
또한 인증, 시각적 재구성, 언어 해석 및 신경 장애 진단과 같은 실제 응용 프로그램을 조명하는 딥 러닝 기반 BCI 시스템의 몇 가지 새로운 프로토타입이 제안되었습니다. 이러한 응용 프로그램은 건강한 사람과 실제 생활에서 장애가 있는 사람 모두에게 큰 도움이 될 수 있습니다.

BCI 데이터세트

뇌 신호 수집에는 금전적으로나 시간적으로 비용이 많이 듭니다. 우리는 비 신호 연구에 적용할 수 있는 벤치마크 데이터 세트를 광범위하게 탐색하고 대부분의 뇌 신호 유형을 포괄하는 다운로드 링크와 함께 31개의 공개 데이터 세트를 제공합니다.

뇌 신호	데이터세트	#-주제	#-클래스	샘플링 속도(Hz)	#-채널	다운로드 링크
FM 에코G	BCI-C IV, 데이터 세트 IV	3	5	1000	48 - 64	링크
MI 에코G	BCI-C III 데이터 세트 I	1	2	1000	64	링크
잠자는 뇌파	수면-EDF 원격 측정	22	6	100	2 EEG, 1 EOG, 1 EMG	링크
잠자는 뇌파	Sleep-EDF: 카세트	78	6	100, 1	2 EEG(100Hz), 1 EOG(100Hz), 1EMG(1Hz)	링크
잠자는 뇌파	MASS-1	53	5	256	17/19 EEG, 2 EOG, 5 EMG	링크
잠자는 뇌파	MASS-2	19	6	256	19 EEG, 4 EOG, 1EMG	링크
잠자는 뇌파	MASS-3	62	5	256	20 EEG, 2 EOG, 3 EMG	링크
잠자는 뇌파	MASS-4	40	6	256	4 EEG, 4 EOG, 1 EMG	링크
잠자는 뇌파	질량-5	26	6	256	20 EEG, 2 EOG, 3 EMG	링크
잠자는 뇌파	SHHS	5804	해당 없음	125, 50	2 EEG(125Hz), 1EOG(50Hz), 1 EMG(125Hz)	링크
발작 뇌파	CHB-MIT	22	2	256	18	링크
발작 뇌파	으아	315	2	200	19	링크
MI EEG	EEGMMI	109	4	160	64	링크
MI EEG	BCI-C II, 데이터 세트 III	1	2	128	3	링크
MI EEG	BCI-C III, 데이터 세트 III a	3	4	250	60	링크
MI EEG	BCI-C III, 데이터 세트 III b	3	2	125	2	링크
MI EEG	BCI-C III, 데이터 세트 IV a	5	2	1000	118	링크
MI EEG	BCI-C III, 데이터 세트 IV b	1	2	1001	119	링크
MI EEG	BCI-C III, 데이터 세트 IV c	1	2	1002	120	링크
MI EEG	BCI-C IV, 데이터 세트 I	7	2	1000	64	링크
MI EEG	BCI-C IV, 데이터 세트 II a	9	4	250	22 EEG, 3 EOG	링크
MI EEG	BCI-C IV, 데이터 세트 II b	9	2	250	3 EEG, 3 EOG	링크
감정적 뇌파	아미고스	40	4	128	14	링크
감정적 뇌파	씨앗	15	3	200	62	링크
감정적 뇌파	DEAP	32	4	512	32	링크
그 외 뇌파	MIIR 열기	10	12	512	64	링크
VEP	BCI-C II, 데이터 세트 II b	1	36	240	64	링크
VEP	BCI-C III, 데이터 세트 II	2	26	240	64	링크
fMRI	아드니	202	3	해당 없음	해당 없음	링크
fMRI	브라츠	65	4	해당 없음	해당 없음	링크
MEG	BCI-C IV, 데이터 세트 III	2	4	400	10	링크

독자들이 데이터 세트에 빠르게 액세스하고 이를 가지고 놀 수 있도록 하기 위해 우리는 EEG 모터 움직임/이미지 데이터베이스(EEGMMIDB)의 잘 처리되고 즉시 사용 가능한 데이터 세트를 제공합니다. 이 데이터 세트에는 109명의 대상이 포함되어 있으며 EEG 신호는 160Hz 샘플링 속도로 64개 채널에 기록됩니다. 지우고 정렬한 후 각 npy 파일은 주제를 나타냅니다. 각 npy 파일의 데이터 모양은 [N, 65]이고 처음 64개 열은 64개 채널 기능에 해당하며 마지막 열은 클래스 레이블을 나타냅니다. N은 주제마다 다르지만 N은 259520 또는 255680이어야 합니다. 이는 원본 데이터 세트의 본질적인 차이입니다.

코드 실행

튜토리얼 파일에서는 데이터 수집, 전처리, 특징 추출(선택 사항), 분류 및 평가를 포함한 BCI 시스템의 파이프라인 및 워크플로우를 학습합니다. 우리는 시간적, 공간적, 지형적 종속성을 활용하면서 가장 일반적인 딥 러닝 모델(GRU, LSTM, CNN, GNN)의 필요한 참조와 실행 가능한 코드를 제시합니다. 우리는 또한 매우 편리한 Python 코드를 제공합니다. 예를 들어 CNN의 EEG 분류 성능을 확인하려면 다음 코드를 실행하십시오.

 python 4-2_CNN.py

PyTorch 초보자에게는 Morvan Zhou의 PyTorch 튜토리얼을 적극 권장합니다.

챕터 리소스

책에 소개된 알고리즘과 애플리케이션에 대해 필요한 구현 코드(TensorFlow 버전)를 제공합니다.

적응형 특성 학습(7장)
MindID: EEG 기반 사용자 식별(9장)
시각 유발 EEG를 기반으로 한 이미지 재구성(10장)
뇌 입력: EEG를 텍스트로 변환(11장)
신경질환(발작) 진단(제13장)

인용

저희 연구가 귀하의 연구에 유용하다고 생각하시면 저희 설문조사나 책을 인용해 보시기 바랍니다:

 @article{zhang2020survey,
  title={A survey on deep learning-based non-invasive brain signals: recent advances and new frontiers},
  author={Zhang, Xiang and Yao, Lina and Wang, Xianzhi and Monaghan, Jessica JM and Mcalpine, David and Zhang, Yu},
  journal={Journal of Neural Engineering},
  year={2020},
  publisher={IOP Publishing}
}

@book{zhang2021deep,
  title={Deep Learning for EEG-based Brain-Computer Interface: Representations, Algorithms and Applications},
  author={Zhang, Xiang and Yao, Lina},
  year={2021},
  publisher={World Scientific Publishing}
}

요구사항

튜토리얼 코드는 Python 3.7에서 작동하도록 테스트되었습니다.

최신 버전의 Pytorch, torch-geometric, numpy 및 scipy가 필요합니다. 필요한 모든 기본 패키지는 다음 명령을 사용하여 설치할 수 있습니다: ''' pip install -r 요구사항.txt ''' 참고: toch-geometric 및 관련 종속 항목(예: 클러스터, 분산, 스파스)의 경우 상위 버전이 필요할 수 있습니다. 작동하지만 아직 테스트되지 않았습니다.