Загрузка Deep Learning for BCI - Загрузка исходного кода Deep Learning for BCI

Deep Learning for BCI

AI Исходный код

1.0.0

Скачать

Глубокое обучение для интерфейса мозг-компьютер (BCI)

Авторы книги: доктор Сян Чжан ([email protected]), профессор Лина Яо ([email protected])

Обновлять

Загружены все хорошо обработанные и готовые к DL данные по 109 субъектам из EEGMMIDB!

Обзор

Это руководство содержит реализуемые коды блокнотов Python и Jupyter, а также наборы эталонных данных, позволяющие научиться распознавать сигналы мозга на основе моделей глубокого обучения. В этом руководстве объединены наш обзор неинвазивных сигналов мозга на основе DL и книга «BCI на основе DL: представления, алгоритмы и приложения».

Мы представляем новую таксономию парадигм сигналов BCI в соответствии с методами сбора данных. ECOG: электрокортикография, EEG: электроэнцефалография, fNIRS: функциональная спектроскопия ближнего инфракрасного диапазона, fMRI: функциональная магнитно-резонансная томография, EOG: электроокулография, MEG: магнитоэнцефалография.

Мы системно внедряем фундаментальные знания о моделях глубокого обучения. MLP: многослойный персептрон, RNN: рекуррентные нейронные сети, CNN: сверточные нейронные сети, LSTM: длинная кратковременная память, GRU: вентилируемые рекуррентные единицы, AE: автоэнкодер, RBM: ограниченная машина Больцмана, DBN: сети глубокого доверия, VAE : Вариационный автоэнкодер, GAN: Генеративно-состязательные сети. D-AE обозначает Stacked-Autoencoder, который относится к автокодировщику с несколькими скрытыми слоями. Сеть Deep Belief может состоять из AE или RBM, поэтому мы разделили DBN на DBN-AE (составное AE) и DBN-RBM (составное RBM).

Более того, рекомендации по исследованию и проектированию систем BCI предоставляются с точки зрения категорий сигналов, моделей глубокого обучения и приложений. На следующих рисунках показано распределение сигналов и моделей DL в исследованиях BCI на основе DL.

Распределение по сигналам	Распределение по моделям DL

Особое внимание было уделено современным исследованиям глубокого обучения для исследований BCI на основе ЭЭГ с точки зрения алгоритмов. В частности, мы представляем ряд передовых алгоритмов и инфраструктур глубокого обучения, направленных на решение нескольких основных проблем в BCI, включая надежное обучение представлению сигналов мозга, межсценарную классификацию и полуконтролируемую классификацию.
Кроме того, предлагается несколько новых прототипов систем BCI на основе глубокого обучения, которые проливают свет на реальные приложения, такие как аутентификация, визуальная реконструкция, языковая интерпретация и диагностика неврологических расстройств. Такие приложения могут принести огромную пользу как здоровым людям, так и людям с ограниченными возможностями в реальной жизни.

Набор данных BCI

Сбор сигналов мозга требует как финансовых, так и временных затрат. Мы тщательно изучаем наборы эталонных данных, применимых к исследованию сигналов дождя, и предоставляем 31 общедоступный набор данных со ссылками для скачивания, которые охватывают большинство типов сигналов мозга.

Мозговые сигналы	Набор данных	#-Предмет	#-классы	Частота дискретизации (Гц)	#-Каналы	Ссылка для скачивания
ФМ ЭкоГ	BCI-C IV, набор данных IV	3	5	1000	48 -- 64	Связь
МИ ЭкоГ	БКИ-С III Набор данных I	1	2	1000	64	Связь
Спящая ЭЭГ	Телеметрия Sleep-EDF	22	6	100	2 ЭЭГ, 1 ЭОГ, 1 ЭМГ	Связь
Спящая ЭЭГ	Sleep-EDF: Кассета	78	6	100, 1	2 ЭЭГ (100 Гц), 1 ЭОГ (100 Гц), 1 ЭМГ (1 Гц)	Связь
Спящая ЭЭГ	МАСС-1	53	5	256	17/19 ЭЭГ, 2 ЭОГ, 5 ЭМГ	Связь
Спящая ЭЭГ	МАСС-2	19	6	256	19 ЭЭГ, 4 ЭОГ, 1 ЭМГ	Связь
Спящая ЭЭГ	МАСС-3	62	5	256	20 ЭЭГ, 2 ЭОГ, 3 ЭМГ	Связь
Спящая ЭЭГ	МАСС-4	40	6	256	4 ЭЭГ, 4 ЭОГ, 1 ЭМГ	Связь
Спящая ЭЭГ	МАСС-5	26	6	256	20 ЭЭГ, 2 ЭОГ, 3 ЭМГ	Связь
Спящая ЭЭГ	ШХС	5804	Н/Д	125, 50	2 ЭЭГ (125 Гц), 1 ЭОГ (50 Гц), 1 ЭМГ (125 Гц)	Связь
Приступ ЭЭГ	ЧБ-МИТ	22	2	256	18	Связь
Приступ ЭЭГ	ТУХ	315	2	200	19	Связь
МИ ЭЭГ	ЭЭГМИ	109	4	160	64	Связь
МИ ЭЭГ	BCI-C II, набор данных III	1	2	128	3	Связь
МИ ЭЭГ	BCI-C III, набор данных III a	3	4	250	60	Связь
МИ ЭЭГ	BCI-C III, набор данных III b	3	2	125	2	Связь
МИ ЭЭГ	BCI-C III, набор данных IV a	5	2	1000	118	Связь
МИ ЭЭГ	BCI-C III, набор данных IV b	1	2	1001	119	Связь
МИ ЭЭГ	BCI-C III, набор данных IV c	1	2	1002	120	Связь
МИ ЭЭГ	BCI-C IV, набор данных I	7	2	1000	64	Связь
МИ ЭЭГ	BCI-C IV, набор данных IIa	9	4	250	22 ЭЭГ, 3 ЭОГ	Связь
МИ ЭЭГ	BCI-C IV, набор данных II b	9	2	250	3 ЭЭГ, 3 ЭОГ	Связь
Эмоциональная ЭЭГ	АМИГОС	40	4	128	14	Связь
Эмоциональная ЭЭГ	СЕМЯ	15	3	200	62	Связь
Эмоциональная ЭЭГ	DEAP	32	4	512	32	Связь
Другие ЭЭГ	Открыть МИИР	10	12	512	64	Связь
ВЭП	BCI-C II, набор данных II b	1	36	240	64	Связь
ВЭП	BCI-C III, набор данных II	2	26	240	64	Связь
фМРТ	АДНИ	202	3	Н/Д	Н/Д	Связь
фМРТ	БРАТС	65	4	Н/Д	Н/Д	Связь
МЭГ	BCI-C IV, набор данных III	2	4	400	10	Связь

Чтобы предоставить читателям быстрый доступ к набору данных и возможность поиграть с ним, мы предоставляем хорошо обработанный и готовый к использованию набор данных базы данных двигательных движений/изображений ЭЭГ (EEGMMIDB). Этот набор данных содержит 109 субъектов, а сигналы ЭЭГ записываются в 64 каналах с частотой дискретизации 160 Гц. После очистки и сортировки каждый файл npy представляет собой предмет: форма данных каждого файла npy — [N, 65], первые 64 столбца соответствуют 64 функциям канала, последний столбец обозначает метку класса. N варьируется для разных субъектов, но N должно быть либо 259520, либо 255680. Это неотъемлемая разница в исходном наборе данных.

Запуск кода

В наших обучающих файлах вы изучите конвейер и рабочий процесс системы BCI, включая сбор данных, предварительную обработку, извлечение признаков (необязательно), классификацию и оценку. Мы представляем необходимые ссылки и действенные коды наиболее типичных моделей глубокого обучения (GRU, LSTM, CNN, GNN), используя при этом временные, пространственные и топографические зависимости. Мы также предоставляем очень удобные коды Python. Например, чтобы проверить эффективность классификации ЭЭГ CNN, запустите следующий код:

 python 4-2_CNN.py

Новичкам в PyTorch мы настоятельно рекомендуем Учебные пособия по PyTorch Морвана Чжоу.

Ресурсы главы

Для алгоритмов и приложений, представленных в книге, мы предоставляем необходимые коды реализации (версия TensorFlow):

Адаптивное обучение функциям (глава 7)
MindID: идентификация пользователя на основе ЭЭГ (глава 9)
Реконструкция изображения по зрительной вызванной ЭЭГ (глава 10)
Типирование мозга: преобразование ЭЭГ в текст (глава 11)
Диагностика неврологических расстройств (припадков) (глава 13)

Цитирование

Если вы считаете, что наше исследование полезно для ваших исследований, пожалуйста, рассмотрите возможность процитировать наш опрос или книгу:

 @article{zhang2020survey,
  title={A survey on deep learning-based non-invasive brain signals: recent advances and new frontiers},
  author={Zhang, Xiang and Yao, Lina and Wang, Xianzhi and Monaghan, Jessica JM and Mcalpine, David and Zhang, Yu},
  journal={Journal of Neural Engineering},
  year={2020},
  publisher={IOP Publishing}
}

@book{zhang2021deep,
  title={Deep Learning for EEG-based Brain-Computer Interface: Representations, Algorithms and Applications},
  author={Zhang, Xiang and Yao, Lina},
  year={2021},
  publisher={World Scientific Publishing}
}

Требования

Учебные коды протестированы на работу под Python 3.7.

Требуются последние версии Pytorch, torch-geometric, numpy и scipy. Все необходимые базовые пакеты можно установить с помощью следующей команды: ''' pip install -r require.txt ''' Примечание. Для toch-geometric и связанных с ним зависимостей (например, кластер, разброс, разреженность) более высокая версия может работают, но еще не проверялись.