ホーム>プログラミング関連>AI ソースコード
ダウンロード

ブレイン コンピューター インターフェイス (BCI) のための深層学習

本の著者: Xiang Zhang 博士 ([email protected])、Lina Yao 教授 ([email protected])

アップデート

EEGMMIDB から 109 件の被験者の適切に処理された DL 準備完了データ全体がアップロードされました。

概要

このチュートリアルには、深層学習モデルに基づいて脳信号を認識する方法を学習するための、実装可能な Python および jupyter ノートブック コードとベンチマーク データセットが含まれています。このチュートリアルは、DL ベースの非侵襲性脳信号に関する調査と DL ベースの BCI: 表現、アルゴリズム、およびアプリケーションに関する書籍を関連付けています。

  • 我々は、取得方法に応じたBCI信号パラダイムの新しい分類を提示します。 ECOG: 皮質電図検査、EEG: 脳波検査、fNIRS: 機能的近赤外分光法、fMRI: 機能的磁気共鳴画像法、EOG: 眼電図、MEG: 脳磁図。

  • ディープラーニングモデルの基礎知識を体系的に紹介します。 MLP: 多層パーセプトロン、RNN: リカレント ニューラル ネットワーク、CNN: 畳み込みニューラル ネットワーク、LSTM: 長短期記憶、GRU: ゲート型リカレント ユニット、AE: オートエンコーダー、RBM: 制限付きボルツマン マシン、DBN: ディープ ビリーフ ネットワーク、VAE : 変分オートエンコーダー、GAN: 敵対的生成ネットワーク。 D-AE は Stacked-Autoencoder を表し、複数の隠れ層を持つオートエンコーダーを指します。 Deep Belief Network は AE または RBM で構成できるため、DBN を DBN-AE (スタックド AE) と DBN-RBM (スタックド RBM) に分けました。

  • さらに、BCI システムの調査と設計のためのガイドラインが、信号カテゴリ、深層学習モデル、アプリケーションの側面から提供されます。次の図は、フロント DL ベースの BCI 研究における信号と DL モデルの分布を示しています。
信号での分布DLモデルでの配布
信号での分布DLモデルでの配布



  • アルゴリズムの観点から、EEG ベースの BCI 研究のための深層学習に関する最先端の研究に特別な注意が払われています。具体的には、堅牢な脳信号表現学習、クロスシナリオ分類、半教師あり分類など、BCI のいくつかの主要な問題を目的とした、高度な深層学習アルゴリズムとフレームワークを多数導入します。

  • さらに、深層学習ベースの BCI システムのいくつかの新しいプロトタイプが提案されており、認証、視覚再構成、言語解釈、神経障害診断などの実世界のアプリケーションに光を当てています。このようなアプリケーションは、実生活において健康な人と障害のある人の両方に劇的な利益をもたらします。

BCI データセット

脳信号の収集には経済的にも時間的にもコストがかかります。私たちは、雨信号研究に適用できるベンチマーク データ セットを広範囲に調査し、ほとんどの脳信号タイプをカバーする 31 の公開データ セットとダウンロード リンクを提供しています。

脳信号データセット＃-主題#-クラスサンプリングレート (Hz) #-チャンネルダウンロードリンク
FMエコG BCI-C IV、データセット IV 3 5 1000 48 -- 64リンク
MI EcoG BCI-CⅢ
データセットI		 1 2 1000 64リンク
睡眠時脳波検査睡眠-EDF テレメトリ22 6 100 2 EEG、1 EOG、1 EMGリンク
睡眠時脳波検査スリープ EDF: カセット78 6 100、1 2 EEG (100 Hz)、1 EOG (100 Hz)、
1 筋電図 (1 Hz)		リンク
睡眠時脳波検査マス-1 53 5 256 17/19 EEG、2 EOG、5 EMGリンク
睡眠時脳波検査マス-2 19 6 256 19 脳波、4 脳波、1 筋電図リンク
睡眠時脳波検査マス-3 62 5 256 20 EEG、2 EOG、3 EMGリンク
睡眠時脳波検査マス-4 40 6 256 4 EEG、4 EOG、1 EMGリンク
睡眠時脳波検査マス-5 26 6 256 20 EEG、2 EOG、3 EMGリンク
睡眠時脳波検査SHHS 5804該当なし125、50 2EEG（125Hz）、1EOG（50Hz）、
1 筋電図 (125 Hz)		リンク
発作脳波検査CHB-MIT 22 2 256 18リンク
発作脳波検査トゥッ315 2 200 19リンク
MI EEG EEGMMI 109 4 160 64リンク
MI EEG BCI-C II、データセット III 1 2 128 3リンク
MI EEG BCI-C III、データセット III a 3 4 250 60リンク
MI EEG BCI-C III、データセット III b 3 2 125 2リンク
MI EEG BCI-C III、データセット IV a 5 2 1000 118リンク
MI EEG BCI-C III、データセット IV b 1 2 1001 119リンク
MI EEG BCI-C III、データセット IV c 1 2 1002 120リンク
MI EEG BCI-C IV、データセット I 7 2 1000 64リンク
MI EEG BCI-C IV、データセット II a 9 4 250 22 脳波、3 脳波リンク
MI EEG BCI-C IV、データセット II b 9 2 250 3 EEG、3 EOGリンク
感情脳波検査アミーゴス40 4 128 14リンク
感情脳波検査シード15 3 200 62リンク
感情脳波検査深い32 4 512 32リンク
その他脳波計MIIRを開く10 12 512 64リンク
VEP BCI-C II、データセット II b 1 36 240 64リンク
VEP BCI-C III、データセット II 2 26 240 64リンク
fMRIアドニ202 3該当なし該当なしリンク
fMRIガキ65 4該当なし該当なしリンク
メグBCI-C IV、データセット III 2 4 400 10リンク

読者がデータセットに素早くアクセスして実際にプレイできるように、適切に処理され、すぐに使用できる EEG Motor Movement/Imagery Database (EEGMMIDB) データセットを提供します。このデータセットには 109 人の被験者が含まれており、EEG 信号は 160 Hz のサンプリング レートで 64 チャネルで記録されます。クリアとソートの後、各 npy ファイルはサブジェクトを表します。各 npy ファイルのデータ形状は [N, 65] で、最初の 64 列は 64 のチャネル特徴に対応し、最後の列はクラス ラベルを示します。 N は被験者ごとに異なりますが、N は 259520 または 255680 のいずれかである必要があります。これは、元のデータセットに固有の違いです。

コードを実行する

私たちのチュートリアル ファイルでは、データの取得、前処理、特徴抽出 (オプション)、分類、評価を含む BCI システムのパイプラインとワークフローを学習します。時間的、空間的、地形的な依存関係を利用しながら、最も典型的な深層学習モデル (GRU、LSTM、CNN、GNN) の必要な参考文献と実用的なコードを紹介します。非常に便利なPythonコードも提供します。たとえば、CNN の EEG 分類パフォーマンスを確認するには、次のコードを実行します。 

 python 4-2_CNN.py

PyTorch の初心者には、Morvan Zhou の PyTorch チュートリアルを強くお勧めします。

章のリソース

この本で紹介されているアルゴリズムとアプリケーションについては、必要な実装コード (TensorFlow バージョン) が提供されています。

  • 適応特徴学習 (第 7 章)
  • MindID: EEG ベースのユーザー識別 (第 9 章)
  • 視覚誘発脳波に基づく画像の再構成（第10章）
  • ブレインタイピング: EEG をテキストに変換 (第 11 章)
  • 神経障害（発作）の診断（第 13 章）

引用

私たちの調査があなたの研究に役立つと思われる場合は、私たちの調査または書籍を引用することを検討してください。 

 @article{zhang2020survey,
  title={A survey on deep learning-based non-invasive brain signals: recent advances and new frontiers},
  author={Zhang, Xiang and Yao, Lina and Wang, Xianzhi and Monaghan, Jessica JM and Mcalpine, David and Zhang, Yu},
  journal={Journal of Neural Engineering},
  year={2020},
  publisher={IOP Publishing}
}

@book{zhang2021deep,
  title={Deep Learning for EEG-based Brain-Computer Interface: Representations, Algorithms and Applications},
  author={Zhang, Xiang and Yao, Lina},
  year={2021},
  publisher={World Scientific Publishing}
}

要件

チュートリアル コードは、Python 3.7 で動作するようにテストされています。

Pytorch、torch-geometric、numpy、scipy の最新バージョンが必要です。必要な基本パッケージはすべて、次のコマンドを使用してインストールできます: '' pip install -rrequirements.txt ''動作しますが、まだテストされていません。

その他

コードやアルゴリズムに関するご質問は、[email protected] までお送りください。

ライセンス

このチュートリアルは、MIT ライセンスに基づいてライセンスされています。

拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて