오늘날 BCI (Brain-Computer Interface) 기술의 개발이 증가함에 따라 Meta AI의 최신 Brain2QWerty 모델은이 분야에 새로운 희망을 가져 왔습니다. BCI는 언어 또는 운동 장애가있는 사람들에게 의사 소통을 제공하도록 설계되었지만 전통적인 방법은 종종 의학적 위험을 초래할뿐만 아니라 장기 유지가 필요한 전극을 이식하는 것과 같은 침습적 수술이 필요합니다. 따라서 연구자들은 비 침습적 대안, 특히 EEG (Electroencephalography)를 기반으로 한 대안을 탐색하기 시작했습니다. 그러나 EEG 기술은 신호 분해능이 낮은 문제에 직면하여 정확도에 영향을 미칩니다.
이미지 소스 참고 : 이미지는 AI에 의해 생성되며 이미지 공인 서비스 제공 업체 Midjourney
Brain2QWerty는이 문제를 해결하기 위해 시작되었습니다. 이 딥 러닝 모델은 EEG 또는 뇌 자기 공명 영상 (MEG)에 의해 포착 된 뇌 활동에서 참가자의 입력 문장을 해독 할 수 있습니다. 이 연구에서 참가자들은 Qwerty 키보드에서 간단히 암기 된 문장을 입력했으며 뇌 활동은 실시간으로 기록되었습니다. Brain2QWerty는 외부 자극 또는 상상 운동에 집중하려는 이전의 노력과 달리 자연 타이핑 운동을 사용하여 뇌파를 해석하는보다 직관적 인 방법을 제공합니다.
Brain2QWerty의 아키텍처는 세 가지 주요 모듈로 나뉩니다. 첫 번째는 Convolution 모듈로 EEG 또는 MEG 신호에서 시간적 및 공간적 특성을 추출하는 데 도움이됩니다. 다음은 입력 시퀀스를 처리하고 이해와 표현을 최적화하는 변압기 모듈입니다. 마지막으로, 해독 결과의 정확도를 수정하고 향상시키는 데 사용되는 미리 훈련 된 문자 수준 언어 모델 인 언어 모델 모듈이 있습니다.
Brain2QWerty의 성능을 평가할 때 연구원들은 캐릭터 오류율 (CER)을 측정 값으로 사용했습니다. 결과는 EEG에 기초한 디코딩 CER이 67%이며, 이는 비교적 높으며, MEG를 사용한 디코딩 효과는 크게 개선되고 CER은 32%로 감소한다. 실험에서, 최고의 성과는 CER의 19%에 도달하여 이상적인 조건에서 모델의 잠재력을 보여주었습니다.
Brain2Qwerty는 비 침습적 BCI 분야에서 긍정적 인 전망을 보여 주었지만 몇 가지 도전에 직면 해 있습니다. 먼저, 현재 모델은 키를 하나씩 디코딩하는 대신 전체 문장을 처리해야합니다. 둘째, MEG는 EEG보다 성능이 향상되지만 장치는 휴대용이 아니며 인기가 충분하지 않습니다. 마지막으로,이 연구는 주로 건강한 참가자들에게서 수행되었으며 향후 운동 또는 언어 장애가있는 사람들에게 적용 가능성을 탐색해야합니다.
종이 : https://ai.meta.com/research/publications/brain-to-text-decoding-a-invasive-pectroach-via-typing/
핵심 사항 :
Meta AI가 시작한 Brain2QWerty 모델은 EEG 및 MEG를 통해 컨텐츠를 디코딩하여 BCI 기술에 새로운 희망을 가져다 줄 수 있습니다.
연구 결과는 MEG를 사용하여 디코딩에 사용 된 문자 오류율이 EEG의 것보다 현저히 낮았으며 최적의 참가자는 CER의 19%에 도달 한 것으로 나타났습니다.
미래의 과제에는 실시간 디코딩, MEG 장치의 접근성 및 장애인 간의 응용 효과가 포함됩니다.
이러한 결과는 비 침습적 BCI 기술이 점차 구현되고 있으며 향후 더 많은 사람들에게 효과적인 커뮤니케이션 도구를 제공 할 것으로 예상됩니다.