Сегодня, благодаря растущей разработке технологии интерфейса Brain-Computer (BCI), новейшая модель Meta AI Brain2qwerty принесла новую надежду на эту область. BCI предназначен для обеспечения общения для людей с расстройствами речи или движения, но традиционные методы часто требуют инвазивной хирургии, таких как имплантирование электродов, которые не только представляют медицинские риски, но и требуют долгосрочного обслуживания. Поэтому исследователи начали изучать неинвазивные альтернативы, особенно те, которые основаны на электроэнцефалографии (ЭЭГ). Тем не менее, технология ЭЭГ сталкивается с проблемой низкого разрешения сигнала, которая влияет на ее точность.
Примечания источника изображения: изображение генерируется ИИ, а изображение авторизованное поставщик услуг Midjourney
Brain2qwerty был запущен для решения этой проблемы. Эта модель глубокого обучения может декодировать входные предложения участников из мозговых действий, захваченных ЭЭГ или магнитно -резонансной томографией ЭЭГ или мозга (МЭГ). В исследовании участники кратко запомнили предложения на клавиатуре Qwerty, в то время как их мозговая активность была записана в режиме реального времени. В отличие от предыдущих усилий, направленных на то, чтобы сосредоточиться на внешней стимуляции или воображаемых движениях, Brain2qwerty использует естественные движения типирования, чтобы обеспечить более интуитивно понятный способ интерпретации волн мозга.
Архитектура Brain2qwerty разделена на три основных модуля. Во -первых, модуль свертки, который отвечает за извлечение временных и пространственных характеристик в сигнале ЭЭГ или MEG. Следующим является модуль трансформатора, который обрабатывает последовательность входов, оптимизирует понимание и выражение. Наконец, существует модуль языковой модели, который представляет собой предварительно обученную модель языка на уровне символов, используемая для исправления и повышения точности результатов декодирования.
При оценке производительности Brain2qwerty исследователи использовали частоту ошибок символов (CER) в качестве меры. Результаты показывают, что декодирование CER на основе ЭЭГ составляет 67%, что относительно высокое; В эксперименте лучшие исполнители достигли 19% CER, демонстрируя потенциал модели в идеальных условиях.
Хотя Brain2qwerty показал положительные перспективы в неинвазивной области BCI, он сталкивается с несколькими проблемами. Во -первых, текущая модель должна обрабатывать полные предложения вместо декодирования клавиш один за другим. Во -вторых, хотя MEG обладает лучшей производительностью, чем ЭЭГ, его устройства не являются портативными и имеют недостаточную популярность. Наконец, это исследование проводилось в основном у здоровых участников, и в будущем необходимо изучить его применимость к людям с физическими упражнениями или речевыми расстройствами.
Бумага: https://ai.meta.com/research/publications/brain-to-text-decoding-a-non-invasive-proach-via-typing/
Ключевые моменты:
Модель Brain2qwerty, запущенная Meta AI, может декодировать контент на типинге через EEG и MEG, что приносит новую надежду на технологию BCI.
Результаты исследования показали, что частота ошибок символа, используемая для декодирования с использованием MEG, была значительно ниже, чем у ЭЭГ, при этом оптимальные участники достигли 19% CER.
Будущие проблемы включают декодирование в реальном времени, доступность устройств MEG и эффекты приложений среди людей с ограниченными возможностями.
Эти результаты показывают, что неинвазивная технология BCI постепенно внедряется и, как ожидается, предоставит эффективные инструменты связи для большего количества людей в будущем.