Aujourd'hui, avec le développement croissant de la technologie Brain-Computer Interface (BCI), le dernier modèle Brain2Qwert de Meta AI a apporté un nouvel espoir à ce domaine. BCI est conçu pour fournir une communication aux personnes souffrant de troubles de la parole ou du mouvement, mais les méthodes traditionnelles nécessitent souvent une chirurgie invasive, comme l'implantation d'électrodes, qui non seulement présente des risques médicaux mais nécessite également un entretien à long terme. Par conséquent, les chercheurs ont commencé à explorer des alternatives non invasives, en particulier celles basées sur l'électroencéphalographie (EEG). Cependant, la technologie EEG est confrontée au problème de la faible résolution du signal, ce qui affecte sa précision.
Remarques de la source d'image: L'image est générée par l'IA, et le fournisseur de services autorisé l'image MidJourney
Brain2qwerty a été lancé pour résoudre ce problème. Ce modèle d'apprentissage en profondeur peut décoder les phrases d'entrée des participants des activités cérébrales capturées par l'imagerie par résonance magnétique EEG ou le cerveau (MEG). Dans l'étude, les participants sont entrés brièvement des phrases mémorisées sur le clavier QWERTY, tandis que leur activité cérébrale a été enregistrée en temps réel. Contrairement aux efforts précédents pour se concentrer sur la stimulation externe ou les mouvements imaginés, Brain2Qwerty utilise des mouvements de frappe naturels pour fournir un moyen plus intuitif d'interpréter les ondes cérébrales.
L'architecture de Brain2Qwerty est divisée en trois modules principaux. Le premier est le module Convolution, qui est responsable de l'extraction des caractéristiques temporelles et spatiales dans le signal EEG ou MEG. Ensuite, le module de transformateur, qui traite la séquence des entrées, optimise la compréhension et l'expression. Enfin, il existe le module de modèle de langue, qui est un modèle de langue au niveau du caractère pré-formé utilisé pour corriger et améliorer la précision des résultats de décodage.
Lors de l'évaluation des performances de Brain2qwerty, les chercheurs ont utilisé le taux d'erreur de caractère (CER) comme mesure. Les résultats montrent que le CER de décodage basé sur l'EEG est de 67%, ce qui est relativement élevé; tandis que l'effet de décodage en utilisant MEG est considérablement amélioré, et le CER est réduit à 32%. Dans l'expérience, les meilleurs interprètes ont atteint 19% des CERS, montrant le potentiel du modèle dans des conditions idéales.
Bien que Brain2qwerty ait montré des perspectives positives dans le domaine BCI non invasif, il fait face à plusieurs défis. Tout d'abord, le modèle actuel doit traiter les phrases complètes au lieu de décoder les clés une par une. Deuxièmement, bien que Meg ait de meilleures performances que l'EEG, ses appareils ne sont pas portables et ont une popularité insuffisante. Enfin, cette étude a été menée principalement chez des participants en bonne santé et il est nécessaire d'explorer son applicabilité à ceux qui souffrent de troubles de l'exercice ou de la parole à l'avenir.
Document: https://ai.meta.com/research/publications/brain-totext-decoding-a-non-invasive-approach-via-typing/
Points clés:
Le modèle Brain2Qwerty lancé par Meta AI peut décoder le contenu de la frappe via EEG et MEG, apportant un nouvel espoir à la technologie BCI.
Les résultats de l'étude ont montré que le taux d'erreur de caractère utilisé pour le décodage à l'aide de MEG était significativement inférieur à celui de l'EEG, les participants optimaux atteignant 19% de CER.
Les défis futurs comprennent le décodage en temps réel, l'accessibilité des appareils MEG et les effets des applications chez les personnes handicapées.
Ces résultats montrent que la technologie BCI non invasive est progressivement mise en œuvre et devrait fournir des outils de communication efficaces pour plus de personnes à l'avenir.