Mit der zunehmenden Entwicklung der BCI-Technologie (Brain Computer Interface) hat das neueste Brain2QWerty-Modell von Meta AI heute neue Hoffnung auf dieses Gebiet gebracht. BCI ist so konzipiert, dass Menschen mit Sprach- oder Bewegungsstörungen Kommunikation übertragen werden. Traditionelle Methoden erfordern jedoch häufig eine invasive Operation, wie z. Daher haben Forscher begonnen, nicht-invasive Alternativen zu untersuchen, insbesondere solche, die auf Elektroenzephalographie (EEG) basieren. Die EEG -Technologie steht jedoch vor dem Problem der geringen Signalauflösung, das sich auf die Genauigkeit auswirkt.
Bildquelle Notizen: Das Bild wird von KI erzeugt, und der im Bild autorisierte Dienstanbieter Midjourney
Brain2QWERTY wurde gestartet, um dieses Problem zu lösen. Dieses Deep -Learning -Modell kann die Eingangssätze der Teilnehmer aus Gehirnaktivitäten dekodieren, die von EEG oder MEG (Gehirnmagnetresonanztomographie) erfasst werden. In der Studie gingen die Teilnehmer kurz auswendig gelernte Sätze auf der QWERTY -Tastatur, während ihre Gehirnaktivität in Echtzeit aufgezeichnet wurde. Im Gegensatz zu früheren Bemühungen, sich auf externe Stimulation oder imaginäre Bewegungen zu konzentrieren, verwendet Brain2QWERTY natürliche Typierungsbewegungen, um eine intuitivere Möglichkeit zu bieten, Gehirnwellen zu interpretieren.
Die Architektur von Brain2QWERTY ist in drei Hauptmodule unterteilt. Erstens ist das Faltungsmodul, das für die Extraktion der zeitlichen und räumlichen Eigenschaften im EEG- oder MEG -Signal verantwortlich ist. Als nächstes ist das Transformatormodul, das die Abfolge von Eingaben verarbeitet, das Verständnis und die Expression optimiert. Schließlich gibt es das Sprachmodellmodul, das ein Sprachmodell auf dem Zeichen auf Zeichenebene ist, das zur Korrektur und Verbesserung der Genauigkeit der Decodierungsergebnisse verwendet wird.
Bei der Bewertung der Leistung von BRAIN2QWERTY verwendeten die Forscher die Charakterfehlerrate (CER) als Maß. Die Ergebnisse zeigen, dass der auf EEG basierende Dekodierungs -CER 67%beträgt, was relativ hoch ist. In dem Experiment erreichten die besten Performer 19% der CERS und zeigten das Potenzial des Modells unter idealen Bedingungen.
Obwohl Brain2QWERTY im nicht-invasiven BCI-Feld positive Aussichten gezeigt hat, stellt sich es mit mehreren Herausforderungen gegenüber. Zunächst muss das aktuelle Modell die vollständigen Sätze verarbeiten, anstatt die Schlüssel nacheinander zu dekodieren. Zweitens, obwohl MEG eine bessere Leistung als EEG hat, sind seine Geräte nicht tragbar und haben nicht genügend Beliebtheit. Schließlich wurde diese Studie hauptsächlich bei gesunden Teilnehmern durchgeführt, und es ist notwendig, ihre Anwendbarkeit auf Menschen mit Übungs- oder Sprachstörungen in der Zukunft zu untersuchen.
Papier: https://ai.meta.com/research/publications/brain-to-textdecoding-a-non-invasive-approach-via-typing/
Schlüsselpunkte:
Das von Meta AI gestartete Brain2QWERTY -Modell kann das Tippinhalte über EEG und MEG dekodieren, wodurch die BCI -Technologie neue Hoffnung bringt.
Die Ergebnisse der Studie zeigten, dass die für die Dekodierung mit MEG verwendete Charakterfehlerrate signifikant niedriger war als die des EEG, wobei die optimalen Teilnehmer 19% des CER erreichten.
Zukünftige Herausforderungen umfassen Echtzeit-Dekodierung, Zugänglichkeit von MEG-Geräten und Anwendungseffekte bei Menschen mit Behinderungen.
Diese Ergebnisse zeigen, dass die nicht-invasive BCI-Technologie allmählich implementiert wird, und es wird erwartet, dass sie in Zukunft mehr Menschen effektive Kommunikationsinstrumente bieten.