Brain2Robot
Brain2Robot, also Gehirn an Roboter, heißt das neueste Projekt des Fraunhofer Instituts für Rechnerarchitektur und Softwaretechnik First in Berlin. Die Wissenschaftler haben ein System entwickelt, bei dem ein Mensch durch den bloßen Gedanken an eine Bewegung einen Roboterarm dazu bringen kann, eine Tasse zu greifen und dem Menschen zum Trinken zu reichen.
Messe Düsseldorf, Halle 3, Stand F92. Auf der weltgrößten Medizinmesse Medica sitzt Siamac Fasil vor einem Tisch, auf dem ein Roboterarm montiert ist. Sein Kopf steckt in einer Art Badekappe, die mit 64 Elektroden gespickt ist. Sie messen an seiner Kopfhaut die Hirnströme und leiten sie über farbige Kabel an ein EEG-Gerät weiter. Seine Hände hat er ganz entspannt und ruhig auf den Oberschenkeln liegen. Vor ihm steht eine Plastiktasse.
"Also ich stelle mir jetzt vor, meine rechte Hand zu bewegen, gucke dabei gleichzeitig auf die Tasse, das Augenerkennungssystem erkennt dreidimensional welche Position ich anvisiere. Der Roboter hat die Position gesendet bekommen, ging dorthin, griff die Tasse, um sie mir zum Trinken zu überreichen."
Was der wissenschaftliche Mitarbeiter des Berliner Fraunhofer Instituts First hier gerade vorgeführt hat, klingt simpel und ist doch eine echte Sensation. Einen Roboterarm kraft der Gedanken steuern - das war bisher ansatzweise nur möglich, wenn den Menschen zuvor Elektroden in das Gehirn hineinoperiert wurden.
Durch die implantierten Elektroden sind die gemessenen Hirnströme so stark, dass ihre Weiterverarbeitung in der Gerhirn-Computer-Schnittstelle, dem so genannten Brain-Computer Interface, recht gut gelingt. Die Forscher des Fraunhofer Instituts First wollen das in ihrem Projekt Brain2Robot ohne Hirnoperation hinbekommen. Sie messen die Hirnströme mit einem EEG außen an der Kopfhaut. Doch das stellt sie vor erhebliche Probleme, erklärt Projektleiter Professor Klaus-Robert Müller.
"Üblicherweise denkt man nicht nur an seine rechte Hand oder an seine linke Hand, sondern man sieht, richt, fühlt, hört, alles gleichzeitig, so dass viele Hirnareale gleichzeitig aktiv sind und das, was man außen mit dem EEG messen kann, ist nur eine Überlagerung alle dieser Signale. Wir sprechen von der celebralen Cocktailparty."
Komplizierte Algorithmen in der Software des Brain-Computer Interface ordnen diesen Hirnstrom-Cocktail. Sie filtern mit Hilfe des maschinellen Lernens nur die Signale raus, die für die Bewegungsbefehle zuständig sind. Doch selbst dann reicht die elektrische Aussagekraft der gemessenen Gedanken nicht aus, um den Roboterarm in Gang zu setzten.
"Das heißt, wir müssen uns da anders behelfen. Und die extrem simple Idee ist, dass wir hier Blicksteuerung in Kombination mit dem Brain-Computer Interface einsetzten. Die Idee ist, der Proband oder später mal der Patient, hat eine Brille auf, Spezialbrille, und diese Brille stellt fest, in welche Richtung er guckt."
Die Spezialbrille ist mit zwei Kameras versehen, deren Daten an einen Computer übermittelt werden. Die Software kombiniert sie mit den EEG-Signalen und kann sie dann in einen Steuerungsbefehl für den Roboterarm übersetzten.
Zuvor hat die Software gelernt, was man mit einer Tasse so alles machen kann. Also greifen, zum Mund führen, absetzten, verschieben oder auch einfach stehen lassen. Jede dieser Möglichkeiten ist mit einem bestimmten Gedanken gekoppelt. Zum Beispiel bedeutet Denken an die rechte Hand, Tasse anheben und zum Mund führen.
"Und das Brain Computer Interface würde einem erlauben, zwischen diesen verschiedenen Optionen zu wählen und der Roboterarm ist schlau genug, dann diesen Makrobefehl auszuführen."
So kann Versuchsperson Siamac Fasil schließlich allein durch seine Gedanken den Roboterarm bewegen. Brain2Robot eben, im wahrsten Sinne des Wortes.
"Jetzt stelle ich mit vor, die rechte Hand zu bewegen. Der Roboter bewegt sich und stellt die Tasse zurück. Hat funktioniert."
Damit das so reibungslos funktioniert muss nicht nur die technische Seite fehlerfrei arbeiten. Auch der Proband - oder eben später mal der Patient - müssen quasi das Denken üben, weiß Siamac Fasil aus eigener Erfahrung.
"Es kann schwierig sein, sich wirklich eine rechte Handbewegung vorzustellen, über zwei bis drei Sekunden. Das muss man mal geübt haben. Weil, sich das vorzustellen, ohne es auszuführen ist gewöhnungsbedürftig. Aber ich würde nicht sagen, dass es wahnsinnig schwierig ist."
Bisher mussten die Probanden etwa 100 Stunden trainieren, wie sie ihre Hirnsignale so manipulieren, dass sie durch die Software ausgelesen werden konnten. Ein Aufwand, sagt Klaus-Robert Müller, der keinem potentiellen Anwender zuzumuten ist.
"Wir haben gesagt, das kann nicht sein. Wir sollten das in viel kürzerer Zeit machen können. Nicht die Probanden sollen lernen, sondern die Maschinen sollen lernen. Die Datenanalyse muss schlauer werden. Und im Moment sind wir bereits in der Lage, mit 20 Minuten Training, sozusagen den Probanden von der Straße zu nehmen und der kann dann das BCI steuern."
Bei der Entwicklung der Brain2Robot-Technologie denken die Forscher vor allem an medizinische Anwendungsmöglichkeiten. So könnte der durch Gedanken gesteuerte Roboterarm gelähmten Menschen künftig ein wenig Selbständigkeit zurückgeben.
Der nächste Schritt wird nun sein, sagt Projektleiter Klaus-Robert Müller, die Schnittstelle zwischen Mensch und Maschine nicht von gesunden Versuchspersonen testen zu lassen, sondern von Patienten.
"Man muss ja immer aufpassen, dass man als Wissenschaftler nicht Probleme löst, die die Patientengruppen gar nicht haben. Deswegen ist es für uns jetzt noch einmal ein ganz wichtiges normatives Element, mit denen zu kooperieren, also Studien durchzuführen. Am Ende könnte dann ein System daraus hervorgehen, vielleicht in drei-vier Jahren, was auch wirklich auf den Markt gehen kann."
"Also ich stelle mir jetzt vor, meine rechte Hand zu bewegen, gucke dabei gleichzeitig auf die Tasse, das Augenerkennungssystem erkennt dreidimensional welche Position ich anvisiere. Der Roboter hat die Position gesendet bekommen, ging dorthin, griff die Tasse, um sie mir zum Trinken zu überreichen."
Was der wissenschaftliche Mitarbeiter des Berliner Fraunhofer Instituts First hier gerade vorgeführt hat, klingt simpel und ist doch eine echte Sensation. Einen Roboterarm kraft der Gedanken steuern - das war bisher ansatzweise nur möglich, wenn den Menschen zuvor Elektroden in das Gehirn hineinoperiert wurden.
Durch die implantierten Elektroden sind die gemessenen Hirnströme so stark, dass ihre Weiterverarbeitung in der Gerhirn-Computer-Schnittstelle, dem so genannten Brain-Computer Interface, recht gut gelingt. Die Forscher des Fraunhofer Instituts First wollen das in ihrem Projekt Brain2Robot ohne Hirnoperation hinbekommen. Sie messen die Hirnströme mit einem EEG außen an der Kopfhaut. Doch das stellt sie vor erhebliche Probleme, erklärt Projektleiter Professor Klaus-Robert Müller.
"Üblicherweise denkt man nicht nur an seine rechte Hand oder an seine linke Hand, sondern man sieht, richt, fühlt, hört, alles gleichzeitig, so dass viele Hirnareale gleichzeitig aktiv sind und das, was man außen mit dem EEG messen kann, ist nur eine Überlagerung alle dieser Signale. Wir sprechen von der celebralen Cocktailparty."
Komplizierte Algorithmen in der Software des Brain-Computer Interface ordnen diesen Hirnstrom-Cocktail. Sie filtern mit Hilfe des maschinellen Lernens nur die Signale raus, die für die Bewegungsbefehle zuständig sind. Doch selbst dann reicht die elektrische Aussagekraft der gemessenen Gedanken nicht aus, um den Roboterarm in Gang zu setzten.
"Das heißt, wir müssen uns da anders behelfen. Und die extrem simple Idee ist, dass wir hier Blicksteuerung in Kombination mit dem Brain-Computer Interface einsetzten. Die Idee ist, der Proband oder später mal der Patient, hat eine Brille auf, Spezialbrille, und diese Brille stellt fest, in welche Richtung er guckt."
Die Spezialbrille ist mit zwei Kameras versehen, deren Daten an einen Computer übermittelt werden. Die Software kombiniert sie mit den EEG-Signalen und kann sie dann in einen Steuerungsbefehl für den Roboterarm übersetzten.
Zuvor hat die Software gelernt, was man mit einer Tasse so alles machen kann. Also greifen, zum Mund führen, absetzten, verschieben oder auch einfach stehen lassen. Jede dieser Möglichkeiten ist mit einem bestimmten Gedanken gekoppelt. Zum Beispiel bedeutet Denken an die rechte Hand, Tasse anheben und zum Mund führen.
"Und das Brain Computer Interface würde einem erlauben, zwischen diesen verschiedenen Optionen zu wählen und der Roboterarm ist schlau genug, dann diesen Makrobefehl auszuführen."
So kann Versuchsperson Siamac Fasil schließlich allein durch seine Gedanken den Roboterarm bewegen. Brain2Robot eben, im wahrsten Sinne des Wortes.
"Jetzt stelle ich mit vor, die rechte Hand zu bewegen. Der Roboter bewegt sich und stellt die Tasse zurück. Hat funktioniert."
Damit das so reibungslos funktioniert muss nicht nur die technische Seite fehlerfrei arbeiten. Auch der Proband - oder eben später mal der Patient - müssen quasi das Denken üben, weiß Siamac Fasil aus eigener Erfahrung.
"Es kann schwierig sein, sich wirklich eine rechte Handbewegung vorzustellen, über zwei bis drei Sekunden. Das muss man mal geübt haben. Weil, sich das vorzustellen, ohne es auszuführen ist gewöhnungsbedürftig. Aber ich würde nicht sagen, dass es wahnsinnig schwierig ist."
Bisher mussten die Probanden etwa 100 Stunden trainieren, wie sie ihre Hirnsignale so manipulieren, dass sie durch die Software ausgelesen werden konnten. Ein Aufwand, sagt Klaus-Robert Müller, der keinem potentiellen Anwender zuzumuten ist.
"Wir haben gesagt, das kann nicht sein. Wir sollten das in viel kürzerer Zeit machen können. Nicht die Probanden sollen lernen, sondern die Maschinen sollen lernen. Die Datenanalyse muss schlauer werden. Und im Moment sind wir bereits in der Lage, mit 20 Minuten Training, sozusagen den Probanden von der Straße zu nehmen und der kann dann das BCI steuern."
Bei der Entwicklung der Brain2Robot-Technologie denken die Forscher vor allem an medizinische Anwendungsmöglichkeiten. So könnte der durch Gedanken gesteuerte Roboterarm gelähmten Menschen künftig ein wenig Selbständigkeit zurückgeben.
Der nächste Schritt wird nun sein, sagt Projektleiter Klaus-Robert Müller, die Schnittstelle zwischen Mensch und Maschine nicht von gesunden Versuchspersonen testen zu lassen, sondern von Patienten.
"Man muss ja immer aufpassen, dass man als Wissenschaftler nicht Probleme löst, die die Patientengruppen gar nicht haben. Deswegen ist es für uns jetzt noch einmal ein ganz wichtiges normatives Element, mit denen zu kooperieren, also Studien durchzuführen. Am Ende könnte dann ein System daraus hervorgehen, vielleicht in drei-vier Jahren, was auch wirklich auf den Markt gehen kann."