Gestensteuerung statt Touchscreen
Seit einigen Jahren erobern Touchscreens den Computer- und Handymarkt. Der Finger gleitet dabei über den Bildschirm und mit einem sanften Druck lassen sich Buchstaben auf der digitalen Tastatur auswählen, Telefongespräche beenden oder Programme starten. Herkömmliche Tastaturen sind daher häufig überflüssig und auch die Maus hat dann ausgedient. Am Fraunhofer Heinrich-Hertz-Institut in Berlin arbeiten Forscher aber schon an der nächsten technischen Revolution: Sie wollen Computer allein durch Gesten steuern. Touchscreens und erst recht externe Eingabegeräte sind dann unnötig.
Softwareingenieur David Przewozny steht vor einem riesigen Flachbildschirm: Der ist so breit wie eine kleine Kinoleinwand und mit diversen Kameras und Sensoren ausgestattet. David Przewozny klatscht in die Hände und plötzlich erscheint auf dem Bildschirm ein altes, in Leder eingeschlagenes Buch.
"Ja, wir haben jetzt hier eine Buchapplikation und bei der Buchapplikation können wir im Buch blättern, das ist natürlich eine recht einfache Bewegung. Aber jetzt war die Frage für uns, wie wir mit einer einfachen Geste mal eine Buchanimation starten können. Und da haben wir uns einfach ausgedacht, klatschen kann jeder und deswegen haben wir einfach Klatschen als Start der Animation ausprobiert und funktioniert eigentlich recht gut."
David Przewozny hebt seinen Arm und bewegt ihn von rechts nach links durch die Luft – im gleichen Moment klappt der Buchdeckel auf. Er zieht seinen Arm ein Stück zurück und bewegt ihn erneut mit einer schnellen Bewegung vom rechten zum linken Bildrand – synchron zu seiner Geste blättert sich die nächste Seite im Buch um. Was einfach aussieht, beruht auf umfangreichen Laborversuchen: Insgesamt fanden die Forscher mehr als 20 Arten, mit denen Versuchspersonen Seiten umblättern.
"Und eben eine Software zu bauen, die eben diese 20 Arten umblättern erkennen kann, das ist schon eine Herausforderung. Und darum geht es eben, dass wirklich jeder ohne eine große Anleitung das System bedienen kann."
Denn mit Störungen oder mangelhaft umgesetzten Gesten will sich natürlich kein Nutzer herumschlagen: Alles muss schnell und intuitiv funktionieren, sagt Paul Chojecki, Psychologe am Heinrich-Hertz-Institut. Er wählt eine andere Anwendung, bei der sich verschiedene Fotos mit einem Fingerzeig auswählen, vergrößern oder auch drehen lassen.
"Hier sehen sie zum Beispiel, wenn man jetzt auf einem Desktop ist und viele Symbole hat, dann verwende ich ganz intuitiv auch meine Hand und zeige: Das da vorne, das meine ich, ja. Und genauso wie ich das jetzt meinem Kollegen zeigen möchte, kann ich das ja auch dem Computer zeigen wollen: Ich meine dieses Symbol da vorne oder ich meine dieses Objekt da vorne, nimm das jetzt mal oder vergrößere das oder so was. Und das ist eine intuitive Art des Interagierens, ja, was wir unter Menschen auf jeden Fall machen und was der Computer jetzt auch verstehen soll."
Herzstück der Gestensteuerung sind neben der Software zwei Kameras: Sie sind an einem länglichen Vorbau montiert, der über dem Bildschirm thront. Von oben filmen die Kameras jede Handbewegung des Nutzers und sie senden die Daten im Bruchteil einer Sekunde an den PC. Dort werden die Bewegungsdaten in Computerbefehle umcodiert, sagt Paul Chojecki.
"Unsere Software analysiert die beiden Videobilder und sucht nach Fingern. Und wenn sie diese findet, dann werden die 3D-Koordinaten dieser Finger an die Software weitergegeben und dann dementsprechend interpretiert. Sei es als eine Drehbewegung eines Modells oder als ein Druck eines Buttons."
Wer sich vor den Bildschirm stellt und den Computer mit den eigenen Gesten steuern will, braucht einen kurzen Augenblick, bis er sich an die Bedienung gewöhnt hat. Dann aber geht alles recht schnell. Ein Fingerzeig auf den rechten Bildschirmrand genügt, um ein neues Motiv auszuwählen. Um das Bild zu vergrößern, breitet man einfach die Arme aus, mit einer Handbewegung von oben nach unten lässt man es rotieren. Jeder Befehl wird dabei von akustischen und visuellen Signalen begleitet.
Sie ersetzen die fehlenden sinnlichen Reize an den Fingern.
"Wenn sie die Hand ausstrecken, dann sehen sie, dass so eine grüne Laserlinie auf ihrer Hand sichtbar wird. Das ist auch eins der Feedbacks, die wir hier eingebaut haben, um dem Nutzer zu zeigen, ab hier wirst du erkannt."
Bilder vergrößern, Befehle bestätigen, Seiten umblättern oder bestimmte Daten auswählen: All das lässt sich natürlich genauso bequem mit Maus und Tastatur oder Touchscreen erledigen. Doch häufig ist eine berührungslose Interaktion sinnvoll, etwa aus hygienischen Gründen.
"Jeder kennt die Situation, insbesondere in Großstädten, wenn man einen Fahrkarten- oder einen Geldautomaten hat, der in stark frequentierten Bereichen steht, da möchte man teilweise wirklich ungern diesen Touchscreen berühren, weil er sehr dreckig ist und man sieht dort schon tausende von Fingerabdrücken und das Ganze steigert sich natürlich, wenn man in den OP-Bereich geht, ja, wo die Ärzte das natürlich gar nicht dürfen, bestimmte Gegenstände anfassen."
Seit dem vergangenen Jahr wird ein Gesten gesteuerter Computer für den Operationsbereich produziert. Die Ärzte können so während der OP Laborbefunde, Überweisungsberichte oder Röntgenbilder mit einer einfachen Handbewegung auf den Bildschirm legen – alles bleibt dabei steril. Paul Chojecki demonstriert die Technik. Er streckt seinen Finger aus und zoomt in die Aufnahme eines menschlichen Beckens.
"Also ich kann jetzt hier in Röntgenaufnahmen reingehen, die vergrößern und verkleinern, ich kann zum Beispiel auch was markieren, so, einen bestimmten Bereich, wenn man zum Beispiel in einer Operation mit mehreren Ärzten gemeinsam über etwas diskutiert."
Erste Schritte in die Praxis gibt es also bereits – doch von einer Massenanwendung ist die Gestensteuerung noch Jahre entfernt. Und auch im Labor wartet auf die Forscher noch eine große Herausforderung: Die Software soll künftig auch andere komplexe Gesten erkennen und in Computerbefehle umsetzen können. Das Zupacken einer Hand wurde kürzlich bereits erfolgreich simuliert. Ein Ordner oder ein Bild lässt sich so einfach mit der Hand greifen und in die Mitte des Bildschirms ziehen.
"Ja, wir haben jetzt hier eine Buchapplikation und bei der Buchapplikation können wir im Buch blättern, das ist natürlich eine recht einfache Bewegung. Aber jetzt war die Frage für uns, wie wir mit einer einfachen Geste mal eine Buchanimation starten können. Und da haben wir uns einfach ausgedacht, klatschen kann jeder und deswegen haben wir einfach Klatschen als Start der Animation ausprobiert und funktioniert eigentlich recht gut."
David Przewozny hebt seinen Arm und bewegt ihn von rechts nach links durch die Luft – im gleichen Moment klappt der Buchdeckel auf. Er zieht seinen Arm ein Stück zurück und bewegt ihn erneut mit einer schnellen Bewegung vom rechten zum linken Bildrand – synchron zu seiner Geste blättert sich die nächste Seite im Buch um. Was einfach aussieht, beruht auf umfangreichen Laborversuchen: Insgesamt fanden die Forscher mehr als 20 Arten, mit denen Versuchspersonen Seiten umblättern.
"Und eben eine Software zu bauen, die eben diese 20 Arten umblättern erkennen kann, das ist schon eine Herausforderung. Und darum geht es eben, dass wirklich jeder ohne eine große Anleitung das System bedienen kann."
Denn mit Störungen oder mangelhaft umgesetzten Gesten will sich natürlich kein Nutzer herumschlagen: Alles muss schnell und intuitiv funktionieren, sagt Paul Chojecki, Psychologe am Heinrich-Hertz-Institut. Er wählt eine andere Anwendung, bei der sich verschiedene Fotos mit einem Fingerzeig auswählen, vergrößern oder auch drehen lassen.
"Hier sehen sie zum Beispiel, wenn man jetzt auf einem Desktop ist und viele Symbole hat, dann verwende ich ganz intuitiv auch meine Hand und zeige: Das da vorne, das meine ich, ja. Und genauso wie ich das jetzt meinem Kollegen zeigen möchte, kann ich das ja auch dem Computer zeigen wollen: Ich meine dieses Symbol da vorne oder ich meine dieses Objekt da vorne, nimm das jetzt mal oder vergrößere das oder so was. Und das ist eine intuitive Art des Interagierens, ja, was wir unter Menschen auf jeden Fall machen und was der Computer jetzt auch verstehen soll."
Herzstück der Gestensteuerung sind neben der Software zwei Kameras: Sie sind an einem länglichen Vorbau montiert, der über dem Bildschirm thront. Von oben filmen die Kameras jede Handbewegung des Nutzers und sie senden die Daten im Bruchteil einer Sekunde an den PC. Dort werden die Bewegungsdaten in Computerbefehle umcodiert, sagt Paul Chojecki.
"Unsere Software analysiert die beiden Videobilder und sucht nach Fingern. Und wenn sie diese findet, dann werden die 3D-Koordinaten dieser Finger an die Software weitergegeben und dann dementsprechend interpretiert. Sei es als eine Drehbewegung eines Modells oder als ein Druck eines Buttons."
Wer sich vor den Bildschirm stellt und den Computer mit den eigenen Gesten steuern will, braucht einen kurzen Augenblick, bis er sich an die Bedienung gewöhnt hat. Dann aber geht alles recht schnell. Ein Fingerzeig auf den rechten Bildschirmrand genügt, um ein neues Motiv auszuwählen. Um das Bild zu vergrößern, breitet man einfach die Arme aus, mit einer Handbewegung von oben nach unten lässt man es rotieren. Jeder Befehl wird dabei von akustischen und visuellen Signalen begleitet.
Sie ersetzen die fehlenden sinnlichen Reize an den Fingern.
"Wenn sie die Hand ausstrecken, dann sehen sie, dass so eine grüne Laserlinie auf ihrer Hand sichtbar wird. Das ist auch eins der Feedbacks, die wir hier eingebaut haben, um dem Nutzer zu zeigen, ab hier wirst du erkannt."
Bilder vergrößern, Befehle bestätigen, Seiten umblättern oder bestimmte Daten auswählen: All das lässt sich natürlich genauso bequem mit Maus und Tastatur oder Touchscreen erledigen. Doch häufig ist eine berührungslose Interaktion sinnvoll, etwa aus hygienischen Gründen.
"Jeder kennt die Situation, insbesondere in Großstädten, wenn man einen Fahrkarten- oder einen Geldautomaten hat, der in stark frequentierten Bereichen steht, da möchte man teilweise wirklich ungern diesen Touchscreen berühren, weil er sehr dreckig ist und man sieht dort schon tausende von Fingerabdrücken und das Ganze steigert sich natürlich, wenn man in den OP-Bereich geht, ja, wo die Ärzte das natürlich gar nicht dürfen, bestimmte Gegenstände anfassen."
Seit dem vergangenen Jahr wird ein Gesten gesteuerter Computer für den Operationsbereich produziert. Die Ärzte können so während der OP Laborbefunde, Überweisungsberichte oder Röntgenbilder mit einer einfachen Handbewegung auf den Bildschirm legen – alles bleibt dabei steril. Paul Chojecki demonstriert die Technik. Er streckt seinen Finger aus und zoomt in die Aufnahme eines menschlichen Beckens.
"Also ich kann jetzt hier in Röntgenaufnahmen reingehen, die vergrößern und verkleinern, ich kann zum Beispiel auch was markieren, so, einen bestimmten Bereich, wenn man zum Beispiel in einer Operation mit mehreren Ärzten gemeinsam über etwas diskutiert."
Erste Schritte in die Praxis gibt es also bereits – doch von einer Massenanwendung ist die Gestensteuerung noch Jahre entfernt. Und auch im Labor wartet auf die Forscher noch eine große Herausforderung: Die Software soll künftig auch andere komplexe Gesten erkennen und in Computerbefehle umsetzen können. Das Zupacken einer Hand wurde kürzlich bereits erfolgreich simuliert. Ein Ordner oder ein Bild lässt sich so einfach mit der Hand greifen und in die Mitte des Bildschirms ziehen.