Der Körper wird zum Instrument
Von Andrej Tschitschil · 21.10.2013
Der Motion Composer scannt den Körper und wandelt selbst kleinste Bewegungen in musikalische Klänge um. Mit einem Team aus Wissenschaftlern, Komponisten und Sounddesignern will der Tänzer Robert Wechsler damit nicht nur Künstlern, sondern auch in der Musiktherapie neue Ausdrucksformen ermöglichen.
"Was wir nun hören, sind meine Augenbewegungen. Oder nun hören wir Mundbewegungen. Unsere Technologie ermöglicht mit jedem Körperteil zu musizieren."
Musik und Bewegung sind menschliche Urinstinkte. Seit Jahrtausenden tanzt der Mensch und wandelt Musik in Bewegung um. Der Motion Composer stellt dieses Prinzip auf den Kopf. Er kann Bewegung in Musik umwandeln. Der Motion Composer besteht aus einem leistungsfähigen Computer, einer Musiksoftware und zwei hochauflösenden Kameras. Die 3-D-Kamera ortet den Menschen im Raum. Eine 2-D-Kamera analysiert die Bewegungen des Körpers. Die hieraus entstehenden präzisen Informationen müssen dann in Musik umgewandelt werden. Marcello Lussana ist Softwareentwickler und koordiniert im Motion Composer Team das Zusammenspiel von Technologie und musikalischem Output.
"Das Konzept ist, dass die Bilder von dem Video mit einem Bild von einer leeren Bühne verglichen werden. Das heißt, diese Software kann immer die Differenz zwischen der leeren Bühne mit dem was auf der Bühne passiert, vergleichen und diese Daten einfach in Nummern verwandeln und diese Nummern werden zu den musikalischen Patches, der Musiksoftware, geschickt, die diese dann den Musikparametern zuordnet. Das heißt, ich kann einige Bewegungen dann wirklich in Sound verwandeln."
Musik und Bewegung sind menschliche Urinstinkte. Seit Jahrtausenden tanzt der Mensch und wandelt Musik in Bewegung um. Der Motion Composer stellt dieses Prinzip auf den Kopf. Er kann Bewegung in Musik umwandeln. Der Motion Composer besteht aus einem leistungsfähigen Computer, einer Musiksoftware und zwei hochauflösenden Kameras. Die 3-D-Kamera ortet den Menschen im Raum. Eine 2-D-Kamera analysiert die Bewegungen des Körpers. Die hieraus entstehenden präzisen Informationen müssen dann in Musik umgewandelt werden. Marcello Lussana ist Softwareentwickler und koordiniert im Motion Composer Team das Zusammenspiel von Technologie und musikalischem Output.
"Das Konzept ist, dass die Bilder von dem Video mit einem Bild von einer leeren Bühne verglichen werden. Das heißt, diese Software kann immer die Differenz zwischen der leeren Bühne mit dem was auf der Bühne passiert, vergleichen und diese Daten einfach in Nummern verwandeln und diese Nummern werden zu den musikalischen Patches, der Musiksoftware, geschickt, die diese dann den Musikparametern zuordnet. Das heißt, ich kann einige Bewegungen dann wirklich in Sound verwandeln."
Musikumgebungen, Räume und Rhythmus
Für den Klang sind verschiedene internationale Komponisten verantwortlich. Sie schaffen mit ihren Kompositionen die interaktiven Musikumgebungen. Diese werden Patches genannt. Sie basieren auf algorithmischen Kompositionen. Diese logischen Strukturen legen fest, was passiert, wenn man den Arm, den Körper oder den Kopf nach oben, unten oder zur Seite bewegt und sorgen dafür, dass jeder ausgelöste Klang mit der Bewegung zusammen passt. Der Raum in dem man sich bewegt, wird zu einem erfahrbaren Klangerlebnis. Andrea Cera ist Komponistin der Musikumgebung "Drums".
"Auch wenn man sich sehr zufällig bewegt, ist der musikalische Output immer rhythmisch und diese Rhythmik ist die Motivation hinter diesem Patch. Je mehr man sich bewegt, desto mehr grooved die Musik. Dadurch ist die Motivation größer, sich weiter zu bewegen."
Robert Wechsler, Initiator und Ideengeber des Projekts, steht dabei an der Schnittstelle zwischen Mensch und Maschine. Mit seiner Erfahrung als professioneller Tänzer kennt er die Probleme, Menschen zum Tanzen zu animieren. Zusammen mit Marcello Luassana entwickelt er die Musikumgebung: Techno, der Menschen motivieren soll, sich zu bewegen.
"Einerseits gibt es einen typischen Kick und eine Snare, so einen ganz typischen Technobass und dann gibt‘s einige kleinere rhythmische Elemente und da wollen wir ein wenig mehr spielen, reduzieren oder mehr machen, je nach Aktivität der Menschen, so dass auch eine Entwicklung entsteht von diesem Patch, wenn man mit diesem Patch 20 Minuten spielt, dann wird es nicht langweilig, das wird anders."
"Auch wenn man sich sehr zufällig bewegt, ist der musikalische Output immer rhythmisch und diese Rhythmik ist die Motivation hinter diesem Patch. Je mehr man sich bewegt, desto mehr grooved die Musik. Dadurch ist die Motivation größer, sich weiter zu bewegen."
Robert Wechsler, Initiator und Ideengeber des Projekts, steht dabei an der Schnittstelle zwischen Mensch und Maschine. Mit seiner Erfahrung als professioneller Tänzer kennt er die Probleme, Menschen zum Tanzen zu animieren. Zusammen mit Marcello Luassana entwickelt er die Musikumgebung: Techno, der Menschen motivieren soll, sich zu bewegen.
"Einerseits gibt es einen typischen Kick und eine Snare, so einen ganz typischen Technobass und dann gibt‘s einige kleinere rhythmische Elemente und da wollen wir ein wenig mehr spielen, reduzieren oder mehr machen, je nach Aktivität der Menschen, so dass auch eine Entwicklung entsteht von diesem Patch, wenn man mit diesem Patch 20 Minuten spielt, dann wird es nicht langweilig, das wird anders."
Verschiedene Musikumgebungen für verschiedene Einsätze
Der Benutzer des Motion Composers wählt zwischen fünf verschiedenen Musikumgebungen aus. Neben Klanglandschaften, bei denen man durch Bewegung den Raum mit Naturklängen erforscht, stehen klassische Instrumente, verschiedene Musikstile oder abstrakte Klänge zur Auswahl. Josepha Dietz organisiert Workshops und entwickelt Konzepte zum Einsatz des Motion Composers im therapeutischen Bereich.
"Also erst einmal funktioniert das Ganze mit jedem, jeder der sich bewegen kann, der kann auch tanzen und musizieren. Insbesondere haben wir festgestellt, dass wir mit dem Motion Composer gerade Menschen mit Behinderungen eine neue Welt eröffnen und dementsprechend haben wir auch schon mit Menschen gearbeitet, die wirklich nur minimale Bewegungen mit dem Gesicht machen können, die vielleicht nur ganz wenig die Hand bewegen können, auf Grund von Spastiken, auf Grund von Lähmungen, aber wir sagen, die können sich trotzdem ausdrücken und genau das ist genau das Faszinierende in so einem Moment."
Die Entwickler sehen konkrete Anwendungsmöglichkeiten des Motion Composers in der Musiktherapie. Die verschiedenen Musikumgebungen schaffen Anreize für Menschen mit Behinderungen, sich zu bewegen und neue Körpererfahrungen zu machen. Für die Zielgruppe entwickelten sie drei verschiedene Level, die "Raum", "Stuhl" und "Bett" heißen. Jede Musikumgebung kann somit für unterschiedlichste Körpervoraussetzungen eingestellt werden. Schwerstbehinderte können mit kleinsten Bewegungen des Mundes, der Nase oder der Augen mit der Musikumgebung interagieren und nehmen ihren Körper intensiver wahr. Für Robert Wechsler wird der Traum von der Verbindung zwischen Bewegung und Musik Wirklichkeit.
"Es gibt nichts Essenzielleres als ein Wort, Mensch zu sein, als Musik und Tanz. Es steckt in uns allen drin, vielleicht versteckt, egal welche Körperfähigkeiten sie haben oder auch, wenn man nicht klar denken kann, aber der Instinkt an sich, dieser kreative Impuls, der hat nicht direkt mit unseren kognitiven Fähigkeiten zu tun."
"Also erst einmal funktioniert das Ganze mit jedem, jeder der sich bewegen kann, der kann auch tanzen und musizieren. Insbesondere haben wir festgestellt, dass wir mit dem Motion Composer gerade Menschen mit Behinderungen eine neue Welt eröffnen und dementsprechend haben wir auch schon mit Menschen gearbeitet, die wirklich nur minimale Bewegungen mit dem Gesicht machen können, die vielleicht nur ganz wenig die Hand bewegen können, auf Grund von Spastiken, auf Grund von Lähmungen, aber wir sagen, die können sich trotzdem ausdrücken und genau das ist genau das Faszinierende in so einem Moment."
Die Entwickler sehen konkrete Anwendungsmöglichkeiten des Motion Composers in der Musiktherapie. Die verschiedenen Musikumgebungen schaffen Anreize für Menschen mit Behinderungen, sich zu bewegen und neue Körpererfahrungen zu machen. Für die Zielgruppe entwickelten sie drei verschiedene Level, die "Raum", "Stuhl" und "Bett" heißen. Jede Musikumgebung kann somit für unterschiedlichste Körpervoraussetzungen eingestellt werden. Schwerstbehinderte können mit kleinsten Bewegungen des Mundes, der Nase oder der Augen mit der Musikumgebung interagieren und nehmen ihren Körper intensiver wahr. Für Robert Wechsler wird der Traum von der Verbindung zwischen Bewegung und Musik Wirklichkeit.
"Es gibt nichts Essenzielleres als ein Wort, Mensch zu sein, als Musik und Tanz. Es steckt in uns allen drin, vielleicht versteckt, egal welche Körperfähigkeiten sie haben oder auch, wenn man nicht klar denken kann, aber der Instinkt an sich, dieser kreative Impuls, der hat nicht direkt mit unseren kognitiven Fähigkeiten zu tun."