Der Körper als Schnittstelle

Das Digitale muss zurück in den Raum: Die cast01-Konferenz zum Thema "Mixed Reality" in Sankt Augustin

Die Informationsgesellschaft droht leicht zum Schlagwort zu werden. Damit Realität und Virtualität in dieser Gesellschaft "verschmelzen" können, wie es in einer Eröffnungsrede hieß, muss noch einiger Forschungsaufwand geleistet werden, um neue Schnittstellen für die User in den komplexen Informationsumwelten von morgen zu schaffen. Mixed Reality (MR) ist dabei ein umfassenderes Konzept als die Virtual Reality (VR) und die Augmented Reality (AR), das jedoch diese beiden Vorformen einbezieht. MR bezeichnet die Verbindung von kulturellen Handlungsformen im realen Raum mit Prozessen in virtuellen Umgebungen unter den Bedingungen des Internet, der Mobilkommunikation und des beginnenden ubiquitous computing.

Wenn allerdings ästhetische Erfahrungen wie das Sehen von Filmen auch als MR-Erlebnis beschrieben werden, wird deutlich, dass der Begriff zuweilen Trennschärfe vermissen lässt. Eine Schwierigkeit ergibt sich aus dem Umstand, dass MR zugleich als Werkzeug wie als Umgebung betrachtet werden kann, wie Roy Ascott in seiner Keynote anmerkte. Dass neue Arten von Beziehungen zwischen Usern, ihren Körpern, ihren Repräsentationen als Avatar, anderen, über Netz verbundenen Usern, Software-Agenten, virtuellen Objekten, Informationsumgebungen und realen Orten möglich werden, lässt ahnen, welche Komplexitäten technisch und gestalterisch bewältigt werden müssen. Die Konferenz cast01 leistete einen wichtigen Beitrag, um die Entwicklungen der MR in der medialen Öffentlichkeit zu diskutieren.

Die Konferenz zum Thema "living in mixed realities" stieß im Vorfeld auf großes Interesse, wovon 450 Anmeldungen für Beiträge in verschiedenen Sparten zeugen. 250 Teilnehmer(innen) kamen schließlich auf Schloß Birlinghoven, einem Veranstaltungsort der Fraunhofer-Gesellschaft (vormals GMD), am 21./22.9. in Sankt Augustin bei Bonn zusammen. Internationale Referent(inne)en aus den USA, England, Japan, Italien u.a. präsentierten eine ganze Reihe von Projekten, die versuchen, das Konzept der MR in die Tat umzusetzen. Das New Yorker Attentat hinterließ auch auf dieser Konferenz seine Spuren. Es gab Absagen. Die weltweite Datenvernetzung und der verbesserte Zugriff für möglichst viele Menschen wurde denn auch zum Auftakt als Aufgabe einiger Wissenschaftler, Techniker, Designer und Künstler bezeichnet, um einen Beitrag zur Verständigung der Kulturen zu leisten. Wer will da widersprechen.

Mixed Reality vs. Virtual Reality

Ein Einkaufsszenario aus den nächsten Jahrzehnten: Ich stehe auf einer Laufplattform, vor mir die stereoskopische Großprojektion einer in Echtzeit berechneten dreidimensionalen computeranimierten Einkaufswelt, in der eine Bilderwand mit Warengruppen zu sehen ist. Meine User-Id wird identifiziert, die mein PDA über Infrarotsignale vermittelt. Mit einer Geste kann ich diese Flächen aktivieren und mir weitere Informationen zeigen lassen. Videoeinspielungen zeigen mir das Objekt im realen Gebrauch. Lebensgroße Avatare, die mich umgeben, sind entweder Verkaufsprogramme oder menschliche Käufer aus anderen Teilen der Welt.

Dieser kurze Blick in die zukünftige Shopping-Welt, an der im MARS Exploratory Media Lab am Institut Medienkommunikation der Fraunhofer-Gesellschaft gearbeitet wird, zeigt die Richtung, in die MR entwickelt wird. Die vernetzten virtuellen Welten sollen dem User "gegenübertreten", er soll sich "in" ihnen ohne störende technische Schnittstellen bewegen können.

Der MR-Begriff wurde 1994 von Paul Milgram und Fumio Kishino in einem Paper geprägt. Eine direkte Linie zieht sich von der VR über die AR zur MR. VR bezeichnet die Wahrnehmung und Manipulation von computererzeugten künstlichen Welten, die über Schnittstellen wie die eye glasses sichtbar sind und zudem mit dem Datenhandschuh Objekte "berührt" und Prozesse ausgelöst werden können. AR stellt die Überlagerung von virtuellen Dateninformationen mit der realen Sicht eines Blickfeldes dar, so dass die beiden Realitätsebenen "geteilt" werden. Ein Mediziner kann beispielsweise mit einer Spezialbrille bei einer Operation an einem bestimmten Interface reale Aufnahmen des Körpers sehen und zugleich eine Simulation des kranken Organs. Beide Konzepte beziehen sich eher auf Seh-, denn auf Kommunikationssysteme.

Ich sprach mit Monika Fleischmann, Mitorganisatorin der Konferenz, Leiterin des MARS Exploratory Media Lab und Medienkünstlerin. Eine Aussage aus dem Katalog hatte mich stutzig gemacht: bei MR sollen die User in eine "Position der Präsenz und Aufmerksamkeit" (awareness) gesetzt werden. Was ist damit gemeint? "Es kann wirklich nur unter denen verstanden werden," hebt Monika Fleischmann hervor, "die Interfaces und Interaktionen entwickeln. Die Mixed Reality kommt ja aus der Informationstechnikentwicklung, von der Virtual Reality zur Mixed Reality sozusagen. Der Unterschied, den wir machen, ist, dass es nicht nur die VR-Schiene abdeckt und weiterführt, so wie es in der Technikentwicklung tatsächlich gemacht wird. Da geht es immer um Simulationen. In unserem Ansatz, Awareness und Kommunikation zum Thema zu machen, soll der MR-Begriff, der wieder nur technisch behandelt wir , von der anderen Seite, der Kommunikationsseite, gesehen werden, die sich in vielen Künstlerprojekten widerspiegelt." Sowohl VR und AR kämen aus der militärischen Forschung. Interaktivität werde, so Fleischmann, als "Simulationsumgebung" entwickelt und nicht "für die Kommunikation".

M. Abendroth et.al.

In dem Vortrag von Machiko Kusahara fiel die Allgemeinheit des Begriffs auf; so wurde erklärt, dass es jetzt keine Grenzen zwischen verschiedenen Realitäten mehr gebe. Das Lesen eines Buches oder das Schauen eines Films sei ebenfalls eine MR-Erfahrung. Brücken zu bauen zwischen Kunst, Internet, Design, Technologie, Wissenschaft sei das Anliegen der MR-Zunft. Komplexe Informationsräume stellen ohne Zweifel eine Erweiterung der Wirklichkeit dar, neue wissenschaftliche und ästhetische Forschungsgebiete, aber es bleiben Fragen, die sich auf die Abstraktion und die Art der Datenerfassung beziehen.

Awareness als bewusster Umgang

Wenn man über die genannten "Awareness-Techniken" (Positionssensoren, Bilderkennungssysteme, elektromagnetische Felder u.a.) in einem Raum Bewegungen detektieren kann, die dann etwas ansteuern, bleibt die Irritation, ob dieser Ansatz nicht sehr "körperzentriert" ist. Es geht an dieser Stelle nicht um die Diskussion ästhetischer Kriterien für künstlerische Performances. Die ganzen Informationsprozesse, die in der Technokultur immer wichtiger werden, sind ja nicht Prozesse, die noch körperlich nachvollzogen werden können. Wir sind verstärkt mit Abstraktionen konfrontiert, wir müssen mit virtuellen Repräsentationen leben, mit technischen Bezugssystemen, die es historisch so noch nicht gab. Wenn man jetzt "nur" einen Raum hat, in dem sich ein Körper bewegt, liegt die Einschätzung nahe, dass diese Situation zu "niedrigkomplex" ist angesichts der Informationsfülle, die in der Technokultur angeboten wird. Es könnte inhaltlich von den Beziehungen her beliebig werden, was in diesem Raum passiert.

Dazu Fleischmann: "Awareness hat mit dem Körper zu tun, aber es muss nicht nur so betrachtet werden. Der Begriff 'awareness' kommt vor allem aus dem Interface-Design. Das ist ganz wichtiges Thema. Es hat natürlich mit Körper zu tun, insofern, als dass ich auch mit den Augen spüren kann, was ist. Wie nehme ich die Dinge wahr, darum geht es. Man muss zeigen: wie fühle, wie spüre ich, wie weiß ich, dass andere mit mir da sind - falls ich das will. Wie wird das ein shared environment."

"Awareness" bezieht sich also auf die Bedingungen, wie man in einer MR-Konstellation aufmerksam wird, wie die eigene Wahrnehmung gesteuert werden kann. Es ist ein Gebiet für Experimente und erste Annäherungen an die Thematik, wie neue Wahrnehmungs- und Verhaltensweisen sich bilden können. In einem Interview für das netzspannung-Journal beschreibt ein weiterer Mitarbeiter der Fraunhofer-Gesellschaft, Wolfgang Prinz, dass es um die "Gruppenwahrnehmung" gehe unter Leuten, die in verteilten virtuellen Systemen arbeiten und räumlich voneinander getrennt sind. Kritisch merkt er auch an, dass dieselben Techniken, die die Aufmerksamkeit synchronisieren sollen, auch zur Überwachung eingesetzt werden können.

W. Prinz et.al.

Monika Fleischmann und Wolfgang Strauss formulieren in demselben Gruppeninterview ihren Anspruch an die Aufmerksamkeit. Diese Awareness-Techniken "messen und signalisieren die Veränderung von einem digitalen Zustand in einen anderen. Diese Veränderungen werden sichtbar, hörbar, spürbar, fühlbar - erfahrbar gemacht. Es geht um die Entwicklung und Wahrnehmung des elektronischen Doppelgängers, seiner Spuren im Netz und der Auswirkung dieser Netzaktivität auf den realen Raum." Also betrifft es nicht den "ganzen" Körper, sondern es geht um eine neue Einbindung seiner Sinneswahrnehmungen.

Wolfgang Strauss hatte zu Beginn der Konferenz die Parole ausgegeben: "Das Digitale muss zurück in den Raum!" Das Digitale ist eine eigene Sphäre. Wenn man das Internet veranschaulichen will, gibt eine Krise der räumlichen und der körperlichen Metapher. Monika Fleischmann stimmt mir dazu, weist mich aber darauf hin, dass nicht der Raum-Begriff als solcher, sondern der öffentliche Raum gemeint sei. Als Beispiel erwähnt sie ein neues Projekt des Architekten Jean Nouvel und des Medienkünstlers Maurice Benayoun, der 1997 mit der VR-Arbeit "World Skin" bei der Ars Electronica brillierte. Die Gestaltung der U-Bahnstation Franklin D. Roosevelt in Paris wird einen Mix aus Architektur und Medien wie Internet, VR, Video umfassen. Der Raum wird in Bewegung geraten - ankommende Züge haben beispielweise Einfluss auf die Bildprojektionen - und eine "Kunsthalle" darstellen, die tausende Benutzer mit Medienimpressionen konfrontiert. Vielleicht entsteht eine neue Art von öffentlichem Raum. Jedenfalls ist dieses Projekt ein gutes Beispiel für die "mediatecture" als Variante der MR mit dem größten "Außenanteil".

E. Moreno et.al.

Interdisziplinäre Forschung nötig

Die Konferenz machte die wissenschaftliche und ästhetische Forschung der MR, die technische Umsetzung, ihre Bewertung, ihr "Marketing" und ihre Bildungsvermittlung zugleich zum Thema. Alte ungelöste Fragen bleiben virulent: Wie ist nun das Verhältnis von Kunst und Wissenschaft (und Design), wie das von Realität und Künstlichkeit, wie das von intuitivem und rationalem Begreifen?

Monika Fleischmann ist der Ansicht, dass die Technikentwicklung mehr Feedback von den Kulturwissenschaften bekommen müsse. Man bräuchte konkrete Rückmeldungen von anderen Spezialisten in Workshop-Gesprächen, etwas, dass kaum bezahlbar, aber dringend notwendig sei. Die Diskussion müsse öffentlich werden, nicht beschränkt sein auf die "Minispezial-Community", die sich momentan damit beschäftigt. "Das Interdisziplinäre hat ein großes Problem, dass man sich ganz schnell missversteht und dann entsteht gar nichts. Es ist wirklich ein Problem, eine Zeitlang zusammenzuarbeiten, bis man ansatzweise eine Sprache gefunden hat, wo man weiß, alle verstehen ungefähr das Gleiche darunter." Der Horizont der MR ist ob ihrer Medien- und Darstellungsvielfalt unbegrenzt. Will man tatsächlich eine "totale" MR erreichen und neben der Optimierung bisheriger Sinneswahrnehmungen auch den Geruchs- oder den Tastsinn einbinden, wovon auch die Rede war, ist noch viel interdisziplinäre Arbeit nötig.

Wie visualisiert man Information, so dass man mehr als Information hat? Wie entsteht tatsächlich eine Art Wissensraum? Ein Herangehen an diese Fragen reduziert sich nicht auf Motion-tracking-Systeme, sondern es müssten hierzu Aspekte der Awareness, der Vernetzung des Raumes herangezogen werden. "Den Internet-Raum betrachten wir auch als Wissensraum," so Fleischmann, "und die Visualisierung dieses Raumes ist das wichtigste Thema, wenn man damit mehr machen will, als Anzeigen schalten. Es hat ja ein wahnsinniges Potenzial."

F. Matsumoto et.al.

Neben dem Service, PDF-Dateien der Vorträge anzubieten, stellt die netzspannung-Site selbst ein neu eröffnetes Internet-Medienlabor dar - ein interessanter Versuch, das Netz als Plattform für die Forschungs-, Informationsarbeit zu nutzen. Eine Timeline ist vorgesehen, die zeigen will, wie welche technischen Entwicklungen welche künstlerischen Projekte angeregt haben, welche wechselseitigen Auswirkungen es gab und wie darüber diskutiert wird. Erste Versionen von semantic web - und knowledge discovery - Tools sind verfügbar. Basierend auf der Technik der neuronalen Netze, wird ein formales Cluster gebildet, das Ähnlichkeiten zwischen Projekten anhand von Keyword-Häufungen aufführt, aber keine inhaltlichen Bedeutungen zusammenfasst. Es ist ein Hilfsmittel, nicht mehr, nicht weniger, das sich in Workshops bewährt hat, um das Denken in festgefügten Kategorien aufzubrechen und ein "anderes assoziatives Denken" zu bekommen. Diese Tools können online ausprobiert werden.

http://www.heise.de/tp/artikel/9/9668/1.html