Rainer Dorau
Emotionales Interaktionsdesign Gesten und Mimik interaktiver Systeme
123
Rainer Dorau
[email protected]
ISSN 1439-3107 ISBN 978-3-642-03100-7 e-ISBN 978-3-642-03101-4 DOI 10.1007/978-3-642-03101-4 Springer Heidelberg Dordrecht London New York Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. © Springer-Verlag Berlin Heidelberg 2011 Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichenund Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Einbandentwurf: KuenkelLopka GmbH Gedruckt auf säurefreiem Papier Springer ist Teil der Fachverlagsgruppe Springer Science+Business Media (www.springer.com)
Inhalt
Vorwort 10
1
Gesten in der MenschSystem-Interaktion 14
2
Gerätegestützte Interaktion 54
1.1
Emotionales Interaktionsdesign 16 Der Gegenstand des Interaktionsdesigns 17 Ästhetik 18 Das Bedienerlebnis 20 Verstehen als Designkategorie 21
2.1
Multitouch-Screens 56 Multitouch Deluxe 57 Multitouch-Technologien 58
2.2
Multitouch-Trackpads 60 Trackpad als Mausersatz 60 Trackpad als Multitouch-Oberfläche 61
2.3
Touchpads und sensitive Oberflächen 62 Touchpads mit Sonderfunktionen 62 Berührungsempfindliche Gehäuse 62
1.2
Gesten und Gebärdensprache 26
1.3
Gesten, Werkzeuge und Roboter 30 Musikinstrumente und Studioequipment 31 Werkzeuge der Zukunft 32 Humanoide Roboter 32
1.4
Kooperatives Arbeiten 34
1.5
Der kulturelle Horizont 38 Symbolische Gesten 38 Maschinell geführte Gesten 40 Affordance als Anwendungskontext 40
1.6
Digitale Realität 42 Intelligente Umgebungen 42 Erweiterte Realität 46
1.7
Mobiles Computing 48 Die Sensorik des iPhone 49 Rückmeldungen des iPhone 52
6
Inhalt
2.4 Surface-Computing 64 Display-Technologie 65 Multitouch-Erkennung 66 Objekterkennung 68 Objektinteraktion 68 2.5
Stifteingabe 70 Eingabehardware 71 Gestenraum 73 Sensorik 74
2.6 Desktop-Maus 76 Puristen und Boliden 77 Die Benchmark 77 Projektion und Skalierung 78 Gestisches Repertoire 78 Die Multitouch-Maus 80 Sensorik 81
3
Prinzipien der Gestensteuerung 102
Rollermaus 82 Ergonomie 82 Bedienung 83 Gestisches Repertoire 85
3.1
Betrachterperspektive 104 Objektorientierte Perspektive 105 Camera-Eye-Perspektive 106 Horizont und Himmelssphäre 108
2.8 3D-Maus 86 Defizite einer Desktop-Maus 86 3D-Navigation mit bis zu sechs Freiheitsgraden 88 Zweihändige Bedienung 91
3.2
Direkte Interaktion 110 Direkte Manipulation als Verankerung 110 Modifikation der Verankerung 111
3.3
Stellvertreterobjekte 114
2.7
2.9
Controller im Auto 92 Automobiles Infotainment 93 Touch-Eingabe 94 Steuerung externer Geräte 94
2.10 Handheld-Geräte 96 Gestisches Repertoire 97 Das Wii-Prinzip 98
3.4 Regler 116 Bewegungstransformation 116 Skalen und Koordinatensysteme 118 Absolute und relative Projektion 122 Jog und Shuttle 123 3.5
Spuren und Punktmuster 126 Spuren 126 Punktmuster 127
3.6
Rhythmen 128
3.7
Spatiale Navigation 130 Automotive 130 Multitouch für Blinde 131
Inhalt
7
4 Typische MultitouchAnwendungen 134
5
Komposition von Gesten 168
4.1
5.1
Die Struktur einer Geste 170 Zielobjekt und räumlicher Geltungsbereich 170 Die kommunikative Absicht 172 Ereignisprofil 173 Rückmeldeverhalten des Systems 173
5.2
Ereignisse und Ereignisprofile für Gesten 174 Elementare Ereignisse für Gesten 174 Verkettung 177 Bewegungsformen 178 Bewegungsmerkmale 178 Zeitsteuerung 179 Dynamik 180
5.3
Bedingungen für das Gelingen einer Geste 182 Ausführungssicherheit 182 Vorhersehbarkeit 184 Auslöseverhalten 186
Scrollen und Blättern 136 Scrollen mit Verankerung 137 Scrollen mit variabler Geschwindigkeit 139 Proportionales Scrollen 140 Shuttle-Scroll 141
4.2 Skalieren und Zoomen 144 4.3
Rotieren 148
4.4 Öffnen und Schließen 152 4.5
Kopieren und Einfügen 154
4.6 Duplizieren 156 4.7 Annullieren 158 Gesten für Annullieren 158 Gesten für das Widerrufen einer Annullierung 160 4.8 Stoppen und Nothalt 162 Gesten für Unterbrechungen 163 4.9 Einrichten und Aufheben einer Bediensperre 164 Einrichten einer Bediensperre 164 Aufheben einer Bediensperre 165
8
Inhalt
5.4 Erkennungsbereiche 188 Trefferbereiche 188 Erkennungsbereiche für Ziehbewegungen 192 Absicherung gegen Fehlbedienung bei Ziehbewegungen 193 Objekt- und Szenenwechsel 194 5.5
Zeitsteuerung 196 Hold-Funktion mit Vorlaufzeit 196 Kontiguitätsintervall 196 Zeitüberschreitung 197
5.6
Notation für Gestensteuerung 198 Einfache Notation 198 Synchronisation der Komponenten 202 Eingabeereignisse 203 Logik der Eingabemethode 206 Rückmeldungen im Interface 206 Funktionsbelegung 208
6
Visualisierung der MenschSystem-Interaktion 212
6.1
Sinneswahrnehmung und systemseitige Rückmeldung 214 Visuelle Rückmeldung 214 Haptische Rückmeldung 214 Der mechanische Tastsinn 216 Akustische Rückmeldung 217
Danksagungen 256 Weiterführende Links 257 Index 258
6.2 Instanzen der Rückmeldung 218 Rückmeldung über zwei Kanäle 220 Zeitverzögerte Prozesse 220 Unterstützung bei Erstbedienung 222 Der Weg durch die Instanzen 222 6.3
Zustandsraum interaktiver Elemente 228 Die vier Kategorien eines Zustandsraums 229 Eigenschaften eines Zustandsraums 232 Der Systemgedanke beim Design eines Zustandsraums 234
6.4 Rückmeldung der Interaktion 236 Die zeitliche Ordnung 238 Rückmeldung mit zyklischer Struktur 239 Rückmeldung für Gesten mit zwei Eingabegeräten 240 Geräteabhängige Rückmeldung 241 Verbot der Systemintervention während einer Transaktion 242 6.5
Funktionen 244 Toggle-Varianten 245 Darstellung uneindeutiger Zustände 248 Logische Transformation 249
6.6 Objektbereitschaft 250 Aspekte der Objektbereitschaft 250 Rückmeldung bei Bediensperre 250 Differenzierte Objektbereitschaft 253 6.7
Rollen in einer Geste 254 Rollen einer Drag-and-Drop-Geste 254 Ablegen versus Absorbieren 255
Inhalt
9
Vorwort Interaktionsdesign im Übergang zum postcomputeriellen Zeitalter
Wer hätte das gedacht? Ein Newcomer mischt die ganze Branche auf und ringt den großen Smartphone-Anbietern, die die Protagonisten im hart umkämpften Markt zu kennen glaubten, empfindlich Marktanteile ab. Zugegeben, Apple war kein unbeschriebenes Blatt und hatte mit der iPod-Serie schon mobile Geräte erfolgreich vermarktet, aber Telefonie betrachtete man nicht als angestammtes Geschäftsfeld des kalifornischen Computerherstellers. Auch wenn Apple die Multitouch-Bedienung nicht erfunden hat, hat das Unternehmen sie beim iPhone massenmarkttauglich perfektioniert. Das iPhone hat seine Wirkung nicht verfehlt. Seit seiner Markteinführung im Jahr 2007 vergeht praktisch kein Tag im Leben eines Interaktionsdesigners, bei dem die im Betriebssystem der mobilen Geräte verankerte Gestensteuerung nicht als Vergleichsmaßstab für Multitouch-Anwendungen angeführt wird – sei es, um sich an den Quasistandard anzulehnen, sei es, um sich bewusst gegen die Apple-Lösung abzusetzen. Im einen wie im anderen Fall ist das iOS die Benchmark, gegen die geprüft wird. Das iOS ist das erste Betriebssystem für Consumerprodukte, das von Grund auf auf Multitouch-Bedienung ausgelegt ist und sich nicht auf das Paradigma eines Zeigersystems stützt, wie wir es von den Desktop-Betriebssystemen her kennen. Das Bemerkenswerte daran ist, dass es sich von einem Tag auf den anderen im Markt behaupten konnte. Andere Betriebssysteme wur-
10
Vorwort
den erst nachträglich um Multitouch-Fähigkeiten erweitert oder kamen, wie im Fall von Windows Phone, nach dem iOS, ohne in Bezug auf die Gestensteuerung grundlegende Innovationen mitzubringen. Was auch immer Apples Mitbewerber schon in den Schubladen hatten – es ist schwer zu sagen, welche von den realisierten Konzepten auf eigenen Überlegungen beruhen und welche vom iPhone beeinflusst sind. Eines aber ist sicher: Für mobile Geräte ist Multitouch heute ein Muss, und wenn es stimmt, dass Tablett-PCs den Übergang zu einem postcomputeriellen Zeitalter markieren, wie Steve Jobs bei der Einführung des iPad visionär verkündete, dann wird die Multitouch-Bedienung in diesem Zeitalter als eine der zentralen Eingabemethoden fortbestehen. Nun, Prognosen sind schwierig, vor allem, wenn sie die Zukunft betreffen – dieses vielzitierte Bonmot trifft auch auf die zukünftige Entwicklung der von Gesten geprägten MenschSystem-Interaktion zu. Aber es schadet nicht, die Entwicklung der Vergangenheit in die Zukunft weiterzudenken. Wenn sich der bisherige Trend fortsetzt, werden immer mehr Multitouch-Produkte auf den Markt drängen. Gleichzeitig wird eine weitere Diversifizierung unter den per Gesten gesteuerten Systemen stattfinden. Auch wenn sich das Gros interaktiver Anwendungen auf Multitouch konzentriert, bleibt genug Raum für Speziallösungen und Nischenprodukte. Die
Nischenprodukte: »Generalisten«
Verbreitungsgrad
MultitouchProdukte
berührungslose Interaktion
Summe interaktiver Anwendungen insgesamt nimmt zu. In gewisser Hinsicht markiert Multitouch unter allen Eingabemethoden die Schnittstelle zwischen einer durch Eingabegeräte unterstützten Interaktion und berührungsloser Steuerung. Abseits des Multitouch-Hypes gibt es einen großen Markt, der mehr in die Breite geht als in die Höhe strebt und der sich von der universalen Computerperipherie wie Maus und Tastatur zu Nischenprodukten wie Controller mit sechs Freiheitsgraden erstreckt, die mit ihrer besonderen Eingabesteuerung für Spezialanwendungen konzipiert sind. Dem gegenüber steht die berührungslose Gestenerkennung, deren geringer Verbreitungsgrad sich wegen der damit verbundenen technischen Herausforderungen ebenfalls nicht an Multitouch-Lösungen messen lassen kann. Viele sehen die berührungslose Gestensteuerung als folgerichtige Weiterentwicklung der Multitouch-Idee. Als die Arbeiten zu diesem Buch Anfang 2009 begannen, waren die Begriffe »innovatives User-Interface« und »Multitouch« quasi synonym. Die berührungslose Interaktion per Raumgesten tummelte sich hingegen noch auf der Spielwiese der Forschungsinstitute. Fast zwei Jahre später, Ende 2010, trägt die Forschung auf dem Gebiet der berührungslosen Interaktion erste Früchte: Microsoft bringt mit Kinect eine spielerische Anwendung für die Xbox 360 auf den Markt und das für Endoskopieprodukte
1
Nischenprodukte: »Spezialisten«
gerätegestützte Interaktion
1 Blick in die Zukunft: MultitouchProdukte stellen das Gros der Anwendungen, aber gleichzeitig gewinnen Nischenprodukte mit gerätegestützter und berührungsloser Interaktion an Bedeutung.
bekannte Medizinunternehmen Karl Storz stellt auf der weltgrößten Medizin-Fachmesse medica ein berührungsloses Informationssystem für den OP-Saal vor, das auf einer vom Fraunhofer Heinrich-Hertz-Institut entwickelten Raumgestenerkennung basiert. MI-Report, so der Produktname des Systems (er spielt unter Auslassung des »Nority« auf den berühmten Sciencefiction-Film an), beschränkt sich auf Handgesten, die innerhalb eines beliebig im Raum platzierbaren Infrarotvorhangs ausgeführt werden. Kinect verfügt hingegen über eine Ganzkörpererkennung und überträgt die im Raum vor dem Bildschirm ausgeführten Bewegungen eines Xbox-Spielers auf die Bewegungen eines Avatars in einem virtuellen Spiel. Bei Kinect ist der Spaß an der sportlichen Betätigung im Wohnzimmer garantiert, für eine feinfühligere Gestensteuerung ist die Technik aber (noch) nicht ausgereift. MI-Report reagiert auf die Bewegung einzelner Finger, weitere Raumgesten wie Schwenkbewegungen zum Blättern befinden sich beim Heinrich-Hertz-Institut
Vorwort
11
© 14
© 54
© 102
12
im Prototypenstadium. Beide Produkte geben einen guten Eindruck, in welchen Bereichen die berührungslose Bewegungserkennung sinnvoll eingesetzt werden kann. Bei Kinect ist es die ungehinderte freie motorische Bewegung mit Körpereinsatz, die den Verzicht auf Controller sinnvoll erscheinen lässt. Das Konzept von MI-Report ergibt sich aus den strengen Anforderungen im OP-Saal an die Sterilität der Objekte, mit denen ein Arzt während einer Operation in Kontakt kommt. Touchscreens sind den Medizinern in dieser Hinsicht ein Greuel. Was jedoch nicht berührt wird und weit genug entfernt ist, muss nicht (so oft) mit hohem Aufwand sterilisiert werden. Die berührungslose Interaktion wird sich in den kommenden Jahren neben Multitouch zu einem der spannendsten Betätigungsbereiche für Interaktionsdesigner entwickeln. Aber es steht nicht zu erwarten, dass sie andere Arten der Gestensteuerung verdrängen wird, vielmehr wird sie Anwendungsfelder erschließen, die von einer Mensch-System-Interaktion bisher nicht oder nur unzureichend abgedeckt waren. Sie wird Multitouch nicht ersetzen, genauso wenig wie Multitouch die klassische Mausbedienung ersetzen wird. Unterschiedliche Eingabemethoden werden friedlich nebeneinander koexistieren, nur der Verbreitungsgrad der einen oder anderen Lösung wird sich verschieben. Anders als bei einer maschinell geführten Geste legen Freihandgesten im Raum eine universale Erkennung nahe. Während der Vorteil eines Tastendrucks an einem Eingabegerät ja gerade in der radikalen Reduktion auf zwei Zustände zu sehen ist, macht es bei einer rein optischen oder auf Ultraschall basierenden Gestenerkennung wenig Sinn, das System nur auf wenige Handstellungen nach Art eines Schalters reagieren zu lassen. Das Kriterium der Verhältnismäßigkeit zwischen technischem Aufwand, Lernaufwand aufseiten des Bedieners und dem zu erwartenden Nutzen wäre nur unzureichend erfüllt. Vielmehr eröffnet sich hier die Chance, ähnlich wie bei Multitouch allgemein anerkannte Gesten zu standardisieren, die nicht auf proprietäre Systeme eingeschränkt sind. Die berührungslose Interaktion hat trotz der Produktdiversifizierung das Potenzial, gene-
Vorwort
ralisierbare Anwendungen zu schaffen. Je mehr solche Systeme in den Alltag drängen, desto größer wird der Wunsch nach einer allgemeinen »Gestensprache«. Dieses Feld wird gegenwärtig von den zweidimensionalen berührungsempfindlichen Oberflächen vorbereitet, und man wird sehen, inwieweit sich aus Multitouch ein »Freespace-Multitouch« entwickelt. Vor diesem Hintergrund ist es nur konsequent, dass dieses Buch einem interdisziplinären Ansatz folgt und an einigen Stellen die Nähe zur Linguistik sucht. Auch wenn Gesten von echter sprachlicher Kommunikation weit entfernt sind, lassen sich Erkenntnisse der Sprachwissenschaft auf Gestensteuerung übertragen und die linguistische Terminologie für die Beschreibung gestischer Prinzipien nutzen. Trotz dieser theoretischen Anklänge erhebt Emotionales Interaktionsdesign den Anspruch, Interaktionsdesignern und Applikationsentwicklern Leitfaden für die tägliche Projektarbeit zu sein, die von der ersten Projektskizze bis zur visuellen Ausgestaltung des per Gesten gesteuerten Interfaces reichen kann. Der erste Teil des Buchs setzt sich mit den Möglichkeiten und Grenzen beim Einsatz von Gesten in der Mensch-System-Interaktion auseinander. Neue Interaktionsformen wie die kooperative Interaktion zwischen mehreren menschlichen Akteuren stehen hier ebenso im Vordergrund wie die Frage nach den technischen Voraussetzungen. Diese Frage wird im zweiten Teil über die gerätegestützte Interaktion vertieft. Die Kapitel geben einen Überblick über die Vielzahl von Eingabegeräten, die sich jeweils durch ihre spezifische Eingabemethode auszeichnen und für bestimmte Anwendungen mit gestischer Interaktion besondere Vorteile bieten, etwa indem sie durch die Einschränkung auf wenige Bewegungsformen die Eindeutigkeit bei der Erkennung von Gesten ungemein erhöhen – ein wesentlicher Vorteil gegenüber der berührungslosen Interaktion. Der dritte Teil widmet sich den allgemeinen Prinzipien der Gestensteuerung, die den Charakter der Gesten bestimmen und die Grundlage für jedes Interaktionskonzept bilden. Nach welchen Prinzipien eine Gestensteuerung funktio-
niert, bestimmt maßgeblich die »innere Logik« des Interfaces und wie sich das Interface »anfühlt«. In einem Designprojekt folgt auf die Festlegung der allgemeinen Prinzipien die Festlegung des Repertoires konkreter Gesten, wie sie im vierten Teil am Beispiel typischer MultitouchAnwendungen behandelt werden. Welche Aufgabe lässt sich mit welcher Geste gut bewerkstelligen? Auf diese Frage geben die Kapitel mehrere alternative Antworten. Sie konzentrieren sich auf Multitouch-Gesten und allgemeine Aufgaben, die in den meisten Multitouch-Anwendungen anstehen und nach einer nahtlosen Integration ins Interaktionskonzept verlangen. Eine eindeutige Gestenerkennung setzt voraus, dass alle Gesten im Gestenrepertoire einer Anwendung vom System sicher erkannt und unterschieden werden können. Die im fünften Teil vorgestellte Methodik zur Komposition von Gesten erfüllt den Anspruch an die nötige definitorische Exaktheit. Neben der genauen Beschreibung von Gesten anhand räumlicher und zeitlicher Parameter thematisiert der fünfte Teil auch, wie sich Gesten gegen ungewollte Fehlbedienung absichern lassen, wenn eine Interaktion einmal nicht nach Plan verläuft. In jedem Designprojekt stellt sich spätestens jetzt die Frage, wie sich Gestendefinitionen, noch bevor sie in Kode gegossen werden, schriftlich dokumentieren und an andere Projektteilnehmer kommunzieren lassen. Die vorgestellte Gestennotation orientiert sich an der Partiturnotation musikalischer Werke und stellt die zeitliche Synchronisation der einzelnen »Stimmen« und »Stimmgruppen« (Logik, Interaktion, Rückmeldeverhalten des Interfaces und Funktionsauslösung) in einer detaillierten Übersicht dar. Eine aussagekräftige Gestennotation ist im Hinblick auf die spätere Umsetzung der definierten Gesten durch Softwareentwickler wichtig, aber auch für die Gesten begleitende Visualisierung, mit der das Buch im sechsten und letzten Teil abschließt. Die Visualisierung der MenschSystem-Interaktion macht letztere erst komplett: Ohne Rückmeldung kommt kein echter Dialog zwischen Mensch und System zustande. Um die visuelle Gestaltung eines per Gesten
gesteuerten Interfaces nicht dem Zufall zu überlassen, stellt der letzte Teil zwei Modelle für die methodische Arbeit eines Interaktionsdesigners vor: das Instanzenmodell und das Modell eines Zustandsraums. Beide Modelle sind alles andere als theoretische Abstraktionen; sie können als praktische Anleitungen gelesen werden, das gestische Repertoire und die Visualisierung in ein stimmiges Gesamtkonzept für das User-Interface zu überführen.
134 †
Rainer Dorau, im Dezember 2010
168 †
212 †
Vorwort
13
1
Gesten in der MenschSystem-Interaktion
1.1
Emotionales Interaktionsdesign Über die Herausforderung beim Design, alles richtig zu machen
Wenn sich bei der Markteinführung eines neuen Produkts lange Schlangen vor den Türen der Ladenlokale bilden und diejenigen, die unter den ersten sein wollen, die das neue Gerät in den Händen halten, die Nacht vorher mit dem Schlafsack vor dem Eingang ausharren, um sich die Poleposition zu sichern, darf man dem Marketing des Unternehmens gratulieren. Bei einem derartigen Hype im Vorfeld der Produkteinführung ist der Erfolg augenscheinlich nicht zu leugnen. Gewiss, Erfolg misst sich nicht in der Medienaufmerksamkeit allein, die solche Spektakel begleitet, und nicht jeder Produkt- und Anwendungshersteller sieht die fanatische Begeisterung der Anwenderschaft als Ziel seiner Geschäftspolitik. Interessant aber bleibt das Phänomen, dass Produkte bei Menschen eine Begeisterung hervorrufen können, die sich aus ihrem bloßen Funktionsumfang nicht zu erklären scheint. Keine Frage: Hier spielen Emotionen eine große Rolle. Es wäre aber falsch, die Gefühlswelt der Zielgruppe als nichtig abzutun oder zu glauben, die emotionale Seite der Produkte wäre nur im Bereich der Consumer-Elektronik von Bedeutung. Was dem einen sein Smartphone, ist dem anderen vielleicht sein Automobil. Wer wollte sich davon freisprechen, nicht selbst auf bestimmte Produkte oder Produkteigenschaften emotional zu reagieren? Und welcher Hersteller wollte behaupten, ihm sei die Wirkung seiner Produkte auf die Anwender gleichgültig?
16
Selbst in gewerblichen Bereichen wie dem Dienstleistungssektor, der Industrie oder der Medizin, wo der Bediener nicht der Einkäufer ist, werden »weiche« Faktoren ernst genommen. In der Arbeitswelt sind sich Arbeitsgeber durchaus der Bedeutung emotionaler Faktoren für das Betriebsklima bewusst. Wenn Mitarbeiter mit einer Anwendungssoftware unzufrieden sind, drückt das auf die Arbeitsmoral und die allgemeine Stimmung. Arbeitnehmer, die mit ihrer Arbeit und den Arbeitsbedingungen zufrieden sind, sind produktiver, machen weniger Fehler, entwickeln ein höheres Problemlösungsbewusstsein, sind weniger krank und engagieren sich stärker für das Unternehmen – die Liste positiver Auswirkungen ist lang. Ein Einkäufer in einem Unternehmen stellt sich heute mehr als früher die Frage, inwieweit die Anschaffung einer neuen Software positive oder negative Nebeneffekte zeigt. Freundliche Benutzeroberflächen, die dieses Attribut verdienen, haben gegenüber anderen Produkten einen Wettbewerbsvorteil. Es ist also durchaus im Interesse eines Herstellers, ein emotional ansprechendes Produkt zu entwickeln, selbst wenn es nicht zu den Lifestyle-Produkten zählt. Das Bewusstsein, dass es beim Interfacedesign um mehr geht, als nur der technischen Schnittstelle zwischen Mensch und Maschine ein äußerliches Gewand zu geben, drückt sich im allgemeinen Konsens aus, keine Software mehr zur
Gesten in der Mensch-System-Interaktion
R. Dorau, Emotionales Interaktionsdesign, X.media.press, DOI 10.1007/978-3-642-03101-4_1, © Springer-Verlag Berlin Heidelberg 2011
Marktreife bringen zu wollen, die nicht zeitgemäßen Usability-Anforderungen genügt. Benutzerfreundlichkeit ist kein bloßes Werbeschlagwort mehr. Aber es setzt sich auch die Erkenntnis durch, dass die Einhaltung von Usability-Anforderungen nicht automatisch ein emotional ansprechendes Produkt garantiert. Donald A. Norman hat, um sich vom eher nüchternen und zu eng gefassten Usability-Begriff zu lösen, den Begriff der User-Experience geprägt. »User-Experience« ist eine Sammelbezeichnung für die Gesamtheit aller Erfahrungen, die ein Bediener mit einem System in Bezug auf das Industrie- oder Produktdesign, das Interfacedesign und die Interaktion macht. Viele Hersteller haben diese Sichtweise übernommen und sprechen heute von der besonderen User-Experience ihres Produkts. Ein User-Interface soll nicht nur erwartungskonform und fehlerfrei ans Ziel führen, es soll dies auch auf eine Weise tun, die begeistert. An die Stelle nüchterner Usability tritt der joy of use. Emotionale Faktoren wie Spaß und Begeisterung gelten Produktentwicklern heute als Konstituenten gelungener Mensch-SystemInteraktion.
Designprozesses sicherstellen kann, dass ein Design funktionieren wird und die Anforderungen an ein emotionales Interaktionsdesign erfüllt. Die ganze Problematik liegt allein darin, dass der Stoff, den ein Interaktionsdesigner bearbeitet, zunächst im Unklaren bleibt, weil es ja eben nicht die Emotionen der Anwender sind, die der Gestaltung direkt unterliegen. An den Emotionen selbst kann ein Designer keinen Hebel ansetzen, denn sie sind ja nur die Wirkung auf das Design. Was aber ist der Gegenstand des Designs? Oder anders gefragt: Auf welche Aspekte des emotionalen Interaktionsdesigns soll sich eine methodische Vorgehensweise stützen, die sich die Forderung nach guter Usability und guter User-Experience auf die Fahnen schreibt? Drei Hauptaspekte sollen an dieser Stelle herausgehoben werden: Beim Design interaktiver Anwendungen gilt es,
Der Gegenstand des Interaktionsdesigns
Es fällt vielleicht auf, dass nur das erste der drei Ziele auf Visualität abhebt, Bedienerlebnis und Verständnispotenzial aber »unsichtbarer« Natur sind. Das ist auch richtig so, denn Gestaltung visueller Interfaces bedeutet weitaus mehr, als nur Pixel und Vektoren an die richtige Stelle zu setzen. Auch das Bedienerlebnis und das Verstehen sind Gegenstand der gestalterischen Arbeit, deshalb betrachten wir sie in diesem Kapitel neben der Ästhetik ebenfalls mit besonderem Interesse. Erst wenn alle drei Aspekte ein stimmiges Ganzes ergeben, ist die Forderung nach einem guten Interaktionsdesign erfüllt. Dieses Buch will vermitteln, dass gutes Design nicht allein das Ergebnis kreativer Höchstleistung ist. Zwar kommt gutes Design nicht ohne die schöpferische Kraft des Designers aus, aber eine strukturierte Vorgehensweise ist ebenso unerlässlich. Dass Kreativität und ein methodisches Vorgehen eine fruchtbare Symbiose bilden kön-
Das Wissen um die emotionale Wirkung von Design ist eine gute Voraussetzung, um ansprechende Produkte mit hoher emotionaler Bindung zu entwickeln. Jedem Interaktionsdesigner werden die Argumente, warum emotionales Design ein erstrebenswertes Ziel ist, sofort einleuchten. Die Frage aber ist, wie man dieses Ziel erreicht. Gute Gründe sind das eine, aber ein gutes Designkonzept folgt daraus nicht automatisch. Eine Vorgehensweise nach dem Trial-and-Error-Verfahren wäre keine Option: Ausprobieren und erst im Usability-Test zu evaluieren, ob ein Design ankommt oder nicht, kostet viel Zeit und Geld, und ist extrem risikobehaftet: Späte Erkenntnis kann einem Projekt mitunter den Todesstoß versetzen. Für Interaktionsdesigner ist es vor allem von Interesse, wie man schon in frühen Phasen des
• im Erscheinungsbild der Anwendung den Anspruch an eine gute Ästhetik zu erfüllen, • dem Anwender ein positives Bedienerlebnis zu verschaffen und • das Verständnis der Anwendung bestmöglich zu fördern.
Emotionales Interaktionsdesign
17
nen, ist eine der Grundthesen dieses Buchs. Die vorgestellten Methoden und Systematiken bilden die Werkzeuge, mit denen der Interaktionsdesigner sein Projekt formen und ausgestalten kann. Diese ermöglichen ihm nicht nur, zu guten Lösungen zu kommen, sie versetzen ihn auch in die Lage, in einem Projekt zu begründen, warum eine Lösung gegenüber einer anderen favorisiert wird. Eine fundierte Methodik nimmt dem Interaktionsdesign den Anschein des Beliebigen. Designentscheidungen können daher immer auf (mindestens) einen der drei Aspekte guten Designs zurückgeführt werden.
Ästhetik Dass Design etwas mit Ästhetik zu tun hat, ist selbst für den Laien eine Selbstverständlichkeit, und die Arbeit eines Designers wird ja in der Regel mit visueller Gestaltung assoziiert. Diese Vorstellung ist aus zwei Gründen klischeehaft. Zum einen ist das Interaktionsdesign ja gar nicht auf das visuelle Design eingeschränkt. Auch das auditive Design oder die Haptik beispielsweise liegen im Verantwortungsbereich eines Interaktionsdesigners. Ästhetik, so könnte man es aus Sicht des Interaktionsdesigns formulieren, ist generell Design für die Sinne. Das visuelle Erscheinungsbild Die Ästhetik einer Anwendung wird vom Betrachter zunächst am Erscheinungsbild beurteilt. Meist ist der erste Eindruck, den ein Bediener von einer interaktiven Anwendung erhält, visueller Natur, denn bevor die Finger über den Touchscreen streichen, hat das Auge seinen Inhalt schon sondiert. Ein attraktives Erscheinungsbild erhöht die Aufmerksamkeit des Bedieners und sein Interesse, sich mit dem Interface auseinanderzusetzen. Unweigerlich schließen Bediener vom ersten visuellen Eindruck auf die gesamte Anwendung. Was gut aussieht, muss auch gut sein. Es erntet damit, quasi als Vorschusslorbeeren, Anerkennung und auch ein größeres Wohlwollen. Lehnt der Bediener die Ästhetik der Anwendung jedoch ab, wird er ihr stets – und sei es
18
Gesten in der Mensch-System-Interaktion
nur unterschwellig – mit Widerwillen begegnen. Eine negative Einstellung gegenüber der Technik bleibt nicht ohne Folgen auf die Produktivität und Fehlerhäufigkeit. Die Kriterien für ein gutes visuelles Erscheinungsbild sind schon durch das Grafik- und Informationsdesign formuliert worden, bevor interaktive Anwendungen den Alltag und das Berufsleben eroberten. Gestaltungsregeln für Layout, Farbgebung, Typografie usw., die seit der Erfindung des Buchdrucks für Printmedien geschliffen wurden, haben bei Bildschirmanwendungen nicht an Gültigkeit verloren. Noch bevor der Begriff »Usability« ins Bewusstsein der Systementwickler trat, haben sich Typografen und Gestalter mit Leseergonomie beschäftigt und Darstellungstechniken verfeinert, die ein optimales Erfassen von Informationen und eine bestmögliche Lesbarkeit zum Ziel haben. Zu den Themen Ergonomie und Usability sind schon viele gute Bücher geschrieben worden. Jedes Medium, auch die sogenannten neuen Medien, hat seine eigenen Besonderheiten, was die technische Reproduktion angeht. Neben der gestalterischen Leistung hat eben auch die technische Reproduktion Einfluss auf das Erscheinungsbild. Bei Bildschirmanwendungen etwa müssen Interaktionsdesigner die besonderen Einschränkungen der Monitorwiedergabe oder die mit der erzeugenden Software erreichbare Renderingqualität berücksichtigen. Stilistik Einen großen Einfluss auf die Ästhetik einer Anwendung hat auch die Stilistik, das gilt für die visuellen Komponenten insgesamt, aber insbesondere für bildhafte Darstellungen wie Piktogramme und Symbole, von denen ja viele Anwendungen rege Gebrauch machen. Die Stilistik sollte der Zielgruppe und der Zweckbestimmung der Anwendung angemessen sein. Soll das Interface eher seriös oder vielmehr spielerisch erscheinen? Soll es Dinge eher fotorealistisch oder ikonografisch anzeigen?
rm
en
he
H
th
tik ap
et
r fo
Äs
t qualitä
it igke rläss z an rm
sthetik
Pe
Audio
r ac
Zu v e
Klangä
sp
2
ik
e B e di
Sy
en al t
e ist fe ns b läu o K d er A z n e r Kohä Begeisterungs fähigkeit Sys tem eti ket te
en Mo
d el l Logisches Folgern
Verste h
nt a les
bnis
es nt
rh ve m ste
en alt rh ve m te ys sS te en llig nen te entio In ter v emin Syst Fehlerhandling
emotionales Interaktionsdesign
Me
nerle
Sicherheit Erg ono mie
Fo
t tegritä tik lis Sti
nd
ische In
-u
Ersche inungs bild Re nd er i ng qu ali t ät
Ä s th et
Fa rb
ng
Wo rdin g Symbole
ru
g de
eu nd
ie
er un s Sy
ach
nt
alisi
Spr
Informationsarchitektur Na vig at i o n
r ie
Visu
stem s t at us
Klänge Wenn eine visuelle Darstellung mit Klängen oder Musik kombiniert wird, gehört die Abstimmung von Visualität und Klangeindruck zu den schwierigsten Aufgaben beim Interaktionsdesign. Auch Hinweistöne und Warntöne müssen unter ästhetischen Gesichtspunkten ausgewählt oder komponiert werden. Töne sollen nicht nur ihre jeweilige Bedeutung kommunizieren (ein Warnton beispielsweise muss deutlich von einem einfachen Hinweiston zu unterscheiden sein und seine Dringlichkeit klar kommunizieren), sie müssen auch hinsichtlich ihrer Klangästhetik zum visuellen Erscheinungsbild passen. Klingt der Ton so seriös wie die Anwendung aussieht? Hat er das Spielerische, das für das Erscheinungsbild so typisch ist?
O
n enze n s e qu n o ti o rK n de ak o r i t te izipa In A nt uf a ck ba d e Fe
2 Drei Aspekte des emotionalen Interaktionsdesigns stehen bei der Entwicklung interaktiver Anwendungen im besonderen Fokus einer methodischen Vorgehensweise: die Ästhetik, das Bedienerlebnis und das Verstehen. Einen dieser Aspekte unberücksichtigt zu lassen, birgt die Gefahr in sich, den Anspruch an gute Usability und User-Experience zu verfehlen. Jeder der drei Aspekte lässt sich anhand konkreter Designkriterien präzisieren, von denen einige aufgeführt sind.
Emotionales Interaktionsdesign
19
© 214
Haptik Sofern der Bediener physisch mit dem Produkt oder seinem Interface in Kontakt tritt, spielt die Haptik nicht nur für das systemseitige Feedback eine Rolle, sie tritt auch in den Status einer ästhetischen Kategorie. Form, Größe und Gewicht eines mobilen Geräts, die Härte des Materials, seine Oberfläche und auch die Oberflächentemperatur haben großen Einfluss darauf, ob die physische Berührung als angenehm empfunden wird oder nicht. Fühlt sich der Bediener beim physischen Kontakt unbehaglich, nützen dem Produkt auch sein gutes visuelles und auditives Design wenig. Die in den 1990er Jahren erfolgreichen Organizer des britischen Unternehmens Psion (heute Psion Teklogics) waren mit einer geschmeidigen Oberfläche versehen, die nicht nur beim ersten Kontakt verblüffte. Man mochte das Gerät nur ungern wieder aus der Hand geben. Um eines angenehmen Tasteindrucks willen wählen Produkt- und Industriedesigner das Material im Hinblick auf die Oberflächensensibilität der menschlichen Haut aus, die sowohl für mechanische Reize als auch für Temperatur und Schmerz empfindlich ist. Allein der mechanische Sinn teilt sich in fünf differenziert wahrnehmbare Sinnesmodalitäten auf: Berührung, Vibration, Druck, Spannung und Kitzel.
Das Bedienerlebnis Donald A. Norman versteht User-Experience als Gesamterlebnis, das die Wirkung von Design vollständig umfasst. Der Begriff »Bedienerlebnis« wird in diesem Buch etwas enger gefasst, um ihn von Ästhetik und Verstehen besser abgrenzen und die Unterschiede zwischen den drei Aspekten des emotionalen Interaktionsdesigns stärker herausstellen zu können. Das Bedienerlebnis beziehen wir direkt auf den Akt der Interaktion und auf seine Wirkung auf den Bediener. Das Bedienerlebnis ist in erster Linie ein Effekt, der eher im Nachhinein wirkt und sich nicht sofort mit dem ersten heischenden Blick auf das Erscheinungsbild einer Anwendung einstellt. In Bezug auf die Ästhetik einer Anwen-
20
Gesten in der Mensch-System-Interaktion
dung entscheidet sich am Bedienerlebnis, ob das visuelle Erscheinungsbild sein Versprechen einlöst oder nicht. Ziel ist es, beim Bediener durch die besondere Art und Weise der Interaktion eine positive Grundstimmung hervorzurufen. Da, wie bei Emotionen schlechthin, die Stimmung des Bedieners nicht direkt beeinflussbar ist, müssen Interaktionsdesigner an anderen Stellschrauben ansetzen und ihr Augenmerk auf die Eigenschaften richten, die die gewünschte positive Wirkung auslösen können. Performanz und Zuverlässigkeit Es dürfte eine Binsenweisheit sein, dass lange Wartezeiten, ruckelnde Animationen und verspätete Rückmeldungen des Systems zu den Dingen zählen, die ein Bediener nicht anerkennt. Ein performantes Verhalten, insbesondere des UserInterfaces, setzt Rechenleistung voraus, die heute generell verfügbar ist, aber nicht immer ausgenutzt wird. Gerade bei Embedded-Systemen werden aus Kostengründen immer noch Touchdisplays eingesetzt, die sich mit einem User-Interface, das von üppigen Animationen Gebrauch macht, in die Knie zwingen lassen. Eine performante Darstellung von Prozessen und Zuständen und eine instantane Rückmeldung der Benutzereingaben verbucht ein Bediener gern unter der technischen Zuverlässigkeit des Systems. Dies schafft Vertrauen in die Funktionstüchtigkeit und Robustheit des Systems. Die emotionale Wirkung bleibt nicht aus. Der Bediener denkt im Stillen: Es fühlt sich gut an. Wobei »fühlen« hier in seiner übertragenen Bedeutung gemeint ist und nicht auf die Sinneswahrnehmung anspielt. Erfüllt das Interface den Anspruch an hohe Performanz nicht, könnte der Bediener vom Interface auf das System als Ganzes schließen und annehmen, das System sei insgesamt eher instabil. Und das fühlt sich nicht gut an. Neben der technischen Zuverlässigkeit ist auch die logische Zuverlässigkeit von großer Bedeutung. Das System muss sich erwartungskonform verhalten, der Benutzer muss das Gefühl haben, dass es das tut, was man von ihm verlangt. Das Vertrauen in die Zuverlässigkeit des
Systems ist eine der wichtigsten Voraussetzungen für ein positives Bedienerlebnis. Intelligentes Systemverhalten Computer sind keine Menschen, aber trotzdem erwarten Bediener von Anwendungen ein Verhalten, das nach menschlichen Maßstäben als intelligent aufgefasst werden kann. Jeder hat sicherlich schon die Erfahrung gemacht, wie sehr Computer nerven können. Manchmal will ein Computer einfach nicht verstehen. Computer verhalten sich, ihren vorprogrammierten Algorithmen folgend, mitunter unglaublich stur. Das ist alles andere als intelligent. Wäre der Computer ein Mensch, man würde ihm seine Verfehlungen nur schwer verzeihen. Oft ist der Anwender der Dumme, aber das liegt meist an der Dummheit des Systems. Ein als unintelligent empfundenes Systemverhalten lässt sich zielsicher auf Fehler im Konzept zurückführen – und diese sind vermeidbar. Der erste Schritt zu mehr Intelligenz besteht in der einfachen Frage: Würde sich ein freundlicher Mensch ebenso verhalten? Und wenn nein: Was würde man stattdessen von einem Menschen erwarten? Systeminterventionen In der Mensch-System-Interaktion gibt es ja bekanntlich zwei Akteure, und manchmal muss das System auf äußere Bedingungen reagieren, die der Bediener nicht unbedingt vorhersehen kann. Vor allem wenn das System Zustände ändert, die der Bediener selbst herbeigeführt hat, sollte es dies mit Bedacht tun und den Bediener im Idealfall über seine Gründe informieren. Der Bediener darf nicht das Gefühl bekommen, das System funke ihm dazwischen. Auch in kritischen Situationen will der Bediener ernst genommen werden. Interventionen des Systems dürfen den Bediener nicht brüskieren, und auf keinen Fall dürfen sie ihn in der Ausübung einer gestischen Handlung stören, selbst wenn sich während der Geste die Bedingungen für deren Erfolg ändern. Dass dem so ist, kann das System dem Bediener nach Abschluss der Handlung mitteilen, aber es darf ihm nicht vorher den Boden unter den Füßen entreißen. Hier heißt es, abwarten und Tee trin-
ken, so viel Zeit muss sein. Ausnahmen gelten selbstverständlich für sicherheitskritische Funktionen, die keinen Aufschub dulden. Reaktion auf Benutzerfehler Irren ist menschlich, und deshalb gehört die Vergebung spätestens seit Erfindung der DesktopBetriebssysteme zu den obersten Prinzipien des Interaktionsdesigns. Bediener sollen Fehler machen dürfen, auch wenn dies generell nicht gewünscht ist und durch geeignete Maßnahmen verhindert werden kann. Aber es kommt eben vor, und dann wäre ein erhobener Zeigefinger, wie symbolisch er auch daherkommen mag, keine geeignete Reaktion des Systems. Kein Mensch macht gern Fehler, und meist ist es uns auch peinlich, Fehler zu machen, zumal wenn wir sie unmittelbar danach als solche erkennen. Auf Fehler hinzuweisen, ist richtig, darauf herumzureiten unnötig. Die beste Reaktion auf Fehler des Benutzers ist allerdings, ihm die Chance zu einer Korrektur zu geben und ihm gegebenenfalls besondere Hilfestellung anzubieten, um erneute Missverständnisse auszuschließen. Wortwahl Imperative Ermahnungen, Versalschrift und Ausrufezeichen sind die pädagogischen Mittel einer vergangenen Epoche. Das Wording einer Anwendung sollte freundlich, aber bestimmt sein, und nie maßregelnd oder bevormundend klingen.
Verstehen als Designkategorie Verstehen ist keine rein rationale Angelegenheit. Sicher, der Verstand ist dabei am stärksten beschäftigt, aber welch ein Genuss ist es, etwas verstanden zu haben. Exemplarisch dafür steht eine Anekdote, nach der der griechische Mathematiker Archimedes in einen überschwänglichen Freudentaumel verfallen sein soll, als er in seiner Badewanne das Prinzip des statischen Auftriebs entdeckte, dieser daraufhin augenblicklich entstieg und getrieben von einem unbändigen Mitteilungsdrang immerfort »Heureka!« rufend durch die Straßen des antiken Syrakus lief. Das
Emotionales Interaktionsdesign
21
3
© 40
»Heureka!«, das sinngemäß so viel wie »ich hab’s herausgefunden« bedeutet, ist seitdem Synonym für eine per Geistesblitz gewonnene Erkenntnis inklusive des damit verbundenen Gefühlsüberschwangs. Aha-Effekte lösen Glücksgefühle aus, und so ist neben dem praktischen Nutzen, wieder ein bisschen schlauer geworden zu sein, eine gehörige Portion Emotionen im Spiel. User-Interfaces sind immer auch logische Gebilde. Ein Bediener will sich nicht nur an der schönen Ästhetik erfreuen oder über das animatorische Verhalten staunen. Wenn mit der Anwendung ein praktischer Nutzen verbunden ist, will er wissen, wie es funktioniert, also die logisch-funktionalen Zusammenhänge verstehen. Die Suche nach dem »Wie« ist ein Verstehensprozess, und es gibt zwei Möglichkeiten, diesem Ziel näherzukommen: durch Ausprobieren (mit dem Risiko aller denkbaren Fehlschläge) oder geleitet von einem guten Informationsdesign der Anwendung. In den meisten Fällen ist es keine Option, dem Bediener die Anwendung als Experimentierfeld für eigene Versuche zu überlassen. Für Spiele mag dies noch angehen, aber jede ernsthafte Anwendung stellt ihre Ernsthaftigkeit in Frage, wenn sie den Bediener nicht entsprechend führt. Benutzerführung und Informationsdesign Ein gutes Informationsdesign zeichnet sich dadurch aus, dass es die Forderung nach einem selbsterklärenden User-Interface erfüllt. Das
22
Gesten in der Mensch-System-Interaktion
Interface soll, ohne eine Online-Hilfe oder ein Handbuch bemühen zu müssen, selbst erklären, was wie womit möglich ist. Es handelt sich um eine Formulierungsaufgabe, die sprachliche wie grafische Komponenten einschließt, aber auch deren Verhalten. Nach dem allgemein anerkannten Designprinzip form follows function sollen die Elemente des Interfaces so aussehen, dass man unmittelbar auf ihre Funktion schließen kann. Die Form in den Dienst ihrer Funktion zu stellen, wird in ähnlicher Weise auch von Donald A. Norman gefordert, der dafür den Begriff der Affordance geprägt hat, was man als den auf die Zweckbestimmung der Anwendung oder des Bedienelements ausgerichteten Mitteilungscharakter umschreiben kann – oder kurz: als Selbstbeschreibungsfähigkeit. Ein Griff, dem man ansehen kann, dass er ein Griff ist, sagt: »Ich bin zum Anfassen da«, ein Button sagt: »Ich bin zum Drücken da«. Sieht der Griff nicht aus wie ein Griff, sondern wie etwas, was man noch nie gesehen hat, löst er nur Unverständnis aus, er spricht nicht zum Bediener. In Bezug auf Gestensteuerung ist es mit der Selbstbeschreibungsfähigkeit so eine Sache. Sagt der Stadtplan, den ich auf dem Display meines Smartphones sehe, »Vergrößere mich mit einer pinch-Geste«? Wohl kaum. Mittlerweile ist diese Geste weithin bekannt, sodass sie fast schon als »kulturelles Wissen« vorausgesetzt werden kann, jedenfalls in der Gruppe der Technikaffinen unter uns. Aber ganz gleich, ob der Bediener dieses Wissen mitbringt oder nicht – die konkrete Ges-
4
tenausführung wird in diesem Beispiel durch die bloße Wiedergabe eines Stadtplans nicht kommuniziert. Gestische Interfaces vertrauen daher auf eine gewisse Experimentierfreudigkeit der Anwender, müssen diese dann aber auch entsprechend tolerieren und gegen Fehlbedienung absichern. Dabei gibt es durchaus Möglichkeiten der Vorabvisualisierung. Apple hat sich beim iPhone nicht ohne Grund für einen Schieberegler als Mechanismus zum Aufheben der Bildschirmsperre entschieden. Die nötige Bewegung wird durch eine kleine, sich wiederholende Animationssequenz über dem Text auf dem Reglerelement visualisiert. Das versteht man vielleicht nicht auf den ersten, aber spätestens auf den zweiten Blick – und damit ist für den Neuling auch schon der erste Lernabschnitt absolviert. Um eine für alle Bediener verständliche Visualisierung zu finden, muss sich der Interaktionsdesigner in die Situation des Anwenders hineinversetzen und antizipieren, was dieser zu verstehen in der Lage ist und was nicht. Dieser Ansatz ist im modernen Sinne hermeneutisch, was so viel heißt wie: In seinem Schaffensprozess muss ein Designer die Rezeption durch den Bediener stets mitdenken. Alle Designentscheidungen unterliegen der Maßgabe: Ist die Information, die der Anwender zur Bedienung benötigt, zur rechten Zeit im Interface präsent, und ist das Mittel der Darstellung geeignet, verstanden zu werden? Ein Interaktionsdesigner, der für die besondere Problematik des Verstehens sensibilisiert
3 Der Mac ist keine Schreibmaschine – das hat die amerikanische Autorin Robin P. Williams den Lesern ihres gleichnamigen Buchs über Textverarbeitung am Computer schon in den frühen Jahren des personal computing augenzwinkernd vermittelt. Der Buchtitel weist symptomatisch auf die grundlegende Problematik bei der Einführung neuer Technologien hin: Um die neuen Möglichkeiten zu verstehen, ist das Bekannte nur bedingt als Hintergrundwissen geeignet. Das mentale Modell von der Funktionsweise und den Grundprinzipien sollte sich ein Bediener nicht erst mühsam erarbeiten müssen. Es ist Aufgabe des Interfaces, dies mit einem guten Informationsdesign möglichst schnell und umfassend zu kommunizieren.
193 †
4 Auf die heutige Zeit bezogen, kann das Williamsche Credo beliebig abgewandelt werden: Das Smartphone ist kein Telefon, der Tablett-PC ist kein Computer, usw. …
Emotionales Interaktionsdesign
23
ist, untersucht die Bedingungen des Verstehens in der jeweiligen Anwendungssituation und beurteilt die Eignung von Designideen sowohl nach ihrem Verständnispotenzial als auch nach ihrem Potenzial, missverstanden zu werden. Denn nicht alles, was sich korrekt mitteilt, ist auch unmissverständlich formuliert. Ein gutes Informationsdesign wird vom Bediener als klare, unmissverständliche Benutzerführung wahrgenommen. Mentales Modell der Anwendung Auf Basis der Aussagekraft des Informationsdesigns und seiner ersten Erfahrungen in der Bedienung entwirft ein Bediener im Geiste ein mentales Modell der Anwendung. Wie schnell sich ein Bediener ein gedankliches Bild von der inneren Struktur einer Anwendung machen kann, hängt von seiner persönlichen Auffassungsgabe, der Zeit, die er mit der Anwendung verbringt, der Komplexität der Anwendung und eben ihrem Informationsdesign ab. Der Punkt ist beim einen vielleicht schon nach wenigen Sekunden, beim anderen vielleicht erst nach einer gewissen Einarbeitungszeit erreicht, aber dann glaubt der Bediener verstanden zu haben, wie alles zusammenhängt und wie Aufgaben erledigt werden können. Solange ein Bediener nicht in der Lage ist, sein Gedankenmodell zu komplettieren, ist die gewünschte Zufriedenheit nicht erreicht. Es bleibt die Unsicherheit, wie vorzugehen ist und welche Auswirkungen das eigene Handeln hat. Umgekehrt bedeutet eine klare Vorstellung im Kopf des Anwenders nicht, dass diese auch mit der tatsächlichen Struktur der Anwendung übereinstimmt. Das Interface darf den Anwender nicht zu Fehlannahmen verleiten, denn sonst handelt der Bediener im Glauben, das Richtige zu tun, falsch. Vorhersehbarkeit Ein gutes User-Interface erleichtert es dem Bediener, die Konsequenzen des eigenen Handelns vorherzusehen. Dazu reicht es nicht allein aus, den nächsten Schritt zu offerieren. Zu wissen, was als Nächstes zu tun ist, heißt ja nicht, abschätzen zu können, welche Folgen damit verbunden sind. Ein Bediener möchte sichergehen,
24
Gesten in der Mensch-System-Interaktion
dass nichts Schlimmes passiert, dass keine hohen Kosten anfallen, dass kein unwiderruflicher Prozess gestartet wird usw. usf. Solange Unsicherheit über die Folgen herrscht, ist einem Bediener nicht wohl bei der Sache. Das Aufkommen solcher unguter Gefühle gilt es aber zu vermeiden. Induktion und Deduktion Wie funktioniert eigentlich Verstehen? Auf der einen Seite ist das Verstehen von den persönlichen Erfahrungen und dem aktuellen Wissensstand des Bedieners abhängig. Darüber kann ein Designer nur bedingt etwas wissen. Sofern eine Anwendung für eine fachlich versierte Zielgruppe entwickelt wird, kann man die entsprechenden Fachkenntnisse getrost voraussetzen. Für Produkte jedoch, die für den Massenmarkt bestimmt sind, lässt sich allenfalls konstatieren, dass man es mit einer äußerst inhomogenen Anwenderschaft zu tun hat. Auch wenn man nicht wissen kann, was Anwender denken, weiß man viel darüber, wie sie denken. Menschen ziehen Schlüsse aus ihren Handlungen und den Rückmeldungen des Systems. Was unlogisch ist, wird nicht als logisch wahrgenommen. Bekanntlich gewöhnt sich der Mensch ja an vieles, auch an unlogische Dinge. Sich an etwas zu gewöhnen, heißt aber nicht, es als richtig, gut oder wünschenswert anzuerkennen. Man nimmt es stoisch als gegeben hin. Es gibt typisch menschliche Denkweisen, die von persönlichen Erfahrungen oder kulturellen Besonderheiten weitgehend unabhängig sind, und dazu zählen die logischen Schlussverfahren. An erster Stelle sind hier die Induktion und die Deduktion zu nennen. Diese Schlussfolgerungsmechanismen laufen während des Verstehensprozesses »im Hintergrund« mit (will sagen: im Kopf des Anwenders), und das Gelernte wird stets nach diesen beiden Verfahren bewertet. Bediener unterstellen einem System, dass es gewissen Regeln folgt und Gesetzmäßigkeiten vorliegen. Hat der Bediener gelernt, dass ein bestimmtes Element mit seinem charakteristischen Aussehen wie ein Schalter funktioniert, wird er bei allen anderen Elementen, die genauso aussehen, annehmen, dass es sich ebenfalls um
5
Schalter handelt. Der Schluss lautet: Was gleich aussieht, verhält sich gleich. Hier schließt der Bediener vom Einzelfall auf eine allgemein gültige Gesetzmäßigkeit (Induktion) und wendet diese Gesetzmäßigkeit wiederum auf andere Einzelfälle an (Deduktion). Induktion und Deduktion sind zwei Seiten einer Medaille. Der Schluss wirkt auch auf das Ausgangselement selbst zurück: Anwender schließen aus seinem Verhalten, dass es sich beim nächsten Mal wieder genauso verhält – und nicht unerwartet anders. Der »Hintergrundprozess« induktiver und deduktiver Schlussfolgerungen darf bei allen Bedienern als typische Erwartungshaltung vorausgesetzt werden. Widerspricht das Interface dieser Erwartungshaltung, kommt es zu einem Verständnisbruch: Der Bediener lernt, dass das Interface in seiner Visualisierung nicht eindeutig ist und er sich seiner Sache niemals sicher sein kann. In der logischen Schlussfolgerung ist zugleich ein Ausschluss mitformuliert, denn so, wie von gleich aussehenden Elementen eine gleiches Verhalten gefordert wird, wird von Elementen, die unterschiedlich aussehen, erwartet, dass sie sich auch unterschiedlich verhalten. Für das Interaktionsdesign bedeutet das, für bestimmte logische Funktionen im Interface wie einen Schalter nur eine einzige Visualisierung vorzusehen und die Visualisierung nicht »zweckzuentfremden«. Informationsarchitektur und Orientierung User-Interfaces haben einige Gemeinsamkeiten mit Gebäuden oder Städten: Man kann sich in
5 Die Konsequenzen eigenen Handelns vorherzusehen, ist Teil der Verstehensleistung des Bedieners, für die ein gutes Informationsdesign unbedingte Voraussetzung ist. Bleiben die Folgen – beispielsweise entstehende Gebühren – im Dunkeln, tut sich eine Verständnislücke auf, die sich als Unzufriedenheit äußert, wenn das System deutlich hinter den Erwartungen zurückbleibt.
ihnen verirren. Komplex aufgebaute Interfaces basieren auf einer Informationsarchitektur, die das logische Gerüst für die innere Ordnung der Inhalte und Funktionen bereitstellt. Die Informationsarchitektur als Ganze zu erfassen, ist vom Bediener meist gar nicht zu leisten, aber für das Verständnis der Anwendung auch nicht notwendigerweise gefordert. Wichtig ist, dass er sich zielsicher in der Navigationsstruktur bewegen kann. Aber mehr noch: Neben einem geeigneten Navigationskonzept muss eine komplexe Anwendung auch Mittel zur Orientierung bereitstellen. Es sind drei Fragen, die einen Orientierung suchenden Bediener interessieren: Wo bin ich? Wie bin ich hierhergekommen? Wie komme hier weg? Für jede der drei Fragen muss im Interface ein Ausdrucksmittel zur Verfügung stehen, ansonsten läuft der Bediener Gefahr, die Orientierung zu verlieren. Wer nicht weiß, wo er sich befindet, wie er dahingekommen ist (und den Weg zurückgehen kann) oder wie er weiterkommt, ist verloren – und fühlt sich auch so.
Emotionales Interaktionsdesign
25
1.2
Gesten und Gebärdensprache Warum Gesten in der Mensch-System-Interaktion nur bedingt etwas mit Sprache zu tun haben
© 174
26
Gesten sind keine Gebärden – auf diese einfache Formel kann man den Unterschied zwischen der Gestensteuerung in der Mensch-System-Interaktion und einer echten Gebärdensprache bringen. Während eine Gebärdensprache den Gehörlosen einen sprachlichen Ausdruck ermöglicht, der einer gesprochenen Sprache in nichts nachsteht, bleibt die Gestensteuerung – noch – dem Paradigma einer kommandobasierten Eingabe verhaftet. Gesten wirken als Befehle, mit denen ein Mensch einem Computer sagt, was er zu tun hat, und das System versteht nur den ihm bekannten Befehlssatz. Auch Menschen mit uneingeschränktem Hörvermögen nutzen Gesten als Mittel der nonverbalen Kommunikation. Meist unterstützen Gesten das gesprochene Wort, sie dienen als optische Verstärker oder haben gesprächssteuernde Funktion – der Sprecher »gestikuliert«. Ohne das gesprochene Wort sind solche gesprächsunterstützenden Gesten oft unverständlich. Anders verhält es sich mit Gebärden: Die Gebärden der Gehörlosen sind das Pendant zum Lautstrom der Hörenden, eine Gebärde ist der eigentliche sprachliche Informationsträger, auch wenn die Handbewegungen von Lauten, Gesichtsmimik oder einer Körperhaltung begleitet werden. Gesten der Mensch-System-Interaktion sind von derartigen Ausdrucksmöglichkeiten weit entfernt. Der Bezug zu einer Sprache ist aber da hergestellt, wo Gesten sich analog zum Phonem-
Gesten in der Mensch-System-Interaktion
inventar einer Sprache in kleinste bedeutungsunterscheidende Merkmale zerlegen und funktional beschreiben lassen. Ein bedeutungsunterscheidendes Merkmal einer Multitouch-Geste kann beispielsweise ein tap sein. Der tap an sich hat keine Bedeutung, in der gesamten Geste erfüllt er aber die Funktion eines distinktiven Merkmals, mit dem sich eine Zweifingergeste von einer Einfingergeste unterscheidet oder eine Geste mit Doppel-tap von einer Geste mit Einfach-tap abgrenzt. Sich anhand distinktiver Merkmale beschreiben zu lassen, haben Gesten mit einer Gebärdensprache gemeinsam, und beide zusammen mit allen gesprochenen Sprachen dieser Welt. Die in der Linguistik gebräuchliche Bezeichnung »Phonem« für die kleinsten bedeutungsunterscheidenden Merkmale (auch Gebärdensprachler behalten diese Bezeichnung bei, da die allgemein formulierte Phonemtheorie nicht auf lautliche Artikulation allein abhebt) ist im Interaktionsdesign unüblich, man spricht im Zusammenhang mit Gesten der Mensch-System-Interaktion von Ereignissen. Ereignisse sind die bedeutungsunterscheidenden Merkmale einer Geste, ohne selbst Bedeutung zu tragen. Die Reihenfolge oder Kombination der für eine Geste charakteristischen Ereignisse lässt sich anhand des Ereignisprofils beschreiben. So wie die Phoneme der Sprachen gemäß ihrer Grammatik zu bedeutungstragenden Wörtern und Sätzen verbunden werden, gelten
6
auch für die Ereignisse innerhalb einer Geste syntaktische Regeln. Symbolische Gesten haben mit sprachlichen Ausdrücken gemeinsam, dass sich die Form der Bewegung und die Ereignisabfolge nicht »natürlich« ergeben, sondern auf einer Konvention beruhen, die erlernt werden muss. Symbolische Gesten sind immer arbiträr, selbst wenn sie die Form unserer Schriftzeichen als Spur nachzeichnen (denn diese sind ja selbst arbiträr). Arbiträr heißt, dass Bewegungsform und Ereignisprofil in keiner natürlichen Beziehung zur damit verknüpften Funktion stehen. Besteht eine Geste aus dem Nachzeichnen des Buchstabens P, stellt sich die arbiträre Geste zudem in den Dienst einer bestimmten Sprache wie dem Englischen, dem Französischen oder dem Deutschen. P wie … sagen wir einmal: »Print«? Dann fehlt der (mnemonische) Bezug zu »Imprimer« und »Drucken«. Solche Gesten haben es schwer, sich international zu behaupten. Natürliche Gesten hingegen, die auf dem Prinzip der Verankerung beruhen, stehen nichtsprachlichen Bewegungshandlungen näher als den Gebärden einer Gebärdensprache. Ein Objekt wie eine virtuelle Kaffeetasse per Geste anzufassen, hochzuheben, an eine andere Stelle zu bewegen und dort wieder loszulassen, ist kein sprachlicher Akt – genauso wenig wie das Hochheben und Wiederabsenken einer Kaffeetasse in
6 Das Führen einer Kaffeetasse an die Lippen ist ohne jegliche Kommunikationsabsicht und daher kein sprachlicher Akt. Wäre die Tasse ein Objekt in einem virtuellen Interface und wäre es möglich, sie per Ziehgeste an einen anderen Ort zu versetzen, hätte die Geste keine andere Bedeutung als eben genau dies: die Ortsveränderung zu vollziehen. 126 †
der Realität. An dieser Stelle ist ein Einwand berechtigt. Das Hochheben einer Tasse kann durchaus eine bedeutsame Geste sein, wenn dabei anderen Menschen zugeprostet wird. Begleitet von Augenkontakt und vielleicht noch einem fast unmerklichen Kopfnicken ist diese Geste in praktisch allen Kulturen dieser Welt verständlich – auch wenn Kaffee als Getränk dabei eher die Ausnahme darstellen dürfte. Der springende Punkt ist: Hier überlagern sich zwei Gesten. Die eine führt die Tasse zum Mund, um den Kaffeedurst zu stillen, die andere ist, eingebettet in gesellschaftliche Umgangsformen, eine Aufforderung, gemeinsam zu kosten. Würde man beide Gesten im Sinne der Mensch-SystemInteraktion interpretieren, wäre raise-cup-todrink eine Geste ohne jegliche Kommunikationsabsicht – weder will die Hand der Tasse noch beide zusammen einem Dritten eine Botschaft übermitteln. Hingegen ist raise-cup-to-everyone
Gesten und Gebärdensprache
110 †
27
7
ein symbolischer Akt, in dem sich weitaus mehr ausdrückt als nur ein Bedürfnis. Dass Gesten der Mensch-System-Interaktion in ihrem Aufbau gleichwohl sprachlichen Anforderungen genügen, hat allein folgenden Grund: Die Diskretisierung der Ereignisse ist nötig, damit ein technisches System die gestischen Handlungen eines Menschen eindeutig identifizieren kann. In einem User-Interface will die virtuelle Kaffeetasse – sie steht stellvertretend für alle beweglichen Objekte – genauso präzise versetzt werden wie in der Wirklichkeit. Das System muss deshalb in der Lage sein, die Eingabebewegungen richtig zu interpretieren und in die gewünschte Ausgabebewegung zu transformieren. Die größte Schwierigkeit bei der Erkennung von Raumgesten ist, bedeutsame Bewegungen (also die, die ein Bediener absichtsvoll ausführt) von Übergangsbewegungen zu unterscheiden, mit der der Bediener keinerlei Absicht in Bezug auf die Mensch-
28
Gesten in der Mensch-System-Interaktion
System-Interaktion verknüpft. Eindeutigkeit ist das A und O einer Gestensteuerung. Trotz aller Unterschiede zwischen Gesten der Mensch-System-Interaktion und Gebärden lohnt sich ein Blick auf das umfangreiche Repertoire der Gebärdensprachen. Wer Systeme für Freihandgesten im dreidimensionalen Raum entwickelt, findet in der Grammatik der Deutschen Gebärdensprache (DGS), wie sie jüngst unter der Federführung des Instituts für Deutsche Gebärdensprache und Kommunikation Gehörloser (IDGS) systematisiert und veröffentlicht worden ist, nicht nur ein angemessenes Vokabular, sondern auch eine ausführliche Beschreibung grundlegender Ausdrucksformen. Gebärden lassen sich sehr differenziert nach Handform, Handstellung, relativer Position zum Körper und Bewegungsausführung beschreiben. Die Kombination dieser Eigenschaften macht den Unterschied. Die Handformen etwa sind
8
an sich bedeutungslos. Als Phoneme lassen sie sich zu Gebärden verketten, aber deren Bedeutung hängt eben davon ab, wie die Hand dabei im Raum gehalten wird. Wird sie nah am Körper oder mit ausgestrecktem Arm ausgeführt? Befinden sich die Hände vor dem Körper oder neben dem Kopf? Erfolgt die Bewegung als Gelenkdrehung, ausladende Kreisbewegung, Schütteln oder Hin- und Herbewegung? All diese Differenzierungsmerkmale – und noch viel mehr – sind Bedeutungskonstituenten einer Gebärde. Wer die Komplexität einer Gebärdensprache versteht, mag erahnen, vor welchen Herausforderungen ein technisches System steht, Freihandgesten eines Menschen auch nur annähernd eindeutig und zielsicher zu erkennen. In der zweihändig ausgeführten Gebärde für »Cappuccino« beispielsweise hält die eine Hand ein imaginäres Trinkgefäß, die andere visualisiert mit einer schwungvollen Bewegung das Sahnehäubchen. Die Hand wird dabei spiralförmig gedreht, gleichzeitig schließen sich die anfänglich gestreckten Finger. Diese gegenständliche Gebärde ist auch für Nicht-Gebärdensprachler recht anschaulich. Aber damit ist noch nicht gesagt, was der Sprecher eigentlich ausdrücken will. Handelt es sich um einen Wunsch (»ich hätte gern einen Cappuccino«), eine Frage (»gibt es hier Cappuccino?«), eine Aufforderung (»bringen Sie mir bitte einen
7 Die Deutsche Gebärdensprache unterscheidet 30 Handformen. Charakteristische Merkmale sind unter anderem die Handhaltung (z.B. Faust oder Flachhand), die Anzahl der abgespreizten Finger und ob die Finger gestreckt oder gekrümmt sind. Es handelt sich nicht um ein Fingeralphabet, sondern um bedeutungsunterscheidende, aber nicht selbst Bedeutung tragende Phoneme der Gebärdensprache. Die Abbildungen zeigen die Handformen aus der Perspektive des Gebärdenden. 8 Die Cappuccino-Gebärde kann mit zwei Händen ausgeführt werden: Die eine hält ein imaginäres Trinkgefäß, die andere bildet mit einer schwungvollen Bewegung die Form eines gedachten Sahnehäubchens nach. Was der Sprecher im Zusammenhang mit einer Tasse Cappuccino mitteilen möchte, vermittelt er durch zusätzliche Gebärden.
Cappuccino«) oder lediglich eine Beschreibung (»ich bereite gerade einen Cappuccino vor«)? Wenn, sagen wir einmal, ein Kaffeeautomat die Vielfältigkeit des gebärdensprachlichen Ausdrucks auf einen Imperativ im Hier und Jetzt zusammenschnürte und sogleich mit dem Befüllen eines Plastikbechers begänne, wäre dies schon eine technische Meisterleistung.
Gesten und Gebärdensprache
29
1.3
Gesten, Werkzeuge und Roboter Über die Möglichkeiten und Grenzen einer Bedienung durch Gesten in unterschiedlichen Anwendungsgebieten
Viele Paläanthropologen sehen die Menschwerdung eng mit der Entwicklung und Verfeinerung von Werkzeugen verknüpft. In der Tat hat keine andere Spezies auf diesem Planeten den Drang, seine körperlichen (und geistigen) Fähigkeiten mit technischen Hilfsmitteln zu erweitern, derart perfektioniert wie die Menschen. Man kann einen kühnen Bogen vom nicht nur sprichwörtlichen Faustkeil der grauen Vorzeit zur heutigen Technologie schlagen und konstatieren: Aus einfachen Werkzeugen wurden komplexe Maschinen. Der vorläufige Stand dieser Entwicklung manifestiert sich in von Mikroelektronik gesteuerten Maschinen und Anlagen. Auf der einen Seite wurden Maschinen trotz zunehmender Komplexität immer kleiner – unsere handschmeichelnden Smartphones sind ein gutes Beispiel dafür –, auf der anderen Seite sind durch den Zusammenschluss einzelner Komponenten großtechnische Anlagen wie Fabriken und Kraftwerke entstanden. Auch die Benutzerschnittstellen haben eine ähnliche Entwicklung hinter sich, statt eines einfachen Griffs benutzen wir beispielsweise Monitore mit zusätzlichen Eingabegeräten oder Touch-Funktionalität. Für Benutzerschnittstellen gibt es aber eine natürliche Grenze, wo Komplexität in Überforderung umschlägt und die Beherrschbarkeit der Technik in Frage steht. Im Design der User-Interfaces geht es deshalb vor allem darum, die Komplexität einer Maschine auf
30
Gesten in der Mensch-System-Interaktion
eine möglichst einfache Bedienung von weitaus geringerer Komplexität herunterzubrechen. Die Hilfsmittel, die dem Bediener an der Benutzerschnittstelle zur Verfügung stehen, haben den ursprünglichen Werkzeugcharakter viel stärker bewahrt als die Maschinen selbst. Deshalb sprechen wir, auch wenn die Mikroelektronik vor Maus, Eingabestift und Joystick nicht Halt gemacht hat, bei der Klasse der Eingabegeräte nach wie vor von Werkzeugen. Gilt dies auch für Systeme mit Gestenerkennung? Ja und nein. Die Gestensteuerung, wie sie uns in vielen Bereichen der Lebens- und Arbeitswelt begegnet und in den Entwicklungslabors vieler Unternehmen und Forschungsinstitute oder an den Hochschulen weiter vorangetrieben wird, steht zwar noch ganz in der Tradition des werkzeugerfindenden Primaten, wir unterscheiden heute aber Systeme mit gerätegestützter Interaktion von Touch-Systemen und Systemen mit berührungsloser Interaktion. Ob der Touchscreen noch zu den Eingabewerkzeugen zu zählen ist, ist vielleicht nur eine akademische Frage. Bei der gerätegestützten Eingabe macht eine Unterscheidung zwischen einer steuernden Geste und der Bedienung eines Werkzeugs jedenfalls keinen Sinn mehr, denn das Eingabegerät übernimmt in der Interaktion ja nicht nur die Funktion eines Werkzeugs, sondern auch die der Gesten detektierenden Komponente: Die Geste wird ja deshalb mit dem Werk-
Foto: Mit freundlicher Genehmigung von Jazzmutant
9
zeug ausgeführt, damit das System sie eindeutig erkenne. Der Übergang von klassischer Werkzeugbedienung zu moderner Gestensteuerung ist fließend, und streng genommen weniger ein Übergang als vielmehr die konsequente Weiterentwicklung des Werkzeuggedankens. Da ist es nur folgerichtig, dass neben den spezialisierten Eingabegeräten, die das gestische Repertoire aufgrund ihrer Mechanik vorgeben, auch TouchOberflächen und 3D-Detektoren einen Platz beanspruchen. Letztere sind universaler, weil sich die zulässigen Gesten von eingeschränkter Mechanik lösen und in viel stärkerem Maße durch Software definiert werden können.
Musikinstrumente und Studioequipment Um die theoretischen Möglichkeiten der gerätegestützten Eingabemethoden zu erahnen, lohnt sich ein Seitenblick in den Bereich der Musik. Traditionell ist der Musikbereich wie kaum ein anderer unterschiedlichsten Eingabemethoden gegenüber aufgeschlossen. Musikinstrumente unterscheiden sich ja nicht nur im Klang, sie zeichnen sich auch durch ihre ganz eigene Technik der Tonerzeugung aus. Was sind Musikinstrumente anderes als Werkzeuge zur Klangerzeugung? Und sind Fingersätze nicht die vordefinierten Gesten des Musikers?
9 Multitouch im Musikstudio und für Liveauftritte: Der legendäre Lemur ist ein Controller zur Steuerung von Synthesizern, Sequencern, Videopräsentationen und Lichtanlagen.
Die Vielfalt der »Bedienkonzepte« unter allen Musikinstrumenten – Saiteninstrumente, Tasteninstrumente, Blasinstrumente, Schlaginstrumente usw. – ist schier überwältigend. Und so verwundert es auch nicht, dass Instrumentenund Gerätehersteller traditionell die wenigsten Vorbehalte haben, neue Konzepte im Markt einzuführen. Innovationen im Bereich der User-Interfaces kommen oft von Unternehmen aus der Musikbranche. Ja, es werden sogar immer noch neue Instrumente erfunden, wie die Beispiele des interaktiven Synthesizers Reactable oder der Eigenharp des britischen Startup-Unternehmens Eigenlabs anschaulich zeigen. Das legendärste Beispiel aus der Studioproduktion und Veranstaltungstechnik ist der Lemur des auf Touch-Technologien spezialisierten französischen Unternehmens Stantum (früher Jazzmutant): Der im Jahre 2005 eingeführte Controller zur Steuerung von Synthesizern, Sequencern, Videopräsentationen und Lichtanlagen war das erste für Geld zu kaufende Gerät überhaupt, das Multitouch-Gesten zur zentralen Eingabemethode erhob – der Lemur war dem iPhone damit zwei Jahre voraus. Übrigens beanspruchte die
Gesten, Werkzeuge und Roboter
64 †
31
pinch-Geste, die bei der Markteinführung des iPhone für viel Furore gesorgt hat, von Anfang an einen festen Platz im Bedienkonzept des Lemur. Als Ersatz für herkömmliche Mischpulte ist der Lemur – das Surface-Computing antizipierend – als Tischgerät konzipiert. Heute ist der Lemur Geschichte: Der Vertrieb wurde Ende 2010 eingestellt.
Werkzeuge der Zukunft Maschinensteuernde Gesten werden in Zukunft vor allem in den Bereichen benötigt, wo traditionelle Werkzeuge durch universalere Geräte und Eingabemethoden ersetzt werden. Diese Zukunft hat schon begonnen. Statt eines Mischpults finden wir im Musikstudio Touchscreens vor, die Mischpulte visualisieren – oder eben neue Konzepte wie den Lemur. Produkte werden nicht mehr auf dem Zeichenbrett entworfen, sondern in einem virtuellen 3D-Raum, in dem sich der Konstrukteur mit digitalem Eingabestift frei bewegen kann. Chirurgen operieren nicht mehr direkt am Patienten, sondern manipulieren von einem Kontrollstand aus einen OP-Roboter, der noch minimalinvasiver arbeiten kann, weil er alle
32
Gesten in der Mensch-System-Interaktion
OP-Schritte auf das Allernötigste optimiert. Das da-Vinci-System des US-amerikanischen Herstellers Intuitive Surgical ist heute schon weltweit im Einsatz. Vielleicht werden Chirurgen eines Tages, wie es die Zukunftsvision »2057 – Unser Leben in der Zukunft« des ZDF ausmalt, per konfigurierbarem Eingabestift an einer in den Raum projizierten Live-Holografie des Patienten alle OP-Schritte vorgeben? Ob der Chirurg mit Skalpell, Nahtinstrument oder irgendeinem anderen Werkzeug operiert, ist dann eine Frage der Stiftbelegung. Der OP-Roboter wird dann das reale Werkzeug entsprechend wechseln.
Humanoide Roboter Leitet man aus der historischen Entwicklung vom einfachen Werkzeug zu komplexen Maschinen einen weiteren Zukunftstrend ab, wird das private wie berufliche Leben von humanoiden Robotern bereichert werden, die nichts mehr mit den Industrierobotern der heutigen Fabrikautomation zu tun haben. Roboter in Menschengestalt, als Haushaltshilfen oder medizinisches Pflegepersonal, sind keine fantastische Zukunftsvision. Vielversprechende Ansätze wie der Asimo von
Foto: © 2011 Intuitive Surgical, Inc.
10
Fotos links: © 2011 Intuitive Surgical, Inc. | Foto rechts: Courtesy of AIST (http://aist.go.jp)
11
Honda oder die auf den Namen HRP-4C hörende Roboterdame des japanischen Forschungsinstituts AIST (National Institute of Advanced Industrial Science and Technology) haben ja bereits das Prototypen- oder Verkaufsstadium erreicht. Je ähnlicher die Maschinen den Menschen werden, desto größer werden die Herausforderungen für deren »Bedienung«. Menschen erwarten von menschenähnlichen Robotern ein adäquates anthropomorphes Verhalten und würden mit ihnen am liebsten per Sprache kommunizieren. Humanoide Roboter begründen eine neue Gattung von Maschinen, und deren »Bedienung« wird von einer Kommunikation abgelöst, die wir bisher als zwischenmenschlich bezeichnet haben. Eine Gestensteuerung, wie wir sie heute kennen, wird bei der Interaktion mit Robotern nicht mehr funktionieren. Soziale Umgangsformen, wie sie unter Menschen selbstverständlich sind, werden auch für den Umgang mit »Humanoiden« gelten. Gerade körperliche Berührungen, ohne die Multitouch nicht existierte, verbietet in den meisten Kulturen die Etikette. Mal eben eine pinch-Geste auf der Brust des Pflegeroboters ausführen? Eine abwegige Vorstellung. Neben einer sprachlichen Interaktion liegt die Lösung hier in berührungslosen Raumgesten, die beispiels-
12
10 Operationen am Menschen werden schon heute ferngesteuert mithilfe von OP-Robotern wie dem da-Vinci-System durchgeführt. 11 Der Operateur eines da-Vinci-Systems betrachtet sowohl seine Hände an den Steuerungselementen als auch das von einer Kamera aufgenommene 3DVideobild. 12 Für die Kommunikation mit menschenähnlichen Robotern wie dem HRP4C des japanischen AIST (National Institute of Advanced Industrial Science and Technology) reicht eine normale Gestensteuerung nicht aus. Soziale Umgangsformen müssen neu etabliert werden.
weise von der Optik oder Ultraschallsensorik eines Roboters erfasst werden können. Humanoide Roboter müssen nicht nur hohe Sicherheitsanforderungen erfüllen, sie müssen auch, wie keine andere Maschinengattung vor ihnen, dem Anspruch an ein freundliches Interface genügen. Umgekehrt werden sich Menschen erst an einen sozialen Umgang mit der neuen Maschinengattung gewöhnen müssen.
Gesten, Werkzeuge und Roboter
33
1.4
Kooperatives Arbeiten Wie Multitouch-Gesten die Zusammenarbeit der Menschen untereinander begünstigen
Seit das Computing die Mainframes verlassen hat, gilt der personal computer als das Paradigma der Mensch-System-Interaktion schlechthin. Der persönliche Computer revolutionierte das Arbeitsleben und führte zu einer technischen Aufrüstung der Privathaushalte, wie sie kaum vorherzusehen war. Personal computer läuteten eine neue Ära ein, in der die Interaktion eines Menschen mit dem Computer zu einer MenschSystem-Symbiose geriet. Ein Mensch, ein Computer – das war die einfache Arithmetik der neuen Digitalisierung. Die Kanalisierung der Interaktion und der systemseitigen Rückmeldungen auf einen Benutzer hin kommt einer Einkapselung des Bedieners in die Bediensituation gleich. Wer in die Arbeit mit »seinem« Computer zu tief eintaucht, ist für andere Menschen nicht mehr ansprechbar, befindet sich aber in einem Zustand, der ihm das Gefühl hoher Kommunikationsbereitschaft vermittelt. Die als Immersion bezeichnete Entrückung aus der Wirklichkeit hinein ins symbiotische Geschehen wird durch die Aufstellung der Hardware begünstigt, aber auch durch die Logik der Betriebssysteme, von denen wir heute noch Windows, Linux und Mac OS X kennen. Der Monitor auf dem Schreibtisch ist mit seinem idealen Blickwinkel frontal auf einen Menschen ausgerichtet, ebenso Tastatur und Maus. Eine kooperative Situation, bei der zwei oder mehrere Menschen zugleich im Team an einem Computer zusammenarbeiten, ist
34
Gesten in der Mensch-System-Interaktion
im Konzept des personal computer nicht direkt vorgesehen. Die Eingabegeräte sind nicht dafür gemacht, von mehreren Personen gleichzeitig benutzt zu werden. Zwar ist es technisch nicht ausgeschlossen, zwei Mäuse an einen Rechner anzuschließen, beide konkurrieren dann aber um ein und denselben Mauszeiger. Das Konzept des personal computer ist ein striktes Einzelbenutzersystem. Natürlich gab und gibt es den Multi-User-Betrieb. Der beschränkt sich aber darauf, Benutzer zu verschiedenen Zeiten den persönlichen Zugang zu ermöglichen. Ein Mehrbenutzersystem ermöglicht es, persönliche Einstellungen und den persönlichen Arbeitsbereich zu aktivieren, ohne das System neu starten zu müssen. Dass sich mehrere Benutzer den Computer zur gleichen Zeit teilen, widerspricht jedoch dem Grundgedanken der Desktop-Betriebssysteme. Wenn sich zwei Menschen einen Computer teilen, hat dies latent immer den Charakter einer potenziellen Konfliktsituation. »Lass mich mal«, dürfte einer der häufigsten Sätze sein, der vor dem Bildschirm eines personal computer ausgesprochen wird, sobald zwei Menschen gemeinsam an einer Sache arbeiten möchten. Um dabei einen fliegenden Benutzerwechsel zu vollführen, tauschen die Bediener untereinander die Eingabehardware aus. Warum können nicht beide gleichwertig – und damit gleichzeitig – mit dem System interagieren?
Bediener B 13
Bediener C
Bediener A
Mit Multitouch hat sich die Situation nicht schlagartig geändert. Auch das iPhone oder das iPad sind vorrangig auf die Nutzung durch einen einzelnen Menschen hin ausgerichtet. Aber: Die Adressierung eines einzelnen Benutzers ist keine prinzipbedingte Einschränkung mehr. Wenn das System nicht nur einen, sondern auch mehrere Finger erkennen kann, und statt einer Hand auch zwei, um eine beidhändige Bedienung zu ermöglichen, dann ist es nur ein kleiner Schritt bis zu einem echten Multi-User-System, bei dem die beiden Hände nicht mehr zu einer einzigen Person gehören müssen. Unter dem Aspekt eines Mehrbenutzersystems betrachtet, ist Multitouch die erste große Revolution nach der Erfindung des personal computer. Kooperative Systeme können die gestische Interaktion unterschiedlichen menschlichen Akteuren zuordnen. Dasselbe gilt auch für die Erkennung von Freihandgesten im Raum. Zwar steht die Gestenerkennung hier noch vor großen Herausforderungen, aber sie ist wie Multitouch prinzipiell mehrbenutzerfähig. Es bedarf allein der entsprechenden Software, die die gestischen
13 Isoliertes Mehrbenutzersystem (aus der Vogelperspektive): Mehrere Personen teilen sich einen Projektionstisch, treten dabei aber nicht in eine vom System zweckbestimmte Interaktion untereinander. Informationen und Funktionen sind individuell auf jeden Teilnehmer zugeschnitten.
Bewegungen der interagierenden Menschen diskretisiert, also räumlich voneinander trennt. Es ist kein Zufall, dass die ersten Anwendungen für Multitouch-Tabletops wie Microsoft Surface und den Reactable von vornherein als Mehrbenutzersysteme im Sinne einer kooperativen Interaktion konzipiert waren. Durch den schlichten wie genialen Kniff, den Touchscreen einfach flach zu legen, änderte sich nicht nur die räumliche Perspektive. An einem Surface-Computer gibt es keine bevorzugte Sitzposition mehr, alle Seiten sind gleichwertig und die Bediener sitzen – zumindest beim Reactable – nicht nur sprichwörtlich am runden Tisch.
Kooperatives Arbeiten
64 †
35
Bediener B 14
B Bediener C C
A
Bediener A
Projektionstische sind außerdem wie geschaffen für die Nutzung von tangible objects, realen Gegenständen, die vom System als Modifikatoren erkannt werden, es also in einer wie auch immer gearteteten Weise beeinflussen. Beim Reactable beispielsweise übernehmen Plexiglaswürfel die Funktion von Soundmodulen. In Anwendungen mit tangible objects kehrt die Mensch-System-Interaktion zu einer Natürlichkeit zurück, die das personal computing nie entfalten konnte. Obwohl die Anwendungssituation dadurch komplexer wird, erscheint sie natürlicher. Die Menschen interagieren sowohl direkt miteinander als auch über kodierte Gegenstände und über das technische System. Nicht einmal ein Vierteljahrhundert nachdem der personal computer sich anschickte, die Welt zu erobern, tritt neben das Paradigma »ein Mensch, ein Computer« das neue Arbeitsmodell der kooperativen Interaktion. Interaktion lässt sich dann nicht nur mit dem Modell der Mensch-System-Interaktion beschreiben, sondern auch nach dem Grad des kooperativen Austauschs zwischen Menschen, also wie hoch der Anteil der Mensch-Mensch-Interaktion an der Interaktion mit einem technischen System
36
Gesten in der Mensch-System-Interaktion
ist. Die kooperative Situation lässt sich einerseits durch die ideale oder maximale Anzahl der interagierenden Personen und andererseits durch die veränderte Qualität, die sich aus dem Hinzukommen einer weiteren Person ergibt, definieren. Eine solche qualitative Veränderung kann beispielsweise eintreten, wenn eine zusätzliche Person Zugriffsrechte mitbringt, die die übrigen Bediener nicht besitzen. Je nach Grad der Kooperation und den Zugriffsrechten der einzelnen Personen ergeben sich folgende Anwendungsszenarien: • Isolierte Interaktion: Echte Multi-User-Systeme ermöglichen es, die Anwendungsbereiche der einzelnen Bediener vollständig gegeneinander abzuschotten, sodass die Bediener nicht miteinander kommunzieren oder sich gegenseitig stören können. Die isolierte Interaktion ist gerade keine kooperative Situation, aber dennoch ein Spezialfall von Mehrbenutzersystemen. Praktische Anwendungen können beispielsweise Infotische sein, bei denen jeder Bediener unabhängig von anderen Informationen abruft, oder Multitouch-Tische im
Bediener B 15 ID-Karten
B
A
C
Patienteninfos
Bediener C Virtueller Patient B
Diagnostische Tangibles
A C
Funktionen
Bediener A
Schnellrestaurant, wo die Gäste jeweils ihre eigene Bestellung aufgeben. • Kooperation: Anwendungen, bei denen die beteiligten Personen in einen regen Austausch treten, sind Gesellschaftsspiele, die musikalische Improvisation, die technische Konstruktion, das Entwurfsdesign, Architekturplanung und vieles mehr. Auch Wettbewerbsspiele, bei denen die Spieler gegeneinander antreten und versuchen, sich gegenseitig aus dem Rennen zu werfen, zählen zu den kooperativen Anwendungen, da sich alle einem gemeinsamen Regelwerk verpflichten. • Kooperation mit Authentifizierung: Durch eine persönliche Authentifizierung der Teilnehmer ist das System in der Lage, je nach deren Benutzerrechten bestimmte Informationen oder Funktionen bereitzustellen. Dabei können beispielsweise Identitätskarten als tangible objects zum Einsatz kommen, über die das System die Identität der Teilnehmer erkennt. Jede Karte dient dabei als Schlüssel, und es lassen sich so auch Sicherheitsmechanismen realisieren, die nach zwei oder mehr Schlüsseln verlangen.
14 Kooperatives Mehrbenutzersystem nach dem Modell eines Gesellschaftsspiels: Die Teilnehmer beschäftigen sich mit einer gemeinsamen Anwendung und interagieren sowohl mit dem System als auch untereinander. Die Visualisierung richtet sich nach den Bedienern aus. 15 Entwurf eines Mehrbenutzersystems nach dem Modell einer medizinischen Falldiskussion: Nach der Authentifizierung der Ärzte schaltet das System Informationen und Funktionen frei. Die Ärzte haben unterschiedliche Rollen (z.B. Fachärzte unterschiedlicher Disziplinen) und individuelle Zugriffsrechte auf Informationen und Funktionen.
Kooperatives Arbeiten
37
1.5
Der kulturelle Horizont Über die Bedeutung von Gesten in unterschiedlichen Anwendungsgebieten
Eine international vertriebene Software muss die kulturellen Besonderheiten in den verschiedenen Ländern berücksichtigen. Diese Einsicht hat sich bei Softwareprojekten glücklicherweise durchgesetzt und findet ihren Niederschlag in Internationalisierungsstandards (I18N). Man achtet nun auf eine korrekte Sprache und auf die Verwendung angemessener Symbole. Gerade wenn man Sprache und Kultur eines fremden Landes nicht gut kennt, ist die Befürchtung groß, man könne beispielsweise durch – für unsereins vollkommen harmlose – Symbole ins Fettnäpfchen treten, weil diese in der fremden Kultur mit einer negativen oder unpassenden Bedeutung belegt sein können, im schlimmsten Fall beleidigend oder sexuell anzüglich. Die Befürchtung ist groß, gleiches könne auch für Gesten gelten, zumal man weiß, dass viele Gesten, die in der zwischenmenschlichen Kommunikation gebräuchlich sind, in unterschiedlichen Kulturen eine andere, teilweise sogar konträre Bedeutung haben. Missverständnisse können fatale Folgen haben. Man muss gar nicht weit reisen, um kulturelle Differenzen aufzuspüren. Schon in Europa ist es leicht, einen Fauxpas zu begehen. Wer im deutschsprachigen Raum aus Daumen und Zeigefinger ein O formt, drückt damit Lob und Anerkennung aus und kommuniziert: »OK« oder »Spitze!«. In Italien stellt diese Geste aber eine der größten Beleidigungen dar, die man nonverbal kommunizieren kann. Das kann richtig Ärger
38
Gesten in der Mensch-System-Interaktion
geben. Die unterschiedliche Bedeutung der Geste für einen Deutschen und einen Italiener macht aber nicht vor Landesgrenzen halt, man tut daher gut daran, es in einer italienischen Pizzeria in Hamburg-Altona oder Castrop-Rauxel nicht zu Missverständnissen kommen zu lassen. Das bloße Formen eines Kreises mit der Hand ist dabei aber gar nicht das Alleinentscheidende – es kommt immer auf den Kontext an. Wenn sich Daumen und Zeigefinger bei der zusammenziehenden pinch-Geste auf dem iPhone berühren und ein O bilden, stört man sich in Rom genauso wenig daran wie in Berlin oder Paris. Die Angelegenheit ist halt ein wenig komplizierter. Die in der zwischenmenschlichen Kommunikation eingeführten Gesten sind nicht notwendigerweise an nationale Grenzen oder an einen Sprachraum gebunden. Auch innerhalb eines Landes oder einer Kultur kann eine Geste je nach Anwendungskontext eine andere Bedeutung haben. Den Kommunizierenden ist die Doppel- oder Mehrfachbedeutung meist durchaus bewusst, und sie wissen, in welchen Situationen sich eine Geste gehört und in welchen nicht.
Symbolische Gesten Handzeichen, die in der zwischenmenschlichen Kommunikation allgemein missbilligt werden, haben es schwer, sich in der Mensch-System-Inter-
16 Hörner? Zweierkolonne?
aktion als neutrale Gesten zu behaupten. Selbst wenn die Kultur es erlaubt, eine Geste im Spaß oder mit Ironie zu zeigen, schwingt die eigentliche kulturelle Bedeutung immer assoziativ mit. Neben den kulturellen Eigenheiten kann der Bedeutungshorizont einer Geste aber auch von einem enger gefassten Kontext bestimmt werden. In Spanien oder Italien sollte man es tunlichst unterlassen, einem Vertreter des männlichen Geschlechts so mir-nichts-dir-nichts eine Faust mit nach oben gerecktem Zeigefinger und kleinem Finger entgegenzuhalten. Der »Gehörnte« wird dies nicht lustig finden. Fährt man jedoch mit dem Motorrad im Konvoi durch die Mittelmeerländer, bedeutet dieselbe Geste des Tourguides an die Mitfahrer, die gesamte Gruppe möge doch bitte eine Zweierkolonne bilden. Es kommt, wie immer, darauf an. Die symbolische Bedeutung einer Geste beruht auf einer Konvention, die nicht nur vom Land oder seiner Kultur abhängen kann, sondern auch von einem kleineren gesellschaftlichen Milieu, einer Altersgruppe oder dem Geschlecht. Auch können in bestimmten Berufsbereichen besondere Gesten üblich sein, etwa um sich in einer lauten Fabrikhalle über Entfernungen zu verständigen. Im Mannschaftssport beispielsweise tauschen Schiedsrichter untereinander und mit den Spielern Handzeichen aus. Das tun die Spieler manchmal auch und richten Handzeichen an die Schiedsrichter, die nicht im Regelkatalog stehen.
16 Die symbolische Bedeutung einer Geste kann je nach Anwendungskontext sehr verschieden sein. Was im einen Fall eine der schlimmsten Beleidigungen darstellt, ist im anderen Fall eine sinnvolle verkehrssichernde Maßnahme.
Dass das keine gute Idee ist, erfährt der Spieler dann prompt ebenfalls durch eine Handgeste des Schiedsrichters: der nach oben gestreckten Hand mit roter Karte. In der Beurteilung, in welcher Bedeutung eine Geste zu verstehen ist, gilt die einfache Regel, dass die Konventionen eines unmittelbaren Kontextes Vorrang haben vor mittelbaren Kontexten. Die spezielle Bedeutung in einer Situation »übersteuert« die allgemeine Bedeutung. Der Bedeutungshorizont einer symbolischen Geste kann durch die Unmittelbarkeit eines Kontextes auf diesen eingeschnürt werden. Die allgemeine Bedeutung verschwindet zwar nicht einfach aus dem Gedächtnis der Kommunizierenden, sie wird aber als nicht maßgeblich »neutralisiert«. Das Besondere an der Mensch-System-Interaktion ist nun, dass sich Maschinen einen eigenen Kontext schaffen können.
Der kulturelle Horizont
39
17
18
Maschinell geführte Gesten In der Mensch-System-Interaktion ist sich jeder Anwender darüber im Klaren, dass er nicht mit einem Menschen, sondern mit einer Maschine interagiert. Auch wenn viele Anwender dazu neigen, Maschinen ein anthropomorphes Verhalten zu unterstellen oder von ihnen zu erwarten, wird anerkannt, dass die Kommunikation mit einer Maschine anderen Gesetzmäßigkeiten unterliegt als die zwischen Menschen. Kommt bei der Bedienung des Systems eine Eingabehardware zum Einsatz, die die gestischen Bewegungen mechanisch oder logisch einschränkt, wird ein Bediener dies als zwingende Anforderung akzeptieren, überhaupt in Interaktion treten zu können. Durch die mechanische oder logische Bewegungsführung bringt die Maschine ihren eigenen Anwendungskontext mit, und dieser wird als unmittelbarer empfunden als übergeordnete kulturelle Kontexte. Systemdesigner müssen aber gleichwohl darauf achten, dass die auszuführenden Bewegungen nicht Bewegungen ähneln, die in anderen, allgemeinen Kontexten sehr stark negativ besetzt sind, ansonsten würde diese immer als negative Assoziation mitschwingen, was die Einstellung des Bedieners zum System in unguter Weise beeinflussen kann. Wer unsicher ist, ob eine gestische Manipulation Akzeptanzprobleme herauf-
40
Gesten in der Mensch-System-Interaktion
beschwört, sollte sein Produkt vor der Markteinführung an einer repräsentativen Gruppe testen. Der unmittelbare Anwendungskontext, den ein Eingabegerät aufgrund seiner mechanischen Einschränkungen schafft, entspricht dem, was Donald A. Norman unter affordance versteht: den wahrnehmbaren Möglichkeiten, mit dem System zweckbestimmt zu interagieren.
Affordance als Anwendungskontext Die affordance einer interaktiven Anwendung ist das, was die Anwendung an Möglichkeiten bietet und was der interagierende Mensch an Möglichkeiten für sich erkennt. Dass beides nicht immer konform gehen muss, zeigen schon die Beispiele, die Norman selbst anführt. Normans Forderung an das Produktdesign, beides in idealer Weise in Einklang zu bringen, basiert daher auf dem Begriff der Zweckbestimmung. Ziel des Designs soll sein, die Zweckbestimmung hinreichend zu visualisieren oder zu antizipieren und einen Anwender nicht dazu zu verleiten, Dinge anzustellen, die nicht im Sinne dieser Zweckbestimmung sind. Bei Multitouch-Produkten scheint die Selbstbeschreibungsfähigkeit, die der Begriff der affordance impliziert, weniger eindeutig als bei Eingabegeräten mit mechanischer Führung. Zunächst muss ein Anwender verstehen, dass das Gerät Fingerbewegungen auf seiner berührungs-
19
unmittelbarer Kontext
mittelbarer Kontext
formale Zweckbestimmung
kulturelle Bedeutung
Geste
empfindlichen Oberfläche erwartet. Er muss aber auch das Interface verstehen und erkennen, welche Bewegungen zielführend sind und welche nicht. Erwartet die Anwendung symbolische Gesten, müssen diese erlernt werden. MultitouchGesten, die von mechanischen Komponenten wie Tasten oder Schieberegler abgeleitet sind – im Grunde also alle natürlichen Gesten –, sind streng genommen zwar nicht maschinell geführt, wohl aber in der Software programmatisch festgelegt. Die pinch-Geste auf dem iPad beispielsweise, mit der sich angezeigte Bilder vergrößert darstellen lassen, ist nicht symbolisch, da es sich um eine objektorientierte Geste handelt, die auf dem Prinzip der Verankerung beruht. Eine maschinelle Führung liegt im strengen Sinne auch nicht vor, weil der Touchscreen nicht über eine entsprechende Mechanik verfügt und nicht verhindern kann, dass ein Finger von der vorgesehenen Route abdriftet. Trotzdem schreibt die affordance eine standardisierte Bewegung, wie sie in der Gerätesoftware kodiert ist, zwingend vor. Ohne pinch kein Zoom. Die affordance eines Produkts ist der unmittelbarste Kontext, in den eine Interaktion eingebettet sein kann. Sie ist Handlungsvorgabe für den Anwender und bestimmt die Möglichkeiten, im Sinne der Zweckbestimmung zu interagieren. Sie zeichnet die Wege vor, denen ein Anwender folgen kann – und muss, will er den jeweiligen Zweck erreichen. Folgt er ihnen nicht, stellt dies
17 Sobald ein Gerät oder eine Anwendung die gestischen Bewegungen in geführte Bahnen lenkt, wird eine eventuell bestehende symbolische Bedeutung aufgehoben. Das gleichzeitige Bewegen zweier Fader am Mischpult entbehrt jeglicher Symbolik. 18 Die berühmte pinch-Geste auf dem iPhone ist, da sie sich aus der MultitouchKinetik ergibt, gegenüber symbolischen Bedeutungen unverdächtig. 19 In der Mensch-System-Interaktion erstreckt sich der Bedeutungshorizont einer Geste nicht selbstverständlich bis zum Rand des Kulturkreises. Die absichtsvoll auf einen Zweck hin gerichtete Bedienung ist der unmittelbarste Kontext, den eine Maschine hervorbringen kann. Dieser Kontext wiegt schwerer als alle anderen Kontexte, die kulturell, beruflich oder anderweitig geprägt sind.
110 †
den – gewollten oder ungewollten – Verzicht auf Interaktion im Sinne einer zweckbestimmten Handlung dar. Was immer der Anwender dann tut, das System betrachtet es nicht als gelungene Geste.
Der kulturelle Horizont
41
1.6
Digitale Realität Wie die fortschreitende Digitalisierung den Umgang mit Technik verändert
Mit zunehmender Digitalisierung technischer Geräte verändert sich auch der Umgang mit Technik im Allgemeinen. Hinzu kommt, dass viele Gegenstände des alltäglichen Lebens und im Beruf technisch aufgerüstet werden, etwa mit RFIDTranspondern in Kleidung oder Versandstücken. In diesem Zusammenhang wird gern von der künstlichen Intelligenz von Geräten, Maschinen oder einfach Umgebungen gesprochen. Nicht erst seit Alan Turings Essay über die Intelligenz von Maschinen aus dem Jahre 1950 (Computing Machinery and Intelligence) wird der Intelligenzbegriff in Bezug auf die unbelebte Materie kontrovers diskutiert. Turing hatte die Frage aufgeworfen, ob man einer Maschine nicht die Fähigkeit zu denken zusprechen müsse, wenn deren Verhalten in der Interaktion mit Menschen von menschlichem Verhalten ununterscheidbar wäre. Diese Frage ist bis heute nicht zufriedenstellend beantwortet. Die heutigen Computer sind von wahrer menschlicher Denkleistung noch weit entfernt, aber es ist vielleicht auch gar nicht deren Aufgabe, es dem Menschen gleichzutun. Man wird sehen, was die Forschung auf dem Gebiet der künstlichen Intelligenz in Zukunft bringen wird. In jedem Fall erkennen wir mit der fortschreitenden Digitalisierung auch eine Zunahme von maschinengestützter Intelligenz in Beruf und Alltag. Wir sind dabei, uns von der Vorstellung zu lösen, die den heutigen Computern zugeschrie-
42
Gesten in der Mensch-System-Interaktion
bene Intelligenz müsse in mehr oder weniger formschöne Gehäuse eingesperrt sein. Erst die massiven Schränke der Rechenzentren, dann die im Vergleich deutlich kompakteren DesktopComputer, die Notebooks, Tablett-PCs, schließlich jackentaschentaugliche mobile Geräte … und dann? Infolge der nicht enden wollenden Miniaturisierung wird maschinelle Intelligenz mehr und mehr unsichtbar. Aus der Größe eines Gegenstands lässt sich nicht mehr ableiten, wie intelligent er ist. »Computer«, das wird sich in nicht allzu ferner Zukunft so antiquiert anhören wie »Elektronengehirn« heute. Die äußere Erscheinungsform einer Maschinenintelligenz wird vollkommen beliebig. Je intelligenter Maschinen werden, desto mehr Autonomie können sie erlangen. Da stellt sich die Frage, unter welchen Voraussetzungen in einer digitalen Welt die Interaktion mit intelligenten Systemen notwendig und möglich ist. Dieser Frage wollen wir in diesem Kapitel am Beispiel intelligenter Umgebungen und erweiterter Realität nachgehen.
Intelligente Umgebungen Unter einer intelligenten Umgebung wird ein Lebens- oder Arbeitsumfeld verstanden, in dem vernetzte rechnergestützte Systeme ihre Umgebung überwachen, Informationen aus ihrer
20
Umgebung beziehen und gegebenenfalls Informationen bereitstellen. Ein wichtiger Aspekt intelligenter Umgebungen ist die berührungslose Erkennung und Datenkommunikation. Die Intelligenz sitzt dann in Alltagsgegenständen, in Industriemaschinen, in Wänden von Gebäuden, in speziellen Installationen im öffentlichen Raum usw. In der Regel handelt es sich bei den technischen Komponenten einer intelligenten Umgebung um Spezialisten, die für bestimmte Aufgaben konzipiert sind, aber nicht das Kriterium eines universalen Computers erfüllen. Was sie auch nicht müssen, denn infolge der Vernetzung sind Sensorik und Ausgabehardware in der Regel mit einem universalen Computer verbunden. Eine intelligente Umgebung setzt somit eine entsprechende Infrastruktur voraus, die technisch sehr komplex sein kann. Die Umgebung hat dann auch eine physikalische Form: Sie entspricht beispielsweise einem Wi-Fi-Funkbereich oder dem gemeinsamen Sichtfeld installierter Kameras. Im Zusammenhang mit intelligenten Umgebungen tauchen unterschiedliche Fachbegriffe auf, die ihren Schwerpunkt jeweils auf einen bestimmten Aspekt legen, sich in ihrer Bedeutung aber großflächig überschneiden: • Ambient Intelligence: Mit »Umgebungsintelligenz« bezeichnet man allgemein das Vorhandensein rechnergestützter Systeme in der
20 Intelligente Umgebungen können für den Menschen unsichtbar sein. Wenn sie allein der Überwachung dient, ist Interaktion unerwünscht. Die mangelnde Transparenz führt zu einem grundlegenden Misstrauen gegenüber der Technik.
Lebens- und Arbeitswelt des Menschen. Die Forschung richtet sich unter anderem auf die Möglichkeiten der gerätegestützten und natürlichen Interaktion. Im Sinne einer intelligenten Umgebung, wie ambient intelligence in diesem Buch verstanden wird, ist die Möglichkeit der Interaktion aber kein wesensmäßiges Merkmal. • Ubiquitous Computing: Der Begriff des ubiquitären Computing geht auf den amerikanischen Informatiker Mark Weiser zurück und beschreibt eine Welt, in der Alltagsgegenstände mit Rechenleistung ausgestattet sind oder informationsverarbeitende Funktionen in einem vernetzten System übernehmen. Die Allgegenwart intelligenter Gegenstände wird als logische Folge der fortschreitenden Digitalisierung und Miniaturisierung datenverarbeitender Systeme verstanden. Das ubiquitäre Computing schließt sowohl die autonome Selbstorganisation von Systemen als auch die Interaktion mit Menschen ein. • Internet der Dinge: Das Internet der Dinge bezieht sich sowohl auf die Durchdringung
Digitale Realität
43
von Alltagsgegenständen wie Hausgeräten mit Rechenleistung als auch deren Vernetzung mit dem Internet. Die Idee basiert auf einer automatisierten bzw. autonomen Datenkommunikation technischer Systeme untereinander, die keiner direkten Steuerung durch Menschen bedürfen. Das Internet der Dinge wird als selbstorganisierendes System verstanden, das Interaktion mit Menschen weitestgehend überflüssig macht. Als Beispiel wird immer gern der intelligente Kühlschrank genannt, der rechtzeitig Milch nachbestellt, wenn sie zur Neige geht. In einem derartigen Szenario interagieren nicht nur die Milchpackung und der Kühlschrank miteinander (die Packung ist angebrochen und es ist nur noch ein Rest übrig), der Kühlschrank kommuniziert auch mit dem Terminkalender (ist diese Woche überhaupt jemand zuhause?), mit dem Wetterbericht (bei warmem Wetter wird weniger Milch getrunken) und mit meinem Diätplan (statt Vollmilch ab sofort nur noch 1,5%). Anschließend bestellt der Kühlschrank im Supermarkt, und der Supermarkt beauftragt einen Bringservice. Neuere Forschungen betrachten das Internet der Dinge daher vorrangig als Feld für Logistiksysteme. • Pervasive Computing: Dieser Begriff legt den Fokus auf die Durchdringung des menschlichen Lebensraums oder der Berufswelt mit rechnergestützter Intelligenz oder Vernetzung. Die Allgegenwart solcher Systeme ist quasi eine direkte Folge der zunehmenden Verbreitung. Die begriffliche Unterscheidung zwischen pervasive computing und ubiquitous computing wird von vielen Autoren als unnötig angesehen, einige fassen sie als synonym auf. • Wearable Computing: Tragbare, rechnergestützte Systeme sind als solche keine intelligente Umgebung, sondern können eine wichtige Funktion für die passive Kommunikation oder direkte Interaktion mit dem System einer intelligenten Umgebung übernehmen. Als Forschungsrichtung untersucht das wearable computing die Möglichkeiten, Systemintelligenz möglichst unsichtbar in Kleidung oder
44
Gesten in der Mensch-System-Interaktion
andere Gegenstände zu integrieren, die ein Mensch täglich mit sich führt, und die Erkennung zu optimieren. Tragbare Systeme können beispielsweise zur genauen Ortsbestimmung innerhalb einer Umgebung oder zur Personenidentifikation genutzt werden. Im weiteren Sinne wird unter einem wearable computer auch ein am Körper getragenes elektronisches Gerät verstanden, etwa ein Smartphone, das als Armband getragen wird (derzeit Gegenstand der Forschung), oder medizinische Geräte, die den Gesundheitszustand eines Patienten über einen längeren Zeitraum überwachen. Diese müssen nicht notwendigerweise mit einer äußeren Umgebung kommunizieren. Chancen und Risiken Die Chancen und Risiken intelligenter Umgebungen wurden in der 2006 vom Bundesministerium für Bildung und Forschung der Bundesrepublik Deutschland veröffentlichten Studie »Ubiquitäres Computing und informationelle Selbstbestimmung« (TAUCIS) ausführlich beleuchtet. Unter dem Aspekt der Technikfolgenabschätzung wirft die Studie einen kritischen Blick auf die fortschreitende Digitalisierung aller Lebensund Arbeitsbereiche. (Zukünftige) Technik wird nach dem Recht auf informationelle Selbstbestimmung bewertet, vorrangige Themen sind der Datenschutz, der Schutz der Privatsphäre und die Kontrolle über die Verbreitung persönlicher Daten. Mangelnde Transparenz intelligenter Umgebungen kann zu einem grundlegenden Misstrauen gegenüber der Technik oder den Technikbetreibern führen, sie erzeugt damit eines der größten Akzeptanzprobleme. Für Applikationsentwickler und Designer folgt als Konsequenz aus der Studie, die geforderte Transparenz einer intelligenten Umgebung und die Kontrolle des Benutzers über seine Daten auch im Interaktionsdesign zu verankern. Eine intelligente Umgebung sollte sich immer zu erkennen geben. Selbst wenn sich das System passiv verhält und keine Interaktion mit den Menschen vorgesehen ist, die sich in der Umgebung aufhalten, bleibt die Anforderung, Interaktion allein für
21
den berechtigten Anspruch bereitzustellen, sich über das System informieren zu können. Interaktion in intelligenten Umgebungen Die Studie TAUCIS entwirft ein Zukunftsszenario, in dem die direkte Interaktion eines Menschen mit einer intelligenten Umgebung mehr und mehr überflüssig wird. Stattdessen erledigen zukünftig intelligente Agenten (Software-Agenten) die Kommunikation mit Umgebungssystemen. Dies betrifft beispielsweise die Authentifizierung oder andere standardisierbare Abläufe. Für Interaktionsdesigner ist natürlich die direkte Interaktion eines Menschen mit einer intelligenten Umgebung interessant. Sie kann über traditionelle Eingabemethoden wie MultitouchOberflächen, Tastaturen und andere Eingabegeräte geschehen, die die Umgebung bereitstellt. Ein Szenario nach diesem Muster wäre eine intelligente Küche, in der die Geräte untereinander vernetzt sind und über einen zentralen Touchscreen, der, sagen wir einmal: in die Kühlschranktür eingelassen ist, gesteuert werden können. Oder die Küche ist dezentral organisiert und die Geräte stellen jeweils eigene Bedienpanels zur Verfügung. Der immer gern zitierte Sciencefiction-Film Minority Report zeigt anschaulich, wie die Personenerkennung einer intelligenten Umgebung kommerziell genutzt werden kann: Als der Protagonist John Anderton ein Kaufhaus betritt, wird
21 Am Körper getragene Technik kann den Menschen in einer Umgebung identifizieren. Mit seinem Smartphone oder einem vergleichbaren Gerät lässt sich eine interaktive Verbindung zum System herstellen – der Mensch kann sich über das System informieren und erhält die Kontrolle darüber, welche Informationen ausgetauscht werden.
er von einem Hologramm persönlich begrüßt und gefragt, ob er mit seinem letzten Einkauf zufrieden war. Diese Schlüsselszene soll nicht nur den technischen Fortschritt veranschaulichen, sondern zugleich die Schwächen des Systems offenlegen: Wenn eine Personenerkennung, die über Sein und Nichtsein entscheidet, allein auf der Basis von Iris-Scans funktioniert, birgt sie die Gefahr in sich, ungewollt einen illegalen Handel mit Augen hervorzubringen – was im Film ja eindrucksvoll geschildert wird und seine verstörende Wirkung nicht verfehlt. Eigentlich wären für die Interaktion mit intelligenten Umgebungen Freihandgesten prädestiniert, doch eine berührungslose Erkennung von Freihandgesten ist eine der größten technischen Herausforderungen, die mit Gestensteuerung verbunden ist, wenn sie mehr sein soll, als nur das Erfassen weniger plumper Kommandos. Marktreife Produkte wie Kinect für die Xbox 360 unterstreichen die Schwierigkeit, gestische Be-
Digitale Realität
45
22
Intelligente Umgebung Interaktion
Individualsphäre
Datenaustausch
unzulässiger Zugriff
© 48
46
wegungen im Raum für eine ausgefeilte Steuerung nutzbar zu machen. Während die berührungslose Identifikation via RFID-Transponder oder die passive Personen- und Gesichtserkennung mittels optischer Systeme technisch bereits weit fortgeschritten ist, wird noch einige Zeit vergehen, bis Freihandgesten eines Menschen systemseitig sicher erkannt werden. Ein praktikabler Ansatz, die von einer Umgebung bereitgestellte Intelligenz zu nutzen, baut auf universale mobile Geräte, die der Mensch mit sich führt. Was böte sich mehr an als das persönliche Smartphone, das, wie am Beispiel des iPhone gezeigt wird, sich als universale Informations- und Steuerungszentrale geradezu aufdrängt? Ein mobiles Gerät bietet nicht nur die Möglichkeit, über ein persönliches bzw. allgemein eingeführtes Interface mit der Umgebung zu kommunizieren, sondern auch die Chance, intelligente Umgebungen überhaupt zu entdecken. Derzeit wird an Lösungen gearbeitet, die dem Smartphone die in einer Umgebung benötigte Intelligenz als Software übermittelt. Sobald Smartphone und intelligente Umgebung einander erkennen, wird ein automatischer App-Download gestartet. Der Smartphone-Besitzer verfügt mit der App dann über Möglichkeiten, die der Betreiber der intelligenten Umgebung festlegt. Verlässt das Smartphone die Reichweite der Umgebung wieder, löscht sich die App automatisch.
Gesten in der Mensch-System-Interaktion
Privatsphäre
Erweiterte Realität Der Begriff der erweiterten Realität (augmented reality) ist strikt zu trennen von einer erweiterten Wahrnehmung, die ebenfalls auf technische Hilfsmittel bauen kann. Ein Röntgengerät beispielsweise kann räumliche Strukturen oder Stoffdichten sichtbar machen, eine Thermografie die Wärmedichtigkeit eines Gebäudes aufzeigen. Solche Geräte machen die physikalischen Eigenschaften einer Umgebung wie die elektromagnetische Strahlung der menschlichen Sinneswahrnehmung zugänglich, die ihr sonst verborgen blieben. Das ist mit »erweiterter Realität« aber nicht gemeint. Systeme mit erweiterter Realität zielen auf ein Nutzungsszenario, bei dem einem Menschen ortsabhängig Informationen oder Funktionen zur Verfügung gestellt werden, die der Ort »real« nicht hergibt. In einer erweiterten Realität wird die Wirklichkeit mit Informationen über die Wirklichkeit überlagert, und das ist etwas fundamental anderes als die Sichtbarmachung physikalischer Phänomene. Headup-Displays Beispiele für erweiterte Realität sind das Einspiegeln navigationsrelevanter Daten und Hinweise in die Windschutzscheibe eines Automobils oder die Bereitstellung lokaler Informationen auf dem Smartphone. Unternehmen wie Microvision ar-
beiten an wearable displays, die Informationen scheinbar in die Luft vor dem Betrachter einspiegeln. Im Automobilbereich werden solche Brillen in der Montage und im Reparaturservice eingesetzt: Der Monteur kann sich eine Montageanleitung einspiegeln lassen, die einen virtuellen Blick in Bauteile ermöglicht und die nötigen Handgriffe zeigt – Wissen also, das »real« am Ort nicht vorhanden ist. Mit einer entsprechenden Positionserkennung und Bewegungsverfolgung der Spezialbrille werden 3D-Visualisierungen einer Montagehilfe immer aus der richtigen Perspektive dargestellt. Großes Interesse an derartigen Systemen besteht – das darf man nicht verschweigen – auch im militärischen Sektor. Informationsbereitstellung Erweiterte Realität bedeutet immer, dass der Zugriff auf die in einer Umgebung zur Verfügung gestellten Informationen über ein technisches Hilfsmittel erfolgt, meist in visueller oder auditiver Form. Entweder werden die Informationen von der Umgebung selbst zur Verfügung gestellt – dann gilt sie als intelligent – oder das benutzte Gerät bringt die benötigte Intelligenz und das Wissen selbst mit. Letzteres kann auch beinhalten, dass die Gerätesoftware Informationen aus dem Internet abruft. In beiden Fällen ist die genaue Ortsbestimmung eine unbedingte Voraussetzung. Erweiterte Realität ist daher meist mit der Nutzung von Ortungsdiensten verknüpft. Während die ersten Systeme erweiterter Realität Speziallösungen waren, treten diese ihre Funktion immer mehr an universale Geräte wie Smartphones ab. Mit GPSEmpfang, Wi-Fi-Hotspot-Lokalisierung, Kompassfunktion, Beschleunigungssensor und Gyroskop bringen Smartphones alle Voraussetzungen für die orts- und lageabhängige Informationsdarstellung mit.
23
22 Das Sphärenmodell im Szenario einer intelligenten Umgebung: Als potenzielle Akteure in der Mensch-System-Interaktion haben die Menschen ein Interesse, als Individuum anerkannt zu werden. Problematisch wird es, wenn das System den schmalen Grad zwischen Individualsphäre (dem, was der Mensch freiwillig von sich preisgibt) und der Privatsphäre (dem, was er nicht öffentlich machen möchte) überschreitet. 23 Erweiterte Realität auf dem Smartphone: Die iPhone-App Ubique – der Name ist Programm – stellt die momentane Ortsumgebung auf einer Karte dar und verbindet Sehenswürdigkeiten mit Informationen aus Wikipedia und Bildern von Panoramio. Der Informationssuchende sieht die perspektivische Karte vor dem Livebild der eingebauten Kamera, und zwar stets in der Richtung, in die das Kameraobjektiv weist. 24 Starmap Pro zeigt den aktuellen Sternenhimmel in der Richtung, in der das iPhone gehalten wird. Sternengucker finden Informationen und Fotos zu allen bekannten Himmelsobjekten, selbst solchen, die für das bloße Auge nicht sichtbar sind. Unter anderem erlaubt die Anwendung, in die Tiefen des Universums hineinzuzoomen und in der Zeit vor- oder zurückzureisen.
Digitale Realität
47
24
1.7
Mobiles Computing Warum Geräte wie das iPhone den Übergang in eine neue digitale Ära markieren und welche Voraussetzungen sie dafür erfüllen müssen
Obwohl das iPhone nicht das erste käuflich zu erwerbende Produkt mit Multitouch-Oberfläche war – der Lemur beispielsweise hat ihm zwei Jahre voraus –, hat kein anderes Consumer-Gerät das Thema »Multitouch« so stark ins Bewusstsein der Allgemeinheit gebracht wie das AppleSmartphone. Man kann sich des Eindrucks nicht erwehren, dass das iPhone eine explosionsartige Vermehrung von Geräten mit Multitouch-Oberfläche ausgelöst hat. Es hat in der Vergangenheit immer richtungsweisende Technologien gegeben, die die Konkurrenz herausgefordert und weitere technologische Entwicklungen nach sich gezogen haben. Aber hier geht es um mehr als nur um den Kampf um Marktanteile. Das Apple-Smartphone ist etwas Neues, und seine Multitouch-Bedienung ist ein deutlicher Entwicklungssprung. Die Innovation bleibt dabei aber nicht allein an der Oberfläche, im Hintergrund wird gezaubert, was das Zeug hält. Dass die Gestensteuerung des iOS von der Sensorik des Mobiltelefons profitiert, soll in diesem Kapitel näher beleuchtet werden. Mobiltelefon? Dem Namen nach zu urteilen, ist es das. Aber jeder weiß, dass das iPhone mehr ist als nur ein Telefon, auch kein digitaler Notizblock wie die PDAs der ersten Stunde. Schon bei der Markteinführung warb Apple mit der Multifunktionalität des Geräts (»Telefon, Internet, Audioplayer«), aber mit dem Konzept der Erweiterung durch Fremdanbieterprogramme hat das
48
Gesten in der Mensch-System-Interaktion
iPhone wie kein anderes mobiles Gerät zuvor sein Anwendungsspektrum in einer Weise vergrößert, die vermutlich selbst Apple nicht vorhergesehen hat. Zwar gab es schon vor dem iPhone Mobiltelefone, die über E-Mail und Internet verfügten (z.B. den Blackberry) – die Kombination von Mobiltelefon und PDA-Funktionen begründete ja die neue Geräteklasse der Smartphones. Aber eine vergleichbare Erweiterbarkeit durch Fremdanbieter-Software kannte man vorher nur von Macs und PCs. Anders als alle mobilen Geräte vor ihm erfüllt das iPhone die Kriterien eines universalen Computers. Es ist diese Universalität, die es zu etwas Neuartigem macht. Oder anders ausgedrückt: Es ist das erste multimodale Gerät, dass man in die Jackentasche stecken kann. Gleichzeitig ist das iPhone ein offenes System, das in intelligente Umgebungen eingebunden werden oder als Eingabegerät für andere Systeme dienen kann. Es gehört damit zu einer neuen Gattung des mobilen Computing, die den zukünftigen Umgang mit Technik und Informationsdiensten nachhaltig prägen wird. Dass das iPad, trotz fehlender Telefonie, den Erfolg des iPhone fortschreibt, unterstreicht den universalen Anspruch der neuen Gerätegattung. Auch wenn das iPhone vieles nicht kann, entkoppelt es viele alltägliche Aufgaben von der Benutzung eines Computers. Es mag eine Ironie der Geschichte sein, dass Apple dem Microsoft-
hör er a
Gyros ko
te n
ss
e ns
as
te
g ss
ke t
hlu
gun
ns c
uni
är
t as
c hl e
st
mm Stu
B es
ut
Standb y-Tast e N ah b er eich ss e Um ns o ge r bu ng sli ch t se ns or
tiv Kameraobjek Ohrhörer
f Kop
La
Ka
or
LED
t
z (r -Blit
ü ck s
eitig
ig)
)
Multitouch-Display
r
Wi-F ge
r
luss Home-Taste
Dock-Ansch
ofo n Mikr
Dass erst das iPhone das neue Zeitalter des mobilen Universalcomputers einläutet, obwohl es doch unzählige andere mobile Geräte vor ihm gab, hat nicht nur mit seinen Multitouch-Fähigkeiten, sondern auch in nicht geringem Maße mit seiner umfangreichen sensorischen Ausstattung
ch e r
Die Sensorik des iPhone
spre
Slogan information at your fingertips neue Bedeutung gibt. Es vollzieht sich ein Paradigmenwechsel, weil das Internet immer weniger als eine Welt, die sich im Inneren von Computern abspielt, betrachtet wird, sondern als etwas, das uns ständig umgibt. Computer, wie wir sie heute kennen, werden morgen möglicherweise nur noch für Spezialaufgaben wie die kreative Bearbeitung von Text, Bild, Grafik, Audio und Video benutzt. Für die tägliche Korrespondenz, Nachrichten, den Wetterbericht, Verabredungen oder die Fernsteuerung der heimischen Heizungsanlage braucht man keine »grauen Kisten« mehr. Ein kleines Gerät, das man bei sich trägt und das wie ein persönlicher Ausweis funktioniert, holt alle Informationen auf sein Display – oder auf ein System in seiner Nähe.
n
ob
oth
io
M
eto
i
at
ilf u
nk
f än
Blu
L au t
Mit freundlicher Genehmigung von Apple Inc./Courtesy of Apple Inc.
jek
eit
br Vi
GP
e tomet
mp S-E
ob
ks r üc iv (
p
Farbmonitor M ag n e
ra me
25
25 Das Multitouch-Display ist die Hauptattraktion des iPhone. Die Gestensteuerung profitiert aber wesentlich von anderen Komponenten wie Beschleunigungssensor und Gyroskop.
zu tun. Die Sensorik des iPhone ermöglicht Anwendungen, die mit Telefonieren, E-Mailen, Surfen und Musikhören nur noch im Entferntesten oder gar nichts mehr zu tun haben. Dabei sind viele Anwendungen ohne die Infrastruktur, in die das mobile Gerät eingebettet ist, nicht denkbar. Viele Sensoren des iPhone haben ihre Daseinsberechtigung in der gestischen Benutzung des Geräts bzw. seines Interfaces, was im Umkehrschluss heißt: Ohne die Sensoren gäbe es die Gesten nicht. Durch Kombination mehrerer Sensoren ergeben sich so vielfältige Interaktionsmöglichkeiten, dass die Universalität des mobilen Geräts nahezu unerschöpflich erscheint. Schaut man sich die Hardwareausstattung näher an, wird klar, dass der Erfolg des iPhone nicht allein auf dem schicken Gehäusedesign, der bis dato neuartigen Benutzeroberfläche und der Multitouch-fähigen Gestensteuerung aufbaut. Diese Eigenschaften – und allen voran vielleicht die pinch-Geste – haben ihre Wirkung bei der
Mobiles Computing
49
Markteinführung nicht verfehlt, sie haben große Aufmerksamkeit in der Öffentlichkeit auf sich gezogen. Aber für den langfristigen Erfolg sind seine multimodalen Fähigkeiten ausschlaggebend. Wie das umfangreiche Angebot an Drittanbietersoftware anschaulich beweist, kann das iPhone dank seiner Universalität in unterschiedlichste Rollen schlüpfen, je nachdem welche Software genutzt wird. Das iPhone ist Telefon, E-MailZentrale, Fenster zum Web oder Audioplayer nur so lange, wie es als solches benutzt wird. Kompass, Wecker, Taschenrechner oder Börsenticker? Auch das, wenn das entsprechende Programm verwendet wird. Fremdanbieter finden immer wieder neue verblüffende Möglichkeiten, die Hardware des iPhone für Anwendungen nutzbar zu machen, an die man vorher nicht gedacht hat. Wie es scheint, hat das iPhone mit seiner Hardwareausstattung eine kritische Masse erreicht, ohne die es nicht den Status eines Alleskönners für sich beanspruchen könnte. Mit ein paar Einschränkungen gilt dies auch für die iPads. Hier eine Übersicht: • Mobilfunksender und -empfänger: Da es sich – auch – um ein Mobiltelefon handelt, verfügt das iPhone für die Sprach- und Datenübertragung (z.B. SMS) über einen Funksender und -empfänger, der die Standards UMTS/ HSDPA und GMS/Edge unterstützt. Darüber hinaus werden auch Internetdienste wie EMail und Web-Browsing über den Mobilfunk abgewickelt, wenn kein Wi-Fi zur Verfügung steht. Das Gerät nutzt die Funkwellenstrahlung auch zur Ortung, denn es kann seine Position aus der Nähe zu Mobilfunkmasten bestimmen, wenngleich nur sehr grob. In Kombination mit GPS wird die Genauigkeit der Positionsbestimmung jedoch erhöht. • Wi-Fi-Sender und -Empfänger: Als schnellere Alternative zum Mobilfunk nutzt das iPhone Wi-Fi zur Datenübertragung, sofern es sich im Empfangsbereich einer Basisstation oder eines Wi-Fi-Hotspots befindet. Der Wi-FiHotspot wird auch zur Ortung herangezogen, wenn er seine eigene Position kennt und diese ans iPhone übermittelt. Diese Information
50
Gesten in der Mensch-System-Interaktion
•
•
•
•
beinhaltet allerdings nicht, wo sich das Gerät innerhalb des Empfangsbereichs aufhält. Das Wi-Fi-Hotspot-Netz ist vor allem in Städten in den USA gut ausgebaut. Bluetooth-Sender und -Empfänger: Bluetooth dient zur Nahbereichskommunikation mit anderen Geräten wie Ohrhörern. Es besteht außerdem die Möglichkeit, mehrere iPhones per Bluetooth zu koppeln, was für kooperative Anwendungen sinnvoll ist. GPS-Empfänger: Über den eingebauten GPS-Empfänger kann das iPhone seine Position an jedem beliebigen Ort der Erde bestimmen. Die Ortung funktioniert, solange eine Verbindung zu einer ausreichenden Anzahl von GPS-Satelliten hergestellt werden kann. Magnetometer: Ein Magnetometer steuert den virtuellen Kompass des iPhone. In der Kartendarstellung wird die Kompassfunktion genutzt, um die momentane Blickrichtung anzuzeigen. Die Karte wird dann immer nach Norden ausgerichtet. Die Kompassfunktion setzt voraus, dass das Gerät waagerecht und mit dem Display nach oben gehalten wird, was die Möglichkeiten für Interaktion entsprechend einschränkt. Die magnetische Ausrichtung funktioniert nicht mehr, sobald das iPhone schräg, senkrecht oder mit dem Display nach unten gehalten wird. Anwendungen im Sinne einer erweiterten Realität, bei denen das iPhone beispielsweise Informationen zu Sehenswürdigkeiten in der Nähe anzeigt, machen sich wie die Kartendarstellung von der Kompassgenauigkeit abhängig. Beschleunigungssensor: Dank seines dreiachsigen Beschleunigungssensors weiß das iPhone immer, wie es bewegt wird. Anhand der Sensordaten steuert das Interface die animierte Layoutumschaltung vom Hoch- zum Querformat und ungekehrt. Das iPhone richtet das Layout immer nach der Schwerkraft aus und funktioniert somit nach dem Prinzip einer Wasserwaage – was findige Entwickler auch gleich in entsprechende Zusatzapplikationen umgesetzt haben. Geschicklichkeitsspiele nutzen den Beschleunigungssensor zum Bewegen von Ob-
26
jekten, zur Steuerung eines Avatars oder zur Lenkung von Fluggeräten im virtuellen Raum. Der Sensor erkennt auch die Geschwindigkeit, mit der das iPhone in den drei Raumdimensionen bewegt wird. Die Schütteln-Geste zur Annullierung beispielsweise setzt eine gewisse Bewegungsgeschwindigkeit voraus. • Gyroskop: Das eingebaute Gyroskop verbessert die Bewegungserkennung durch die Möglichkeit, auch Eigenrotationen messen zu können, was Beschleunigungssensoren nicht oder nur unzureichend vermögen. Die Ausrichtung des Geräts im Raum lässt sich damit genauer bestimmen. • Nahbereichssensor: Der Nahbereichssensor erkennt, ob sich in unmittelbarer Nähe Gegenstände o.Ä. befinden. Er dient bei Telefonaten als Sicherung, die verhindern soll, dass das Ohr Funktionen auf dem Touchscreen auslöst. Wenn das Mobiltelefon ans Ohr gehalten wird, schaltet das Gerät den Touchscreen einfach aus – und wieder an, sobald sich das Telefon vom Ohr entfernt. Der Sensor tritt nur in Aktion, wenn das iPhone ein Telefonat aufbaut oder eine Verbindung hergestellt hat. • Umgebungslichtsensor: Mit einem eigenen Sensor für die Umgebungshelligkeit ist das iPhone in der Lage, die Displayhelligkeit an das Umgebungslicht anzupassen. Er ist wie der
26 Air Mouse Pro verwandelt das iPhone in eine Wi-Fi-Fernbedienung eines Computers. Die App simuliert eine Maus, einen Trackball, ein Trackpad oder eine Tastatur und unterstützt Raumgesten. 27 Seismometer zeichnet Vibrationen auf, denen das Gerät ausgesetzt ist. 28 Ocarina ist einem Blasinstrument nachempfunden und zeichnet gepustete Melodien auf, die der Ocarina-Gemeinde weltweit zum Anhören bereitgestellt werden können.
Nahbereichssensor auf der Displayseite des Geräts untergebracht. • Foto- und Videokamera: Es gibt wohl kein Handy mehr, das nicht auch Foto- und Videokamera ist. Das iPhone verfügt gleich über zwei Objektive, eines auf der Vorderseite und eines auf der Rückseite. Je nach Anwendung kann der Bediener das Bild aufnehmen, das in seiner eigenen Blickrichtung liegt, oder sich selbst, um sein Konterfei beim Videochat an andere Teilnehmer zu übertragen. Der Monitor dient ihm dabei entweder als Sucher oder als Bildtelefon – oder beides. Die Bildanalysesoftware beinhaltet unter anderem einen digitalen Autofokus und einen
Mobiles Computing
51
27
28
•
•
•
•
52
digitalen Belichtungsmesser. Das Gerät ist damit theoretisch in der Lage, die Umgebungshelligkeit sowohl auf der Vorder- als auch auf der Rückseite gleichzeitig zu messen. Die »Intelligenz« der Kamera hängt, wie bei allen Bilderfassungssystemen, in erster Linie von der Bildanalysesoftware ab. Programme können die Funktionen des iPhone beispielsweise um eine Gesichtserkennung erweitern. Mikrofon: Dass ein Telefon ein Mikrofon benötigt, ist evident. Wie andere Hersteller von Mobiltelefonen nutzt Apple die akustische Erkennung auch zur Sprachsteuerung und zur Sprachaufzeichnung. Dass man auch das Geräusch eines Luftstroms, das beim Telefonieren ja tunlichst unterdrückt werden soll, sinnvoll nutzen kann, zeigt der Softwarehersteller Smule: Er funktioniert das iPhone zu einem Musikinstrument um. Um der virtuellen Ocarina Töne zu entlocken, muss der Bediener einfach ins Mikrofon blasen. Der Luftstrom moduliert dabei die Lautstärke des Tons, die Tonhöhe wird mit virtuellen Tasten auf dem Multitouch-Screen variiert. Multitouch-Screen: Die Hauptschnittstelle für die Interaktion ist natürlich der Multitouch-Screen. Er erlaubt es, die Anzahl von Hardware-Tasten am Gehäuse auf ein Minimum zu reduzieren – und praktisch jede denkbare Maschine, die auf einen 3,5 Zoll großen Bildschirm passt, zu virtualisieren. Home-Taste: Die Home-Taste ist eine Hardware-Komponente, die die Funktionen des Touchscreen-Interfaces ergänzt und ohne die das Interface auch nicht bedient werden könnte. Sie weckt das iPhone aus dem Ruhezustand auf, führt nach einer Programmnutzung zurück zum Homescreen, wechselt zur Suchfunktion oder blendet die Multitasking-Bar ein. Längeres Halten der Taste aktiviert die Sprachsteuerung. Standby-Taste: Über die Standby-Taste lässt sich nicht viel sagen, sie schaltet das Gerät ein oder in den Ruhezustand. Längeres Gedrückthalten initiiert ein Herunterfahren des Betriebssystems. Kein Spielraum für Interaktion? Apple selbst hat noch eine andere Ver-
Gesten in der Mensch-System-Interaktion
wendung für die Standby-Taste: Wenn diese gleichzeitig mit der Home-Taste gedrückt wird, erstellt das iPhone einen Screenshot und legt diesen im Fotoordner ab. • Kopfhöreranschluss: Die 3,5-MillimeterKlinkenbuchse erlaubt die Nutzung von Ohrhörern mit Fernbedienung. Praktisch ist es, dass das iPhone erkennt, ob ein Stecker eingesteckt ist oder nicht. Wenn der iPod gerade spielt und der Stecker gezogen wird, stoppt die Musik- oder Videowiedergabe. Damit wird verhindert, dass das iPhone den Ton plötzlich über den Lautsprecher ausgibt – was sonst die Aufmerksamkeit aller Menschen in der Umgebung auf sich ziehen und hektische Betriebsamkeit seitens des iPhone-Besitzers auslösen würde. • Dock-Anschluss: Der Apple-eigene DockAnschluss ist die Schnittstelle sowohl zur Stromversorgung (auch Akkuaufladung) als auch für den gesamten kabelgestützten Datenaustausch mit einem Computer oder einem anderen Dock-kompatiblen Gerät. Über den Dock-Adapter können Audio-, Video- und andere Daten übertragen werden. Hersteller von Hi-Fi-Geräten statten ihre Geräte zunehmend mit Dock-Adapter aus, um die Musikbibliothek des iPhone oder eines iPod als Datenquelle nutzen zu können. Auch Autohersteller bieten Dock-Adapter an, um das iPhone zum Musikhören oder beim Telefonieren mit der Freisprecheinrichtung des Fahrzeugs nutzen zu können. Der integrierte Dienst iPod-out ermöglicht es, die iPodSteuerung in fremder Hardware zu visualisieren – beispielsweise auf dem Bildschirm des Infotainmentsystems im Auto.
Rückmeldungen des iPhone Seine Sensorik bestimmt, was das iPhone von seiner Umgebung »erfahren« kann. Darüber hinaus verfügt es über visuelle, akustische oder taktile Ausgabekomponenten, die unter anderem für Rückmeldungen an den Bediener genutzt werden.
• Farbmonitor: Der mit einer berührungsempfindlichen Schicht überzogene Farbmonitor ist nicht nur die Eingabekomponente für die Multitouch-Bedienung, er ist auch das zentrale Interface für die Visualisierung. Mit Ausnahme der Blindbedienung VoiceOver ist ja die gesamte Multitouch-Bedienung auf die Visualisierung abgestimmt. • LED-Blitz: Der LED-Blitz dient, wie bei Kameras üblich, zur Ausleuchtung des Fotomotivs. Einige Drittanbieter-Apps nutzen die LEDLampe als Lichtquelle, beispielsweise als Ersatz für eine Taschenlampe. • Ohrhörer: Über den oberhalb des Bildschirms befindlichen Ohrhörer gibt das iPhone die Sprache verbundener Telefonteilnehmer und aufgezeichnete Voicemails wieder. Musik wird über den Ohrhörer nicht ausgegeben. • Lautsprecher für Freihören: Wenn kein Kopfhörer am iPhone angeschlossen ist, dient der Lautsprecher zur Wiedergabe von Audiomedien wie Musik und mit Tonspur versehenen Videos, zur Signalisierung eines eingehenden Anrufs (Klingelton) und zum Freihören während eines Telefonats. Bei Blindbedienung gibt das iPhone über den Lautsprecher die akustischen Hinweise der Bedienungshilfe VoiceOver aus. • Kopfhöreranschluss: Bei angeschlossenem Kopfhörer werden Ohrhörer und Lautsprecher ausgeschaltet. Die Audiowiedergabe erfolgt dann ausschließlich über den Kopfhörer. • Vibration: Die Vibration ist wie bei allen Mobiltelefonen zur taktilen Rückmeldung von eingehenden Anrufen konzipiert. Sie kann aber auch für Anwendungen genutzt werden, etwa um die Berührung eines Oberflächenelements haptisch rückzumelden. Die Applikation Big Red Button macht von dieser Möglichkeit augenzwinkernd Gebrauch, zeigt aber auch, dass eine Vibration die Empfindung einer Hubbewegung, wie sie beim Drücken einer mechanischen Taste erfahren wird, nicht ersetzen kann – der Tastsinn lässt sich nicht so leicht täuschen.
29
130 †
30
31
29 Clinometer ersetzt dem Heimwerker die Wasserwaage. Das Instrument verfügt über eine exakte Winkelmessung mit Gradskala und eine Luftblase. 30 Sonar Ruler dient zur akustischen Entfernungsmessung. Das Mikrofon erfasst Ticks, die über den Lautsprecher ausgegeben und von Gegenständen oder Wänden reflektiert werden. 31 Navigon Select macht aus dem Smartphone ein vollwertiges Navigationsgerät.
Mobiles Computing
53
2
Gerätegestützte Interaktion
2.1
Multitouch-Screens Monitore mit direkter Touch-Eingabe
© 60 © 62
Kaum eine andere Technologie hat die Interaktion zwischen Menschen und technischen Systemen derart revolutioniert wie Multitouch. Eingaben direkt mit – mehreren – Fingern ohne zusätzliche Eingabegeräte machen zu können, erscheint gebenüber anderen Eingabemethoden wie eine Befreiung. Touchscreens zeigen dem Benutzer direkt, was berührt werden kann, und geben ein direktes visuelles Feedback. Sie erfüllen den Anspruch an eine direkte Manipulation wie kaum eine andere Eingabetechnologie. Mit dem Aufkommen von Multitouch fokussierten sich Hersteller in erster Linie auf Monitore, als folgerichtige Weiterentwicklung der Singletouch-Bildschirme, was in letzter Konsequenz zur Erfindung der Tablett-PCs geführt hat. Aber der Vorteil von Multitouch wurde auch für andere Eingabehardware wie Trackpads und berührungsempfindliche Gehäuse erkannt. Zwei große Unterschiede zeichnen einen MultitouchScreen gegenüber einem Desktop-System mit Maus aus:
Screen ist mit einer entsprechenden Näherungsempfindlichkeit ausgestattet. • Erkennung mehrerer Punkte: Bei DesktopSystemen gibt es immer nur einen Mauszeiger, ein Multitouch-System erkennt mindestens zwei (Dualtouch), meist aber mehrere Punkte. Die genaue Anzahl von Punkten, die die Hardware unterscheiden kann, hängt stark vom Erkennungssystem ab. Ein Nachteil von Touchscreens ist die verminderte Präzision beim Berühren einer Bildschirmstelle und dem Ziehen des Fingers über den Screen. Insbesondere verdeckt der Finger ja genau den Punkt, den man anvisiert, was die Feinkorrektur wesentlich erschwert. Interaktive Anwendungen für Touchscreens müssen notgedrungen ein wenig »grobmotorischer« konzipiert sein als Zeiger-
GESTENPOTENZIAL
Touchscreen • Verzicht auf Zeigersteuerung: Wie schon bei Singletouch-Monitoren kommt die direkte Manipulation der Interface-Elemente auf einem Multitouch-Screen ohne Zeigersteuerung aus. »Schwebende« Gesten, analog zu einem Maus-Rollover (hover-Ereignis), sind am Touchscreen nicht möglich, es sei denn, der
56
Touch-Oberfläche Zeigersteuerung:
nein
2 Freiheitsgrade für Fingerbewegungen:
xy-Positionierung
2 Zustände pro Finger:
Gerätegestützte Interaktion
R. Dorau, Emotionales Interaktionsdesign, X.media.press, DOI 10.1007/978-3-642-03101-4_2, © Springer-Verlag Berlin Heidelberg 2011
• detektiert • nicht detektiert
Foto: Mit freundlicher Genehmigung der Hewlett-Packard GmbH
32
systeme. Für pixelgenaues Arbeiten sind Maus oder Grafiktablett immer noch die bessere Wahl. Auch lassen sich dreidimensionale Objekte – sei es im realen oder im virtuellen Raum – mit einem darauf abgestimmten 3D-Controller oft schneller und intuitiver steuern als über zweidimensionale Gesten am Touchscreen. Ihren Vorteil spielen Touchscreens dort aus, wo es auf eine pixelgenaue Präzision nicht ankommt.
Multitouch Deluxe Hersteller und Forschungsinstitute arbeiten derzeit an weiteren vielversprechenden technologischen Ansätzen, etwa an flexiblen Touchdisplays, die sich beliebig formen lassen. Oder an Displays, die zur Berührungserkennung keine zusätzliche Hardware wie ein vorgelagertes Touchpanel benötigen, weil die Sensorik direkt in die zur Anzeige genutzten Pixel integriert ist. Neben den Bemühungen, dem Benutzer zusätzlich zur visuellen Rückmeldung auch ein realistisches haptisches Feedback zu bieten, konzentriert sich die Entwicklung auch auf eine präzisere Steuerung bei der Touch-Eingabe. • Berührungsempfindlichkeit: Die selbstverständlichste Eigenschaft einer MultitouchOberfläche ist ihre Berührungsempfindlichkeit. Berührung heißt, dass ein physischer
32 Die Monitore der HP-TouchsmartSerie sind für Schreibtischanwendungen konzipiert. Sie ersetzen den bisherigen PC-Monitor und erlauben zusätzlich zu den Standardeingabegeräten wie Tastatur, Maus und Multimedia-Controller eine Touch-Bedienung. Die Touchsmart-Monitore nutzen die Gestensteuerung von Windows 7, verfügen darüber hinaus aber über eine eigene Benutzeroberfläche, um bequem per Touch-Gesten auf Datenbestände wie die Musikbibliothek und Fotoalben zugreifen zu können. Die Berührungserkennung des Dualtouch-Monitors arbeitet mit einem Infrarotvorhang, deshalb werden neben Fingern auch Gegenstände wie Eingabestifte erkannt.
Kontakt der Finger mit der Oberfläche hergestellt werden muss. Die berührte Stelle kann von der Positionserkennung ermittelt werden. • Druckempfindlichkeit: Eine druckempfindliche Oberfläche registriert mehrere Druckstufen zwischen »berührt« und »nicht berührt«. Damit lassen sich beispielsweise Reglerfunktionen realisieren, die ohne eine Bewegung über die Fläche auskommen. Das Prinzip gibt es bereits bei Grafiktabletts, hier sitzt die Sensorik jedoch im Stiftwerkzeug, nicht in der Tablettoberfläche. • Näherungsempfindlichkeit: Optische Systeme oder Systeme, die mit elektrischen Feldern
Multitouch-Screens
76 † 70 †
86 †
214 †
57
Multitouch-Technologien Bei Multitouch-Monitoren verfolgen Hersteller unterschiedliche technische Ansätze, deren Vorund Nachteile auch Einfluss auf die gestischen Möglichkeiten haben.
arbeiten, können Finger schon »in der Nähe« einer Touch-Oberfläche erkennen. Die Näherungserkennung hat zum Ziel, Touch-Gesten mit hover-Ereignissen bereichern zu können. Die Eingabehardware wäre dann wie bei einem Zeigersystemen in der Lage, zwischen Bewegungen mit Kontakt der Oberfläche und schwebenden Bewegungen zu unterscheiden. Hover-Gesten sind nicht mit »echten« 3DGesten im Raum zu verwechseln, für die der Detektionsraum eine größere räumliche Tiefe besitzen muss. Mit einer Näherungsempfindlichkeit lassen sich beispielsweise Interfaces realisieren, die ihre interaktiven Oberflächenelemente erst einblenden oder vergrößern, wenn sich ein Finger der Oberfläche nähert. Das erlaubt Konzepte, die den Bildschirm hauptsächlich zur Darstellung von Informationen nutzen, anstatt ihn mit – die meiste Zeit nicht benötigten – Steuerelementen zu überfrachten. Auch wäre ein solcher Bildschirm in der Lage zu erkennen, welche Bildschirmelemente gerade von der Hand des Benutzers verdeckt werden, um die Elemente, die bedeutsame In-
58
Gerätegestützte Interaktion
Kapazitive Oberflächen Eine kapazitive Oberfläche besteht aus einer elektrisch geladenen Schicht, die bei Berührungen mit den Fingern an der berührten Stelle ihre elektrische Ladung verändert, woraus dann die Position eines Fingers ermittelt werden kann. Auch wenn, wie Besitzer von Smartphones mit Touchdisplay allzu gut wissen, die Bedienung eines kapazitiven Displays mit Winterhandschuhen nicht möglich ist, ist ein direkter Hautkontakt keine unbedingte Voraussetzung. Ein Ladungstransport ist auch durch sehr dünne Materialien wie Papier oder Folie möglich, deshalb können kapazitive Displays normalerweise auch mit einfachen Haushaltshandschuhen bedient werden. Zwar zeigt sich eine kapazitive Oberfläche gegenüber Wassertropfen, Schlüsseln oder Münzen unbeeindruckt (was ein Glück ist, wenn das eigene Smartphone im grenzenlosen Universum der Handtasche verschwindet), grundsätzlich aber eignen sich zur Bedienung alle Materialien mit ausreichender elektrischer Leitfähigkeit. Vorsicht ist beispielsweise bei der Reinigung eines kapazitiven Displays mit einem feuchten Tuch geboten: Auch wenn die Hand keinen direkten Kontakt zur Touch-Oberfläche herstellt, kann die Feuchtigkeit im Tuch elektrische Ladung vom Finger zur Touch-Oberfläche transportieren. Die Bedienung mit Gegenständen wie einem Stift ist auf einer kapazitiven Oberfläche nicht möglich, es sei denn, der Stift wurde speziell zu diesem Zweck entworfen und erfüllt die entsprechenden elektrischen Anforderungen.
Foto: Mit freundlicher Genehmigung von Apple Inc.
formationen visualisieren, aus der Verdeckung wieder ins Blickfeld des Benutzers zu rücken.
33
Foto: Mit freundlicher Genehmigung von Research in Motion Ltd.
Resistive Oberflächen Eine resistive Oberfläche besteht aus zwei getrennten, elektrisch leitfähigen Schichten, die sich im Grundzustand nicht berühren. Der Abstand der Schichten ist so gering, dass schon eine normale Berührung der Oberfläche ausreicht, um die Schichten zusammenzudrücken und einen elektrischen Kontakt zwischen ihnen herzustellen. Solche Oberflächen heißen »resistiv«, weil die Druckposition über den veränderten elektrischen Widerstand gemessen wird. Resistive Oberflächen können, da ein minimaler Druck ausreicht, mit beliebigen Gegenständen bedient werden. Sie sind aber nicht im eigentlichen Sinne druckempfindlich, da sie nur die Zustände »Strom fließt« und »Strom fließt nicht« unterscheiden. Ultraschall-Oberflächenwellen Auf der Ultraschalltechnik basierende Oberflächen werden seitlich mit Ultraschall »bestrahlt«, der sich als Oberflächenwellen über der Fläche ausbreitet (surface acoustic waves, SAW). Berührungen auf der Oberfläche verändern das Schallmuster, das an den Rändern der Fläche abgetastet wird. Aus den Änderungen lässt sich die Position einer Druckstelle ermitteln. Der Vorteil der Ultraschalltechnik ist, dass keine zusätzliche Schicht benötigt wird, sondern der Schall direkt am Schutzglas (beispielsweise eines Touchscreens) gemessen werden kann. SAW-Oberflächen beeinträchtigen daher nicht die Lichtdurchlässigkeit, sind aber anfälliger gegen Schmutzpartikel, da diese das Wellenmuster ebenfalls beeinflussen können. Auch Umgebungsgeräusche können SAW-Wellen verändern. Infrarotvorhang Infrarotsysteme, die mit herkömmlichen Monitoren kombiniert werden, erzeugen über der Bildschirmfläche ein »Lichtfeld« oder einen »Vorhang«. An den Rändern des Touchscreens sitzen Infrarotlampen, deren Licht auf der gegenüberlie-
34
33 Das Apple iPad basiert auf dem mit dem iPhone eingeführten MultitouchBetriebssystem iOS und bietet dank des kapazitiven Displays ein sehr gutes Reaktionsverhalten. 34 Das Playbook von Research in Motion stellt Multitouch mit einem eigenen Betriebssystem bereit. Das Interaktionskonzept erweitert die mit den Smartphones der Blackberry-Serie eingeführten Paradigmen um Multitouch-Gesten mit entsprechendem Feedback.
genden Seite des Bildschirms von Sensoren erfasst wird. Es werden nicht die Berührungen der Oberfläche direkt erkannt, sondern die Unterbrechung der Lichtstrahlen. Wie bei allen optischen Systemen können Berührungen im Schattenbereich eines Fingers nicht erkannt werden, wenn die Maschen des Vorhangs zu weit gestrickt sind. Ein bündiger Einbau der Touch-Oberfläche in Gehäuse ist technisch nicht möglich, da für Infrarotlichtquellen und Sensoren Rand benötigt wird. Auch sind Infrarotsysteme störanfälliger gegen Umgebungslicht. Außerdem kann alles, was in den Infrarotvorhang hineingelangt, zu einer unbeabsichtigen Funktionsauslösung führen, dazu zählen beispielsweise Regentropfen oder Insekten.
Multitouch-Screens
59
2.2
Multitouch-Trackpads Berührungsempfindliche Oberflächen mit Zeigersteuerung
Unter technischem Blickwinkel betrachtet sind die Unterschiede zwischen einem Trackpad und einem Touchscreen nicht sehr groß. Prinzipiell könnte sogar dieselbe Eingabehardware zur Anwendung kommen. Der Hauptunterschied ist: Ein Trackpad ist in erster Linie ein Mausersatz und damit ein Eingabegerät für Zeigersysteme. © 174
Trackpad als Mausersatz
© 70 © 76
60
Aus Anwendersicht hat ein Trackpad vielleicht mehr mit einem Mauspad gemein als mit einem Touchscreen. Die Bewegungen eines Fingers auf dem Pad werden in Zeigerbewegungen übersetzt – nicht wie bei einem Grafiktablett in absolute Koordinaten, sondern relativ wie bei einer gewöhnlichen Computermaus. Wie bei einer Maus hängt die Zeigersteuerung per Trackpad auch von der Geschwindigkeit der ausgeführten Bewegung ab: Langsame Bewegungen führen den Mauszeiger über kurze Distanzen, schnelle Bewegungen über weite. Die zweite Hauptfunktion einer Maus, das Klicken, löst ein Trackpad durch eine oder zwei zusätzliche Hardware-Tasten, oder es simuliert diese mit Taps auf dem Trackpad – oder beides. Beim Magic Trackpad von Apple und den AppleNotebooks dient die Pad-Fläche selbst als mechanische Taste, die sogar zwischen einem linken und einem rechten »Klick« unterscheidet.
Gerätegestützte Interaktion
Ohne Zuhilfenahme der Taste kann das Trackpad nicht zwischen schwebenden Bewegungen (hover-Bewegungen) und drag-Bewegungen unterscheiden, die an einer Maus das Gedrückthalten der Maustaste implizieren (mouse-down-Bewegungen). In beiden Fällen muss der Finger das Trackpad berühren. Eine drag-and-drop-Geste, die ausschließlich mit einem Finger ausgeführt wird, besitzt deshalb ein anderes Ereignisprofil als eine Geste für Mausbedienung oder eine, die Touch und Tasten kombiniert.
GESTENPOTENZIAL
Trackpad Touch-Oberfläche Zeigersteuerung:
relativ
2 Freiheitsgrade für Fingerbewegungen:
xy-Positionierung
2 Zustände pro Finger:
berührt oder nicht berührt
Pad-Taste (Apple) 2 Zustände:
• detektiert • nicht detektiert (mit Unterscheidung von linker und rechter Hälfte, entspricht linker und rechter Maustaste)
Oberes Foto: Mit freundlicher Genehmigung der Wacom Europe GmbH | Unteres Foto: Mit freundlicher Genehmigungn von Apple Inc.
35
Trackpad als Multitouch-Oberfläche Der Vorteil eines Multitouch-Trackpads ist, dass es mit höherwertigen Gesten – also mit Gesten, die mehr als einen Finger nutzen – Funktionen ansprechen kann, die über eine reine Zeigersteuerung und Klickfunktionen hinausgehen. Mehrfingergesten können zum Scrollen, Blättern, Drehen, Skalieren und für vieles andere genutzt werden. MIt Zweifingergesten ist ein Trackpad beispielsweise in der Lage, die Funktion eines fehlenden Scrollballs nachzubilden, also das horizontale und vertikale Scrollen. Sobald ein zweiter Finger hinzukommt, »weiß« das Trackpad, dass der Benutzer nicht mehr den Mauszeiger steuern möchte, sondern eine andere Geste ausführen möchte.
35 Dem Pen-&-Touch-Stifttablett der Bamboo-Serie hat Wacom zusätzlich zur Stifteingabe eine Dualtouch-Erkennung spendiert. Das Tablett erkennt, ob es von einem Stift oder von Fingern berührt wird und schaltet on the fly zwischen beiden Betriebsmodi um. 36 Das Magic Trackpad von Apple dient dem Benutzer eines Desktop-Computers als separates Eingabegerät. Das Pad verfügt über eine Multitouch-Erkennung und dient als Ganzes gleichzeitig als Taste.
Trackpads gibt es als integrierte Komponente von Notebooks und als externe Geräte. Wacom bietet in der Bamboo-Serie Grafiktabletts an, die Multitouch und Stifteingabe vereinen: Sie lassen sich sowohl mit Stift als auch mit Fingern bedienen. Damit es nicht zu Konflikten zwischen Stiftund Fingereingabe kommt, werden Touch-Funktionen automatisch deaktiviert, sobald das Tablett einen Stift über der Oberfläche erkennt. Damit schaltet das Tablett auch automatisch von der relativen zur absoluten Positionierung des Mauszeigers um. Multi-Eingabe-Tabletts richten sich nicht nur an Kreative, sondern auch an Anwender, die eine ergonomischere Bedienung bei ganz alltäglichen Tätigkeiten am Computer wünschen. Bei Apple und Wacom sind die Mehrfingergesten »fest verdrahtet«. Der Benutzer kann sie in der Systemsteuerung nicht frei konfigurieren.
Multitouch-Trackpads
36
61
2.3
Touchpads und sensitive Oberflächen Berührungsempfindliche Oberflächen jenseits der Zeigersteuerung
© 92
Trackpads, wie sie im vorigen Kapitel besprochen werden, sind Touchpads, aber nicht jede Oberfläche mit Touch-Funktionalität hat auch die Funktion eines Trackpads. Das Trackpad eines Notebooks oder ein externes Multitouch-Trackpad sind als Ergänzung zu einem Screen konzipiert und dienen als Mausersatz. Auch wenn sich Trackpads mit Mehrfingergesten von der reinen Zeigersteuerung emanzipieren, wirken Gesten in den meisten Fällen auf den Bildschirmbereich, über dem der Mauszeiger ruht. Bei Trackpads bleibt in der Regel ein Bezug zu einem im Fokus stehenden Bildschirmbereich bestehen.
Touchpads mit Sonderfunktionen Jenseits der für Zeigersysteme konzipierten Trackpads erschließt sich das weite Feld berührungsempfindlicher Flächen, die nicht direkt mit einer Steuerung oder Visualisierung auf einem Bildschirm verbunden sind. Touch-Oberflächen können eine beliebige Form haben, so finden wir neben rechteckigen Formen auch runde Formen. Oft dient ein Touchpad als Ersatz für einen Drehoder Schieberegler, das bekannteste Beispiel ist der iPod mit seinem Clickwheel. Die DJ-Konsole Nextbeat beispielsweise verfügt über ein kreisförmiges Pad im Zentrum und einen segmentierten Ring aus mehreren Touch-Sensoren für Line, Pitch und Crossfade.
62
Gerätegestützte Interaktion
Auch Automobilhersteller erkennen die Vorteile von Touch-Oberflächen in den Cockpits ihrer Fahrzeuge. Das Infotainmentsystem von Audi stellt dem (bisher) zentralen Drehdrücksteller zusätzlich ein Touchpad für die handschriftliche Eingabe von Buchstaben und Ziffern zur Seite. BMW integriert die Touch-Funktionalität direkt in die Deckfläche des Drehdrückstellers.
Berührungsempfindliche Gehäuse Der nächste folgerichtige Schritt ist die räumliche Ausweitung der berührungsempfindlichen Fläche auf ein gesamtes Gehäuse – oder zumindest einen Teil davon. Produkte wie die Magic Mouse von Apple, deren obere Gehäuseschale zu drei Vierteln Multitouch-sensibel ist, und das
GESTENPOTENZIAL
Touchpad Touch-Oberfläche Zeigersteuerung:
nein
2 Freiheitsgrade für Fingerbewegungen:
xy-Positionierung
2 Zustände pro Finger:
• detektiert • nicht detektiert
Oberes Foto: Mit freundlicher Genehmigung der Philips Deutschland GmbH | Unteres Foto: Mit freundlicher Genehmigung der Wacom Europe GmbH
37
In-Ear-Headset Tapster von Philips sind Vorboten einer Entwicklung, vollkommen auf sichtbare Bedienkomponenten zu verzichten. Ein derart integratives Design wurde vorbereitet von Kochfeldern mit Touch-Bedienung und Lampen mit berührungsempfindlichem Gehäuse. Tapster ist ein schönes Beispiel für eine Touch-Bedienung, die ohne Rückmeldung in einem visuellen Interface auskommen muss, weil sich das Interface gerade am Ohr befindet. Das Auge des Benutzers kann eben nicht »um die Ecke« schauen. Einige der Touch-Funktionen werden erst aktiviert, wenn die Nahbereichssensoren in den Ohrhörern Ohrkontakt registrieren – eine sinnvolle Maßnahme gegen unerwünschte Fehlbedienung. Die Blindbedienung des Tapster wird – was läge bei einem Headset auch näher – akustisch untermalt.
37 Der Philips Tapster ist ein Ohrhörersystem, verdankt seinen Namen aber der Touch-Bedienung. Die SingletouchOberfläche des Geräts nimmt alle Befehle zur Musik- und Tonsteuerung entgegen. Da der Musikliebhaber, während die Hörer in den Ohren sitzen, nicht gleichzeitig auf die Touch-Oberfläche schauen kann, steuert er das Gerät »blind«. Aufgrund der ergonomischen Anordnung der sensitiven Spots ist dies auch ohne Weiteres möglich. Als Feedback auf Eingaben gibt der Tapster akustische Signale aus.
38
38 Die DJ-Konsole Nextbeat nutzt Touch-Flächen anstelle von mechanischen Schiebereglern. Fünf Touchstrips sind im Kreis angeordnet und mit Funktionen wie Lautstärke, Pitch und Crossfade belegt. Das im Inneren des Rings liegende Pad dient unter anderem als virtueller Turntable: Hier kann gescratcht werden, was das Zeug hält.
Touchpads und sensitive Oberflächen
63
2.4
Surface-Computing Projektionstische mit interaktiven Objekten – oder ohne
Einen Touchscreen aus seiner senkrechten Stellung in die Horizontale zu drehen, erscheint mit Blick auf mobile Geräte wie Tablett-Computer keine großartige Sache, und doch kann sich dadurch eine Menge ändern. Microsoft hat mit dem Multitouch-Tisch Surface die im SciencefictionGenre antizipierten Tischanwendungen in die Gegenwart geholt. Während das iPad und Tablett-PCs konzeptionell Single-User-Systeme bleiben, hebt Microsoft Surface das Paradigma des personal computer zugunsten einer kooperativen Mensch-System-Schnittstelle auf. Der große Unterschied zu herkömmlichen Touchscreens und mobilen Geräten ist die Befreiung von einer starren Ausrichtung des Interfaces. Ein Multitouch-Tisch lässt sich von allen Seiten her bedienen und löst die von DesktopBetriebssystemen gewohnte Ausrichtung mit einem Oben und einem Unten auf. Bedienung von allen Seiten bedeutet, dass sich das Interface jeweils auf den Benutzer hin orientieren muss, ganz gleich, wo dieser steht. Das erfordert vom Interface eine prinzipielle Drehbarkeit um 360° – als Ganzes oder bezogen auf einzelne Steuerelemente oder Anzeigeobjekte. Die Loslösung von einer starren Ausrichtung ermöglicht daher eine kooperative Situation, bei der mehrere Personen, die im Kreis um den Tisch herum stehen oder an ihm sitzen, gleichzeitig mit einer Anwendung oder über die Anwendung miteinander interagieren können. Kein Wunder, dass
64
Gerätegestützte Interaktion
sich unter den ersten Beispielanwendungen einige Gesellschaftsspiele finden. Eine weitere Besonderheit von Surface ist die Möglichkeit, physische Objekte auf dem Tisch zu platzieren, die mit dem System – oder auch untereinander – interagieren. Surface zählt damit nicht nur zu den kooperativen Multitouch-Systemen, sondern auch zu den tangible user interfaces, es handelt sich also um ein kooperatives Multitouch-System mit Objektinteraktion. Die Möglichkeiten, die sich für die Interaktion zwischen Menschen, Objekten und dem Touch-System ergeben, scheinen damit schier unendlich – wie auch die Demoanwendungen von Microsoft
GESTENPOTENZIAL
Projektionstisch Touch-Oberfläche Zeigersteuerung:
nein
2 bzw. 3 Freiheitsgrade für Fingerbewegungen:
• xy-Positionierung • Winkel/Ausrichtung
2 Zustände pro Finger:
• detektiert • nicht detektiert
Objekterkennung Detektierbare Objekteigenschaften:
• Position • Ausrichtung • Identität
Fotos: Mit freundlicher Genehmigung der Microsoft Corporation
39
und deren Partnern sowie die ersten kommerziellen Anwendungen anschaulich zeigen. Multitouch-Tische sind nicht für den Hausgebrauch gedacht und man begegnet ihnen beispielsweise in Museen oder in den Showrooms von Unternehmen. Ein weiterer bekannter Vertreter des surface computing ist der Reactable, ein Musiksynthesizer, dessen Screen durch seine prägnante runde Form auffällt. Der Reactable ist wie Surface ein tangible user interface, er besitzt außer der objekterkennenden MultitouchOberfläche keine weiteren Eingabekomponenten. Dass der Reactable ein ernstzunehmendes Musikinstrument ist, hat die isländische Sängerin Björk auf ihrer Welttournee 2007 bewiesen. Für alle Interessierten, die mit kleinerem Budget auskommen müssen, bietet Reactable Systems eine mobile Version für das iPhone und iPad an. Das deutsche Unternehmen impressX vertreibt in Kooperation mit dem Projektorhersteller Epson einen Multitouch-Tisch, der auf demselben technischen Prinzip wie Microsoft Surface basiert. Ein anderes technisches Konzept verfolgt das auf interaktive Großinstallationen spezialisierte Berliner Unternehmen ART+COM mit Multitouch-Flächen, die nach dem Prinzip der Aufprojektion und Induktion funktionieren. ART+COM kann daher (fast) beliebig geformte Tische als maßgeschneiderte Lösungen anbieten.
39 Der Microsoft Surface ist ein MultiUser-System, das auch Objekte erkennen kann. Im Inneren verbergen sich Infrarotkameras, die Finger und Gegenstände auf der Oberfläche erkennen sowie ein Beamer, der das Interface von unten auf die Mattscheibe projiziert.
Display-Technologie Für Tischanwendungen kommen derzeit drei unterschiedliche technische Verfahren zum Einsatz. LCD-Screen Ein flachgelegter Touchscreen kann natürlich wie alle anderen Lösungen als Tisch genutzt werden, wenn er mit entsprechend robustem Sicherheitsglas geschützt ist. Touchscreens sind für alle Anwendungen ausreichend, die keine Objekterkennung benötigen (wenngleich die Kombination mit einer optischen Detektion technisch möglich wäre). Rückprojektion Microsoft Surface und der xdesk von impressX basieren auf dem Prinzip der Rückprojektion. Beim Screen handelt es sich jeweils um eine Mattscheibe, die von unten – also aus dem Inneren des Tischs – von einem Beamer angestrahlt wird. Die Bildschirmauflösung hängt daher vom
Surface-Computing
65
verwendeten Projektor ab. Microsoft gibt die Auflösung des 30 Zoll großen Surface-Screens mit 1.024 x 768 Punkten an (entspricht ca. 43 ppi), während der xdesk von impressX 1.280 x 960 Pixel auf eine Diagonale von 52 Zoll abbildet (entspricht ca. 31 ppi).
© 56
66
Aufprojektion Bei der Aufprojektion wird der Screen nicht von hinten, sondern von vorn mit einem Projektor angestrahlt bzw. bei einem Tisch von oben. Die Aufprojektion eignet sich daher hauptsächlich für feste Installationen, bei denen der Tisch unverrückbar am Boden verankert und der Beamer an der Decke befestigt ist oder bei denen der Projektor seitlich am Tisch montiert ist und die Fläche über einen Spiegelausleger beleuchtet. Als Projektionsfläche kommen Oberflächen mit guten Reflexionseigenschaften zum Einsatz. Die Hände und Arme der Benutzer werfen systembedingt einen Schatten auf die Projektionsfläche, ein Manko, das man auch ins Positive münzen kann. In einer Anwendung für das Medizinunternehmen Otto Bock nutzt ART+COM die Möglichkeit, ein Bild auf den Arm des Benutzers zu projizieren und so anatomische Strukturen unterhalb der Haut sichtbar zu machen. Der Bediener wird so selbst zur Benutzeroberfläche. Da die Projektionsfläche kein so großes Gehäuse benötigt wie ein Screen mit Rückprojekti-
Gerätegestützte Interaktion
on (ein wenig Technik ist für die induktive TouchErkennung nötig), ist man in der Aufstellung und Ausrichtung des Tischs weniger eingeschränkt. Die Projektionsfläche kann beispielsweise geneigt oder auch an die Wand montiert werden. Per Aufprojektion lässt sich das Bild eines Interfaces natürlich auch auf den Boden werfen – der Benutzer spaziert dann über das Interface und interagiert im Gehen. Diese Beispiele verlassen jedoch das Gebiet der Tischanwendungen.
Multitouch-Erkennung Welche technische Verfahren zur Erkennung von Multitouch-Eingaben die Hersteller von Touchscreens verfolgen, wurde an anderer Stelle bereits beschrieben. Grundsätzlich könnten diese Verfahren auch bei Surface-Computern zum Einsatz kommen, allein die Größe der Tische lässt andere technische Lösungen geeigneter erscheinen. Microsoft, impressX und Reactable Systems setzen daher auf die optische Erkennung per Infrarotkamera. Diese Technik steht nur für die Rückprojektion zur Verfügung, ART+COM kombiniert die Aufprojektion daher mit dem Prinzip der Induktion.
Fotos: Xavier Sivecas. Mit freundlicher Genehmigung von Reactable Systems
40
Fotos: Mit freundlicher Genehmigung der ART+COM AG
41
Infrarotkameras Im Gehäuse der Multitouch-Tische mit Rückprojektion befinden sich, abgesehen vom Projektor, Infrarotkameras, die die gesamte Bildschirmfläche erfassen. Die Kameras schauen also »von unten« auf die Bildschirmfläche. Sichtschatten, wie sie bei frontalen Bilderfassungssystemen vorkommen können, treten hier nicht auf. Berührungen mit den Fingern auf der Oberfläche werden von den Kameras als Wärmepunkte erkannt. Die Anzahl der Touch-Punkte, die das System unterscheiden kann, hängt daher allein von der softwareseitigen Bildbearbeitung ab. Infrarotkameras erkennen aber nicht nur Wärme, sie sind auch für einen Teil des sichtbaren Lichtspektrums empfindlich. Sie sind daher in der Lage, das Vorhandensein beliebiger Objekte auf der Oberfläche zu erkennen. Mit einer entsprechenden optischen Kodierung kann das System die Objekte sogar eindeutig identifizieren. Induktion Bei Systemen mit Aufprojektion können, da die Projektionsfläche lichtundurchlässig ist, keine Infrarotkameras zum Einsatz kommen, die rückseitig angebracht sind. ART+COM verwendet aber auch frontseitig kein optisches System, sondern bedient sich einer Technik, die wir sonst von Grafiktabletts her kennen: der Induktion oder elektromagnetischen Resonanz. Ein Antennengitter in
40 Der Reactable ist ein Musiksynthesizer, der seine Praxistauglichkeit erstmalig auf einer Björk-Tournee unter Beweis gestellt hat und sich gut als Lerninstrument in Bildungseinrichtungen eignet. Plexiglasbausteine, die untereinander interagieren, dienen den Bedienern als Generatoren und Modulatoren, um Soundparameter bereitzustellen und zu variieren. 41 Die von ART+COM für das Deutsche Salzmuseum in Lüneburg realisierte Installation mit Aufprojektion und induktiver Touch-Erkennung verwendet – unverrückbare – Salzkristalle als tangible objects, die bei Berührung aufleuchten und virtuelle Salzpartikel über die Tischfläche fließen lassen.
der Projektionsfläche baut über der Projektionsfläche ein hochfrequentes elektromagnetisches Feld auf, in dem Berührungen mit Fingern oder Gegenständen als Feldstörungen erkannt werden. Es ist daher nicht der Hautkontakt mit der Fläche, sondern das Eintreten ins elektromagnetische Feld, das den Touch auslöst.
70 †
Surface-Computing
67
Objekterkennung Die Objekterkennung ist das A und O eines tangible user interface, denn sie ermöglicht eine ungeahnte Vielfalt bei der Interaktion. Wie aber werden Objekte vom System erkannt? Alltagsgegenstände Bei Microsoft Surface und vergleichbaren Systemen sind Gegenstände, die auf dem Screen platziert werden, von unten her sichtbar, da die Mattscheibe ja in beide Richtungen lichtdurchlässig ist. Wenn die Infrarotkameras etwas sehen, das der Projektor nicht auf die Mattscheibe projiziert, handelt es sich aller Wahrscheinlichkeit nach um ein Objekt oder einen Finger. Die Systeme sind also in der Lage, beliebige Gegenstände zu erkennen. Sie sehen, dass da etwas ist, nur nicht unbedingt, was. Ein angelerntes System kann ein bekanntes Objekt anhand seiner Form, seiner Farbe oder sogar an seinen Transparenzeigenschaften wiedererkennen. Eine Beispielanwendung von Microsoft zeigt, wie der Surface-Computer bei einem auf dem Screen abgestellten Glas erkennen kann, ob es ein Getränk enthält oder leer ist. Dies gelingt, weil der Software die Reflexionseigenschaften der verwendeten Gläser bekannt sind. Optische Kodierung Die eindeutige Identifizierung von Objekten wird über eine optische Kodierung hergestellt. Das können Barkodes sein, Zahlenkodes oder spezielle Muster. Eine entsprechende Datenbank vorausgesetzt, ließen sich an einem Surface-Computer beispielsweise Informationen zu einem Produkt abrufen, wenn dessen Produktverpackung mit dem Barkode nach unten auf den Tisch gestellt wird. Mit einer optischen Kodierung auf einer Identitätskarte können sich Benutzer am System authentifizieren, etwa um Informationen einzusehen oder Zugang zu geschützten Bereichen des Interfaces zu erhalten, die nur Personen mit entsprechenden Benutzerrechten vorbehalten sind. Die Karte dient dann als Schlüssel. Spielsteine, die das System unterscheiden kann, eröffnen das große Feld der Gesellschafts-
68
Gerätegestützte Interaktion
spiele. Auch der Reactable nutzt Spielstein-ähnliche Objekte aus Plexiglas, die als Soundmodule dienen. Der Reactable erkennt an den typischen Kodes nicht nur, um welches Modul es sich handelt und wo es sich auf dem Screen befindet, auch die Ausrichtung des Steins wird vom System ausgewertet. Die Steine können daher wie Drehregler genutzt werden, mit denen sich der betreffende Soundparameter modulieren lässt. Eine verblüffend einfache und doch geniale Idee hat Infostrat für Microsoft Surface umgesetzt: einen Zoomring, der Bildschirminhalte, die von ihm umschlossen werden, wie eine Lupe vergrößert darstellt. Der Ring selbst besteht nur aus einem Rahmen, verfügt also über keinerlei Vergrößerungsoptik. Über die optische Kodierung auf der Unterseite des Rings kann der Surface-Computer erkennen, wo der Ring liegt. Wird der Ring verschoben, bleibt die Lupenfunktion erhalten, die Vergrößerung zieht mit. Aber das ist nicht alles: Wird der Ring im Uhrzeigersinn gedreht, erhöht sich die Vergrößerungsstufe, wird er gegen den Uhrzeigersinn gedreht, verkleinert sie sich wieder. Nur scheinbar ist dies Magie: Der Computer erkennt anhand der Kodierung eben auch die veränderte Ausrichtung des Rings. In der Infostrat-Anwendung können sogar mehrere Ringe gleichzeitig verwendet werden. Elektromagnetische Kodierung Touch-Interfaces, die auf dem Prinzip der Induktion beruhen, können über das elektromagnetische Feld Signale mit RFID-getaggten Objekten austauschen, die sich innerhalb des Feldes befinden. Wacom macht mit seinen Grafiktabletts vor, wie das geht. Die Tabletts unterscheiden zielsicher verschiedene Stifte (auch Exemplare gleicher Modellserien) und weitere Eingabegeräte wie Maus oder Puck.
Objektinteraktion Bei einem tangible user interface dienen Objekte als physische Erweiterung der Benutzerschnittstelle. Die Objekte zu manipulieren heißt, das Interface zu manipulieren. Wird ein Objekt
42
autoaktive Wand
interaktiver Boden
interaktiver Tisch
Illustration: Mit freundlicher Genehmigung der ART+COM AG
reagierender Boden
vom Tisch entfernt, steht die ihm zugewiesene Funktion möglicherweise nicht mehr zur Verfügung. Tangible user interfaces sind hinsichtlich ihrer Interaktionsmöglichkeiten von Hause aus flexibler und dynamischer als reine MultitouchInterfaces. Dynamische Objektinteraktion Der Synthesizer Reactable ist ein gutes Beispiel für ein hochdynamisches System. Es gibt kein vorgefertigtes Screenlayout, das User-Interface wird erst durch die Wahl und Platzierung der Soundmodule geschaffen. Obwohl die Soundmodule über keine eigene Intelligenz verfügen und nichts voneinander wissen, interagieren sie für den Benutzer miteinander. Das Interface deutet über grafische Verbindungen die gegenseitige Wechselwirkung an, mit der die Module die Klangerzeugung gemeinsam beeinflussen. Intelligente Objekte Richtig spannend wird es, wenn Objekte verwendet werden, die über eine eigene Intelligenz verfügen, beispielsweise Smartphones. Über Bluetooth oder WiFi können mobile Geräte Daten mit dem System austauschen – oder sich gegenseitig »fernsteuern«. Es ist eine Frage der Programmierung, wer in diesem Kommunikationsverhältnis Master und wer Slave ist.
42 Raumgreifende Installationen wie diese, die im Jahr 2004 für einen O2Verkaufsraum realisiert wurde, lösen die Grenzen zwischen Tisch, Boden und Wand auf und bieten ein Ganzkörpererlebnis. Da die ART+COM-Installation mit induktiver Berührungserkennung arbeitet, spielt Größe keine Rolle mehr.
Für den Datenaustausch oder die Steuerung per Funk ist eine Platzierung des mobilen Geräts auf dem Screen nicht unbedingt notwendig, es muss sich ja lediglich innerhalb der Funkreichweite befinden. Es wäre also denkbar, die Platzierung auf dem Screen als zusätzlichen Sicherheitsmechanismus vorzusehen. Nur wenn das System das Gerät auch optisch »sieht« (im Falle von Infrarotkameras), wird der Austausch von Daten gewährt. Im Übrigen können mobile Geräte wie ein Smartphone etwas, was ein passives Objekt nicht kann: Sie können auf ihrem Bildschirm beliebige optische Kodierungen anzeigen und damit in beliebige Rollen schlüpfen. Man stelle sich nur vor, wie ein iPhone mit seinem Monitor nach unten auf den Screen eines Microsoft-Surface-Computers gelegt wird und per App eine Sequenz optischer Kodes abspielt …
Surface-Computing
69
2.5
Stifteingabe Punktgenaue Bedienung einer berührungsempfindlichen Fläche oder eines Bildschirms mit einem Stift
Das Stifttablett wurde als Eingabegerät für Grafiker erfunden, um die physikalischen Eigenschaften von Zeichenwerkzeugen wie Buntstift, Pinsel oder Airbrush bei der Arbeit am Computer simulieren zu können. Damit konnten Grafiker die Werkzeugfunktionen von Photoshop oder Painter mit natürlich anmutenden Eingabegeräten nutzen und von Grund auf digital arbeiten – denn die einzige bis dahin praktizierte Alternative sah vor, erst auf herkömmliche Weise auf Papier zu zeichnen und das Werk anschließend einzuscannen. Die digitalen Eingabegeräte für Stifttabletts bieten heute ein vergleichbares haptisches Erlebnis wie die klassischen Zeichenwerkzeuge – über fehlendes Fingerspitzengefühl muss sich niemand mehr beklagen. Professionelle Anwendung finden Stifttabletts daher insbesondere im Bereich des Grafikdesigns, der Fotoretusche und der rechnergestützten Konstruktion sowie in Forschung und Lehre, wo Stifttabletts und digitale Präsentationssysteme zunehmend klassische Wandtafeln und Whiteboards verdrängen. Mobile PDAs wie das Apple Newton Messagepad oder der Palm V haben die Stifteingabe schon früh im Consumer- und Businessbereich populär gemacht und den Weg für die heutigen Tablett-PCs mit Stifteingabe geebnet. Ein Eingabestift bietet den von einem Schreiboder Zeichenstift gewohnten Komfort und kann auch bei alltäglichen Arbeiten am Computer anstelle einer Maus verwendet werden. Ein Stift ist
70
Gerätegestützte Interaktion
ja nicht auf das kreative Zeichnen oder die handschriftliche Texteingabe beschränkt. Auch die ganz normale Bedienung der Benutzeroberfläche kann mit einem Stift entspannter ausgeführt werden als mit einer Maus. Vorrangig zielen Anwendungen mit Stifteingabe aber auf alle Bereiche, in denen es auf eine hohe Präzision bei der Einga-
GESTENPOTENZIAL
Stifttablett Stift Zeigersteuerung:
• absolut (Stiftmodus) • relativ (Mausmodus)
bis 6 Freiheitsgrade:
• • • • •
3 Zustände:
• schwebend • drucksensitiv • nicht detektiert
xy-Positionierung Stiftdruck Stiftneigung Ausrichtung axiale Drehung
Stifttasten 2 Zustände:
• detektiert • nicht detektiert Tasten können nicht kombiniert werden (wie linke und rechte Maustaste)
Foto: Mit freundlicher Genehmigung der Wacom Europe GmbH
43
be ankommt. Grafikdesign, digitale Bildbearbeitung und CAD werden auch in naher Zukunft auf Stifteingabe setzen. Die Möglichkeit, ein Grafiktablett auch als Multitouch-Trackpad nutzen zu können, wie es bei den Bamboos von Wacom der Fall ist, unterstreicht, dass Tabletts das Zeug zum Multitalent haben. Im Alltag kommen Stifttabletts vermehrt an Warenhauskassen zum Einsatz, um bei Kreditkartenzahlung die Unterschrift des Käufers digital zu erfassen (sogenannte Signaturtabletts). Auch Postzusteller lassen sich die Paketannahme mit einer digitalen Unterschrift auf ihren mobilen Geräten bestätigen. Signaturtabletts speichern die Unterschrift jedoch lediglich als Bild. Dementgegen basiert die Handschriftenerkennung unter Windows und Mac OS X (hier mit dem Apple-Programm Ink) auf einer optischen Zeichenerkennung: Die Software wandelt die handschriftlichen Eingaben automatisch in »Druckbuchstaben« um – mithin also in editierbaren Text. Was handschriftlich begonnen wurde, kann später per Tastatur weiterbearbeitet werden.
Eingabehardware Stifttabletts nutzen das Prinzip der Induktion oder elektromagnetischen Resonanz, das auch unter dem Stichwort RFID bekannt ist. Das Tablett erzeugt über der sensitiven Fläche ein hoch-
43 Das Grafiktablett wurde als digitales Pendant zum Zeichenblock erfunden, ist aber über dieses in seinen technischen Möglichkeit weit hinausgewachsen. Hochwertige Tabletts erlauben die Nutzung unterschiedlicher Stifte wie Airbrush oder Tuschefeder für Spezialanwendungen. Nebenbei übernimmt der Stift auch die klassische Zeigersteuerung.
60 †
frequentes elektromagnetisches Feld, das als Detektionsraum dient und nebenbei ausreichend Energie aufbringt, um den Eingabestift oder andere auf dem Tablett befindliche Eingabegeräte mit Strom zu versorgen. Die Eingabegeräte kommen daher ohne Batterie aus. Tabletttypen Stifttabletts lassen sich in folgende Gruppen einteilen: • Grafiktablett: Das klassische Grafiktablett wird auf dem Schreibtisch platziert und bildet die Bildschirmfläche als »virtuelle« Projektion auf der Tablettfläche ab. Die Bedienung erfolgt mit einem Eingabestift, einem Puck oder per Multitouch. • Monitortablett: Das Monitortablett kombiniert einen Computermonitor mit einem Grafiktablett. Die berührungsempfindliche Fläche ist wie bei einem Touchscreen durchsichtig
Stifteingabe
71
und liegt genau über dem Monitor. Wie bei einem Touchscreen hat der Benutzer das Gefühl, direkt Objekte auf dem Screen zu manipulieren bzw. direkt auf dem Screen zu zeichnen. Im Gegensatz zu Tablett-PCs verfügen Monitortabletts nicht über einen integrierten Computer, es handelt sich also um externe Peripheriegeräte. • Signaturtablett: Ein Signaturtablett ist ein Spezialist, der hauptsächlich zur digitalen Erfassung von Unterschriften dient. Vom Prinzip her ist ein Signaturtablett ein Monitortablett, das jedoch nicht als Eingabegerät für Desktop-Computer gedacht, sondern an ein Kassen- oder Buchungssystem angeschlossen ist. Neuere Signaturtabletts ermöglichen die Anzeige eines eigenen User-Interfaces, beispielsweise in Form eines Unterschriftenformulars mit Optionen, die der Benutzer mit dem Stift bestätigen kann. • Tablett-PC: Ein Tablett-PC ist ein Monitortablett mit eingebautem Computer. Tablett-PCs gibt es mit Stifteingabe, als Multitouch-Variante oder als kombiniertes Gerät, das sowohl die Stifteingabe als auch die Touch-Bedienung unterstützt – und wie der Fujitsu T4310 zwischen beidem unterscheidet. Bei Stifteingabe verhält sich ein Tablett-PC wie ein Monitortablett, bei Touch-Bedienung wie ein Touchscreen. Sobald der Multitouch-Tablett-PC einen Stift erkennt, werden Berührungen mit Fingern oder der Handfläche ignoriert, Stifte haben Vorrang. Der Benutzer kann beim Schreiben oder Zeichnen daher entspannt seine Hand auf der sensitiven Fläche ablegen, ohne dass dies Fehleingaben verursacht. Stifttypen Im Profibereich bieten Hersteller von Stifttabletts – anders als der Name suggeriert – nicht nur Stifte als Eingabegeräte an. Hier gibt es auch eine Reihe von Spezialwerkzeugen. • Grafikstift: Eingabestifte mit druckempfindlicher Spitze registrieren einen Tablettkontakt schon ab einem Druck von 1 Gramm und mit einer Empfindlichkeit von bis zu über 2.000
72
Gerätegestützte Interaktion
Stufen. (Bei einfachen Signaturtabletts liegt die Empfindlichkeit jedoch deutlich darunter.) Bei einem Grafikstift ist die Spitze austauschbar, und der Benutzer kann zwischen unterschiedlichen Materialien oder unterschiedlicher Federung wählen, um der Haptik eines natürlichen Zeichenwerkzeugs so nahe wie möglich zu kommen. Am anderen Ende verfügen Grafikstifte oft über einen »Radiergummi«, eine zweite, breitere und ebenfalls druckempfindliche Spitze, die standardmäßig mit der Funktion »Löschen« belegt ist (beispielsweise in Photoshop mit dem Radiergummi-Werkzeug). Darüber hinaus sind Eingabestifte mit Zusatztasten ausgestattet, die einen Links- oder Rechtsklick auslösen oder mit Sonderfunktionen belegt werden können. • Spezialwerkzeuge: Für Spezialanwendungen gibt es entsprechende Werkzeuge. Künstler und Grafiker können sich mithilfe von Airbrush und Filzstift gestalterisch betätigen. Der Airbrush ist in seiner Form der klassischen Sprühpistole nachempfunden, wenngleich er ohne Farbbehälter auskommt. Eine Besonderheit am Filzstift ist die Rotationsempfindlichkeit, wodurch der Farbauftrag beim Drehen des Stifts aufgrund der Formspitze variiert wird. Ein Spezialkugelschreiber erlaubt es, gleichzeitig analog und digital zu arbeiten. Wenn ein physisches Dokument oder Zeichenpapier auf das Tablett gelegt wird, lässt sich mit dem Kugelschreiber wie gewohnt darauf schreiben bzw. zeichnen. Gleichzeitig zeichnet das Tablett das Geschriebene oder Gezeichnete digital auf – es entfällt die Notwendigkeit, das Dokument später einzuscannen. Tablettmäuse Eine Alternative zu Eingabestiften sind Tablettmäuse und Pucks, die auf der Tablettoberfläche bewegt werden. Der Unterschied zu einer herkömmlichen Maus ist die absolute Positionierung. Gemäß der eingestellten Projektion der Bildschirmfläche auf die Tablettfläche entspricht
Foto: Mit freundlicher Genehmigung der Wacom Europe GmbH
44
die Position auf dem Tablett exakt einer Position auf dem Bildschirm. • Maus: Eine Tablettmaus unterscheidet sich äußerlich nicht von einer herkömmlichen Computermaus und ist wie diese mit Zusatztasten und Scrollrad ausgestattet. Die Zeigersteuerung erfolgt absolut, d.h. wenn sich die Maus links oben auf dem Tablett befindet, wird der Mauszeiger auch links oben auf dem Bildschirm angezeigt. • Puck: Ein Puck ist eine Tablettmaus mit Fadenkreuzlupe, die hauptsächlich im CADBereich Anwendung findet. Die Position des Pucks, die an das Anwendungsprogramm weitergegeben wird, entspricht der Mitte des Fadenkreuzes. Fadenkreuzmäuse können beispielsweise dazu verwendet werden, um Pläne nachzuzeichnen, die auf die Tablettfläche gelegt werden.
Gestenraum Nach der technischen Vorgabe beschränkt sich alle gestische Interaktion eines Stifttabletts – wenn man einmal von der Bedienung von Zusatztasten absieht – auf die Tablettfläche.
44 Das Monitortablett ist wie ein normales Grafiktablett ein Peripheriegerät, das an einen Desktop-Computer angeschlossen wird. Vom Handling ähnelt die Bedienung eines Monitortabletts der eines Tablett-PCs, verfügt im Gegensatz jedoch über eine präzise Stifterkennung.
Projektion Monitortabletts und Tablett-PCs lassen keinen Zweifel daran aufkommen, wo Interaktion stattfinden kann. Alles, was ein Benutzer tun muss, ist, mit dem Stift an die betreffende Stelle auf dem Bildschirm zu tippen oder in einem bestimmten Bereich zu schreiben oder zu zeichnen usw. Mit einem Grafiktablett verhält es sich im Grunde genauso: Um beispielsweise das Menü links oben auf dem Bildschirm zu öffnen, muss der Stift in die linke obere Ecke des Tablettbereichs geführt werden. Im Gegensatz zu einer Mausbedienung, bei der Bewegungen stets relativ auf die Ausgangsposition des Mauszeigers bezogen werden, nicht auf ein absolutes Raster, korrespondieren die Koordinaten der Tablettfläche mit den Pixelkoordinaten des Interfaces auf dem Bildschirm. Der Mauszeiger kann nicht wie bei einer Maus durch Schleifenbewegungen (bewegen, hochheben, an anderer Stelle absetzen und wieder bewegen)
Stifteingabe
73
Stück für Stück an eine andere Stelle versetzt werden. Man spricht bei Grafiktabletts daher auch von absoluter Positionierung, bei der das Interface quasi virtuell auf dem Grafiktablett abgebildet wird. Die Projektion der Bildschirmfläche auf das Tablett ist per Software einstellbar. Ein Grafiktablett muss beispielsweise nicht dieselbe Größe oder dasselbe Seitenverhältnis wie der verwendete Monitor haben. Der Tablettbereich, der den Monitor repräsentiert, kann maßstabsgetreu auf die entsprechenden Proportionen eingestellt werden (meist kleiner), aber es ist ebenso möglich, für die horizontale Abbildung einen anderen Maßstab zu konfigurieren als für die vertikale. Bei einem Monitortablett ist dies ja nicht möglich, da die 1:1-Übereinstimmung der berührungsempfindlichen Fläche mit der Monitorfläche für ein fehlerfreies Arbeiten unerlässlich ist. Relative Positionierung Darüber hinaus bieten Grafiktabletts meist eine Option an, in einen sogenannten Mausmodus umzuschalten, bei dem Bewegungen des Stifts nicht mehr absolut in der Benutzeroberfläche wiedergegeben werden, sondern wie bei Mausbedienung relativ zur letzten Position. Dann gibt es keine eindeutige Projektion der Bildschirmfläche auf das Tablett mehr. Ganz gleich, an welcher Stelle der Stift auf dem Tablett ansetzt, die Zeigersteuerung beginnt immer an der Stelle, an der sich der Mauszeiger gerade befindet. Unterteilung der sensitiven Fläche Auf größeren Wacom-Tabletts lassen sich auch zwei Monitore, die an den Computer angeschlos-
74
Gerätegestützte Interaktion
sen sind, auf der Zeichenfläche abbilden. Jedem Monitor wird ein eigener Bereich auf der berührungsempfindlichen Fläche zugeordnet. So kann der Benutzer ohne Monitorumschaltung schnell zwischen beiden Interfaces hin- und herwechseln. Weiterhin ist es möglich, ein Wacom-Tablett in einen Zeichenbereich und einen Bereich zur Schnellnavigation zu unterteilen. Schwebeaktionen Der aktive Bereich eines Tabletts ist zwar auf die Maße der Projektionsfläche oder deren Unterteilungen begrenzt, er dehnt sich aber auch in die dritte Dimension aus, da er das elektromagnetische Feld von einigen Millimetern über der Tablettoberfläche mit einschließt. Je nach Werkzeug funktionieren Benutzeraktionen in kurzer Distanz auch berührungslos. Einen Eingabestift erkennt das Tablett bereits, wenn er in das elektrische Feld eintritt, die Stiftspitze aber noch nicht die Tablettoberfläche berührt. Durch die berührungslose Erkennung werden Aktionen wie Schwebeklicks möglich, die mit einer Zusatztaste am Stift ausgelöst werden.
Sensorik Akzeptanz beim Benutzer erlangen Stifttabletts, weil sie die haptischen Eigenschaften eines normalen Stifts oder Werkzeugs befriedigend nachahmen – oder übertreffen, indem sie Funktionen bereitstellen, über die ein normaler Stift nicht verfügt. Grafiktabletts und -stifte nutzen eine sensible Sensorik, um die Bewegungen und Manipulationen des Benutzers zu erfassen. Der Signal-
Foto: Mit freundlicher Genehmigung der Wacom Europe GmbH
45
46
austausch zwischen Tablett und Stift ermöglicht es sogar, Stifte eindeutig zu identifizieren und unterschiedlich zu konfigurieren, sodass mit dem Wechsel eines Stifts ein anderes Stiftverhalten oder andere Funktionen zur Verfügung stehen. • Position: Die Position eines Stifts im elektromagnetischen Feld eines professionellen Grafiktabletts wird mit einer Toleranz von bis zu 0,25 mm lokalisiert, aber bei einer Tablettauflösung von 200 Linien pro Millimeter mit einer Genauigkeit an Anwendungsprogramme weitergegeben, die weit über der Auflösung heutiger Monitore liegt. Prinzipiell ist damit ein mehr als pixelgenaues Arbeiten möglich. Standardmäßig werden die xy-Koordinaten des Stifts auf der Zeichenfläche in xy-Koordinaten des Bildschirms übersetzt. • Druck: Die Druckempfindlichkeit ist eine der bekanntesten Eigenschaften von Stifttabletts, und selbst einfache Signaturtabletts erfassen den Druckverlauf beim Schreiben als Eigenschaft des persönlichen Unterschriftenprofils. Hochwertige Geräte unterscheiden bis zu 2.048 Druckstufen. • Neigung und Ausrichtung: Dank Neigungsempfindlichkeit ist ein Stifttablett in der Lage, die Lage des Stifts im Raum zu erkennen, und somit auch die Richtung, in die die Stiftspitze weist. In Malprogrammen kann durch Verändern der Neigung die Form des Farbauftrags variiert werden – von punktförmig zu oval, je nach simuliertem Werkzeug sogar mit auslau-
45 Einige Grafiktabletts unterstützen die Eingabe per Maus oder Puck. Anders als eine normale Computermaus ist die Positionierung bei einer Tablettmaus absolut gemäß der Projektion der Bildschirmfläche auf die Tablettfläche. Ein Puck mit Fadenkreuzlupe kann so beispielsweise zum positions- und abstandstreuen Nachzeichnen von Plänen oder Handskizzen verwendet werden. 46 Die sechs Freiheitsgrade eines hochwertigen Grafikstifts: Neben der xy-Positionierung auf der Tablettfläche empfängt das Tablett die Stiftparameter Neigung, Ausrichtung, Achsdrehung und Druck.
fender Spur, ähnlich dem Schweif eines Kometen. Je nach Stift und Tablett wird eine Neigung von bis zu 60 Grad gegenüber der Vertikalen erkannt. Für die gestische Manipulation ergibt sich dadurch ein Kegel, innerhalb dessen der geneigte Stift um die Stiftspitze gedreht werden kann. • Drehung um die Längsachse: Bei Stiften mit Formspitze wie die abgeschrägte, rechteckige Spitze eines Filzmarkers ist die Rotationsempfindlichkeit eine Voraussetzung, um die Spurbreite der gezogenen Spitze realistisch wiederzugeben. Rotationsempfindliche Stifte erfassen daher eine volle 360°-Drehung um die eigene Längsachse.
Stifteingabe
75
2.6
Desktop-Maus Warum die Maus eine Erfolgsstory ist und weiterhin sein wird
Die gute alte Computermaus – kein anderes Eingabegerät hat bezogen auf die Mensch-SystemInteraktion eine derartige Erfolgsstory vorgelegt. Sie gehört heute ganz selbstverständlich zur Standardperipherie eines jedes Computers. Kein Wunder, könnte man meinen, denn die in den 1980er und 1990er Jahren zur Marktreife entwickelten Betriebssysteme mit grafischer Benutzeroberfläche – Mac OS, AmigaOS, GEM für Atari ST, Windows, NextStep, Solaris, Linux und BeOS (nur wenige haben überlebt) – setzten allesamt zur ihrer Bedienung eine Maus voraus. Dabei war die Maus von Anfang an eigentlich ein Anachronismus. Man brauchte dieses Zeigegerät, um das Prinzip der direkten Manipulation in DesktopBenutzeroberflächen realisieren zu können – auch wenn die Bedienung durch das zusätzliche technische Medium notgedrungen indirekt war. Von Touch-Oberflächen konnte man damals nur träumen, und so traten Maus und Mauszeiger an die Stelle des Fingers. Die Maus auf dem realen Schreibtisch, der Mauszeiger auf dem virtuellen Desktop – das machte Sinn. Wäre die Geschichte anders verlaufen, wenn Touchscreens einfacher zu produzieren gewesen wären als Mäuse? Aus heutiger Sicht erscheint die Hinwendung zu Touch-Oberflächen als folgerichtige Entwicklung. Aber ist damit auch eine Abkehr von der Maus verbunden? Nein, denn eines ist sicher: Früher oder später wären Mäuse erfunden worden und sie hätten den Markt er-
76
Gerätegestützte Interaktion
obert. Eines der Marketingargumente hätte gelautet, dass es nun endlich nicht mehr nötig sei, den Screen direkt zu berühren, dass man entspannt am Schreibtisch sitzen und die Armmuskulatur deutlich entlasten könne und die Präzision viel höher sei als bei Touch-Bedienung. Ja, auch diese – hypothetische – Entwicklung hätte man als folgerichtig anerkannt. Man darf nicht vergessen, dass die Maus und andere Eingabegeräte mit »indirekter Manipulation« gerade für solche Menschen attraktiv bleiben, die eine Scheu vor der Berührung von Bildschirmen haben oder die das Berühren sensitiver Oberflächen als unhygienisch empfinden. Als Eingabegerät der ersten Stunde hat die Maus längst nicht ausgedient. Sie ist eine Erfolgsstory und wird es weiterhin sein. Die Entwicklung Multitouch-fähiger Oberflächen gibt den Mäusen einen erneuten Schub, und spätestens seit der Einführung der ersten Multitouch-Maus am Markt, der Apple Magic Mouse, spielt dieses Eingabegerät wieder ganz oben in der Liga. Ihr Erfolg lässt sich auch daran messen, dass sie sich in guter Gesellschaft mit vielen anderen Eingabegeräten wie Trackballs und Eingabestiften befindet, die ebenfalls eine Zeigefunktion erfüllen, ohne von diesen verdrängt worden zu sein. Für die Bedienung eines Desktop-Computers ist die Maus immer noch das universelle Eingabegerät schlechthin, weil sie einerseits einfach zu bedie-
Foto: Mit freundlicher Genehmigung von Apple, Inc.
47
nen ist und andererseits eine pixelgenaue Positionierung erlaubt.
Puristen und Boliden Seit der Einführung des ersten erfolgreichen Computers mit grafischer Benutzeroberfläche im Jahr 1984 hat sich am Grundprinzip einer Maus nichts geändert: Was eine Maus zur Maus macht, ist die Steuerung der Positionsmarke im Interface durch Verschieben des Geräts auf dem Schreibtisch. Aufgrund ihrer Abhängigkeit von einer ebenen Fläche ist die Maus ein typisches Bürogerät. Desktop-Mäuse wurden im Laufe der Jahre immer weiter perfektioniert und beispielsweise mit einer zuverlässigeren Positionserkennung bei unterschiedlichsten Untergründen ausgestattet, aber die wahre Revolution fand auf dem Gebiet der Zusatzfunktionen statt. Selbst die über viele Jahre verteidigte Eintastenmaus von Apple ist heute ein Museumsstück. Mit dem Aufkommen der ersten Windows-Versionen eroberten Mäuse mit zwei und drei Tasten den Markt, es kamen weitere (seitliche) Tasten sowie Scrollräder oder Scrollballs mit Dreh- und Druckfunktion hinzu. Heute bietet der Markt bei kaum einem anderen Eingabegerät eine derart große Vielfalt an Modellen. Jeder Anspruch wird bedient. Von puristischen Mäusen mit einfachen Grundfunktionen bis hin zu Boliden, die mit mehr Zusatzfunk-
47 Neue Entwicklungen wie die Multitouch-Maus zeigen, dass das einst revolutionäre Eingabegerät längst nicht ausgedient hat. Bewährte Eingabemethoden gehen mit der neuen Gestensteuerung eine fruchtbare Symbiose ein.
tionen ausgestattet sind als eine Hand Finger hat. Edelklassemäuse richten sich an Power-User, die eine höhere Präzision bei Computerspielen benötigen, in großen Dokumenten schneller und zielsicherer scrollen müssen oder Spezialfunktionen im direkten Zugriff benötigen.
Die Benchmark Unter den Eingabegeräten ist die Maus Standard, und sei es nur de facto. Sie ist die Benchmark, an der sich alle anderen Eingabegeräte messen lassen müssen. Bei jeder Einführung alternativer Eingabegeräte oder Eingabemethoden – wie beispielsweise Multitouch – steht daher die Frage im Raum: Bringt die neue Technik einen wesentlichen Vorteil für den Anwender? Wenn Aktionen mit der Maus einfacher und ergonomischer ausgeführt werden können als mit der neuen Technik, wird diese es schwer haben, sich zu behaupten. Nur so ist es wohl zu erklären, dass viele alternative Eingabegeräte ein Dasein als Nischen-
Desktop-Maus
77
produkt führen oder ihre Vorteile erst in Spezialanwendungen ausspielen. Trotzdem gibt es diese Nischenprodukte, weil eine Maus eben nicht alles kann. Mäuse und andere Eingabegeräte koexistieren nebeneinander und können sich gut ergänzen. Und wie der Trend zur Multitouch-Maus zeigt, werden unterschiedliche Eingabemethoden immer mehr miteinander verschmelzen. Für Desktop-Anwendungen steht der Maus also weiterhin eine rosige Zukunft bevor – jedenfalls solange deren Interaktion auf dem Paradigma eines Zeigersystems beruht. Genau dieses wird aber von der neuen BetriebssystemGeneration für mobile Geräte in Frage gestellt. Das iOS ist das erste Betriebssystem für den Massenmarkt, das die Multitouch-Bedienung als Haupteingabeprinzip von Anfang an im Konzept verankert, andere folgen ihm. Man wird sehen, inwieweit reine Touch-Interfaces Zeigersysteme verdrängen werden und damit der DesktopMaus die Existenzgrundlage entziehen. Die Maus braucht die Schreibtischplatte – und genau die fehlt ja bei mobilen Geräten.
einer anderen Stelle auf dem Bildschirm zu gelangen.
Gestisches Repertoire Erstaunlicherweise lassen sich aus der Kombination der beiden sensorischen Merkmale Positionierung und Manipulation eine Vielzahl von Ereignisprofilen für Gesten definieren. Schon der Um-
GESTENPOTENZIAL
Desktop-Maus Rollbewegung Zeigersteuerung:
relativ, softwareseitig werden Zeigerdistanzen von der Rollgeschwindigkeit bestimmt
2 Freiheitsgrade:
xy-Positionierung
Linke und rechte Maustaste 2 Zustände:
Projektion und Skalierung Obwohl die Bewegungen auf der Schreibtischoberfläche in xy-Koordinaten des Mauszeigers auf der Bildschirmfläche übersetzt werden, gibt es keine eindeutige oder absolute Projektion der Positionen. Eine Maus kann hochgehoben und an beliebiger Stelle wieder abgesetzt werden, ohne dass sich die Position des Mauszeigers ändert (im Unterschied zu einem Grafiktablett). Auch ist die Übersetzung der Mausbewegungen in Zeigerbewegungen nicht linear: Die Entfernung, die der Mauszeiger auf dem Bildschirm zurücklegt, steht nicht in einem festen Maßstab zur Bewegung der Maus auf dem Mauspad. Sie ist abhängig von der Geschwindigkeit, mit der die Maus bewegt wird. Wird die Maus langsam bewegt, bewegt sich der Mauszeiger in einem sehr kleinen Radius. Langsame Bewegungen eignen sich daher für die Feinjustierung. Schnelle Bewegungen der Maus versetzen den Mauszeiger über große Distanzen. Das ist praktisch, um schnell zu
78
Gerätegestützte Interaktion
• gedrückt • nicht gedrückt Tasten können nicht kombiniert werden
Scrollrad 1 Freiheitsgrad: 2 Tastenzustände:
Standardfunktion:
Rotation • Rad gedrückt • Rad nicht gedrückt vertikales Scrollen
Scrollball 2 bzw. 3 Freiheitsgrade:
2 Tastenzustände:
Standardfunktion:
Rotation um den Kugelmittelpunkt • Ball gedrückt • Ball nicht gedrückt vertikales und horizontales Scrollen
Touch-Oberfläche 2 Freiheitsgrade für Fingerbewegungen:
xy-Positionierung
Standardfunktion der Einfingergeste (Apple):
vertikales und horizontales Scrollen
Standardfunktion der Zweifingergeste (Apple):
Seitenblättern
48
stand, dass eine Maustaste zwei Zustände besitzt (gedrückt oder nicht gedrückt), vergrößert die Kombinationsmöglichkeiten, da zwischen einem »halben« (mouse-down) und einem »ganzen« Klick (mouse-up) unterschieden werden kann. Für die möglichen Gesten spielen räumliche und zeitliche Faktoren eine wesentliche Rolle. Zeitintervalle und räumliche Veränderungen sind konstitutive Bestandteile von Mausgesten. Werden beispielsweise zwei Mausklicks sehr schnell nacheinander ausgeführt, gilt dies als zusammengehörende Geste, allen bekannt als Doppelklick. QuarkXPress und Adobe InDesign reizen die Möglichkeit des Mehrfachklicks bis zum Fünffachklick aus: vom Setzen der Schreibmarke in den Text über das Markieren eines Worts, einer Zeile und eines ganzen Absatzes bis hin zum Auswählen des gesamten Textabschnitts. Wenn die Maus ein Stück bewegt wird, bevor die gedrückte Taste wieder losgelassen wird, ist die Aktion kein einfacher Mausklick mehr, es handelt sich dann um eine click-and-drag- bzw. drag-and-drop-Geste, die Mitte der 1980er Jahre noch ähnlich spektakulär anmutete wie 2007 die pinch-Geste auf dem ersten iPhone. In System 9 hatte Apple eine interessante Variante der click-and-drag-Geste verankert:
48 Die Desktop-Maus ist ein klassisches Bürogerät, das auf dem realen Schreibtisch bewegt wird. Dass die Zeigersteuerung auf dem virtuellen Desktop dazu um etwa 80° geneigt ist, stört die Handhabung nicht. 49 Die Übersetzung der Mausbewegungen in Zeigerbewegungen ist nicht linear. Bei langsamen Mausbewegungen bewegt sich auch der Mauszeiger langsam, aber schnelle Mausbewegungen über dieselbe Distanz bewegen den Mauszeiger nicht nur schneller, sondern auch weiter. Dieses Verhalten muss von Neulingen erst erlernt werden, während der geübte Computernutzer sich darüber keine Gedanken mehr macht und die Maus intuitiv richtig bedient. Manche Menschen sind sogar erstaunt, wenn man sie auf das geschwindigkeitsabhängige Verhalten des Mauszeigers aufmerksam macht, es ist ihnen nicht bewusst.
Desktop-Maus
79
49
50
© 174
© 60
Ohne ein Objekt zu ziehen, ermöglichte ein initialer Anderthalbfach-Klick auf einem Ordner das schnelle Navigieren durch verschachtelte Unterordner. Diese Geste wurde für die Maussteuerung in Mac OS X nicht übernommen, der Anderthalbfach-Klick erlebt aber ein Comeback mit den tap-Gesten auf den Trackpads der AppleNotebooks und dem externen Magic Trackpad.
Die Multitouch-Maus
© 136
80
Die Multitouch-Maus kombiniert die pixelgenaue Präzision der Zeigersteuerung mit den gestischen Möglichkeiten eines Touchpads. Bei der Apple Magic Mouse gibt es eine strikte Funktionstrennung, denn ihre berührungsempfindliche Gehäuseoberfläche erfüllt nicht die Aufgabe eines Trackpads. Die Kernfunktionen der Maus – die Positionierung des Mauszeigers durch Verschieben des Geräts und die Manipulation der darunter befindlichen Bildschirmstelle durch Klicken – stehen voll und ganz in der Tradition konventioneller Mäuse. So ist es beispielsweise nicht möglich, den Mauszeiger durch Bewegungen auf der Touch-Oberfläche zu versetzen. Der Unterschied zum Trackpad zeigt sich bei den Touch-Gesten zum Scrollen und Blättern. Während zum Scrollen auf einer MultitouchMaus ein einziger Finger genügt, muss der Benutzer eines Trackpads zwei Finger bemühen, da die Einfingergeste ja für die Positionierung des Mauszeigers reserviert ist. Trackpad-Gesten lassen sich daher nicht eins zu eins auf MultitouchMäuse übertragen, und umgekehrt auch nicht.
Gerätegestützte Interaktion
Somit unterscheiden sich die Ereignisprofile der Gesten je nach Eingabegerät. Ein weiterer Punkt, der die Gestenausführung betrifft, ist der Unterschied der Berührungserkennung einer Magic Mouse zu einer herkömmlichen Zweitastenmaus. Die kapazitive Oberfläche der Maus setzt Hautkontakt voraus, da das Gerät den minimalen, von der Fingerspitze ausgehenden elektrischen Strom misst. Deshalb lässt sich die Maus nicht mit Gegenständen oder Handschuhen bedienen – ein Tastendruck allein macht noch keinen Klick. Nur wenn die Maus einen Finger (bzw. einen entsprechenden Stromfluss) erkennt, wird mit der mechanischen Bewegung auch ein Mausklick ausgelöst. Wie schon das Vorgängermodell Mighty Mouse, das zwar keine Multitouch-Fähigkeit besaß, aber zwischen einem und zwei Fingern unterscheiden konnte, erkennt die Magic Mouse, ob der Finger das Gehäuse auf der linken oder auf der rechten Seite berührt. Das ist auch unbedingt notwendig, da das Gehäuse aus einer durchgehenden Schale besteht und die Gehäuseseiten nicht mechanisch getrennt sind. Wenn auf beiden Seiten Finger liegen und geklickt wird, interpretiert die Magic Mouse diese Aktion grundsätzlich als Linksklick, ganz gleich, von welchem Finger der Tastendruck ausgeht. Die Touch-Sensorik der Apple-Maus zwingt Benutzer, die den Umgang mit einer rein mechanischen Maus gewohnt waren, zum Umlernen: Um einen Rechtsklick ausführen zu können, muss der linke Finger vom Gehäuse abgehoben werden, er darf nicht entspannt auf der linken Seite ruhen bleiben. Neue
51 Scrollen und Blättern
Zeigersteuerung
Technik bringt manchmal neue Gewohnheiten mit sich.
Sensorik Die gestischen Möglichkeiten einer MultitouchMaus hängen wie bei allen Eingabegeräten von der Sensorik ab. Es sind nur zwei Wesenseigenschaften, die eine Desktop-Maus von anderen Eingabegeräten unterscheidet: die freie Positionierung auf einer Tischfläche, in der Absicht, den Mauszeiger am Bildschirm zu steuern, und die Manipulation der vom Mauszeiger berührten Bildschirmstelle. • Positionierung: Das Rollen oder Verschieben der Maus auf dem Schreibtisch dient ausschließlich zur Positionierung des Mauszeigers (oder eines analogen Objekts) im Interface. Der Benutzer kann dadurch bestimmen, welches Objekt im Interface er manipulieren möchte. • Manipulation: Das Klicken mit der Maus löst eine Aktion oder Funktion aus. Welche das ist, hängt von der momentanen Funktionsbelegung des angeklickten Interface-Elements ab. Eine Touch-Oberfläche und zusätzliche Hardwarekomponenten wie Scrollrad, Scrollball oder weitere Tasten erweitern das Funktionsspektrum einer Maus um Funktionen, die zwar unglaublich praktisch sein können, aber nicht wesensmäßig zu ihr gehören. Eine Multitouch-Oberfläche oder ein Scrollball beispielsweise verhalten sich dann
50 Aus den klassischen Kernfunktionen einer Maus – dem Rollen auf der Schreibtisch-Oberfläche und dem Klicken mit der linken Maustaste – ergeben sich vielfältige Kombinationen für Mausgesten, die den Anspruch an ein universales Eingabegerät begründen. 51 Die Multitouch-Maus trennt streng zwischen den klassischen Mausfunktionen und Multitouch-Gesten. Während die Zeigersteuerung nach dem altbewährten Prinzip funktioniert, dem Rollen der Maus auf der Schreibtischoberfläche, ist die Multitouch-Schale für Aktionen wie Scrollen und Blättern reserviert, die nicht auf den Mauszeiger wirken. Bislang gibt es keine Gesten, die die klassischen Mausfunktionen mit Multitouch kombinieren. Da der Mauszeiger nicht per Multitouch gesteuert werden kann, sind die Gesten für Scrollen und Blättern nicht identisch mit denen eines Trackpads.
im Großen und Ganzen wie ein Touchpad oder ein Trackball. Wie oben bereits angesprochen, sind die Gesten einer Multitouch-Maus mit denen eines Multitouch-Trackpads nicht direkt vergleichbar. Bei der Magic Mouse sind die Kernfunktionen der Maus (Bewegen und Klicken) sogar strikt von den Touch-Gesten getrennt: Apple verzichtet bisher auf Gesten, die eine Multitouch-Operation mit einem Klicken oder Ziehen der Maus kombinieren.
Desktop-Maus
81
2.7
Rollermaus Wie Mausfunktionen auf einem beweglichen Rollstab abgebildet werden
Namen sind Schall und Rauch – und so verhält es sich auch mit der Rollermaus: Die Maus ist keine. Oder doch? Das ungewöhnliche Eingabegerät des amerikanischen Unternehmens Contour Design sieht nicht aus wie eine, vereint aber alle Funktionalität einer herkömmlichen Computermaus. Von Ergonomen entworfen, soll die Rollermaus vor allem den Menschen die Arbeit erleichtern, die die alphanumerische Tastatur stark nutzen. Zu der Zielgruppe gehören insbesondere »Textarbeiter« – Autoren, Dokumentare, Schreibkräfte usw. –, die ohnehin als gefährdete Personengruppe im Visier der Arbeitsmediziner stehen. Als besonders problematisch wird die häufige Wechselbewegung des Armes zwischen Tastatur und herkömmlicher Maus und die unergonomische Streckung des Armes angesehen. Die Rollermaus soll die Wege verkürzen und einer einseitigen Körperbelastung, dem »Mausarmsyndrom«, vorbeugen. Auch andere Berufsgruppen, bei denen Tastatureingaben nicht im Vordergrund stehen, können von der ergonomischeren Bedienung profitieren, da die Rollermaus die Kombination mit einer Tastatur nicht zwingend voraussetzt.
Ergonomie
nicht bewegt. Hauptkomponente ist ein waagerecht liegender, gummierter Rollstab, der sich um seine Längsachse drehen und entlang dieser Achse verschieben lässt. Rotationsbewegungen und seitliches Verschieben werden in Bewegungen des Mauszeigers auf dem Bildschirm übersetzt. Konfigurierbare Zusatztasten erweitern das Funktionsspektrum der Rollermaus um diverse Mausklicks, eine Scroll-Funktion und häufig benutzte Befehle wie Kopieren und Einfügen.
GESTENPOTENZIAL
Rollermaus Rollstab Zeigersteuerung: 2 Freiheitsgrade:
• axiale Drehung • seitliches Verschieben
Anschlagsdruck:
2 Druckpunkte bei seitlichem Verschieben (Anschlag links und rechts)
2 Zustände:
• gedrückt • nicht gedrückt (wie linke Maustaste)
Linke und rechte Maustaste 2 Zustände:
Auffälligster Unterschied der Rollermaus zu einer herkömmlichen Computermaus ist ihre feste Position auf dem Schreibtisch, das Gehäuse wird
82
Gerätegestützte Interaktion
relativ
• gedrückt • nicht gedrückt Tasten können nicht kombiniert werden
Foto: Mit freundlicher Genehmigung von Contour Design (Europe) Ltd.
Die Rollermaus wird frontal vor der Tastatur platziert und bevorzugt damit auch keine der beiden Körperhälften. Bei einer herkömmlichen Maus muss sich der Benutzer ja zwischen rechter oder linker Hand entscheiden. Die Rollermaus aber kann wahlweise mit der rechten oder der linken Hand bedient werden, auch abwechselnd. Für das richtige »Fingerspitzengefühl« lässt sich der Rollstab gut mit den Fingerspitzen bedienen, kürzere Bewegungen sind auch mit den Daumen möglich, während die Finger noch auf den Tasten der Tastatur ruhen.
Bedienung Alle Standardfunktionen einer Maus werden vom Rollstab und den Zusatztasten abgebildet, und die Umgewöhnung fällt den meisten Benutzern leicht. Das Umlernen wird von der spielerischen Interaktion beflügelt. Zeigerpositionierung Anstatt das Gehäuse zu verschieben (wie bei einer herkömmlichen Maus), bewegt der Benut-
zer den Rollstab. Rollen entspricht der vertikalen Bewegung des Mauszeigers, seitliches Verschieben wird in seitliche Bewegungen der Positionsmarke übersetzt. Die Zeigerpositionierung der Rollermaus ist wie bei einer herkömmlichen Maus relativ, das heißt die Stellung des Rollstabs korrespondiert nicht mit festen xy-Koordinaten des Mauszeigers. Daher kann es immer mal passieren, dass der Rollstab den linken oder rechten Anschlag erreicht, der Mauszeiger aber noch nicht an der gewünschten Bildschirmstelle angekommen ist. Bei einer herkömmlichen Maus gibt es ja eine ähnliche Problematik, und zwar wenn die Maus droht, vom Mauspad zu stürzen oder sie von anderen Gegenständen auf dem Schreibtisch aufgehalten wird. In diesem Fall nimmt man die Maus hoch und setzt sie an anderer Stelle wieder ab. Bei der Rollermaus geht das nicht, deshalb verfügt sie über eine sogenannte Bereichserweiterung: Ein leichter Druck gegen den linken oder rechten Anschlag bewirkt, dass die Schubrichtung beibehalten wird und der Mauszeiger quasi über den Anschlag hinaus weiter bewegt wird. Sobald der Mauszeiger die gewünsch-
52
Rollermaus
83
te Stelle erreicht hat, kann der Rollstab wieder losgelassen werden. Klicken Um zu klicken, wird der Rollstab einfach nach unten gedrückt. Das kann mit derselben Hand geschehen, die den Rollstab bewegt, aber auch mit der anderen. Standardmäßig ist der Druckmechanik des Rollstabs der Linksklick als Funktion zugeordnet. Die Pro-Version kompensiert leichte Bewegungen beim Herunterdrücken des Rollstabs, damit der Mausklick auch zielsicher über der anvisierten Stelle stattfindet. Alternativ dazu verfügt die Rollermaus über Zusatztasten, denen Mausklicks zugeordnet sind. Die linke Taste führt einen linken Mausklick aus, die rechte eine rechten. Als Besonderheit gibt es eine Mitteltaste, die einen Doppelklick ausführt, dazu aber nur einmal gedrückt werden muss. Ein Tastendruck entspricht also zwei linken Mausklicks. Dies hat den Vorteil, dass sich der Benutzer pro Doppelklick eine Klickbewegung spart, und die Ergonomen von Contour Design sehen darin eine signifikante Entlastung der Muskulatur. Außerdem ist die Ausführung des Doppel-
84
Gerätegestützte Interaktion
Scrollen Zum Scrollen verfügt die Rollermaus über ein separates Scrollrad, dessen Funktion sich nicht von den Scrollrädern anderer Mäuse unterscheidet. Interessant aber ist, dass auch der Rollstab zum Scrollen benutzt werden kann. Wenn das Scrollrad gedrückt wird, schaltet der Rollstab von der Zeigersteuerung zur Scroll-Funktion um (bzw. wieder zurück zur Zeigerpositionierung). Das Scrollrad bestimmt damit die Funktionsbelegung des Rollstabs. Allerdings wäre wenig gewonnen, wenn der Rollstab das Scroll-Verhalten des Scrollrads eins zu eins übernähme, und deshalb scrollt der Stab anders als das Rad. Der Rollstab wirkt als Shuttle-Scroll, der die Rotationsbewegung nicht in eine Scroll-Position übersetzt, sondern in Scroll-Geschwindigkeit. Wenn der Stab ein Stück gedreht wird, initiiert er einen automatischen Bildlauf. Je weiter der Stab von seiner Ausgangsposition aus weiter gedreht wird, desto schneller wird gescrollt. Der Stab kann an einer Drehposition gehalten werden, um in konstanter Geschwindigkeit zu scrollen. Wird der Stab zurückbewegt, verlangsamt sich die Scroll-Geschwindigkeit wieder, bis der Bildlauf an der Ausgangsstellung zum Stillstand kommt. Das »elastische« Scrollen funktioniert natürlich in beide Richtungen.
Foto: Mit freundlicher Genehmigung von Contour Design (Europe) Ltd.
klicks sicherer, denn bei einer herkömmlichen Maus besteht ja die – unerwünschte – Möglichkeit, dass die Maus beim Doppelklick bewegt und beim zweiten Klick aus dem zulässigen Klickradius herausbewegt wird. Mit einer Doppelklicktaste kann dies nicht passieren. Die Pro-Version verfügt über eine Zusatztaste, mit der die sogenannte click-lock-Funktion aktiviert werden kann, die es in Windows-Betriebssystemen in ähnlicher Form auch als zuschaltbare Option in der Systemsteuerung »Maus« gibt. Wenn diese Taste gedrückt wird, verhält sich die Rollermaus so, als würde die linke Maustaste die ganze Zeit gedrückt gehalten, ohne sie tatsächlich drücken zu müssen – auch sie sorgt damit für eine Entspannung der Muskulatur. Um die clicklock-Funktion wieder auszuschalten, wird die Taste ein zweites Mal gedrückt.
53
54
Gestisches Repertoire Da die Rollermaus der herkömmlichen Maus den Platz auf dem Schreibtisch streitig machen möchte und alle Standardmausfunktionen mit den Bedienkomponenten der Rollermaus abgebildet werden, verfügt sie auch über dasselbe gestische Repertoire. Zu den möglichen Gesten zur Positionierung und Manipulation zählt beispielsweise auch die drag-and-drop-Geste. Obwohl der Rollstab in gedrücktem Zustand gehalten und dabei bewegt werden kann, erweist sich die Kombination mit der linken Maustaste als ergonomischer. Wie bei drag-and-drop üblich, folgt das Objekt dem Mauszeiger und kann an beliebiger Stelle abgelegt werden, indem die linke Maustaste wieder losgelassen wird. Die drag-and-drop-Geste kann mit zwei Händen, aber auch einhändig ausgeführt werden.
52 Die Rollermaus ist als Ergänzung zu einer Computertastatur konzipiert und erleichtert Vielschreibern die Mausnavigation. 53 Der Rollstab kann, da er keine Körperseite bevorzugt, sowohl mit der rechten als auch der linken Hand bedient werden. Stabbewegungen lassen sich mit den Fingerkuppen oder mit dem Daumen ausführen, während die Finger auf den Tasten der Tastatur ruhen. 54 Die Rollermaus projiziert Linksrechts-Bewegungen des Rollstabs auf horizontale Bewegungen des Mauszeigers, Rotationen um die eigene Achse werden in vertikale Bewegungen übersetzt. 55 An den seitlichen Enden ist der Rollstab mit einer »Anschlagsdynamik« ausgestattet: Wird er gegen den linken oder rechten Anschlag gedrückt, bewegt sich der Mauszeiger weiter in diese Richtung. Zieht der Bediener den Rollstab wieder vom Anschlag zurück, endet das ShuttleVerhalten und der Mauszeiger folgt wieder den Links-rechts-Bewegungen des Stabs.
Rollermaus
85
55
2.8
3D-Maus 3D-Objekt- und -Kamerasteuerung mit bis zu sechs Freiheitsgraden
Es gibt Computeranwendungen, bei denen herkömmliche Eingabegeräte wie eine DesktopMaus oder ein Touchscreen an ihre Grenzen stoßen. Wer schon einmal versucht hat, ein Fahrzeug oder Fluggerät in einem Computerspiel oder einen Avatar durch virtuelle Parallelwelten wie Second Life mit einer Maus zu steuern, weiß, wie holprig sich das Navigieren in virtuellen Räumen mitunter gestalten kann. Das Universalgenie Maus ist, sobald es in die dritte Dimension geht, nicht universal genug. Auch das 3D-Modelling setzt Eingabegeräte oder -methoden voraus, die über die eingeschränkten Freiheitsgrade einer Desktop-Maus hinausgehen. Bereiche, die nach einer ausgefeilten dreidimensionalen Steuerung verlangen, sind unter anderem die Architektur, die technische Konstruktion, das Produktdesign, die operative Medizin, die wissenschaftliche Modellierung und die Character-Animation für Film und Gaming.
Raum unweigerlich Einschränkungen unterworfen. Zwar kann ein Multitouch-Screen fehlende Freiheitsgrade durch Mehrfingergesten kompensieren, aber diese bleiben dennoch auf die zweidimensionale Fläche des Monitors eingeschränkt. Eine einfache Desktop-Maus kann immer nur zwei der sechs Freiheitsgrade adressieren und seine xy-Bewegungen nur in eine Kombination aus zwei Translationen, zwei Rotationen oder einer Translation und einer Rotation übersetzen. Da die beiden von der Maus adressierten Parameter auch gleichzeitig verändert werden kön-
GESTENPOTENZIAL
3D-Maus 3D-Controller Zeigersteuerung:
nein • xyz-Positionierung • axiale Drehung • Kippen zur Seite (transversal) und in Vor-zurück-Richtung (sagittal)
6 Freiheitsgrade:
Defizite einer Desktop-Maus Für Eingabegeräte wie eine Desktop-Maus oder einen Touchscreen besteht die Welt aus einer Fläche: der Schreibtisch- oder Monitoroberfläche. Mäuse und Touchscreens leben quasi in einer Scheibenwelt. Mit einem Eingabegerät, das nur zwei Freiheitsgrade besitzt, ist die Navigation und Objektmanipulation im dreidimensionalen
86
Gerätegestützte Interaktion
Linke und rechte Maustaste 2 Zustände:
• gedrückt • nicht gedrückt Tasten können nicht kombiniert werden
Fotos: Mit freundlicher Genehmigung der 3Dconnexion GmbH
56
nen, entsteht trotzdem – zumindest auf den ersten Blick – der Eindruck einer freien Objektmanipulation. Doch der erste Eindruck täuscht. Eines der großen Probleme beim Interaktionsdesign solcher Anwendungen ist, dem Bediener angesichts der Kombinationsvielfalt verständlich zu machen, welche Objektbewegungen mit der Maus vollführt werden. Translation oder Rotation? Und entlang welcher bzw. um welche Achse? Die zu lösende Schwierigkeit besteht also darin, dem Bediener die Kontrolle über sechs Freiheitsgrade zu geben – für translatorische Bewegungen entlang der drei Raumachsen und für Rotationsbewegungen um diese drei Achsen. Relativ leicht verständlich sind alle Bewegungen auf der Schreibtisch-Oberfläche, die so auf die Monitorfläche projiziert werden, wie man es von einer Maus gewohnt ist, also wenn Mausbewegungen nach links und rechts in eine horizontale Versatzbewegung oder Drehung des 3DObjekts um die vertikale Achse übersetzt werden und wenn Vor- und Zurückbewegungen der Maus in eine Verschiebung des Objekts entlang der yAchse oder in eine Drehung um die horizontale Achse münden. Solange die Tiefendimension des Raums bei der Mausbedienung nicht direkt adressiert wird, funktioniert die 3D-Steuerung per Desktop-Maus recht intuitiv. Um auch die fehlenden Freiheitsgrade mit einer Desktop-Maus ansprechen zu können, ist es notwendig, im Interface mehrere Umschalt-
56 Zentrales Bedienelement des Space Explorer von 3Dconnexion ist der mittlere »Knopf«, der über sechs Freiheitsgrade verfügt. Darum herum gruppierte Tasten erweitern das Funktionsspektrum und ermöglichen beispielsweise die schnelle Umschaltung zwischen unterschiedlichen Bewegungsübersetzungen. 57 Da die 3D-Maus keine Zeigersteuerung unterstützt, ist sie als Zweitgerät zur herkömmlichen Maus oder einem Grafiktablett gedacht. Der Bediener arbeitet zweihändig und bedient die 3D-Maus mit der »schwächeren« Hand (Rechtshänder mit links, Linkshänder mit rechts).
57
3D-Maus
87
58
möglichkeiten vorzusehen. 3D-Modelling-Programme und Programme für die Steuerung von virtuellen Objekten oder Avataren stellen dazu entsprechende Werkzeuge oder Modi bereit, die der Bediener vorher aktivieren muss, beispielsweise um ein Objekt auch in der Tiefenachse verschieben, darum drehen oder in der Ansicht zoomen zu können. Meist können diese Modi auch mit Zusatztasten auf der Tastatur aktiviert werden. Der Bediener kann dann gezielt wählen, in welche Objekt- oder Kamerabewegungen die Mausbewegungen übersetzt werden. Auch wenn es einige Bediener zu einiger Virtuosität bei der kombinierten Tasten-Maus-Bedienung bringen – der Arbeitsfluss (oder Spielfluss) wird durch den häufigen Wechsel der Modi regelmäßig unterbrochen.
3D-Navigation mit bis zu sechs Freiheitsgraden Ein 3D-Controller, wie er von 3Dconnexion angeboten wird, löst das Problem mit einem einzigen Bedienelement, das alle sechs Freiheitsgrade für translatorische und rotatorische Bewegungen abdeckt: Das Stellelement des Space Explorer kann nach links und rechts sowie vor und zurück geschoben, nach unten gedrückt, nach oben gezogen, um seine Achse gedreht und zu jeder Seite gekippt werden.
88
Gerätegestützte Interaktion
Den Space Explorer als 3D-Maus zu bezeichnen, ist mehr als Understatement, aber weil »Drehdrückziehschiebkipprad« nicht ganz so flüssig über die Lippen geht, erscheint »3DMaus« kein so schlechter Begriff. Die Bedienung ist – obwohl gegenüber einer Maus ohne 3D im Namen nominell dreimal so komplex – intuitiver, da die Bewegungen des Controllers in den drei Raumdimensionen eins zu eins auf die räumliche Darstellung im Interface übertragen werden können. Bediener müssen, wenn beide Bezugssysteme als gleichgerichtet gedacht werden, ihre Handbewegungen nicht übersetzen. Trotzdem bietet 3Dconnexion in der Konfigurationssoftware eine Option an, mit der der Bediener die Projektion aller sechs Freiheiten individuell einstellen kann. So lässt sich gezielt steuern, wie die Bezugsräume aufeinander abgebildet werden. Während sich die von der normalen Mausbedienung geprägte Sichtweise nicht daran stört, dass die xy-Ebenen von Mauspad und Bildschirm gegeneinander geneigt sind (der Monitor steht beinahe senkrecht auf dem Schreibtisch) und Mausbewegungen, die auf dem Schreibtisch nach vorn oder hinten erfolgen, auf dem Bildschirm nach oben oder unten abgebildet werden, ist die gekippte Projektion in 3D-Anwendungen mitunter stark gewöhnungsbedürftig. Sinnvoll kann die gekippte Projektion bei der Darstellung virtueller Räume oder Objekte sein, wenn der Blickwinkel des Bedieners auf die vir-
59
58 Je nach Konfiguration wird die Eingabebewegung unterschiedlich in systemseitige Aktorik übersetzt. Im Mausmodus ist der Bezugsraum der 3D-Darstellung auf dem Bildschirm gegenüber dem Gestenraum des Eingabegeräts geneigt: Hier wird die Schreibtischfläche auf die Monitorfläche abgebildet. Vor- und Zurück-Bewegungen des Controllers werden in Oben-unten-Bewegungen des gesteuerten Objekts übersetzt. 59 Bei einer gleichgerichteten Relation zwischen den Bezugsräumen entspricht die Vor-zurück-Bewegung einer Objektverschiebung entlang der optischen Achse: Das Objekt wird näher herangeholt oder weiter weg bewegt.
60 Die translatorischen Freiheitsgrade der 3D-Maus: Der Knopf kann parallel zur Tischoberfläche bewegt oder nach unten gedrückt bzw. nach oben gezogen werden. Die Eingabebewegungen werden in Objekt- oder Kamerabewegungen übersetzt. 61 Die rotatorischen Freiheitsgrade der 3D-Maus: Der Knopf lässt sich um seine Mittelachse drehen und nach allen Seiten kippen. Je nach Betrachterperspektive wirken sich die Eingabebewegungen auf den Drehwinkel des gesteuerten Objekts oder einer Kamera aus.
60
3D-Maus
89
61
62
tuelle Welt ein anderer ist als auf die reale Welt seines Arbeitsplatzes. Schaut der Bediener beispielsweise aus der Vogelperspektive auf ein bewegliches Objekt in der 3D-Welt seines Computers, verläuft eine Vor- und Zurück-Bewegung dieses Objekts möglicherweise in der Vertikalen in der Bildschirmfläche also von unten nach oben (oder umgekehrt). Betrachtet man die 3DMaus aber als dessen Stellvertreter, wäre eine Vor- und Zurückbewegung der Maus parallel zur Schreibtischoberfläche eine stimmige Eingabebewegung. Ob die Bezugsräume gleichgerichtet, gekippt oder sogar gedreht aufeinander abgebildet werden, ist also eine Frage des Betrachterstandorts. Anders sieht es bei Anwendungen aus, deren Bewegungsübersetzung vom Modell eines Flugsimulators ausgeht. In diesem Fall werden die Bezugsräume als gleichgerichtet gedacht, und von einer Vor- und Zurück-Bewegung des Controllers wird eine Vor- und Zurück-Bewegung auf der z-Achse des Bildschirms erwartet, der (fiktiven) Flugbahn. Letztere Betrachtungsweise verträgt sich gut mit einer kameraorientierten Perspektive.
© 104
90
Wechsel der Betrachterperspektive Die Funktionsweise eines 3D-Controllers unterliegt – und zwar unabhängig von der räumlichen Perspektive – der sogenannten epischen Betrachterperspektive. Entweder erfolgt die Steuerung
Gerätegestützte Interaktion
objektorientiert oder kameraorientiert. Da sich die objektorientierte und die kameraorientierte Perspektive gegenseitig ausschließen, kann der Wechsel zwischen ihnen nur durch eine Modusumschaltung erfolgen. 3Dconnexion bietet dazu für den Space Explorer und Space Pilot in der Systemsteuerung eine Option an, die die Richtung der Achsen umkehrt. Der Controller steht dann entweder stellvertretend für das Objekt oder für die implizit angenommene Kamera. Shuttle-Verhalten Eine 3D-Maus ist jedoch kein echtes Stellvertreterobjekt, dessen Ausrichtung im realen Raum als Vorgabe für die Visualisierung dient. Lage und Orientierung eines 3D-Objekts im virtuellen Raum sind nicht am Eingabegerät ablesbar. Die 3Dconnexion-Produkte sind in allen sechs Freiheiten mit einem Federmechanismus ausgestattet, der das Bedienrad wieder in die Ausgangsposition zurückschnellen lässt. Das Rad gibt die Bewegungsrichtung und die Geschwindigkeit vor – so wie beim Gaspedal eines Automobils, das, wenn man das Pedal an einer bestimmten Stelle unbewegt hält, nicht stoppt, sondern mit konstanter Geschwindigkeit weiterfährt. Je weiter der Bediener das Rad dreht, schiebt oder kippt, desto schneller wird die jeweilige Bewegung ausgeführt. Der Bediener kann die Geschwindigkeit einer Bewegung daher präzise steuern, je nachdem wie weit er den Regler von
63
der Ausgangsstellung entfernt. Um die Bewegung anzuhalten, wird das Rad in die Ausgangsstellung zurückbewegt oder einfach losgelassen: Es schwingt automatisch in die Ausgangsstellung zurück.
Zweihändige Bedienung In den meisten Anwendungen umgeht die 3DMaus die Zeigersteuerung, das heißt sie wirkt direkt auf ein 3D-Objekt oder eine angenommene Kamera, je nach Betrachterperspektive. Der Mauszeiger wird weiterhin mit konventionellen Eingabegeräten wie einer Desktop-Maus gesteuert. Der Space Explorer und verwandte Produkte wie der ShuttlePro von Contour Design koexistieren daher friedlich mit anderen Eingabegeräten auf dem Schreibtisch, ja sie sind ausdrücklich für eine zweihändige Bedienung ausgelegt: Rechtshänder bedienen den Shuttle-Controller mit der linken Hand, während die rechte wie gewohnt für eine Desktop-Maus oder einen Eingabestift reserviert bleibt. Die rechte Hand ist dann für Aktionen wie das Markieren von Modellkomponenten, Auswählen von Menübefehlen oder Ändern der 3D-Ansicht zuständig. Bei Linkshändern ist es umgekehrt. Die zweihändige Bedienung erfordert ein wenig Übung, erlaubt aber ein schnelles und flüssiges Arbeiten.
62 Von der Betrachterperspektive hängt es ab, ob die Eingaben des Bedieners ein Objekt bewegen oder eine Kamera steuern. Wirken sich die Eingaben auf das Objekt aus, wird dieses bei einer Kippbewegung des Controllers in die entsprechende Richtung gedreht. Die (gedachte) Kamera behält ihre Position und Ausrichtung in der umgebenden Welt bei. 63 Bei einer Camera-Eye-Perspektive wirkt sich die Controller-Steuerung auf eine (gedachte) Kamera aus. Eine Kippbewegung nach links dreht die Kamera auf der optischen Achse gegen den Uhrzeigersinn. Das von ihr aufgenommene Bild scheint sich dadurch in die entgegengesetzte Richtung zu drehen – der Horizont kippt nach rechts.
3D-Maus
91
2.9
Controller im Auto Drehdrücksteller für Bordsteuerung mit spatialer Navigation
Automobilhersteller setzen bei den bordeigenen Multimedia- und Infotainmentsystemen auf Bedienkomponenten, die die Aufmerksamkeit des Fahrers trotz der immer weiter wachsenden Fülle an Funktionen möglichst nicht von der Beobachtung des Verkehrs ablenken. Eine dezente Zurückhaltung ist auch dringend geboten, denn die Bordsysteme erfüllen mittlerweile vielfältige Aufgaben rund um das Fahren wie die Zielnavigation, die Audiowiedergabe (Radio, von CD, von Speicherkarten oder über angeschlossene Audioplayer wie den iPod) und das Telefonieren, ja auch das Internet macht vor dem Automobil nicht halt. Und es wird an den Beifahrer gedacht: So verfügen neue Systeme über die Möglichkeit, das Display zu teilen, damit sich der Fahrer weiterhin visuell ans Ziel leiten lassen kann, während sich der Beifahrer die Zeit mit Spielfilmen vertreibt oder im Internet surft. Die Bildschirme mit Touch-Funktionalität auszustatten, wie es die Anbieter externer Navigationssysteme favorisieren, wird von den Automobilherstellern nicht als Nonplusultra angesehen. Touch-Monitore setzen zu ihrer Bedienung Sichtkontakt voraus, stellen also immer eine potenzielle Quelle für unerwünschte Ablenkung dar. Automobilhersteller setzen weiterhin auf Konzepte, die möglichst wenig Sichtkontakt mit dem Interface voraussetzen, zumindest was die Eingabemethode angeht. BMW, Audi, Mercedes und Co. kommen dabei zu sehr ähnlichen Lösun-
92
Gerätegestützte Interaktion
gen. Das BMW iDrive, Audi MMI oder Mercedes COMAND nutzen als zentrale Bedienkomponente einen sogenannten Drehdrücksteller in der Mittelkonsole zwischen Fahrer- und Beifahrersitz, der einfach und blind zu bedienen ist und von Tasten für häufig benötigte Funktionen gesäumt wird. Kombiniert mit einer Sprachausgabe wird sogar der kontrollierende Blick auf das Display überflüssig. Zusätzlich zu den mechanischen Freiheitsgraden der Controller wird verstärkt auf Touch-Eingabe gesetzt. Bei BMW ist die obere
GESTENPOTENZIAL
Drehdrücksteller Drehdrücksteller Zeigersteuerung: 4 Freiheitsgrade:
nein • axiale Drehung • Drücken • seitliches Kippen (transversal und sagittal)
Touch-Oberfläche Zeigersteuerung:
möglich
2 Freiheitsgrade für Fingerbewegungen:
xy-Positionierung
2 Zustände pro Finger:
• detektiert • nicht detektiert
Foto: Mit freundlicher Genehmigung der BMW AG
64
Deckfläche des iDrive-Controllers berührungsempfindlich, Audi gesellt zum Drehdrücksteller ein separates Touchpad.
64 Drehdrücksteller wie das BMW iDrive sind in der Mittelkonsole des Fahrzeugs neben dem Schalthebel untergebracht und lassen eine bequeme Bedienung mit der rechten Hand zu.
Automobiles Infotainment Die Controller im Automobil erinnern äußerlich an den Space Explorer von 3Dconnexion, unterscheiden sich aber etwas in der Mechanik und Funktionalität. Anders als bei der 3D-Maus sind die Drehdrücksteller frei um ihre senkrechte Achse drehbar. Für Kippbewegungen und horizontale Schiebebewegungen hingegen sind sie mit einer rückfedernden Shuttle-Mechanik ausgestattet. Die Hersteller gehen hier unterschiedliche Wege, aber auch von Modellgeneration zu Modellgeneration ändern sich die Bedienkonzepte. Ein Konzept von Audi basiert auf der Teilung des Controllers in einen frei drehbaren äußeren Ring und einen davon umschlossenen Joystick. Kippbewegungen werden dabei nicht mit dem gesamten Drehdrücksteller, sondern nur mit dem mittleren Joystick ausgeführt. Der äußere Ring bleibt derweil unbewegt Wie die Controller bei einer Menüauswahl zu bedienen sind, wird auf dem Display des Infotainmentsystems durch eine entsprechende Kreuzoder Kreisanordnung visualisiert. Rastpositionen
bei Drehbewegungen dienen dem Fahrer als haptisches Feedback bei der Bedienung. Das Bedienprinzip eines Drehdrückstellers ist denkbar einfach: Auswählen durch Drehen oder Kippen, Bestätigen durch Drücken (nach unten Richtung Mittelkonsole). Die User-Interfaces der automotiven Infotainmentsysteme basieren demgemäß auf dem Prinzip der spatialen Navigation mit einer strengen Menühierarchie. Die Bewegungen des Controllers sind direkt mit der Menühierarchie gekoppelt: Das Navigieren (will sagen: Verschieben der Fokusmarkierung) auf einer Menüebene geschieht per Drehen, das Eintauchen in die nächste Ebene durch Drücken. Die iDrive-Menüs verzichten für die Rückkehr zu übergeordneten Menüebenen auf eine separate Rücksprungoption. Stattdessen kann der Fahrer durch Antippen des Controllers nach links zur nächsthöheren Menüebene wechseln. Diese Rücksprungmöglichkeit wird im Interface durch die seitliche Überlappung der Menü-»Tafeln« visualisiert. Antippen nach rechts entspricht in der
Controller im Auto
86 †
130 †
93
© 104
Fotos: Mit freundlicher Genehmigung der BMW AG
65
Umkehrung dem Eintauchen in die Hierarchie. Alternativ bietet das iDrive-Interface eine Hardware-Taste für die Rückkehr zu übergeordneten Menüebenen an. Die Joystick-Funktion der Controller kommt unter anderem bei der Navigation mit dreidimensionaler Kartenanzeige zum Tragen. Das UserInterface wechselt dabei von der spatialen Navigation zu einer Camera-Eye-Perspektive, bei der der Fahrer einen erhöhten Standpunkt über der visualisierten 3D-Landschaft einnimmt – er schaut dabei also nicht aus seinem Fahrzeug heraus. Der Controller dient ihm als »Steuerknüppel« eines virtuellen Fluggeräts.
Touch-Eingabe Mit der Einführung von Touch-Oberflächen folgen die Hersteller nicht nur einem modischen Trend. Mithilfe von Touchpads lassen sich Eingaben weiter vereinfachen, etwa durch eine Handschriftenerkennung. Audi platziert ein separates Touchpad neben dem Drehdrücksteller, bei BMW ist die obere Deckfläche des Controllers berührungsempfindlich. Zur Eingabe eines Navigationsziels schreibt der Fahrer einfach die Anfangsbuchstaben des Orts auf das Pad, will er telefonieren, nimmt das Pad handgeschriebene Ziffern entgegen. Die Redundanz zu mechanischen Komponenten oder der (akustischen) Sprachsteuerung ist gewollt. Fahrer können eine Eingabemethode wählen, die ihnen persönlich mehr liegt oder die der aktuellen Verkehrssituation angemessen ist. Außerdem kann ein Touchpad auch
94
Gerätegestützte Interaktion
als Trackpad genutzt werden, über das der für das Surfen im Internet notwendige Mauszeiger bewegt werden kann. Zusätzlich zur spatialen Navigation führen Touch-Oberflächen en passant das Prinzip der Zeigersteuerung ein und machen Anwendungen möglich, die vorher außerhalb des Fokus einer Automotivanwendung lagen.
Steuerung externer Geräte Das Prinzip einer kombinierten DrehdrückEingabe gibt es in ähnlicher Weise auch beim klassischen Apple iPod. Ein flacher Touch-Ring ersetzt hier den Drehdrücksteller, aber er besitzt im Grunde dieselbe Funktionalität. Der Ring umschließt eine Taste, die eine getroffene Auswahl bestätigt. Er lässt sich zwar nicht kippen, besitzt aber vier im Kreuz angeordnete Druckpunkte, die mit festen Funktionen belegt sind. Die FahrzeugController und das User-Interface der klassischen iPods sind sich daher sehr ähnlich. Dieses Bedienprinzip ließe sich auch völlig von der Mechanik entkoppeln und komplett auf einem Touchscreen simulieren – was Apple beim iPod aber nicht getan hat. Wie man weiß, basieren die Touch-Varianten des iPod auf der mit dem iOS eingeführten Gestensteuerung, statt Scrollwheel findet man Touch-Interaktionsparadigmen wie Coverflow vor. Die klassische iPod-Steuerung wird von den Apple-Geräten mit Touch-Oberfläche gleichwohl unterstützt. Über das Feature iPod-out können die Infotainmentsysteme der Automobilhersteller auf die Musikbibliothek eines ange-
Fotos: Mit freundlicher Genehmigung der Audi AG
66
69
67
68
65 Die Steuerungsmöglichkeiten des iDrive-Controllers sind im Interface entsprechend visualisiert. Das runde Element visualisiert den Controller und zeigt seine aktuelle Belegung: Drehungen versetzen die Fokusmarkierung auf nachfolgende oder vorhergehende Menüpunkte. Mit einer Bewegung nach links kehrt der Fahrer zur übergeordneten Menüebene zurück, Schieben nach rechts aktiviert einen Punkt oder taucht in ein Untermenü ein. 66 Audi platziert links neben dem Drehdrücksteller und den darum angeordneten Tasten ein separates Touchpad für handschriftliche Eingaben. Das Pad erkennt Buchstaben (etwa zur Eingabe von Navigationszielen) und Ziffern (etwa zur Eingabe von Telefonnummern).
schlossenen iPods oder auch iPhones zugreifen. Die Musikauswahl geschieht dann nicht über das Interface des Audioplayers, sondern mithilfe des Drehdrückstellers im Fahrzeug. Alben, Wiedergabelisten, Interpreten und andere Inhalte des Audioplayers erscheinen im Design des jeweiligen Herstellers oder mit dem von Apple gewohnten Erscheinungsbild auf dem Display des Fahrzeugs.
67 Die Menüs des Audi MMI sind in gewohnter Listendarstellung aufgebaut. Anders als BMW »denkt« sich Audi die Menüs links vom Controller. Um die Fokusmarkierung nach unten zu verschieben, wird der Controller gegen den Uhrzeigersinn gedreht. 68 Perspektivische Darstellungen erleichtern das Verständnis, in welche Richtung der Controller gedreht werden muss. 69 Die Freiheitsgrade eines Drehdrückstellers: Drehen um die senkrechte Achse, Kippen in zwei Raumrichtungen (oder alternativ: Schieben) und Drücken nach unten.
Controller im Auto
95
2.10
Handheld-Geräte Gerätegestützte Gesten im Raum
Welche Vereinfachung wäre es, könnte man ein dreidimensional auf dem Bildschirm angezeigtes Objekt direkt mit der Hand anfassen und bewegen, ja quasi in den Bildschirm »heineingreifen«. Mehrere Fraunhofer Institute wie das Fraunhofer Institut für Angewandte Informationstechnik (FIT) oder das Heinrich-Hertz-Institut forschen seit längerem an Systemen, die eine Gestensteuerung mit der Visualisierung auf einem Großbildschirm verbinden. Dabei werden auch Systeme entwickelt, die dem Betrachter ein dreidimensionales Bild in den Raum vor dem Bildschirm werfen – also in seinen Gestenraum, in dem er seine steuernden Bewegungen ausführt. Microsoft hat mit Kinect für die Xbox 360 ein solches System mit Gestensteuerung zur Marktreife gebracht. Das System erfasst die Bewegungen eines Spielers über Kameras und berechnet daraus intern ein dreidimensionales Modell des interagierenden Menschen. Das System kann so Bewegungen des Körpers und der Gliedmaßen auf Figuren eines Spiels oder andere Objekte übertragen. Das Neuartige an Kinect ist der völlige Verzicht auf Eingabegeräte, das System funktioniert passiv nach Art einer intelligenten Umgebung. Bei Kinect bewegt der Spieler nur sich selbst und sonst nichts. Im hart umkämpften Spielemarkt positioniert sich Kinect gegen die Nintendo Wii, die bislang die »Ganzkörper«-Interaktion beherrschte. Kernkomponenten der Wii sind Ein-
96
Gerätegestützte Interaktion
gabecontroller, die der Spieler mitbewegt und in der Bewegung manipuliert – beispielsweise in dem er eine Taste drückt. Die Wii steht ganz in der Tradition gerätegestützter Interaktion. Die in der Hand gehaltene Fernbedienung misst während des Spiels die Eigenbewegungen und gibt die Informationen entsprechend an das Visualisierungssystem weiter. Ähnliche Ansätze gibt es bei Computer-Eingabegeräten wie der Logitech MX Air, einer DesktopMaus, die alternativ zur Tischanwendung auch frei in der Hand gehalten werden kann. Die Bluetooth-Maus verfügt über ein kleines Repertoire an speziellen »Luftgesten«, etwa zum Scrollen und Blättern und zur Steuerung eines Audioplay-
GESTENPOTENZIAL
Handheld-Gerät Handheld-Gerät Zeigersteuerung: 6 Freiheitsgrade:
möglich • xyz-Positionierung • Drehungen um die drei Raumachsen
Maus- oder Zusatztasten 2 Zustände:
• gedrückt • nicht gedrückt Tasten können ggf. kombiniert werden
Foto: Mit freundlicher Genehmigung der Nintendo of Europe GmbH
70
ers. Die Maustasten und Zusatztasten an der MX Air werden in die Gesten einbezogen und vergrößern so das Anwendungsspektrum. Mit der Aufrüstung der Smartphones durch leistungsfähige Bewegungssensoren können diese auch als Steuerungskomponenten für externe Hardware genutzt werden, nicht nur für Applikationen, die auf dem eigenen Display laufen. Apple hatte die erste Version seines Mobiltelefons bereits mit einem dreiachsigen Beschleunigungssensor ausgerüstet und damit Anwendungen vorausgedacht, die weit über die normalen Kommunikationsfunktionen eines Smartphones hinausgehen. Beim iPhone 4 fügte Apple ein Gyroskop hinzu, das neben Bewegungen auch Eigenrotationen erkennt – und folgte damit dem Wunsch vieler Spieleentwickler.
Gestisches Repertoire Es kommt nicht von ungefähr, dass die ersten Geräte, die Freihandgesten im Raum ohne zusätzliche Eingabegeräte unterstützen, ebenfalls den Spielemarkt bedienen. Der Spaßfaktor ist garantiert, doch für eine präzise Bewegungserfassung sind die optischen Erkennungssysteme noch zu ungenau, feinmotorische Bewegungen gehen in den großzügigen Toleranzen des Sys-
tems unter. In Kinect-Spielen kann ein Spieler nicht viel falsch machen – außer verlieren. Man stelle sich aber einmal vor, die Bedienung einer Produktionsmaschine oder das Steuern eines Fahrzeugs wäre über eine derartige FreihandGestensteuerung gelöst. Aspiranten für die erste Probefahrt dürften sich rar machen. Es ist keineswegs eine ausgemachte Sache, dass Systeme wie Kinect die gerätegestützte Interaktion à la Wii ablösen werden. Hier liegt keine Folgerichtigkeit vor, beide Ansätze haben ihre Vor- und Nachteile. Freihandgesten setzen immer ein ausgefeiltes Erkennungssystem voraus, dessen Aufgabe nicht nur darin besteht, Gesten korrekt zu erkennen, sondern auch alle Bewegungen, mit denen ein Bediener keine gestischen Absichten verfolgt, als irrelevant außer Acht zu lassen. Einsatzpunkt und Schlusspunkt einer Freihandgeste sind aber grundsätzlich schwieriger zu erkennen. Durch zusätzliche Interaktionsmöglichkeiten wie das scheinbar banale Drücken einer Taste an einem Handheld-Gerät wie der MX Air oder der Wii-Fernbedienung erhält der Bediener eine größere Kontrolle über die Interaktion. Statt sich auf die intelligente Umgebung verlassen zu müssen, kann er beispielsweise den Zeitpunkt für eine Aktion gezielt bestimmen. Durch die Diskretisierung seiner Bewegungen werden Gesten eindeutiger.
Handheld-Geräte
97
72
Das Wii-Prinzip Die Wii galt bei ihrer Einführung als eine Revolution, weil sie eine völlig neuartige Interaktion bei Computerspielen ermöglichte. Ein bisschen war sie das auch, denn die Wii lockte Computerspieler aus der klassischen Couchposition in die sportliche Interaktion. Zur wahren Meisterschaft genügte nicht mehr die Feinmotorik der Daumen allein. Spätestens bei Nutzung eines Balanceboards ist der gesamte Körper in Aktion. Wie andere Plattformen für Computerspiele auch, ist die Wii prinzipiell als Mehrbenutzersystem ausgelegt. Es können bis zu vier Fernbedienungen gleichzeitig an einer Konsole angemeldet werden. Darüber hinaus besteht die Möglichkeit, sich mit anderen Spielern auf der Welt für Online-Spiele über das Internet zu verbinden. Systemaufbau Um die Bewegungen eines Spielers im dreidimensionalen Raum synchron auf Objekte im User-Interface eines Spiels oder der Menüsteuerung zu übertragen, ist kein geringer technischer Aufwand notwendig. Das gestische Spielvergnügen der Wii basiert auf einer recht komplexen technischen Installation: • Fernseher: Der Fernseher ist das zentrale visuelle User-Interface, auf das hin sich alle Interaktionen des Spielers ausrichten. Die Wii
98
Gerätegestützte Interaktion
•
•
•
•
kann an Fernseher beliebiger Hersteller angeschlossen werden. Konsole: Die Konsole ist der »Computer« der Wii. Sie nimmt Spiele-DVDs auf, berechnet die Spieldynamik, überträgt das Bild an den angeschlossenen Fernseher und stellt bei Bedarf über WiFi eine Internetverbindung her. Fernbedienung: Die Fernbedienung ist das vorrangige Eingabegerät, mit dem ein Spieler mit der Wii interagiert. Sie tritt in vielen Spielen an die Stelle eines Spielobjekts: eines Tennisschlägers, einer Bowlingkugel, eines Basketballs usw. Auf die Besonderheiten der Fernbedienung wird weiter unten eingegangen. Nunchuk: Der Nunchuk ist ein zusätzliches Eingabegerät, das mit der Fernbedienung verbunden wird und weitere Steuerelemente wie einen Mini-Joystick und Tasten besitzt. Der Spieler hält die Fernbedienung in der einen und den Nunchuk in der anderen Hand. Sensorleiste: Die Sensorleiste dient zur Positions- und Abstandsbestimmung der Fernbedienung. Sie wird ober- oder unterhalb des Fernsehers platziert und ermöglicht so beispielsweise eine genaue Zeigersteuerung mit der Fernbedienung. Anders als der Name suggeriert, enthält die Sensorleiste keinerlei Sensorik. LED-Lampen an den beiden Enden der Leiste senden Licht im Infrarotspektrum aus, das von der Fernbedienung erkannt wird.
Foto links: Mit freundlicher Genehmigung von Logitech Inc.
71
Fernseher
73
Wii-Konsole
to ot h Bl ue
Infrarot
Sensorleiste
Spieler A
Fernbedienungen (mit oder ohne Nunchuk)
Spieler D Spieler B
• Balanceboard: Das Balanceboard ist ein Zubehör zur Wii, auf das sich ein Spieler mit beiden Füßen stellt. Das Board erfasst die Verlagerung des Körpergewichts und überträgt diese Information per Bluetooth an die WiiKonsole. Neben Spielen wie Skifahren nutzen auch Fitnessprogramme das körpergesteuerte Eingabegerät. Bewegungserkennung Zur Erkennung der Bewegungen, die der Spieler mit der Fernbedienung in der Hand ausführt, verfügt diese über einen dreiachsigen Beschleunigungssensor, der Bewegungsänderungen in allen drei Raumrichtungen erfasst. Da Beschleunigungssensoren auch die Neigung gegenüber der Schwerkraftachse erkennen, reagieren sie auch auf die meisten mit der Hand ausgeführten Drehungen. Die Fernbedienung kann daher die Bewegungsrichtung, die Beschleunigung der Bewegung, das Abbremsen und in gewissen Grenzen auch Drehungen an die Spielekonsole übertragen. Eigenrotation der Fernbedienung um die Schwerkraftachse werden vom Beschleunigungs-
Spieler C
70 Die Nintendo Wii hat MultiplayerSpiele mit Bewegungserkennung populär gemacht. Die Fernbedienung detektiert die Bewegungen der Hand im Raum und kann für eine zweihändige Bedienung mit dem sogenannten Nunchuk verbunden werden, einem Controller mit Joystick und zwei weiteren Tasten. 71 Auch für Desktop-Computer gibt es Eingabegeräte mit Erkennung von Raumgesten. Die Logitech MX Air gibt Handbewegungen an den Mauszeiger weiter oder steuert Wiedergabeparameter wie Bildfolge und Lautstärke. 72 Geschicklichkeitsspiele wie die iPhone-App Labyrinth machen das Smartphone selbst zum Spielgerät. 73 Der Systemaufbau der Wii aus der Vogelperspektive: Bis zu vier Spieler kommunizieren gleichzeitig mit der Wii-Station (hier für einen Spieler dargestellt). Die Spielsituation ist in der Regel streng zum Fernseher hin ausgerichtet.
Handheld-Geräte
99
74
© 114
100
sensor jedoch nicht erkannt, dazu wäre ein Gyroskop nötig. Diese Einschränkung wird aber durch die Infrarotpeilung zwischen Fernbedienung und Sensorleiste ausreichend kompensiert. Dank der Bewegungserkennung kann die Fernbedienung die Funktion eines Stellvertreterobjekts übernehmen, das an die Stelle eines Spielgeräts wie Tennisschläger, Bowlingkugel oder Basketball tritt. Zu ihrer Positionsbestimmung wird die sogenannte Sensorleiste benötigt, die nicht mit Sensoren, sondern mit InfrarotLEDs bestückt ist. Die LED-Leiste wird am oberen oder unteren Rand des Fernsehbildschirms angebracht und übernimmt die Funktion eines »Leuchtfeuers«. Das ausgesendete Infrarotlicht wird von für Infrarotlicht empfindlichen Bildsensoren der Fernbedienungen innerhalb einer Reichweite von fünf Meter erfasst. Mittels Triangulation kann die Wii so Abstand, Winkel und Querneigung für bis zu vier gleichzeitig genutzte Fernbedienungen in Bezug zum Fernseher bzw. der LED-Leiste berechnen. Die Infraroterkennung ermöglicht somit eine genaue Zeigersteuerung in den Menüs oder die Fernsteuerung von Objekten im Interface.
Gerätegestützte Interaktion
Bedienereingaben Abgesehen von der Bewegungssteuerung bieten die Eingabekomponenten der Fernbedienung dem Spieler weitere Möglichkeiten, mit dem System zu kommunizieren. Das Steuerkreuz und weitere Tasten dienen zum Aufrufen der Menüsteuerung, zum Navigieren, Auswählen, Bestätigen, Einstellen usw. Mit den Tasten lassen sich während eines Spiels bestimmte Ereignisse auslösen, die Aktionen in der Realität simulieren. Um beispielsweise einen Basketball in den Korb zu befördern, soll der Spieler mitnichten die Fernbedienung gegen den Fernseher werfen – so weit reicht der Realismus der Wii dann glücklicherweise doch nicht. Und hier endet auch die Rolle der Fernbedienung als Stellvertreterobjekt. Stattdessen bestätigt der Spieler in dem Moment eine der Tasten, in dem der Ball die Hand verlassen soll. Obwohl auch diese Interaktion ein wenig Geschick erfordert, erhebt die von Nintendo realisierte technische Lösung eben nicht den Anspruch, den Freiwurf eines Basketballs perfekt zu simulieren. Hier steht der Spaß und nicht eine Trainingssimulation im Vordergrund.
75
Rückmeldungen Die Rückmeldungen einer Wii konzentrieren sich natürlich auf den Fernsehmonitor, dort spielt die Musik bzw. passiert das eigentliche Spielgeschehen. Aber auch die Fernbedienung verfügt über Feedback-Komponenten. Ein Lautsprecher gibt ein akustisches Feedback, das in Kombination mit dem Hi-Fi-Sound des Fernsehers sogar einen gewissen Raumklang ermöglicht. Außerdem ist das Eingabegerät mit einem »Vibrationsalarm« ausgestattet – Nintendo nennt ihn das RumbleFeature –, der »unruhige« Bewegungen des Spielobjekts auf das Eingabegerät überträgt. Datenkommunikation Der Datenaustausch zwischen Wii-Konsole und Fernbedienung erfolgt über Bluetooth mit einer Reichweite von zehn Meter. Über die Funkverbindung übermittelt die Fernbedienung alle Bewegungsdaten und Eingabeaktionen, die der Spieler mit den Tasten an der Fernbedienung vornimmt. Sie gibt auch die Daten der Infrarotpeilung per Bluetooth zurück – die funktioniert jedoch nur innerhalb der geringeren Infrarot-Reichweite von fünf Meter.
74 Die translatorischen Freiheitsgrade eines für Raumgesten empfänglichen Eingabegeräts: Um geradlinige Bewegungen in allen drei Raumdimensionen zu erkennen, muss das Eingabegerät über einen dreiachsigen Beschleunigungssensor verfügen. Heutige Sensoren sind extrem feinfühlig und erkennen minimale Handbewegungen. Aus den Eigenbewegungen des Sensors lassen sich Rückschlüsse auf seine Neigung gegenüber der Schwerkraftachse ziehen, daher unterstützen Eingabegeräte mit Beschleunigungssensor auch neigungsabhängige Funktionen wie beispielsweise die Umschaltung zwischen Hoch- und Querformatanzeige. 75 Die rotatorischen Freiheitsgrade eines frei gehaltenen Eingabegeräts: Zum Erkennen von Eigenrotationen um die drei Raumachsen ist ein dreiachsiges Gyroskop Voraussetzung. Es detektiert auch die eigene Drehung um die Schwerkraftachse. In Kombination mit einem Beschleunigungssensor ist eine sehr genaue Bewegungsmessung möglich.
Handheld-Geräte
101
3
Prinzipien der Gestensteuerung
3.1
Betrachterperspektive Warum eine Unterscheidung von objektorientierten und kameraorientierten Gesten wichtig ist
© 110
104
Die Übersetzung der mit einer Geste ausgeführten Bewegung in eine Bewegung im Interface ist nicht ohne Weiteres eindeutig, und das hat nicht nur mit der Vielfalt an Möglichkeiten zu tun, sondern auch mit der Betrachterperspektive. Hinter diesem Begriff verbergen sich zwei Hauptprinzipien, die sich darin unterscheiden, ob die gestischen Handlungen direkt auf einen Inhalt des Interfaces einwirken oder vielmehr die Art und Weise betreffen, wie diese Inhalte präsentiert werden. Der Unterschied lässt sich an einem einfachen Beispiel verdeutlichen, dem Scrollen auf einer Website. Auf einem Touchscreen, sagen wir dem iPhone, scrollt der Bediener per Ziehgeste, die berührte Stelle auf der Webseite folgt dem Finger in die gleiche Richtung. Und ein kurzes Schnippen scrollt die Webseite in dieselbe Richtung, in die der Finger bewegt wurde. Hier kommt das Prinzip der Verankerung als eine Spielart der direkten Manipulation zur Anwendung, und somit handelt es sich um eine objektorientierte Betrachterperspektive. Die Webseite ist das Objekt, das vom Finger ganz natürlich wie ein Blatt Papier auf dem Schreibtisch bewegt wird. Anders verhält es sich mit Multitouch-Mäusen wie der Magic Mouse von Apple oder Trackpads: Bewegungen auf der Touch-Oberfläche der Multitouch-Maus sind zur Scroll-Bewegung des Webseiteninhalts gegenläufig. Wird der Finger auf der Multitouch-Maus nach unten bewegt (pardon:
auf den Körper des Bedieners zu), verschiebt sich der Inhalt der Webseite nicht nach unten, sondern nach oben. Beim Schnippen dasselbe: Mit einer kurzen Schnippen-Bewegung scrollt die Webseite in die entgegengesetzte Richtung. Die gestischen Bewegungen des Bedieners steuern, so kann man es auffassen, die Bewegungen einer (gedachten) Kamera, sie sind mit der Kamera synchronisiert, nicht mit dem Objekt, das sie abbildet. Das Fenster des Webbrowsers entspricht in diesem Modell dem Sucher der Kamera. Um den hergestellten Bezug zu Fotografie und Film beizubehalten, werden solche Gesten mit gegenläufiger Bewegung als kameraorientiert bezeichnet. Und wir sprechen von Camera-EyePerspektive, um zu betonen, dass der Betrachter wie durch den Sucher einer Kamera schaut, auch wenn die interaktive Anwendung das Modell einer Kamerasicht nicht explizit herausstellt (wie es beim Webbrowser der Fall ist). Die Betrachterperspektive einer interaktiven Anwendung basiert demnach entweder auf einer direkten Objektmanipulation oder dem Modell einer Kamerasteuerung. Die Betrachterperspektive betrifft also nicht nur den räumlichen Standpunkt, von dem aus ein Bediener auf die Szenerie eines Interfaces schaut, sie gibt auch an, nach welchem physikalischen Modell ein Interface oder eine Inferfacekomponente funktioniert. Die Betrachterperspektive ist daher mehr episch als räumlich zu verstehen.
Prinzipien der Gestensteuerung
R. Dorau, Emotionales Interaktionsdesign, X.media.press, DOI 10.1007/978-3-642-03101-4_3, © Springer-Verlag Berlin Heidelberg 2011
76
Da es für einen Bediener von großem Interesse ist, auf welche Art und Weise sich ein Interface in Bezug auf seine gestischen Bewegungen verhält, sollte es die Betrachterperspektive hinreichend verständlich machen. Ein Interface kann von beiden Betrachterperspektiven Gebrauch machen, aber häufige Wechsel können den Bediener verwirren, da sie nicht immer unmittelbar einsichtig sind.
Objektorientierte Perspektive Bei objektorientierter Perspektive werden alle gestischen Manipulationen des Bedieners in eine veränderte Position und Ausrichtung des Objekts innerhalb der Welt des Interfaces übersetzt. Als Modell kann hier eine reale Situation dienen, in der ein Mensch einen Gegenstand in die Hand nimmt, ihn dreht und an eine andere Stelle auf dem Schreibtisch stellt.
76 Die Scroll-Geste, bei der sich ein Objekt oder Inhalt an den Finger heftet und seinen Bewegungen folgt, geschieht aus einer objektorientierten Perspektive heraus. Der Bediener betrachtet die Manipulation analog zum Greifen oder Schieben eines realen Objekts, so wie man es mit einem Blatt Papier auf dem Schreibtisch ja tatsächlich durchführen kann.
Betrachterperspektive
105
© 110
© 116
Direkte Objektmanipulation Die direkte Objektmanipulation ist eng mit dem Prinzip der Verankerung verknüpft. Berührt der Finger ein Objekt, stellt das Interface eine »magnetische« Verbindung her, und das Objekt folgt den Bewegungen des Fingers. Die Objektmanipulation kann aber auch indirekt über Reglerkomponenten gelöst sein, etwa um die lineare Bewegung auf einem Touchscreen in eine Rotation des Objekts um seine eigene Achse zu übersetzen. Zur Transformation einer geradlinigen Bewegung in eine Drehbewegung darf die Geste auch über die Objektbegrenzungen hinausgeführt werden, was sich empfiehlt, wenn beispielsweise eine volle 360°-Drehung möglich sein soll. Hier wird das Prinzip der Verankerung außer Kraft gesetzt, denn dieses setzte sonst einen Gestenraum mit dritter Dimension voraus. Indirekte Objektmanipulation Oben wurde erwähnt, dass die kameraorientierte Perspektive gegenüber der objektorientierten gegenläufig ist. Daraus folgt aber nicht, dass jede Bewegung, die sich zur direkten Objektmanipulation gegenläufig verhält, automatisch kameraorientiert ist. Die Betrachterperspektive bleibt aber objektorientiert, solange es das Objekt ist, das die Bewegungen vollzieht, und solange das Auge des Betrachters als feststehend aufgefasst wird. Ob eine gegenläufige Bewegung auf einer kameraorientierten oder auf einer objektorientierten Perspektive mit indirekter Manipulation basiert, lässt sich für einen Betrachter nur entscheiden, wenn erkennbar ist, ob die Welt, in der sich das Objekt befindet, mitbewegt wird oder nicht. Bleibt die Welt feststehend, so wie das Auge des Betrachters, und verändert das Objekt seine Lage und Position relativ zu seiner Umgebung, handelt es sich um eine objektorientierte Perspektive. Bewegt sich stattdessen die Welt, ohne dass das Objekt seine Lage und Position darin verändert, liegt eine kameraorientierte Perspektive vor.
106
Prinzipien der Gestensteuerung
Camera-Eye-Perspektive Bei kameraorienterter Perspektive werden Aktionen des Bedieners im Sinne einer Kamerasteuerung interpretiert, das heißt, seine Gesten manipulieren nicht Lage und Ausrichtung eines Objekts im Interface, sondern verändern die Blickrichtung auf das Objekt und die Welt, in der es sich befindet. Als Analogie kann das Modell eines Kameramanns dienen, der sich mit einer Kamera durch eine Welt bewegt. Das von der Kamera aufgenommene Bild zeigt dabei eine veränderte räumliche Perspektive. Wenn man so will, ist die Kamera, durch die der Betrachter schaut, das »Objekt«, das manipuliert wird. Direkte Kamerasteuerung Die Bewegungen einer Camera-Eye-Perspektive sind zu einer direkten Objektmanipulation gegenläufig. Wenn die Kamera nach links bewegt wird, bewegt sich das Objekt im Bild scheinbar nach rechts – ohne tatsächlich die Position in seiner Welt zu verändern. Wird die Kamera um die optische Achse nach links geneigt, scheint der Horizont nach rechts zu kippen. Eine kameraorientierte Perspektive wird gegenüber einer objektorientierten oft als indirekter empfunden – nicht zuletzt, weil sie das Prinzip der Verankerung ausschließt. Bezugspunkt aller gestischen Bewegungen ist der Mittelpunkt der fiktiven Kamera (der Schnittpunkt aus optischer Achse und Bildebene), wobei das Interface dem Bediener klar machen sollte, ob seine Gesten in eine geradlinige Bewegung oder in eine Drehbewegung der Kamera münden. Abgesehen vom obigen Beispiel eines zweidimensionalen Scroll-Feldes begegnet uns die Camera-Eye-Perspektive in den Pseudo-3D-Welten der Computerspiele oder in Weltsimulationen wie Second Life. Pseudo-3D deshalb, weil sich der Bediener ja immer noch vor der Glasscheibe seines Monitors befindet, die die 3D-Welt zweidimensional abbildet, und nicht dahinter. Das Navigieren eines Fluggeräts, in dem sich der Betrachter scheinbar selbst befindet, durch die simulierte Welt erfolgt genauso aus einer Camera-Eye-Perspektive heraus wie das Steuern eines
77
77 Bei kameraorientierter Perspektive erfolgt die gestische Bewegung in entgegengesetzter Richtung zur Bewegung des Objekts oder der Inhalte. Das ist so, als würde man durch den Sucher einer Kamera schauen und die Kamera dabei schwenken.
78 Die Gegenläufigkeit der Bewegungen drückt sich auch im Sprachgebrauch aus: Wir scrollen »nach unten«, aber die Inhalte bewegen sich nach oben – und bringen so die weiter unten befindlichen Teile in die Anzeige.
Betrachterperspektive
107
78
Avatars durch virtuelle Städte und Landschaften. Für die Betrachterperspektive spielt es keine Rolle, ob der Bediener die virtuelle Welt dabei mit den Augen seines Avatars sieht oder eine fiktive Kameraposition im Rücken seiner virtuellen Repräsentanz einnimmt, solange die relative Lage der Kamera zum Avatar fix bleibt. Der Avatar ist dabei nichts anderes als eine vor das Kameraobjektiv gespannte Marionette des Bedieners. Kamerasteuerung mit Zielobjekt Eine veränderte Perspektive ergibt sich jedoch, wenn die Position der Kamera vom Avatar entkoppelt wird. Spiele und Weltsimulationen erlauben es dem Bediener, sich einen Überblick über eine Szene zu verschaffen, indem von der Avatarsteuerung auf eine Übersichtskamera umgeschaltet wird. Diese Darstellungsart gibt es auch in 3D-Modelling-Software, um komplette Szenen drehen und verschieben zu können. Damit ergibt sich eine Kameraperspektive, deren Bewegungen scheinbar objektorientiert sind, weil sie, wenn man die gesamte Szene ins Auge fasst, gleichläufig erscheinen – auf die Kamera bezogen sind sie aber gegenläufig. Anders als bei einer echten Objektsteuerung wird nicht das Objekt in seiner Welt, sondern die Welt mit dem Objekt bewegt. Diese Steuerungsart erscheint virtuellen Flugakrobaten, die am Schreibtisch sitzen, intuitiver, weil die Bewegungen mit der Landschaft im Blickfeld korrespondieren. Eine besondere Form der »weltorientierten« Perspektive ist die Zentrierung auf ein Objekt in der virtuellen Welt. Die Übersichtskamera verhält sich dann anders als eine normale Kamera: gestische Bewegungen haben nicht den Kameramittelpunkt zum Bezugspunkt, sondern einen Punkt außerhalb der Kamera, beispielsweise den Avatar, der wartend in der Landschaft steht. Die Kamera ist dann immer auf das Zielobjekt hin ausgerichtet, was dazu führt, dass seitliche Bewegungen seitens des Bedieners auf eine Orbitalfahrt um das Objekt eingeschränkt werden, denn nur so bleibt dieses stets im Zentrum des Bildes. Eine Kamera mit punktgerichteter Perspektive wird auch als Zielkamera bezeichnet.
108
Prinzipien der Gestensteuerung
Horizont und Himmelssphäre Bei bildschirmbasierten Interfaces beschreiben spätestens die Ränder des Monitors den Bildausschnitt, den der Bediener betrachtet. Wenn sich im betrachteten Ausschnitt nur ein einziges Objekt befindet, kann der Betrachter einer Objektdrehung nicht ansehen, ob sie das Resultat einer direkten Manipulation oder einer Kamerafahrt ist, die um das Objekt herum geführt wird. Hier wirkt sich eine Art »Relativitätsprinzip« aus: Ob sich das Objekt dreht oder die Kamera bewegt wird, ist für das entstehende Bild einerlei. Aber der Bediener ist, wenn er die Manipulation selbst vornimmt, in der Lage, die Drehung als Feedback auf seine Interaktion korrekt zu interpretieren. Dazu muss er nur die Drehrichtung des Objekts mit der Richtung der ausgeführten Bewegung vergleichen. Sind die Bewegungen gleichläufig, liegt eine objektorientierte Perspektive vor, sind sie gegenläufig, handelt es sich um eine kameraorientierte Sicht. Für einen passiven Betrachter ist die Sache nicht so einfach. Eine Drehung des Objekts um die eigene Achse und eine orbitale Kamerafahrt um das Objekt herum sind hinsichtlich ihrer visuellen Darstellung ununterscheidbar, solange es keine weiteren Anhaltspunkte für eine Raumorientierung gibt. Eine bessere visuelle Unterscheidung ist gegeben, wenn weitere Objekte im virtuellen Raum vorhanden sind oder wenn die virtuelle Welt mit einem Boden, einem Horizont und einer Himmelssphäre ausgestattet ist – oder einer anderen Visualisierung wie einem Raumgitter, das denselben Zweck erfüllt. Sobald ein Panoramahorizont oder räumlich interpretierbare Strukturen in der Szene enthalten sind, gibt es hinsichtlich der räumlichen Bewegung keine Unsicherheit mehr. Kamerafahrten sind dann an der veränderten Lage und Ausrichtung der Objekte zueinander oder an der scheinbaren Bewegung des Horizonts oder anderer Raumstrukturen zu erkennen.
79
79 Auch Drehungen, die per Ziehgeste ausgeführt werden, sind objektorientiert, wenn die Drehrichtung der Bewegungsrichtung des Fingers entspricht. Dieses Beispiel setzt für die Einfingergeste eine fixe Rotationsachse voraus. Die Sicht des Bedieners entspricht einer feststehenden Kamera, auch wenn diese im Interface selbst nicht visualisiert ist.
80 Bei Camera-Eye-Perspektive vollführt die (gedachte) Kamera eine Orbitalfahrt um das Objekt, um denselben Dreheindruck hervorzurufen. Die ausführende Geste ist zur objektorientierten gegenläufig, da sie auf die Schwerkraftachse der Orbitalfahrt bezogen ist. Ohne die Geste und ohne weitere optische Anhaltspunkte kann ein Betrachter nicht sicher entscheiden, ob eine Objektdrehung im Interface auf einer objektorientierten oder einer kameraorientierten Perspektive beruht.
Betrachterperspektive
109
80
3.2
Direkte Interaktion Über das Prinzip der Verankerung bei Multitouch-Gesten
Interaktionsdesigner stehen vor der nicht immer leichten Aufgabe, für bestimmte Aufgaben im Interface geeignete Gesten zu finden. Gesten sollen möglichst natürlich erscheinen und leicht zu erinnern sein. Dabei sind einfache Gesten komplizierten Gesten vorzuziehen. Die Suche nach der richtigen Geste für eine Aufgabe verlangt nach einer methodischen Vorgehensweise, nach der die Geste stimmig in das Gesamtkonzept der Anwendung eingebettet wird. Doch bevor es daran geht, das Ereignisprofil einer Geste zu definieren, steht zunächst die Entscheidung an, auf welchem Grundprinzip sie beruhen soll. Denn gerade angesichts unzähliger Möglichkeiten, Ereignisprofile zu definieren, sollte ein interaktives System auf wenigen Grundprinzipien beruhen, die sich nicht widersprechen. Eines dieser Prinzipien ist die sogenannte direkte Manipulation.
Direkte Manipulation als Verankerung Seit jeher wird die direkte Manipulation eines User-Interfaces als natürlichste Form der Interaktion betrachtet. Objekte direkt anfassen und bewegen zu können, entspricht der natürlichen Handhabung in der realen Welt. Allerdings lassen die meisten Interfaces ein räumliches Greifen nicht zu, und die direkte Manipulation gestaltet
110
Prinzipien der Gestensteuerung
sich mitunter gar nicht so direkt. Wir erinnern uns: Auch die Zeigersteuerung von Windows und Mac OS X per Desktop-Maus wird ja zu den Eingabemethoden mit direkter Manipulation gezählt, obwohl der Finger nicht das Objekt auf dem Bildschirm, sondern die Maustaste berührt. Die »indirekte« Manipulation per Maus hat aber trotz der eingeschränkten Freiheitsgrade des Eingabegeräts eine Vielzahl unterschiedlicher Gesten hervorgebracht, vielleicht sogar gerade wegen der indirekten Eingabe. Denn eine gerätegestützte Eingabe verliert ihre Natürlichkeit und begünstigt arbiträre Eingabemethoden, also solche, die sich nicht unbedingt aus der Sache ergeben. Touch-Interfaces kommen dem Anspruch an eine direkte Interaktion wieder ein Stück näher. Sie manifestiert sich hier in Form der Verankerung: Ein oder mehrere Finger berühren ein Objekt und stellen eine »feste Verbindung« zu ihm her. Dabei bleibt das Objekt am Finger »haften« und folgt seinen Bewegungen nach, bis die Verbindung wieder gelöst wird. Das Prinzip der Verankerung kommt bei Gesten zur Anwendung, deren Bewegung von natürlicher Bewegung abgeleitet ist, also bei allen Ziehgesten, die ein Objekt an einen anderen Platz im Interface versetzen, so wie man mit der Hand ein Blatt Papier von der linken auf die rechte Seite seines Schreibtisches legt oder verschiebt. Das Verankern ist die gestische Analogie zum Greifen oder
81
In-die-Hand-nehmen und zielt darauf ab, den Ort des Objekts im Interface oder seine Lage im (virtuellen) Raum zu verändern. Die Verankerung begegnet uns an vielen Stellen in User-Interfaces, etwa beim Ziehen von Objekten, beim Scrollen in Listen oder beim Verschieben einer Landkarte im sichtbaren Ausschnitt. Augenfälligstes Merkmal einer verankernden Geste ist die Gleichläufigkeit und Maßstabstreue von gestischer Bewegung und der Objektbewegung auf dem Bildschirm. Gleichläufige Gesten, die keine 1:1-Deckung der Bewegungen beinhalten, basieren stattdessen auf einer geometrischen Transformation – das gilt teilweise auch für die unten angesprochenen Modifikationen. Viele Multitouch-Gesten, die mit dem iPhone bekannt geworden sind, basieren auf dem Prinzip der Verankerung. Dazu zählt auch die pinchGeste, die durch eine auf- und zuziehende Spreizbewegung von Daumen und Zeigefinger die Größe von Bildern oder anderen Bildschirminhalten ändert. Beide Finger heften sich an die jeweils berührte Bildstelle und ziehen sie mit sich. Der Abstand der Finger zueinander bestimmt dabei direkt die Skalierung des Bildes. Gleiches gilt für die Rotieren-Geste, bei der Bilder mit Daumen und Zeigefinger um deren gemeinsamen Mittelpunkt gedreht werden. Skalieren und Rotieren können auch konfliktfrei miteinander kombiniert werden, das ergibt sich wie von selbst aus der Verankerung der beiden Finger.
81 Die klassische drag-and-drop-Geste ist ein Musterbeispiel für Verankerung. Sie kann mit einer zeigersteuernden Maus oder mit dem Finger auf einer TouchOberfläche ausgeführt werden.
Modifikation der Verankerung Verankernde Gesten stoßen gelegentlich an Grenzen. Wenn Objekte nicht über einen bestimmten Bereich des Touch-Interfaces hinausgezogen werden dürfen, müssen sie naturgemäß an den definierten Rändern stoppen, auch wenn die gestische Bewegung weiter geführt wird. Solange die Geste vom Bediener nicht beendet wird, ist die Verankerung nicht gelöst, sondern nur blockiert. Das Objekt sollte dem Finger wieder folgen, sobald dieser in den Bewegungsbereich des Objekts zurückgeführt wird. Auch im umgekehrten Fall können bewegte Objekte der Verankerung nicht treu bleiben, etwa wenn sie sich nicht von definierten Rändern entfernen dürfen. Diesen Fall kann man beispielsweise beim Scrollen in Listen beobachten: Wenn man an den Anfang einer Liste scrollt, stoppt diese, sobald der erste Listeneintrag auf dem Bildschirm erscheint. Es ist nicht möglich, die Liste komplett aus dem Anzeigebereich hinauszubewegen. Das Scrollen ist auf den Bereich zwischen Anfang und Ende der Liste eingeschränkt.
Direkte Interaktion
116 †
111
82 Schlusspunkt
Einsatzpunkt
Interface-Objekt
o
Synchronphase y p
83 Schlusspunkt
Einsatzpunkt
Interface-Objekt
o
Trägheitsphase g p mit Nachlaufen
o
SynchronSynchron y phase
84 Schlusspunkt
Einsatzpunkt
Interface-Objekt
o
Trägheitsphase g p mit Viskosität und Rückfederung g
Wo die Verankerung aufgrund einer räumlichen Einschränkung nicht eingehalten werden kann, lassen sich physikalische Trägheitseffek-
112
Prinzipien der Gestensteuerung
te simulieren, die ein abruptes Abbrechen der gleichläufigen Bewegung verhindern. Damit kann das System dem Bediener signalisieren, dass es
85
seinem Wunsch zwar prinzipiell Folge leisten würde, wenn es denn ginge. Apple nutzt solche Effekte im iOS: Beim Scrollen in Listen lösen sich diese mit einer »viskosen« Bewegung einen kurzen Moment vom Rand ab, um alsbald an diesen zurückzuschnellen. Viskosität und Rückfederung sind Beispiele für derartige Trägheitseffekte. Trägheitseffekte können auch erst wirksam werden, nachdem die Verankerung gelöst worden ist. Normalerweise sollte das verankerte Objekt an der Stelle liegen bleiben, an der es losgelassen wird. Bei allen Gesten aber, die dem Objekt einen Schwung geben, soll es sich nach dem Lösen der Verankerung weiter bewegen. Die Schnippen-Geste, bei der der ausführende Finger zum Ende der Geste hin beschleunigt und in der Bewegung abhebt, ist dafür ein Beispiel. Ob sich das Objekt, nachdem es den Bewegungsimpuls erhalten hat, wie eine Raumsonde mit konstanter Geschwindigkeit weiterbewegt und irgendwann in den Tiefen des Universums verschwindet oder ob seine Bewegung bis zum völligen Stillstand abgebremst wird, ist dann eine Frage des Designs. Abbremsen und Nachlaufen gehören ebenfalls zu den Rückmeldeverhalten, von denen Apple im iOS rege Gebrauch macht. Wacom bietet bei seinen Grafiktabletts einen sogenannten Präzisionsmodus an, der die Kongruenz der sonst gewohnten Verankerung des Mauszeigers modifiziert, indem Zeigerbewegungen auf halbe Geschwindigkeit skaliert werden.
82 In der verankernden Geste heftet sich das Interface-Objekt an den Finger und folgt ihm nach. Die Distanz, die das Objekt zurücklegt, entspricht exakt der Distanz, um die der Finger bewegt wird. 83 Bei der Schnippen-Geste hebt der Finger in der Beschleunigungsphase von der Touch-Oberfläche ab. Trägheitseffekte verhindern, dass das Objekt abrupt in seiner Bewegung stoppt. Stattdessen setzt es seine Bewegung fort, bremst dabei aber ab, bis es wieder still steht. 84 Darf sich das Objekt nicht von einer bestimmten Position entfernen, kann es durch ein viskoses Verhalten schon während der Geste ausgebremst werden. Sobald sich der Finger am Schluss der Geste von der Oberfläche abhebt, federt das Objekt in die Ausgangsposition zurück. 85 Bei der Zweifingergeste pinch-tozoom stellen beide Finger eine Verankerung her. Über den Abstand der Finger wird die Darstellungsgröße variiert.
Das erhöht die Genauigkeit der Eingabebewegung und erleichtert eine pixelgenaue Positionierung. Der Bediener kann per Tastendruck am Tablett zwischen normaler (kongruenter) Projektion und der skalierten Bewegung hin- und herschalten.
Direkte Interaktion
113
3.3
Stellvertreterobjekte Übertragung dreidimensionaler Bewegungen in Systemaktorik
© 110
© 64
114
Eng verwandt mit dem Prinzip der Verankerung ist die Steuerung eines Interfaces mit einem Stellvertreterobjekt. Das Stellvertreterobjekt steht, wie der Name schon sagt, stellvertretend für ein steuerbares Objekt im Interface. Statt dieses direkt zu manipulieren, manipuliert der Benutzer das Substitut. Dabei kann es sich um ein aktives Eingabegerät wie den Wii-Controller handeln, das Raumdaten oder andere Parameter wie Fingerpositionen oder Händedruck an das System übermittelt, oder um einen realen Gegenstand, der passiv von einem Detektor (z.B. einer Kamera) erkannt wird. Die Fernsteuerung eines Interface-Objekts durch ein Stellvertreterobjekt hat den Charakter einer »Ersatzhandlung«, und sie bietet sich vor allem in 3D-Interfaces an, wo der Interaktionsraum des Benutzers vom Anzeigebereich des Interfaces räumlich streng getrennt ist. Der Übergang von einem Stellvertreterobjekt zu einem normalen Eingabegerät ist fließend, aber nicht jedes Eingabegerät übt Stellvertreterfunktion aus. Die Wii-Fernbedienung beispielsweise repräsentiert je nach Spiel einen Tennisschläger, einen Golfschläger, einen Basketball oder eine Bowlingkugel. Bewegungsdaten werden vom Controller auf das Sport- bzw. Spielgerät übertragen, so als hätte man dieses selbst bewegt. Der Eingabestift eines Grafik- oder Monitortabletts hingegen hat keine Stellvertreterfunktion, da er nicht für ein anderes Objekt im
Prinzipien der Gestensteuerung
Interface steht. Zwar simuliert ein Eingabestift ein reales Werkzeug, aber damit ist nur die Funktionsbelegung des Mauszeigers angesprochen. Es existiert zum Eingabestift kein Pendant im Interface (vom Mauszeiger einmal abgesehen), anders als im Stellvertreterverhältnis zwischen der WiiFernbedienung und einem virtuell dargestellten Tennisschläger. Mobile Geräte mit Bildschirm können selbst als Stellvertreterobjekt dienen. Das Apple iPad beispielsweise ist je nach gestartetem Spiel ein Lenkrad, ein Holzlabyrinth oder eine Spielfigur. Solche Bewegungsspiele unterscheiden sich von reinen Touch-Anwendungen dadurch, dass das Gehäuse selbst als Steuerelement dient und seine Bewegungen an das Spiel übertragen werden. Voraussetzung für ungetrübten Spielspaß ist eine entsprechende Sensorik, also Beschleunigungssensoren und ein Gyroskop. Da sich das visualisierende Interface im bewegten Gehäuse des Tablett-PCs befindet und nicht räumlich getrennt ist, verschwimmen die Grenzen zwischen einer Stellvertretung und dem »eigentlichen« Aktor zunehmend. Interfaces mit Stellvertreterobjekten können zu den tangible user interfaces gezählt werden. Die tangible objects eines Surface-Computers wie dem Reactable stehen aber – und das ist ein wesentlicher Unterschied – nicht stellvertretend für etwas anderes, sondern ausschließlich für sich selbst.
86
86 Im Interface steuert das Stellvertreterobjekt ein ähnliches, aber nicht exakt gleiches Objekt. Der hier dargestellte »holografische Projektor« ist selbst nur visualisiert, reagiert aber auf alle Eingaben, die am Stellvertreterobjekt vorgenommen werden. Der Betrachtungswinkel des Bedieners auf den Projektor hängt davon ab, wie das Stellvertreterobjekt im Raum gehalten wird – der Projektor ist quasi frei im virtuellen Raum des Interfaces drehbar. Die Funktionen, die das holografische Bild beeinflussen, sind den farbkodierten Drehknöpfen des Stellvertreterobjekts zugeordnet.
87
87 Das Stellvertreterobjekt kann eine rein passive Komponente wie dieser Greifling sein, die ohne Batterien und ohne Datenkommunikation mit dem System auskommt. Das System muss dann über eine geeignete optische Erkennung oder Ultraschallsensorik verfügen und auf das Stellvertreterobjekt angelernt sein. Es ist nicht zwingend erforderlich, dass die Visualisierung im Interface eine hohe Übereinstimmung mit dem realen Stellvertreterobjekt aufweist, dessen Repräsentation kann auch sehr abstrakt sein. Wichtig ist, dass der Bediener versteht, wie er welche Funktionen mit dem Stellvertreterobjekt steuern kann.
Stellvertreterobjekte
115
3.4
Regler Welchen Einfluss die Geometrie von Skalen und das Stellverhalten eines Reglers auf die Wirkung einer Geste hat
© 110
116
Die moderne Gestensteuerung an MultitouchInterfaces spannt ein großes Feld an möglichen Eingabeprinzipien auf. Konservative Ansätze bilden die Funktion klassischer Stellkomponenten nach: Tasten, Drehregler und Schieberegler gehören zu Elementen, die dem traditionellen Modell eines Schaltpults verhaftet sind. Das soll nicht abwertend verstanden werden, es gibt wunderbare Beispiele für gutes Interaktionsdesign auf der Basis solcher klassischen Steuerelemente. Vor allem im Bereich der Audioproduktion haben es Interfacedesigner zu wahrer Meisterschaft gebracht. Es