Haptische User Experience | anjabuchmaier.com

Bachelor-Thesis

Wie haptische User Experience das Lern- und Nutzererlebnis beeinflusst

Der Tastsinn ist für das menschliche Überleben wichtiger als die Sinne Sehen, Hören, Riechen und Schmecken. Er ist auch der einzige Sinn, welcher uns in unserem Alltag am wenigsten behindert auch wenn wir, über den Tag verteilt viele verschiedene bewusste und unbewusste Reize aufnehmen. Sowohl in der Automobilbranche, welche haptisches Feedback in Lenkrädern einsetzt, als auch in der Gaming Branche durch beispielsweise Dual-Sense Controller wie die von Sony, findet man erste haptische User Experience die das Lern- und Nutzererlebnis beeinflussen. Doch wie werden verschiedene Reize von der Haut und dem Körper angenommen und im Gehirn verarbeitet? Wie werden all die Erlebnisse, Informationen und Sinneseindrücke in unserem Gehirn miteinander verknüpft und abgespeichert? Welche Arten von haptischer Wahrnehmung gibt es und wie können wir uns diese zu Nutze machen um das Lern- und Nutzererlebnis zu zu steigern? Welche Tools gibt es um möglichst einfach haptisches Feedback abzubilden und zu testen? Und welche technischen Komponenten werden hierfür benötigt? Diese und weiter Fragen habe ich in meiner Bachelor-Thesis bearbeitet.

Die menschliche Wahrnehmung & Verarbeitung

Wir können taub, stumm und gehörlos sein, mit unseren Händen beziehungsweise unserem ganzen Körper können wir trotzdem die Welt um uns herum wahrnehmen. Schon als Embryo mit einer Größe von neun bis 16 Millimetern entwickelt ein Mensch ab der siebten Schwangerschaftswoche Berührungsreize an den Lippen. In diesem Stadium sind weder innere Organe noch andere Sinneswahrnehmungen vollständig ausgebildet. Der Tastsinn oder vielmehr die Berührung mit und zu anderen Menschen ist ein wichtiger Kommunikationskanal und elementar für unsere Entwicklung. Die Fähigkeit, Berührungen wahrzunehmen, Wärme, Kälte, Vibration und Druck zu differenzieren lässt sich auf die haptische Wahrnehmung zurückführen.

Hierbei unterscheidet man in drei unterschiedlichen Kategorien:

Zum einen die Exterozeption beziehungsweise Oberflächensensibilität, das sind Umweltreize die wir über die Berührung der Haut am ganzen Körper wahrnehmen. Dazu gehören ebenfalls die Reize die wir beim Sehen, Hören, Riechen und Schmecken wahrnehmen. Innere Reize und Eindrücke, auch Interozeption genannt, nehmen wir durch unsere Muskeln, Sehnen, Gelenke und inneren Organe wahr, beispielsweise beim Laufen. Besonders essenziell für immersive Erlebnisse ist die letzte Kategorie der haptischen Wahrnehmung, denn je stärker die Effekte körperlicher Eigenempfindung, desto besser die subjektive Selbstwahrnehmung- und verortung im immersiven Raum. Somit beschäftigt sich die Propriozeption bzw. Tiefensensibilität mit der Körperbewegung und -lage im Raum. [1]

Doch wie erkunden wird genau einen Gegenstand?

Ein Mensch erkundet einen Gegenstand oder eine Oberfläche immer ganz genau. Mit den Händen werden dabei viele verschiedene Prozeduren durchgeführt. Die sogenannten explorativen Prozeduren. [2]

Lateral Motion (Texture)

Wenn ein Mensch die Textur bzw. Oberfläche eines Objekts erkundet, wird meistens eine seitliche Streichbewegung ausgeführt.

Je nachdem, was erkundet wird, variieren die Bewegungen. Beispielsweise wird bei einer glatten Oberfläche mehr Kraft zum Untergrund aufgebaut als bei einer rauen Oberfläche.

Unsupported Holding (Weight)

Das Gewicht wird erforscht, indem das Objekt in die Hand genommen und eine Auf- und Ab Bewegung durchgeführt wird. Diese Exploration wird auch genutzt, um das Gewicht von zwei Objekten miteinander zu vergleichen.

Contour Following (Global/Exact Shape)

Um eine Kante eines Objektes zu bestimmen, wird mit einem Finger entlang einer Kontur eines Objektes gefahren. Diese Nachzeichnung der konturierten Oberflächen eines Objektes liefert genaueste räumliche Details darüber.

Pressure (Hardness)

Um festzustellen, wie hart oder weich ein Objekt ist, wird mit einem oder mehreren Fingern Druck auf dieses ausgeübt. So kann erfasst werden, wie hoch die Kompressibilität (Zusammendrückbarkeit) des Objektes ist.

Static Contact (Temperature)

Um die Temperatur eines Objektes zu erfassen, wird beispielsweise die Handfläche, ohne diese zu bewegen, auf dessen Oberfläche gelegt. Der Wärmefluss, der dabei entsteht, gibt Informationen darüber, wie warm oder kalt dieses Objekt ist.

Enclosure (Global shape/Volume)

Die wohl effizienteste Art, ein Objekt zu beurteilen, ist es komplett mit der Hand zu umschließen. Hierdurch kann die globale Form oder das Volumen bestimmt werden.

All diese explorativen Prozeduren verwendet ein Mensch spontan und unbewusst. Ein Objekt kann sowohl aktiv als auch passiv erkundet werden, genauso wie es aktiv oder passiv wahrgenommen werden kann.

Aktive Erkundung ist beispielsweise die Beschaffenheit der Tasse zu erkunden. Passive Erkundung ist alles, was ein Mensch nicht aktiv und bewusst erkundet wie beim Spielen den Kontroller.

Passive Haptik bedeutet kein aktives Feedback von dem Gegen- stand zu bekommen. Im Beispiel der Tasse, erhält der Mensch kein Feedback durch beispielsweise Vibration. Ein Kontroller im Gegen- satz dazu, kann über haptisches Feedback aktiv haptisch etwas an den Nutzenden übermitteln.

Weitere bekannte Anwendungsgebiete von Aktiver Haptik sind neben dem Spiele-Kontroller auch Smartphones. Durch Vibra- tionsfeedback bei einer Benachrichtigung oder beispielsweise dem Force Feedback des Home Buttons vom iPhone erhalten Nutzende jederzeit Kenntnis darüber, was gerade passiert ist. [3]

Lernen durch alle Sinne

Mehrkanaliges Lernen verbessert den Lernprozess deutlich, denn je mehr Sinne sowohl bei der Vermittlung als auch beim eigenständigen Lernen angesprochen werden, desto höher der Lernerfolg und die Informationsverarbeitung. Eine Studie des Max-Planck-Instituts für Kognitions- und Neurowissenschaften hat herausgefunden, dass sich multisensorisches Lernen in einer gesteigerten Hirnaktivität und einer Vielzahl an neuen Verknüpfungen widerspiegelt. Das Gehirn lernt somit leichter, wenn mehrere unterschiedliche Sinnesorgane angesprochen werden, wie am Beispiel der Studie zu erkennen ist. Denken und Erkennen, Erinnerung, Kombination, Lernen und Vergessen, all das spielt sich in der Großhirnrinde ab.

Lernen ist immer aktiv, deshalb stellte Richard E. Mayer die kognitive Theorie des multimedialen Lernens auf. [4] Diese nimmt an, das verbale und non-verbale Informationen verschiedene Schritte durchlaufen. Wie in der Grafik zu sehen gibt es zunächst eine Multimediale Präsentation in Form von einem Bild und einem Text. Dies wird an die jeweiligen sensorischen Speicher weitergegeben, beziehungsweise aufgenommen. Gehen wir davon aus wir lesen mit jemand zusammen ein Kinderbuch. So sehen wir die Bilder und den Text beziehungsweise hören auch die Geschichte die uns vorgelesen wird. Da der sensorische Speicher begrenzt ist und neue Informationen nur für eine sehr kurze Zeit aufnehmen kann, filtert er die für ihn wichtigen Informationen und gibt sie direkt an das Arbeitsgedächtnis (oder auch bekannt als Kurzzeitgedächtnis) weiter.

Das Arbeitsgedächtnis ist der zentrale Ort der Informationsverarbeitung, bevor die Information an das Langzeitgedächtnis weitergeleitet wird.

Die Informationen werden aus visuell/bildhaften und auditiv/verbalen Kanälen selektiert, danach in verschiedene Modelle organisiert, um sie anschließend zu einem gemeinsamen Modell zusammenzuführen und zu integrieren. Das Langzeitgedächtnis reichert diese Informationen entweder mit vorhandenen Wissen an oder speichert diese im semantischen, episodischen Gedächtnis. Das semantische Gedächtnis merkt sich zum Beispiel welches was die Hauptstadt von Deutschland ist, während das episodische Gedächtnis sich die Erinnerung an das Gefühl beim ersten Kuss merkt.

Technische Komponenten & Konzept

Wir wissen jetzt wie wir etwas wahrnehmen und wie Reize verarbeitet und gespeichert werden. Jetzt stellt sich die Frage wie kann haptische Wahrnehmung in den Alltag integriert werden? Wie schon erwähnt wird Haptik in der Gaming Branche in den Controllern verwendet, aber auch in der Automobilbranche setzen die Autohersteller auf Vibration im Lenkrad um den Fahrenden auf etwas hinzuweisen. Ich möchte nun darauf eingehen welche Möglichkeiten es gibt, haptische Wahrnehmung im Kontext des Lernens einzubinden. Zunächst gehe ich aber auf die technischen Komponenten ein.

LRA

Bei diesen Aktoren wird ein Magnet durch eine Schwingspule an eine Feder gedrückt. Diese werden auch Schwingspulenaktoren genannt und funktionieren ähnlich wie Lautsprecher. LRAs besitzen eine bestimmte Resonanzfrequenz und benötigen Wechselspannung. Dadurch ist es möglich, die Amplitude zu beeinflussen, ohne die Frequenz bis zu einem gewissen Grad zu stören. Durch beliebig erzeugte Wellenformen mit schnelleren Reaktionszeiten als ein ERM, liefern sie gezielter und sauberer Rückmeldung und sind somit beispielsweise in Smartphones und kleineren Geräten zu finden. [3]

ERM

ERM-Vibrationsmotoren sind Gleichstrommotoren und die älteste Form, haptisches Feedback zu erzeugen. Eine kleine rotierende Masse, welche exzentrisch auf einer Welle angebracht ist, erzeugt durch die Drehbewegung zum Gehäuse eine Schwingung, die von einem Nutzenden als Vibration wahrgenommen wird.[3]

hapticlabs.io - Satellit

Das DevKit von Hapticlabs.io besteht aus einem Satelliten, einer Desktopanwendung und Guidelines. Vorteile dieses Toolkits, man hat keine komplexe Schaltungen und Aktoren wie beispielsweise ein LRA oder ein ERM können über einfaches einstecken ausprobiert werden.

Über einen USB-C-Anschluss oder über eine am Stromquellenanschluss angebrachte externe Batterie kann der Satellit mit Strom versorgt werden und ist somit auch portabel. Zusätzlich besteht die Möglichkeit über den Input/Output-Anschluss externe Trigger anzuschließen wie beispielsweise einen externen Touchsensor oder Buttons. [5]

hapticlabs.io - Anwendung

Es können in der Anwendung verschiedene Mustersets angelegt werden. Diese können über die drei Optionen Puls, Vibration und Pause sowohl dauerhafte Vibrationen als auch pulsierende Muster darstellen. Ebenfalls einstellbar sind die Intensität, die Frequenz und die Dauer der Vibration. Um die Vibrationsmuster abspielen zu lassen, kann man sie den jeweiligen angeschlossenen Aktoren zuweisen. Dies funktioniert sowohl einzeln als auch gleichzeitig. [5]

Aufbau Übersicht

Um den gesamten Aufbau der Tools kurz zu erläutern, hier eine kleine Übersicht:

Neben dem Hapticlabs Toolkit wurde auch ein Arduino verwendet, an den eine LED und ein Drehregler angeschlossen sind. Diese sind über USB mit einem Computer verbunden.

Das Designtool Figma liefert das Benutzeroberflächen-Design für einen Slider, der über den physischen Drehregler des Arduinos gesteuert werden soll.

Um dies möglich zu machen, wurde die Anwendung Blokdots hinzugezogen, die eine Verbindung sowohl zum Arduino als auch zum Hapticlabs Toolkit herstellt. Somit fungiert Blokdots als Schnittstelle bzw. Verbindung zwischen den einzelnen Komponenten.

Aufbau Beispiel + Test

Um es an einem Beispiel zu verdeutlichen:

In Blokdots können durch schrittweise Sätze einfache Bedingungen oder Zuordnungen aufgebaut werden. [6]

Als Beispiel nehmen wir den Potentiometer bzw. den Drehregler. Hierbei gilt: Wenn er über 400 Einheiten dreht, soll das Haptiklabs Toolkit Track 1 abspielen, was wiederum das Vibrationsmuster 1 auslöst.

Gleichzeitig soll er sich bei der Drehung bewegen und den Slider von Figma steuern. Die LED wird in diesem Fall genauso wie das Toolkit oder Figma durch eine Bedingung gesteuert und fungiert quasi als Kontrollleuchte.

Konzept

Der Prototyp zeigt ansatzweise, was alles möglich ist und in welche Richtung das Ganze gehen kann. In einem Beispielkonzept habe ich das Ganze dann in den Kontext des Lernens gesetzt, um zu sehen, wie es eingesetzt werden könnte.

Denn auch in Schulen werden derzeit haptische Medien verwendet, wie beispielsweise ein anschauliches Molekülmodell, das Schülerinnen und Schüler selbst im Unterricht zusammenbauen und dadurch haptisch erfahren können. Durch den Einzug von Digitalisierung an Schulen gibt es ebenfalls immer mehr sogenannte iPad-Klassen.

Darum bezieht sich dieses Konzept auf ein Tablet.

Am Beispiel einer Eule kann neben einem kurzen informativen Text und dem Bild der Eule auch Vibrationsmuster über einen externen Gegenstand wie einen Würfel oder Ball abgespielt werden lassen. Diese haben die Funktion, den Schülerinnen und Schülern die Laute der Eule "uhuu, uhuu" haptisch erfahrbar zu machen. Durch ein zusätzliches Audiofile können sie den Ruf der Eule dann genauer anhören.

Das Ziel besteht darin, zusätzliche Informationen über weitere Sinneskanäle mitzugeben, sodass diese mit dem Bild und dem Text im Langzeitgedächtnis verankert werden können. Somit werden, wie in der Cognitive Load Theory of Multimedia Learning, mehrere Sinne angesprochen, was die zusätzliche Aufnahme und Verknüpfung von neuen Lerninhalten fördert. Dieses Konzept ist nur eine von vielen verschiedenen Möglichkeiten, wie haptisches Feedback im Bildungsbereich eingesetzt werden kann.

Fazit

Der Tastsinn entscheidet darüber, ob der Mensch etwas als warm und angenehm empfindet oder als kalt und unangenehm. Er beeinflusst auch wie Reize miteinander im Gedächtnis verknüpft werden und ob diese Verknüpfungen positiv oder negativ sind.

Gerade beim Lernen ist es wichtig viele verschiedene Sinne einzusetzen, und nicht wie es von Lerntypen Theoretikern erforscht wurde nur den einen richtigen Sinn.

Die Haptische Wahrnehmung erhält in der Gesellschaft, der Forschung und in der Industrie einen immer größeren Stellenwert.

Aufgrund des hohen Entwicklungsaufwands und den sehr teuren Bauteilen, wie beispielsweise die piezoelektrisch betriebenen Touch Displays, ist Haptik jedoch nur sehr selten Teil von Produkten und Projekten.

Blickt man auf den Stand der Dinge ist die Haptik aber ein integraler Bestandteil in vielen verschiedenen Bereichen wie der Automobilbranche, der Medizin oder auch der Inklusion von Menschen. Großes Potential hat auch der Bereich Lernen und Bildung, durch die IPad-Klassen. Lehrer:innen haben die Möglichkeit, Schüler:innen, durch zusätzliche haptische Wahrnehmung, ein immersiveres Lernerlebnis zu bieten.

Jedoch müssen Toolkits als auch die Software dazu einfacher, intuitiver und vor allem zugänglicher für Nutzende ohne Technischen Background werden. Auch die Anbindung und Einbindung in Lerninhalte müsste noch erweitert werden, damit diese in den Lernalltag einfach integrierbar sind.

Also es bleibt spannend denn im Feld der haptischen Wahrnehmung tut sich gerade viel.

Projekt: Bachelor-Thesis

Thema: Wie haptische User Experience das Lern- und Nutzererlebnis beeinflusst

Semester: 10. Semester

Betreuer: Prof. Thorsten Hinz, Sven Lindauer

[1]: S. Sprenger, Haptik am User Interface, Bd. 73. Bielefeld, Germany: transcript
Verlag, 2020

[2]: L. A. Jones, Haptics. Massachusetts: The MIT Press, 2018

[3]: T. Müller, „Designing with Haptic Feedback“, Masterthesis, Umeå University, Umeå Institute of Design, Umeå , 2020

[4]: R. Moreno und R. Mayer, „Interactive multimodal learning environments: Special issue on interactive learning environments: Contemporary issues and trends“

[5]: https://www.hapticlabs.io/devkit

[6]: https://blokdots.com/