Benutzererfahrungsgestaltung

XR Experience Design - UX mit Gesten

Ingmar Konnow

• 6 min read
XR Experience Design - UX mit Gesten
Design - UX with hands

Aktuelle VR- und XR-Headsets wie das Oculus Quest 2 und Pro, Pico 4 und das Focus 3 bieten die Navigation mit den Händen als Standardinteraktion und somit als Alternative zu Controllern. Die Bedienung, insbesondere für Mixed-Reality-Anwendungen, wird somit immer aktueller. Besonders für XR-Anwendungen, die dank der Passthrough-Funktion dem Benutzer die tatsächliche Realität zeigen, ist es sinnvoll, eine möglichst natürliche Interaktion zu verwenden.

Ich habe einige Informationen und Links zusammengestellt, die mir in der aktuellen Produktion geholfen haben. Seit etwa 3 Monaten arbeite ich mit meinem Team an einem Serious Game in Virtual Reality, das Handtracking als Standardinteraktion verwendet, um die GUI zu bedienen und zu navigieren. Verschiedene Gesten sind im Serious Game platziert, um dem Spieler zu helfen, sich trotz sitzender Position frei zu bewegen.

XR-Steuerungskonzept mit IR-Sensor

Die XR-Interaktion mit den Händen hatte ihren ersten großen Aufschwung im Jahr 2017. Dies war hauptsächlich auf die erste Version des LeapMotion zurückzuführen. Ein kompakter kleiner Infrarot-Tracker, der direkt mit einem USB-Kabel an das VR-Headset angeschlossen wird. Dadurch ist es relativ einfach, die IR-Daten an ein Rig in Unity oder Unreal zu übertragen, auf das ein 3D-Modell abgestimmt ist. Durch die Verwendung dieses zusätzlichen Geräts können Benutzer ihre Hände anstelle des Controllers für die Interaktion in Virtual Reality und Mixed Reality verwenden. Die neue Version davon heißt UltraLeap und wurde direkt in einige Geräte eingebaut (z.B. Varjo).

Interaktion mit der vierten Dimension

Klingt zunächst verrückt, ist aber auch schon vor ein paar Jahren passiert. Man muss sich jedoch keiner Illusion hingeben, es funktioniert noch nicht besonders effektiv und stabil. Die intuitive Schnittstellenbedienung, die Tom Cruise in Minority Report demonstrierte, kann noch nicht einmal ansatzweise erreicht werden. In Bezug auf Software und Hardware gibt es einfach noch nicht genügend Verfügbarkeit. Darüber hinaus hat sich das entsprechende Bewusstsein noch nicht entwickelt. Nur durch sehr häufige und anwendungsübergreifende Etablierung von Gesten entwickelt sich ein Bewusstsein für die Steuerung.

So wissen alle Smartphone-Benutzer, dass ein Wischen von oben nach unten eine Anwendung aktualisiert. Meistens muss die Scroll-Position dafür oben sein. Aber diese NUI "Aktualisierungsgeste" ist im allgemeinen Wissen angekommen. Das Gleiche gilt für die "Scroll"-Geste (Wischen von links nach rechts und umgekehrt) und die Bedienung des sogenannten Drawers, um allgemeine Menüs zu öffnen. Daher zieht man vom oberen Bildschirmrand nach unten und bei Apple-Geräten zusätzlich auch von unten nach oben, um so verschiedene einfache Buttons wie Stummschaltung, Flugmodus, WLAN usw. schnell erreichen zu können.

Bei VR-, AR- und XR-Geräten gibt es keine Standardgesten außer der Pinch-Geste (Zusammenführen von Daumen und Zeigefinger), die sich mit der Hololense etabliert hat. Die geräteübergreifende Verfügbarkeit von Handtracking wurde jedoch auch bis 2021 nicht bis zur nativen Integration entwickelt. Das von Meta bezeichnete Handtracking 2.0, das die Kameras am Headset verwendet (diese Kameras werden auch zur Umgebungserkennung verwendet), erweist sich als sehr effektiv. Mehr dazu, insbesondere aus technischer Sicht, im Vortrag von Robert Wang (Director of Research Science @Meta). Keine Sorge, nur die ersten 13 Minuten.

Die Präsentation hilft, den Prozess der Handerkennung mit KI-Verstärkung zu verstehen.

Bedienung von Schnittstellen mit den Händen

Aus UX/UI-Sicht gehört das Handtracking zur Kategorie der Natural User Interface (NUI) als "natürliche" Art der Bedienung von Schnittstellen. Obwohl Handtracking seit 2015 möglich ist, wurde die Bedienung von Anwendungen mit den Händen in VR und XR kaum genutzt. Dies könnte einerseits an der mangelnden Präzision der bisherigen Implementierung und andererseits an der mangelnden Anzahl von Anwendungsfällen gelegen haben.

  • Das "physische" Design interaktiver Elemente in VR sollte besondere Nutzungsmöglichkeiten bieten.
  • Jedes interaktive Objekt sollte auf jede Bewegung reagieren.
  • Notwendige Gesten sollten durch textbasierte Hinweise klar beschrieben werden.
  • Interaktive Elemente sollten angemessen skaliert werden.
  • Platzieren Sie Text und Bilder auf leicht gekrümmten, konkaven Oberflächen.

Keine Schnittstelle ist die beste Schnittstelle und die Interaktion mit den Händen fühlt sich immer natürlicher an. Da die Implementierung von Anwendungen, die mit den Händen bedient werden, sorgfältig geplant werden sollte, ist eine Pro-und-Contra-Bewertung notwendig.

Pro: Wann macht Handtracking Sinn?

Für kurze Interaktionen und Produktivitätsanwendungen kann Handtracking ideal sein. Aber diese Form der Interaktion kann auch in Spielen, Fitnessanwendungen sowie Marketing- und Messeanwendungen effektiv und unkompliziert sein.

Die "Ok, mach Handtracking"-Liste

  • Reduzierung der Hardwarekomplexität (zusätzliche Controller)
  • Objekte, mit denen "kurz" interagiert wird
  • Für Zahnräder, Kurbeln, Knöpfe und Schalter
  • Gesten und "Power Moves" (globale Effekte)
  • Zum Auslösen von Animationen

Contra: Wann macht Handtracking keinen Sinn?

Sobald es darum geht, virtuelle Objekte dauerhaft zu greifen und zu halten, sollten Sie sich auf die präziseren Controller verlassen, es sei denn, ein Handschuh für haptisches Feedback ist verfügbar.

Die "Mach kein Handtracking"-Liste

  • Schützen, gehaltene Schusswaffen & Feuerwaffen
    • Pistolen
    • Gewehre
  • Schneid- und Stoßwaffen, gehaltene Nahkampfwaffen
    • Schwert
    • Axt
    • Speer
  • Klettern und gegriffenes Klettern
  • Präzises Zeichnen, Modellieren

Handschuhe für haptisches / wahrnehmbares Greifen

Es sollte eine Lösung geben, die länger andauerndes Greifen ermöglicht, oder? Tatsächlich gibt es die. Wenn Sie beim Anschauen von Minority Report genau aufgepasst haben, werden Sie bemerkt haben, dass Tom Cruise Handschuhe für die Interaktion trägt. Es sind bereits mehrere Handschuhe erhältlich, die Exoskelette sowie, kompakter, Kunststoffkonstruktionen um einen Handschuh verwenden, um Benutzern zu helfen, Interaktion mit haptischem Feedback zu kombinieren.

Das bedeutet, wenn in der virtuellen Welt etwas gegriffen wird, fühlt es sich für den Benutzer real an, weil der Handschuh Widerstand simuliert.

Manus**** Quantum Metagloves, zu einem Preis von $5.999. Diese Handschuhe unterstützen hochpräzises Fingertracking durch absolute Fingerspitzenpositionierung.

Wie bereits mit dem Hinweis auf die Interaktion in Minority Report umrissen, können haptische Handschuhe verwendet werden, um sehr präzise Realisierung von Finger- und Handbewegungen in Echtzeit zu realisieren. Das bedeutet, dass Modellieren, Zeichnen oder sogar das Bedienen komplexer Robotersysteme oder Maschinen vollständig möglich ist. - Sogar medizinische Anwendungen können davon profitieren. Leider ist der Kaufpreis (1000 - 7000 Dollar) dieses Gadgets derzeit noch zu hoch für den Verbrauchermarkt.

XR-Erlebnisse mit Handtracking

Metas First Hand Demo demonstriert die Effektivität von "Handtracking 2.0".

Offizielle Handtracking-Demo mit dem Presence Platform Interaction SDK

Die Steuerung mit Gesten anstelle der Buttons der Controller in VR ist noch eher experimentell. Wie bereits im Laufe dieses Beitrags beschrieben, liegt dies am Erwartungshorizont und der Verfügbarkeit von Geräten, die Handtracking unterstützen. Das bedeutet, dass Sie eigentlich von Anfang an eine Lernkurve antizipieren und planen sollten.

Es gibt jedoch eine sehr begrenzte Anzahl von Gesten, die sich Benutzer merken können. Daher ist es sinnvoll, beim Entwickeln von Bewegungssteuerungen eine Basis zu schaffen. oder zu versuchen, Gesten für erweiterte Funktionen zu kombinieren.

Ein noch besserer Ansatz ist die Entwicklung spezifischer Hinweise (z.B. eine Darstellung einer Geste), auf die Benutzer reagieren, so dass eine bestimmte Pose oder Bewegung nicht neu erlernt werden muss.

Da Menschen ihre Körpersprache physisch auf unterschiedliche Weise ausdrücken, funktionieren Gesten oft nicht für jeden gleich. Eine Person überstreckt ihre Hand beim Greifen, während eine andere ihr Handgelenk leicht nach innen dreht.

Durch Testen, Vergleichen und Beobachten habe ich festgestellt, dass der absolut beste Weg darin besteht, die eigenen Gesten des Benutzers zu erfassen. Dies geschieht, indem dem Benutzer die Geste gezeigt und er aufgefordert wird, sie zu wiederholen, und dann die Geste kalibriert wird.

Die Zukunft des Handtrackings & Gestensteuerung

Die stetige Verbesserung der Präzision des Handtrackings kann zunehmend genutzt werden, um Gesten zu etablieren. Insbesondere die Mixed-Reality-Anwendungsfälle sind hierfür ideal und es ist nicht nur von den Headsets abhängig. Es gibt bereits Forschungen, die die Effektivität der Gestensteuerung mit Smartphones demonstrieren. Im direkten Vergleich mit der Hololense 2 (Handgestensteuerung für Smartphonebasierte Augemented Reality Anwendungen) hat sich HGR (Hand Gesture Recognition) als ebenso effektiv erwiesen.

Der VR-Action-Roguelite-Titel Ghost Signal: Ein Stellaris Game wird Hand Tracking 2.0 unterstützen - angekündigt für Anfang 2023!

Die KI-Entwicklung hat insbesondere im Jahr 2022 erhebliche Fortschritte gemacht. Native Handtracking-Unterstützung ist beispielsweise zum Standard geworden. Angenommen, mehr virtuelle Inhalte wie Ghost Signal, die mit Handtracking bedient werden können, werden tatsächlich jetzt entworfen, steht der nächsten Evolutionsstufe der bedienbaren Schnittstellen nicht viel im Wege.

Die zunehmende Verfügbarkeit von Eye-Tracking-Fähigkeiten wird ebenfalls eine bedeutende Rolle bei der Interaktion mit virtuellen Inhalten spielen. Nicht nur für die Interaktion, sondern auch für effektives UX-Testen, ohne den Benutzer aus dem Erlebnis herauszunehmen.

Aber es ist noch ein langer Weg vom aktuellen Zustand zu wirklich komfortablen Steuerungen (z.B. Maus und Tastatur) mit Handtracking. Aber was mit Sicherheit bestätigt werden kann: Wir werden in Zukunft nicht in einem völlig leeren Raum sitzen und die Büroeinrichtung wird auch so weit wie möglich bleiben. Es bleibt die Tatsache, dass eine bequeme Sitzposition und Unterstützung sehr wichtig sind, um über einen längeren Zeitraum produktiv arbeiten zu können.

Quellen und Referenzen

MagicLeap / UltraLeap
Manus
Meta