XR Experience Design - UX mit Gesten

Pinch statt Controller: wann Handtracking in XR wirklich Sinn ergibt — und wo es an Präzision, Gewohnheit und schlichtem Greifen scheitert.

Ingmar Konnow

• 7 Min. Lesezeit
Teilen
XR Experience Design - UX mit Gesten
Design - UX with hands

VR- und XR-Headsets wie Meta Quest 3/3S, Apple Vision Pro, Samsung Galaxy XR oder Pico 4 Ultra bieten Handtracking als Standardinteraktion — als Alternative zu Controllern oder, wie bei Vision Pro und Galaxy XR, als primäres Eingabemodell. Gerade für Mixed-Reality-Anwendungen, die dank Passthrough die tatsächliche Umgebung zeigen, ist eine möglichst natürliche Interaktion sinnvoll.

Zusammengestellt habe ich hier die Informationen und Links, die mir in der Produktion eines Serious Game für einen Kunden geholfen haben — Handtracking war dort die Standardinteraktion für GUI-Bedienung und Navigation. Verschiedene Gesten erlaubten dem Spieler, sich trotz sitzender Position frei zu bewegen.

XR-Steuerungskonzept mit IR-Sensor

Die XR-Interaktion mit den Händen hatte ihren ersten großen Aufschwung Mitte der 2010er — maßgeblich durch den Leap Motion Controller, einen kompakten Infrarot-Tracker, der per USB am VR-Headset hängt. Damit lassen sich die IR-Daten relativ einfach an ein Rig in Unity oder Unreal übertragen, auf das ein 3D-Modell abgestimmt ist. Über dieses Zusatzgerät steuern Nutzer mit den Händen statt mit dem Controller durch VR- und Mixed-Reality-Welten. 2019 ging Leap Motion in Ultraleap auf; das Tracking steckte nativ in Headsets wie denen von Varjo. Das Schicksal der Firma erzählt die Marktgeschichte dabei gleich mit: Nachdem die Headset-eigene Kameraerkennung dedizierte Tracker überflüssig gemacht hatte, wurde Ultraleap 2025 zerschlagen — die Hand-Tracking-Sparte ging an den Musiktechnologie-Hersteller ROLI, das Patentportfolio an SIM IP. Für XR-Projekte heißt das: dedizierte Hand-Tracking-Hardware ist Geschichte, gerechnet wird mit der nativen Erkennung der Headsets.

Interaktion mit der vierten Dimension

Klingt zunächst verrückt, ist aber längst Realität — nur eben noch nicht besonders effektiv und stabil. Die intuitive Schnittstellenbedienung, die Tom Cruise in Minority Report demonstrierte, ist bis heute nicht einmal ansatzweise erreicht. Bei Software und Hardware fehlt es an Verfügbarkeit, und das entsprechende Bewusstsein musste sich erst entwickeln: Nur durch sehr häufige, anwendungsübergreifende Etablierung von Gesten entsteht ein Gefühl für die Steuerung.

Wer ein Smartphone nutzt, weiß: Ein Wischen von oben nach unten aktualisiert die App — meist vorausgesetzt, die Scroll-Position steht oben. Diese NUI-Geste ist im Allgemeinwissen angekommen. Dasselbe gilt für die Scroll-Geste (Wischen von links nach rechts und umgekehrt) und die Bedienung des sogenannten Drawers für allgemeine Menüs: vom oberen Bildschirmrand nach unten ziehen, bei Apple-Geräten zusätzlich von unten nach oben, um Buttons wie Stummschaltung, Flugmodus oder WLAN schnell zu erreichen.

Bei VR-, AR- und XR-Geräten gibt es kaum Standardgesten — abgesehen von der Pinch-Geste (Daumen und Zeigefinger zusammenführen), die sich mit der HoloLens etabliert hat. Native Handtracking-Integration kam erst spät: Meta lieferte die erste Version Ende 2019 auf der Quest aus. Das als Hand Tracking 2.0 bezeichnete Update von 2022 nutzt die Headset-Kameras — dieselben, die auch der Umgebungserkennung dienen — und erweist sich als sehr effektiv. Inzwischen ist Meta bei Hands 2.4 angekommen — inklusive Fast Motion Mode, der auch schnelle Interaktionen wie Schläge und Würfe zuverlässig erfasst. Mehr dazu, insbesondere aus technischer Sicht, im Vortrag von Robert Wang (Director of Research Science @Meta) — nur die ersten 13 Minuten sind relevant.

Die Präsentation hilft, den Prozess der Handerkennung mit KI-Verstärkung zu verstehen.

Bedienung von Schnittstellen mit den Händen

Aus UX/UI-Sicht gehört Handtracking zur Kategorie Natural User Interface (NUI) — der „natürlichen" Art, Schnittstellen zu bedienen. Obwohl Handtracking seit etwa 2015 möglich ist, wurde die Bedienung von Anwendungen mit den Händen in VR und XR lange kaum genutzt — einerseits wegen mangelnder Präzision der Implementierungen, andererseits wegen fehlender Anwendungsfälle. Welche Interface-Muster plattformübergreifend tragen, habe ich im Beitrag zu Spatial UI ausführlicher beschrieben.

Die Design-Regeln von Leap Motion aus 2015 — im Kern immer noch gültig:

  • Das „physische" Design interaktiver Elemente in VR sollte besondere Nutzungsmöglichkeiten bieten.
  • Jedes interaktive Objekt sollte auf jede Bewegung reagieren.
  • Notwendige Gesten sollten durch textbasierte Hinweise klar beschrieben werden.
  • Interaktive Elemente sollten angemessen skaliert werden.
  • Text und Bilder gehören auf leicht gekrümmte, konkave Oberflächen.

Keine Schnittstelle ist die beste Schnittstelle — und Interaktion mit den Händen fühlt sich immer natürlicher an. Weil die Implementierung handbedienter Anwendungen sorgfältig geplant werden will, ist eine Pro-und-Contra-Bewertung nötig.

Pro: Wann macht Handtracking Sinn?

Für kurze Interaktionen und Produktivitätsanwendungen ist Handtracking ideal. Auch in Spielen, Fitnessanwendungen sowie Marketing- und Messeanwendungen kann diese Interaktionsform effektiv und unkompliziert sein.

Die „Okay, mach Handtracking"-Liste

  • Reduzierung der Hardwarekomplexität (keine zusätzlichen Controller)
  • Objekte, mit denen nur „kurz" interagiert wird
  • Zahnräder, Kurbeln, Knöpfe und Schalter
  • Gesten und „Power Moves" (globale Effekte)
  • Auslösen von Animationen

Contra: Wann macht Handtracking keinen Sinn?

Sobald virtuelle Objekte dauerhaft gegriffen und gehalten werden, sind die präziseren Controller die bessere Wahl — es sei denn, ein Handschuh für haptisches Feedback ist verfügbar.

Die „Mach kein Handtracking"-Liste

  • Gehaltene Schusswaffen
    • Pistolen
    • Gewehre
  • Gehaltene Schneid- und Stoßwaffen
    • Schwert
    • Axt
    • Speer
  • Klettern und gegriffenes Klettern
  • Präzises Zeichnen und Modellieren

Handschuhe für haptisches / wahrnehmbares Greifen

Für länger andauerndes Greifen muss es doch eine Lösung geben — und die gibt es. Wer bei Minority Report genau hinschaut, bemerkt: Tom Cruise trägt Handschuhe für die Interaktion. Mehrere haptische Handschuhe sind bereits erhältlich — mit Exoskeletten oder, kompakter, mit Konstruktionen um den Handschuh, die Interaktion mit haptischem Feedback verbinden.

Wird in der virtuellen Welt etwas gegriffen, fühlt es sich real an, weil der Handschuh Widerstand simuliert.

Die Quantum Metagloves von Manus lagen zuletzt bei etwa 6.000 Dollar und ermöglichten hochpräzises Fingertracking durch absolute Fingerspitzenpositionierung. Inzwischen ist die Serie am End-of-Life — Nachfolger wie die Metagloves Pro spielen in derselben Liga.

Wie der Minority-Report-Verweis schon umrissen hat: Mit haptischen Handschuhen lassen sich Finger- und Handbewegungen sehr präzise und in Echtzeit abbilden. Damit werden Modellieren, Zeichnen oder sogar das Bedienen komplexer Robotersysteme und Maschinen vollständig möglich — auch medizinische Anwendungen profitieren. Nur ist der Kaufpreis im vierstelligen Bereich für den Verbrauchermarkt nach wie vor zu hoch.

XR-Erlebnisse mit Handtracking

Metas First-Hand-Demo zeigt die Effektivität von Hand Tracking 2.0.

Offizielle Handtracking-Demo mit dem Presence Platform Interaction SDK.

Die Steuerung mit Gesten statt Controller-Buttons in VR bleibt eher experimentell — wie beschrieben liegt das am Erwartungshorizont und an der Verfügbarkeit unterstützender Geräte. Eine Lernkurve sollte also von Anfang an eingeplant werden.

Es gibt nur eine begrenzte Zahl von Gesten, die sich Nutzer merken können. Beim Entwickeln von Bewegungssteuerungen lohnt daher eine gemeinsame Basis — oder der Versuch, Gesten für erweiterte Funktionen zu kombinieren.

Ein noch besserer Ansatz ist die Entwicklung spezifischer Hinweise (etwa die Darstellung einer Geste), auf die Nutzer reagieren — so muss eine bestimmte Pose oder Bewegung nicht neu erlernt werden.

Da Menschen ihre Körpersprache physisch unterschiedlich ausdrücken, funktionieren Gesten selten für alle gleich: Eine Person überstreckt die Hand beim Greifen, eine andere dreht das Handgelenk leicht nach innen.

Durch Testen, Vergleichen und Beobachten habe ich festgestellt: Der beste Weg ist, die eigenen Gesten der Nutzer zu erfassen — die Geste zeigen, wiederholen lassen, dann kalibrieren. So kalibriert liefen die Interaktionen in den Testsitzungen deutlich stabiler als mit generischen Posen.

Die Zukunft des Handtrackings & der Gestensteuerung

Die stetig bessere Präzision des Handtrackings lässt sich zunehmend nutzen, um Gesten zu etablieren. Mixed-Reality-Anwendungen sind dafür ideal — und es hängt nicht nur an den Headsets: Forschung demonstriert bereits wirksame Gestensteuerung mit Smartphones. Im direkten Vergleich mit der HoloLens 2 erwies sich smartphonebasierte HGR (Hand Gesture Recognition) als ebenso effektiv.

Der VR-Action-Roguelite-Titel Ghost Signal: A Stellaris Game erschien Anfang 2023 mit Hand-Tracking-2.0-Unterstützung.

KI-gestützte Erkennung hat das native Handtracking zum Standard gemacht — inzwischen steuert die Vision Pro ihr Interface komplett über Blick plus Pinch. Wenn mehr virtuelle Inhalte wie Ghost Signal tatsächlich für Handtracking entworfen werden, steht der nächsten Evolutionsstufe bedienbarer Schnittstellen nicht viel im Weg.

Auch die zunehmende Verfügbarkeit von Eye-Tracking wird eine bedeutende Rolle spielen — nicht nur für die Interaktion, sondern für effektives UX-Testen, ohne den Nutzer aus dem Erlebnis zu reißen.

Der Weg vom aktuellen Stand zu wirklich komfortablen Steuerungen à la Maus und Tastatur ist allerdings noch lang. Sicher sagen lässt sich: Niemand wird künftig in einem völlig leeren Raum sitzen, und die Büroeinrichtung wird weitgehend bleiben, wie sie ist. Eine bequeme Sitzposition und Unterstützung bleiben entscheidend, um über längere Zeit produktiv zu arbeiten.

Blicke ich auf die damalige Produktion zurück, hat sich die Richtung bestätigt: Handtracking ist vom Experiment zur Standardinteraktion geworden — und Vision Pro wie Galaxy XR zeigen mit Blick plus Pinch, wohin das Eingabemodell geht. Geblieben sind die Design-Fragen: Gesten müssen erlernbar sein, ihre Zahl begrenzt, und Kalibrierung schlägt generische Posen. Gefallen ist dagegen die Hardware-Hürde — die eigentliche UX-Arbeit fängt damit erst an.

Quellen

Ein XR-Vorhaben auf dem Tisch — Handtracking, Gestensteuerung oder ein eigenes Interface? Dann lohnt ein Gespräch → ingmar@konnow.de · LinkedIn

0%
7 Min. Lesezeit