Künstliche Intelligenz

XR Pixelstreaming : Der Schlüssel zu realistischen virtuellen Assets

Ingmar Konnow

• 4 min read
XR Pixelstreaming : Der Schlüssel zu realistischen virtuellen Assets

Die visuellen Anforderungen der Menschen haben sich in den letzten Jahren dramatisch verändert. Wir erwarten Ergebnisse, die ein sehr hohes Maß an realistischer Darstellung erreichen. Diese Erwartung wurde maßgeblich durch die Gaming-Branche und die Fortschritte der VFX für Film- und Fernsehproduktionen gesteigert.

Mit der Serverleistung von Stadia präsentiert Google Immersive Stream for XR

Die vielleicht entscheidende Frage im Voraus ist, gibt es realistische Metaverse-Implementierungen? Absolut, aber sehr wenige und zu einem sehr hohen Preis. Die beeindruckendsten Ergebnisse sind mir aus der Automobilindustrie bekannt.

Schlüsselaspekte von Pixelstreaming

Hochwertiges Streaming von VR- und AR-Inhalten

Pixelstreaming verwendet verschiedene Komprimierungstechniken, um die Menge der Daten zu reduzieren, die beim Streaming von Virtual Reality (VR) und Augmented Reality (AR) übertragen werden müssen. Diese Techniken umfassen verlustfreie Komprimierung, verlustbehaftete Komprimierung, räumliche Komprimierung und zeitliche Komprimierung. Diese Methoden tragen dazu bei, hohe Auflösungen und Bildraten beim Streaming der VR- und AR-Inhalte beizubehalten und bieten den Benutzern ein reibungsloses und nahtloses Erlebnis.

Pixelstreaming bedeutet Game Engine vom Server zu Ihrem Gerät.

Pixel Streaming, auch bekannt als Render Streaming oder Remote Rendering, ist eine Technologie, die das Streaming von gehosteter Cloud-Software an den Client ermöglicht. Diese Technologie ermöglicht es Benutzern, hochdetaillierte und realistische virtuelle Welten über cloudbasierte Game Engines zu nutzen und mit ihnen zu interagieren. Game Engines sind die Quelle der Wahrheit für virtuelle Umgebungen, sie liefern die Physik, Beleuchtung und andere Elemente, die die virtuelle Welt real erscheinen lassen. Mit Pixelstreaming können Benutzer diese virtuellen Welten in Echtzeit und mit einem hohen Maß an Interaktivität erleben, ohne sperrige Hardware oder High-End-Computer zu benötigen. Seit etwa 2020 wurden mehrere visuell beeindruckende virtuelle Welten mit Pixelstreaming erstellt und Benutzern im Web zur Verfügung gestellt.

Zugänglichkeit über das Web

Pixel Streaming ist eine Technologie, die das Echtzeit-Streaming von virtuellen Umgebungen ermöglicht, die auf cloudbasierten Game Engines gehostet werden, an den Client. Game Engines liefern die notwendige Physik, Beleuchtung und andere Elemente, um realistische virtuelle Umgebungen zu schaffen, was sie zur "Quelle der Wahrheit" für virtuelle Welten macht. Die Verwendung von cloudbasierten Game Engines ermöglicht den Einsatz leistungsstarker Grafikprozessoren (GPUs), um hochwertige, realistische virtuelle Umgebungen zu schaffen, die auf eine Vielzahl von Geräten gestreamt werden können.

Cloudbasierte Game Engines und Rendering-Software

Pixelstreaming ermöglicht die Verwendung von cloudbasierten Game Engines und Rendering-Software, sodass Benutzer hochwertige VR- und AR-Inhalte erleben können, ohne leistungsstarke lokale Hardware zu benötigen.

Niedrige Latenz und hohe Bildrate

Pixelstreaming hält die Latenz niedrig und die Bildrate hoch, was die Erstellung und das Streaming von hochdetaillierten und realistischen virtuellen Umgebungen ermöglicht.

  • Weitere Informationen zu Pixelstreaming mit WebRTC finden Sie unter WebRTC für Unity
  • Weitere Informationen zu Pixel Streaming für WebXR finden Sie unter Pixel Streaming für WebXR
  • Weitere Informationen zu technischen Details von

Anwendungen von XR Pixelstreaming

XR Pixelstreaming ist nicht nur für Gaming und Unterhaltung. Es hat eine breite Palette potenzieller Anwendungen in verschiedenen Branchen:

  • Bildung: Stellen Sie sich vor, Sie könnten ein virtuelles Modell eines Gebäudes erkunden, bevor der Bau überhaupt beginnt, oder einen virtuellen Ausflug an einen entfernten Ort machen, ohne jemals das Klassenzimmer zu verlassen.
  • Gesundheitswesen: XR Pixelstreaming kann verwendet werden, um Virtual-Reality-Simulationen für medizinische Schulungen, Therapie und Patientenaufklärung zu erstellen.
  • Architektur: XR Pixelstreaming kann verwendet werden, um virtuelle Rundgänge durch Gebäude und Innenarchitektur zu erstellen, sodass Architekten und Kunden Änderungen vornehmen können, bevor der Bau beginnt.
  • Fertigung: XR Pixelstreaming kann verwendet werden, um Mitarbeiter an virtuellen Montagelinien und Maschinen zu schulen.
  • Immobilien: XR Pixelstreaming kann verwendet werden, um virtuelle Besichtigungen von Immobilien zu erstellen, sodass potenzielle Käufer ein Haus erkunden können, ohne jemals einen Fuß hineinzusetzen.
  • Mode: Komplexe Kleidungsanimationen und Simulationen neuer Kollektionen können mit XR Pixelstreaming realisiert werden. Avatare können verwendet werden und Echtzeit-Bewegungsverfolgung ist möglich.

XR Pixelstreaming ist eine relativ neue Technologie, die sich jedoch schnell weiterentwickelt. Unternehmen wie Google und Facebook investieren stark in Forschung und Entwicklung, und es wird erwartet, dass XR Pixelstreaming in naher Zukunft weiter verbreitet sein wird. Trotzdem ist es bereits in einigen Ressourcen verfügbar und hat vielversprechende Ergebnisse gezeigt.

XR Pixelstreaming-Anleitungen und Ressourcen:

Erste Schritte mit Pixel Streaming mit Unreal Engine

Große Sammlung von Ressourcen von TensorWorks.

Einige allgemeine Anleitungen für die Hosting-Server

Andere nützliche Ressourcen von TW

Fazit - Das Potenzial von Virtual Reality mit XR Pixel Streaming

Zusammenfassend ist XR Pixelstreaming der Schlüssel zur Realisierung realistischer virtueller Assets. Da sich die dominierende Technologie auf dem Markt derzeit auf einfache gestreamte Assets konzentriert, ist es teuer, für eine große Anzahl von Benutzern zu rendern. Die in dem verlinkten Artikel diskutierte AR-Anwendung ist ein perfektes Beispiel dafür, da sie zeigt, wie kosteneffizient XR Pixelstreaming sein kann. Da die Anwendungsfälle für XR jedoch weiter expandieren und größere "virtuelle Szenen" oder "Metaversen" einschließen, wird die Kosteneffizienz zu einem Problem.

Epic Games hat mit ihrem In-Game-Kauf-Finanzmodell in Fortnite gezeigt, dass es möglich ist, diese größeren virtuellen Welten kosteneffizient zu machen. Google ist ebenfalls ein starker Player in diesem Bereich und hält Patente, selbst nach dem Scheitern ihres Stadia-Projekts. Aus der Perspektive eines Backend-Server-Besitzers ist es hilfreich, große Player wie Google in diesem Bereich zu haben, da sie eine hilfreiche Rolle für B2C-Studios und Content-Ersteller spielen können. Als XR-Erlebnisdesigner ist die Idee, Echtzeit-Engines zu verwenden, um die Asset-Qualität zu verbessern, aufregend. Menschen erwarten Realismus für Marketing-Assets, und meine Prognose ist, dass mobile Anwendungen weiter wachsen werden, wie es bei Fortnite der Fall war. Darüber hinaus habe ich mit dem Aufkommen von 5G und Edge Computing hohe Erwartungen an weitere XR-Anwendungen, die über XR-Headsets mit Telefonen verbunden werden können.

Insgesamt ist XR Pixel Streaming eine vielversprechende Technologie, die neue Möglichkeiten im Bereich XR eröffnen und es für Benutzer und Entwickler zugänglicher machen wird.