Metas Quest Mixed-Reality-Apps zeigen die Zukunft von AR, VR

Das nächste große Ding in VR könnten Ihre Wohnzimmermöbel sein: Meta veröffentlicht nächste Woche ein neues SDK für sein Quest VR-Headset, das es Entwicklern erleichtern wird, reale Umgebungen in VR-Apps und -Spiele zu integrieren.

Die Veröffentlichung markiert einen großen Schritt, um Mixed-Reality-Erlebnisse auf die VR-Headsets von Meta zu bringen, wodurch sich VR realer anfühlen kann. Es deutet auch eine Welt an, in der Headsets die Welt um uns herum sinnvoll machen und die Grenzen zwischen AR und VR verwischen.

Gleichzeitig sagt uns Metas Hinwendung zu Mixed Reality viel über die Einstellung des Unternehmens zum immersiven Computing aus, das langfristige Verpflichtungen sowohl für AR als auch für VR beinhaltet. „Ein großer Teil unserer Wette war, dass dies zwei Seiten der Medaille sind“, sagte Mark Zuckerberg in einem exklusiven Gespräch mit Protocol über die Mixed-Reality-Bemühungen des Unternehmens.

Die Kombination der realen Welt mit VR

Das neue Quest SDK, das das Unternehmen am Donnerstag offiziell angekündigt hat, gibt Entwicklern Zugriff auf etwas, das es Presence Platform nennt – eine Reihe von Tools, mit denen sich VR natürlicher anfühlen soll. Dazu gehören die Sprach-Hand-Interaktion sowie eine Reihe von Funktionen im Zusammenhang mit Video-Passthrough.

Das Quest VR-Headset des Unternehmens bietet bereits Möglichkeiten für Benutzer, auf eine Graustufen-Live-Ansicht ihrer Umgebung zuzugreifen, die von den Tracking-Kameras des Headsets erfasst wird. Jetzt können Entwickler denselben Video-Feed verwenden und animierte VR-Objekte darüber legen. Das Headset ermöglicht es den Menschen auch, ihren Raum zu kartieren und VR-Apps mitzuteilen, wo sich Wände, Tische, Ebenen und andere Objekte befinden. Sobald ein Raum auf diese Weise abgebildet ist, können VR-Apps diese realen Oberflächen in das Gameplay und andere Interaktionen integrieren.

Erste Demos dieser Art von Mixed Reality zeigen viel Potenzial: Resolution Games nutzt Passthrough, um Menschen ein virtuelles Loch in ihrem Wohnzimmerboden öffnen zu lassen und einen virtuellen See freizulegen, in dem sie angeln können. Die VR-Zeichen-App Gravity Sketch ermöglicht es, VR-Objekte in der realen Welt zu platzieren und beispielsweise zu sehen, wie ein Modell eines Stuhls in Ihrem Wohnzimmer aussehen würde.

Meta hat auch eine eigene Demo-App namens Die Welt jenseits, um etwas von dem Potenzial von Mixed Reality auf der Quest zu demonstrieren. Darin können die Spieler mit einem niedlichen kleinen Monster interagieren, das gerne Apportieren spielt. Wirf einen virtuellen Ball und er prallt von deinen realen Wänden oder Möbeln ab. Sprengen Sie dieselben Wände mit einem speziellen Strahl und sie verwandeln sich in Portale zu einer farbenfrohen animierten Welt. „Sie erhalten diese Erdung in der realen Welt, aber Sie befinden sich in einer virtuellen Erfahrung“, sagte Prabhu Parthasarathy, Produktmanager von Reality Labs.

Das Unternehmen veröffentlicht The World Beyond nächste Woche für die Öffentlichkeit und wird Entwicklern auch den Quellcode zur Verfügung stellen.

Von Tracking bis Mixed Reality und darüber hinaus

Metas Weg zu Mixed Reality begann fast zufällig. Als das Unternehmen von einer PC-VR-Architektur, die externe Tracker verwendete, auf Inside-Out-Tracking auf dem Quest umstellte, verwendete es, was effektiv Kamerasensoren sind, um sowohl VR-Controller als auch die Position des Spielers im Raum zu verfolgen. „Wir haben die Sensoren im Grunde nur für das Tracking gebaut“, sagte Zuckerberg. „Dann hatte ein Ingenieur die Idee: ‚Mal sehen, ob wir das einschalten können, wenn Sie anfangen, sich außerhalb Ihrer Grenzen zu bewegen.’“

Als die erste Quest 2019 ausgeliefert wurde, begannen die Kamerasensoren, einige Doppelaufgaben zu erfüllen. Zusätzlich zum Tracking wurden sie auch verwendet, um eine Graustufenansicht der Außenwelt bereitzustellen, die Quest-Besitzer dabei unterstützte, ihren Spielbereich zu kartieren, um sie von Wänden und Tischen fernzuhalten. In VR tauchten die gleichen Grenzen als Wächter auf, und das Bewegen über den Wächter hinaus führte dazu, dass das Headset von VR zu einer Passthrough-Videoansicht der realen Welt wechselte. „Wir haben es ursprünglich nur zu einem Sicherheitsmerkmal gemacht“, sagte Zuckerberg.

Im Laufe der Zeit erweiterte Meta diese Sicherheitsfunktionen und fügte die Möglichkeit hinzu, Passthrough-Videos von Personen, Haustieren und Objekten anzuzeigen den Spielraum betreten. Dann begann das Unternehmen, mit einer direkteren Kombination virtueller und realer Objekte zu experimentieren, was die Kartierung von realen Räumen sowie räumliche Anker umfasst, die der gemischten Realität Beständigkeit verleihen.

Eine der ersten VR-Erfahrungen, die einige dieser Technologien integriert hat, war Horizon Workrooms, die VR-Collaboration-Software des Unternehmens. Die Workrooms-App ermöglicht es Menschen, ihren Schreibtisch zu kartieren, einen echten Laptop in ein Avatar-basiertes VR-Meeting einzubinden und ein virtuelles Whiteboard in einer realen Umgebung zu verankern. „Wir begannen zunächst fast als Demo daran zu arbeiten und brachten viele Technologien zusammen“, sagte Zuckerberg. Im Laufe der Zeit wurde klar, dass Workrooms mehr sein kann als nur eine Tech-Demo und das Unternehmen begann, es breiter verfügbar zu machen.

Die Integration von Passthrough-Video ist nur ein erster Schritt in Richtung einer immersiveren Mixed-Reality-Zukunft. Ebenso wichtig wird die Objekterkennung sein; Meta hat keine konkreten Pläne für die Einführung der Objekterkennung in zukünftige Headsets enthüllt, aber es könnte eine massive Veränderung für die Technologie darstellen.

Im Moment weiß ein Quest-Headset nur, dass Sie vor einem Schreibtisch sitzen, wenn Sie diesen Schreibtisch kartieren und dann beschriften. In Zukunft könnten Headsets in der Lage sein, sowohl den Schreibtisch als auch die Objekte auf dem Schreibtisch zu erkennen, um alles nahtlos in Mixed-Reality-Erlebnisse einzubinden.

Es wird jedoch nicht einfach sein, dorthin zu gelangen, warnte Parthasarathy. „Die Objekterkennung ist ein sehr komplexes technisches Problem“, sagte er. „Ich erwarte nicht, dass irgendjemand … das in absehbarer Zeit lösen wird, einschließlich uns.“ Das Potenzial nach oben ist jedoch enorm, stimmte er zu. „Das Verstehen von Objekten wird eine grundlegende Veränderung in der Art und Weise sein, wie wir Headsets verwenden, egal ob es sich um VR oder AR handelt“, sagte Parthasarathy.

Wetten auf VR, auch wenn andere das nicht tun

Beim Start wird Metas Einstellung zu Mixed Reality durch die mangelnde Videotreue der Tracking-Sensoren von Quest eingeschränkt. Entwickler können dies teilweise ausgleichen, indem sie den Fokus auf VR-Objekte mit höherer Wiedergabetreue verlagern. „Wenn Sie mitten in diesen Erfahrungen sind, verschwinden Schwarz und Weiß auf Sie“, sagte Parthasarathy. „Wir glauben, dass es viele Möglichkeiten gibt, Mixed Reality zu erstellen, sogar auf Quest.“

Die Dinge werden sich nur mit zukünftigen Headsets mit besseren Bildsensoren verbessern, einschließlich des arbeitsorientierten Project Cambria-Geräts, das Meta später in diesem Jahr herausbringen will. Allerdings geht es bei der Einbindung von Mixed Reality heute genauso um die Zukunft des Visual Computing, zu dem auch Augmented Reality gehört. Indem Entwicklern ermöglicht wird, virtuelle Objekte über die reale Welt zu legen, können sie einen frühen Vorgeschmack auf das Potenzial zukünftiger AR-Hardware bekommen, was Metas Headsets auch für AR-Puristen attraktiver machen könnte.

„Es gibt eine Gruppe von Leuten, die glauben, dass AR eine große Sache werden wird, aber noch nicht so sehr an VR glauben“, sagte Zuckerberg. „Es ist ziemlich aufregend, diese ganze Gruppe von Leuten in den Schoß zu bekommen.“ VR-Skepsis ist nicht nur ein Phänomen unter Entwicklern; Unternehmen wie Magic Leap haben sich entschieden, sich auf AR statt VR zu konzentrieren, auch wenn dies bedeutet, Geräte zu produzieren, die teuer und nicht für den Verbraucher geeignet sind. Zuckerberg argumentierte, dass dieser Ansatz bestehende Verbrauchergewohnheiten ignoriere.

„In der Technologiebranche haben wir diese Voreingenommenheit, bei der wir denken, dass Telefone wirklich entscheidend sind und Fernseher nicht“, sagte Zuckerberg. „Aber der durchschnittliche Amerikaner verbringt genauso viel oder mehr Zeit vor dem Fernseher als am Telefon.“ Letztendlich könnten VR-Headsets eine Art immersive Version des Fernsehers werden, während AR-Brillen ein zukünftiges mobiles Gerät werden könnten, weshalb Meta in beides investiert, sagte er.

„In der Lage zu sein, VR-Geräte auszuliefern, die eine gewisse Mainstream-Akzeptanz erlangen, und eine Entwickler-Community aufzubauen, ermöglicht es uns, die Toolchain, eine gute Community und Monetarisierung für Entwickler schon vorher aufzubauen [glasses-like] AR-Geräte tauchen auf“, sagte Zuckerberg.

Mixed-Reality-Tools, die es Entwicklern ermöglichen, in beiden Welten zu spielen, werden es ihnen ermöglichen, sich auf diese Zukunft vorzubereiten. „Das ist [the] Wette, die wir machen“, sagte er. “Ich könnte falsch liegen. Aber bisher deuten die Daten darauf hin, dass VR ziemlich wichtig sein wird. Ich fühle mich also ziemlich gut mit dem Weg, auf dem wir uns befinden.“

.

Leave a Comment

Your email address will not be published.