Diese Forscher fanden eine Lösung für eines der größten Probleme von VR: die Verfolgung Ihrer Beine

Während drahtlose Headsets und mit Sensoren und Software beladene Handheld-Controller Ihren Oberkörper in VR gut verfolgen, ist die eigentliche Beinverfolgung gut ist noch selten. Das liegt daran, dass es in der Regel eine Reihe von Sensoren an oder um Sie herum erfordert, um es gut zu machen, was die meisten Verbraucher nicht kaufen möchten. (Einige Apps, wie VRChat, bieten zwar Ganzkörper-Avatare an, verwenden jedoch in der Regel Software, um Unterkörperbewegungen zu approximieren.)

Jetzt bietet eine Gruppe von Forschern an der Carnegie Mellon University (CMU) eine mögliche Lösung für das Problem der Beinverfolgung an, das bisher wohl eingeschränkt hat, wie eingetaucht Menschen sich wirklich in virtuellen Räumen fühlen können.

Die Forscher fand einen Weg den gesamten Körper einer Person zu verfolgen, indem Kameras mit Fischaugenobjektiven an einem Paar von Metas Quest 2-Controllern der Facebook-Eltern angebracht werden, die derzeit bei weitem das beliebteste VR-Headset sind (und wie die meisten Headsets auf dem Markt derzeit keine Beinverfolgung bieten ). Als ein Träger eines Quest 2-Headsets die Controller hielt, nahmen die Kameras Bilder seines Körpers auf und wurden verwendet, um einen Ganzkörper-Avatar in mehreren von den Forschern erstellten VR-Demos zu steuern.

Mit dem Prototypen konnten Benutzer ihren Avatar in „Feet Sabre“ (eine augenzwinkernde Anspielung auf das beliebte VR-Spiel „Beat Saber“) auf Blöcke treten und stampfen lassen oder sich in die richtige Position drehen und drehen, um ein Hindernis zu überwinden in einer Art “Tetris”-Spiel in Menschengröße. Die Forscher entwickelten auch Demos, mit denen Benutzer einen Fußball kicken und ein Tor gegen ankommende Hockey-Pucks verteidigen konnten.

„Ich denke, die Beine sind ausdrucksstark. Ich denke, sie sind wichtig, um zu sehen, wie sich Menschen bewegen – nicht nur für die Fortbewegung, sondern auch für die Körperhaltung für Mensch-zu-Mensch-Interaktionen“, Chris Harrison, außerordentlicher Professor für Mensch-Computer-Interaktion an der CMU und ein Co-Autor der Studie, gegenüber CNN Business.

Warum Sie in der virtuellen Realität (noch) keine Vermächtnisse haben können

Der Prototyp namens ControllerPose ist nicht präzise genug, um feine Bewegungen zu erfassen, sagte Harrison, aber er funktioniert „ziemlich gut“, um gröbere Aktionen zu verfolgen. „Wenn Sie nach unten schauen und sehen möchten, ob Sie hocken oder ein Bein heben oder einen Ball treten, ist es mehr als genau genug, um diese Art von Fällen zu erfassen“, sagte er.

Im Durchschnitt weicht das System um 6,98 Zentimeter (2,75 Zoll) ab, wenn es abschätzt, wo ein Gelenk in VR angezeigt werden soll, im Vergleich zu seinem tatsächlichen Standort, sagte er.

Damit es funktionierte, streamten die Forscher Bilder von zwei Fischaugenkameras auf jedem Controller – eine nach oben, eine nach unten – auf einen Computer. (Anfangs verwendeten sie einen Desktop-Computer; später verwendeten sie einen kleinen Computer, der mit einem Controller verbunden war, um zu zeigen, dass der gesamte Prozess direkt in Ihrer Handfläche durchgeführt werden konnte.) Eine Software filterte schlechte Bilder und korrigierte Linsenverzerrungen heraus und fügte sie dann zusammen Kamerabilder zusammen, um die realen Posen des Headset-Trägers einzuschätzen. Diese Schätzungen bestimmten die Posen des Ganzkörper-Avatars in VR.

Harrisons Labor an der CMU, die Future Interfaces Group, habe in der Vergangenheit an bezahlten Kooperationen mit Meta gearbeitet, sagte er, aber dies sei keines dieser Projekte.

Meta war-gewesen Jahrelang darüber nachgedacht, wie man Avatare realistischer machen kann. In einer „Ask Me Anything“-Session auf Instagram im Februar räumte Andrew Bosworth, CTO von Meta, die Schwierigkeit der Aufgabe ein und sagte, das Unternehmen überlege, wie man sie lösen könne. „Die genaue Verfolgung der eigenen Beine ist super schwierig und im Grunde nicht praktikabel, nur aus physikalischer Sicht mit vorhandenen Headsets“, sagte Bosworth.
Die Forscher befestigten zwei Kameras mit Fischaugenobjektiv an den Quest 2-Controllern, um eine Ganzkörperverfolgung in VR zu ermöglichen.

Skip Rizzo, Direktor der Medical Virtual Reality Group am Institute for Creative Technologies der University of California, ist der Meinung, dass die Beinverfolgung für bestimmte Anwendungen nützlich ist, beispielsweise bei der Verwendung von VR zur Rehabilitation nach einem Schlaganfall. (Eine der Demos der Forscher war eine Gleichgewichtsübung, bei der die Benutzer jeweils auf einem Bein standen.) Wie beim Zubehör für Videospiele – sei es ein Lenkrad für ein Rennspiel oder eine Weste, die vibriert, wenn Sie angeschossen werden in einem Ego-Shooter-Spiel – er weiß, dass die meisten Leute nicht für zusätzliche Sensoren bezahlen wollen, um sie mit ihren VR-Headsets zu verwenden.

„Man muss echt hardcore sein, um das zu kaufen“, sagte er.

Dennoch bemerkte er, dass das Hinzufügen von Kameras und einem kleinen Computer zu Handsteuerungen mehr Strom verbrauchen würde (und da die Quest 2-Steuerungen mit Batterien betrieben werden, könnte dies bedeuten, dass sie häufiger ausgetauscht werden müssen). Auch Harrison sieht den Stromverbrauch als Herausforderung; in zukunft möchten die forscher die geschwindigkeit der bildverarbeitung auf dem handheld-controller erhöhen, aber die akkulaufzeit nicht zu schnell erschöpfen.

Während das ControllerPose-Projekt dazu gedacht ist, Menschen für das Potenzial der Verwendung von Controllern zur Verfolgung des Körpers zu interessieren, hält Harrison es für wahrscheinlich, dass wir eine solche Funktion in einem kommenden VR-Headset sehen werden. (Meta lehnte eine Stellungnahme ab.)

„Es ist nicht so, dass es die Killer-App für VR ist“, sagte Harrison, „aber wir kommen der Vision, uns wirklich in eine andere Realität zu teleportieren, einen Schritt näher.“

.

Leave a Comment

Your email address will not be published.