Jetzt bietet eine Gruppe von Forschern an der Carnegie Mellon University (CMU) eine mögliche Lösung für das Problem der Beinverfolgung an, das bisher wohl eingeschränkt hat, wie eingetaucht Menschen sich wirklich in virtuellen Räumen fühlen können.
Mit dem Prototypen konnten Benutzer ihren Avatar in „Feet Sabre“ (eine augenzwinkernde Anspielung auf das beliebte VR-Spiel „Beat Saber“) auf Blöcke treten und stampfen lassen oder sich in die richtige Position drehen und drehen, um ein Hindernis zu überwinden in einer Art “Tetris”-Spiel in Menschengröße. Die Forscher entwickelten auch Demos, mit denen Benutzer einen Fußball kicken und ein Tor gegen ankommende Hockey-Pucks verteidigen konnten.
„Ich denke, die Beine sind ausdrucksstark. Ich denke, sie sind wichtig, um zu sehen, wie sich Menschen bewegen – nicht nur für die Fortbewegung, sondern auch für die Körperhaltung für Mensch-zu-Mensch-Interaktionen“, Chris Harrison, außerordentlicher Professor für Mensch-Computer-Interaktion an der CMU und ein Co-Autor der Studie, gegenüber CNN Business.
Der Prototyp namens ControllerPose ist nicht präzise genug, um feine Bewegungen zu erfassen, sagte Harrison, aber er funktioniert „ziemlich gut“, um gröbere Aktionen zu verfolgen. „Wenn Sie nach unten schauen und sehen möchten, ob Sie hocken oder ein Bein heben oder einen Ball treten, ist es mehr als genau genug, um diese Art von Fällen zu erfassen“, sagte er.
Im Durchschnitt weicht das System um 6,98 Zentimeter (2,75 Zoll) ab, wenn es abschätzt, wo ein Gelenk in VR angezeigt werden soll, im Vergleich zu seinem tatsächlichen Standort, sagte er.
Damit es funktionierte, streamten die Forscher Bilder von zwei Fischaugenkameras auf jedem Controller – eine nach oben, eine nach unten – auf einen Computer. (Anfangs verwendeten sie einen Desktop-Computer; später verwendeten sie einen kleinen Computer, der mit einem Controller verbunden war, um zu zeigen, dass der gesamte Prozess direkt in Ihrer Handfläche durchgeführt werden konnte.) Eine Software filterte schlechte Bilder und korrigierte Linsenverzerrungen heraus und fügte sie dann zusammen Kamerabilder zusammen, um die realen Posen des Headset-Trägers einzuschätzen. Diese Schätzungen bestimmten die Posen des Ganzkörper-Avatars in VR.
Harrisons Labor an der CMU, die Future Interfaces Group, habe in der Vergangenheit an bezahlten Kooperationen mit Meta gearbeitet, sagte er, aber dies sei keines dieser Projekte.
Skip Rizzo, Direktor der Medical Virtual Reality Group am Institute for Creative Technologies der University of California, ist der Meinung, dass die Beinverfolgung für bestimmte Anwendungen nützlich ist, beispielsweise bei der Verwendung von VR zur Rehabilitation nach einem Schlaganfall. (Eine der Demos der Forscher war eine Gleichgewichtsübung, bei der die Benutzer jeweils auf einem Bein standen.) Wie beim Zubehör für Videospiele – sei es ein Lenkrad für ein Rennspiel oder eine Weste, die vibriert, wenn Sie angeschossen werden in einem Ego-Shooter-Spiel – er weiß, dass die meisten Leute nicht für zusätzliche Sensoren bezahlen wollen, um sie mit ihren VR-Headsets zu verwenden.
„Man muss echt hardcore sein, um das zu kaufen“, sagte er.
Dennoch bemerkte er, dass das Hinzufügen von Kameras und einem kleinen Computer zu Handsteuerungen mehr Strom verbrauchen würde (und da die Quest 2-Steuerungen mit Batterien betrieben werden, könnte dies bedeuten, dass sie häufiger ausgetauscht werden müssen). Auch Harrison sieht den Stromverbrauch als Herausforderung; in zukunft möchten die forscher die geschwindigkeit der bildverarbeitung auf dem handheld-controller erhöhen, aber die akkulaufzeit nicht zu schnell erschöpfen.
Während das ControllerPose-Projekt dazu gedacht ist, Menschen für das Potenzial der Verwendung von Controllern zur Verfolgung des Körpers zu interessieren, hält Harrison es für wahrscheinlich, dass wir eine solche Funktion in einem kommenden VR-Headset sehen werden. (Meta lehnte eine Stellungnahme ab.)
„Es ist nicht so, dass es die Killer-App für VR ist“, sagte Harrison, „aber wir kommen der Vision, uns wirklich in eine andere Realität zu teleportieren, einen Schritt näher.“
.