Vom Prototypen zur Zukunftstechnologie: Wie die PS VR2 entwickelt wurde

Als PlayStation VR2 Anfang dieses Jahres auf den Markt kam, wurde den Spielern die Möglichkeit geboten, virtuelle Spielwelten zu erleben, die vor Details und immersiven Funktionen nur so strotzten. PS VR2 war der Höhepunkt einer mehrjährigen Entwicklungsphase, die mehrere Prototypen und Testverfahren umfasste.

Um mehr zu erfahren, haben wir den Produktmanager von PS VR2, Yasuo Takahashi, über den Entwicklungsprozess des innovativen Headsets und des PlayStation VR2 Sense™-Controllers befragt und einen Einblick in die verschiedenen Prototypen erhalten, die im Rahmen dieses Prozesses entstanden sind.

Die Entwicklung des PS VR2-Headsets

PlayStation Blog: Wann hat die Entwicklung des PS VR2-Headsets begonnen?

Yasuo Takahashi: Bereits vor der Markteinführung der ursprünglichen PlayStation VR wurde im Rahmen unserer Forschungs- und Entwicklungsarbeit an der zukünftigen VR-Technologie geforscht. Nach der Markteinführung von PS VR im Jahr 2016 begann die Diskussion darüber, wie die nächste Generation von VR aussehen würde, erst richtig. Wir nahmen diese Forschungs- und Entwicklungsergebnisse unter die Lupe und begannen Anfang 2017 mit der Entwicklung von Prototypen verschiedener Technologien. Anfang desselben Jahres begannen wir mit ausführlichen Gesprächen darüber, welche Funktionen in das neue Produkt implementiert und welche spezifischen Technologien weiter erforscht werden sollten.

_{Weitere Informationen finden Sie im Teardown-Video des PS VR2-Headsets, in dem wir die Funktionen des Headsets und sein Innenleben genauer unter die Lupe nehmen.}

PSB: Welche Funktion oder welches Designelement hat am längsten für die Entwicklung in Anspruch genommen?

YT: Bereits in der Konzeptplanungsphase haben wir über die Einführung neuer Funktionen nachgedacht, die einen Generationssprung im Vergleich zu PS VR darstellen würden. Dazu gehörten Blickerfassung, Headset-Feedback und ein Einkabelsystem. Außerdem mussten wir diese Funktionen in das Headset integrieren und gleichzeitig eine leichte und kompakte Bauweise beibehalten. Dazu war es wichtig, ein System zu entwickeln, das alle Funktionen effizient handhabt. Unsere Teams arbeiteten von Anfang an sehr eng zusammen, um detaillierte technische Schätzungen zu erstellen, und diskutierten darüber, wie sie ein optimiertes Design erreichen konnten. Das war ein sehr wichtiger Teil der frühen Projektphase, und obwohl die Forschung selbst nicht viel Zeit in Anspruch genommen hat, haben wir auch nach dem Bau des Prototyps ständig Optimierungen vorgenommen.

Außerdem haben wir viel Zeit damit verbracht, dafür zu sorgen, dass das Headset bequem zu tragen und zu halten ist.

PSB: Wenn ich mir die ersten Prototypen des Headsets ansehe, vermute ich, dass sich das Gewicht während des Entwicklungsprozesses deutlich verringert hat?

YT: Ja, der erste Prototyp war eher auf die Bewertung der Funktionalität als auf das Gewicht ausgerichtet, da wir überlegten, wie wir neue Funktionen in das ursprüngliche PS VR-Design integrieren könnten. Wir untersuchten auch das beste System für das Tracking und testeten mit unserem ersten Outside-In-/See-Through-Prototyp gleichzeitig auch die Durchlassansicht-Kamera.

Nachdem wir die Funktionstests durchgeführt hatten, integrierten wir die Komponenten in das eigentliche System. Der „Studienprototyp des Tracking-Systems“ war ein Prototyp, der kurz vor der Integration erstellt wurde. Obwohl er sehr groß und schwer war, spielte er eine wichtige Rolle bei der Bewertung.

Nachdem wir die Funktionstests durchgeführt hatten, integrierten wir die Komponenten in das eigentliche System. Der „Studienprototyp des Tracking-Systems“ war ein Prototyp, der kurz vor der Integration erstellt wurde. Obwohl er sehr groß und schwer war, spielte er eine wichtige Rolle bei der Bewertung.

Gleichzeitig haben wir auch den Komfort und die Tragbarkeit des Headsets bewertet. Da wir das zu erwartende Gewicht bereits kannten, haben wir auf der Grundlage dieser Schätzung zahlreiche Konfigurationen bewertet, wie das Headset getragen werden kann. Wir fügten viele Funktionen hinzu, aber schlussendlich haben wir uns viele Gedanken über die Materialien und die Form gemacht, damit sich das Headset leicht anfühlt. Jede Komponente selbst wurde leichter gemacht, das Design wurde so einfach wie möglich gestaltet und die Dicke des Kunststoffs wurde so dünn und gleichzeitig so robust wie möglich gemacht. Die Ingenieure für mechanisches Design haben hart daran gearbeitet, genau das richtige Gleichgewicht zwischen Gewichtsreduzierung und Haltbarkeit zu finden.

PSB: Die Blickerfassungsfunktion der PS VR2 ist wirklich beeindruckend – wie wurde sie entwickelt?

YT: Wir wollten mit PS VR2 die Grenzen des Spielens überwinden, also haben wir Blickerfassung als neue UI-Funktion erforscht. Die Technologie zur Blickerfassung gab es schon seit einiger Zeit und wir wussten, dass sie sich hervorragend für VR eignet, also wollten wir sicherstellen, dass wir sie angemessen nutzen. Außerdem haben wir uns mit Foveated Rendering befasst, um ein qualitativ hochwertiges visuelles Erlebnis zu erreichen. Dabei handelt es sich um eine Technik, die die Auflösung der Stelle optimiert, auf die der Spieler blickt, und gleichzeitig die Rendering-Leistung der umgebenden peripheren Sicht reduziert.

PSB: Sind Sie beim Testen der Blickerfassung auf irgendwelche Schwierigkeiten gestoßen?

YT: Manche Menschen tragen Brillen und jeder hat eine andere Augenfarbe, also musste die Funktion für alle Arten von Spielern geeignet sein. Um sicherzustellen, dass die Funktion ordnungsgemäß funktioniert, haben wir sie lange Zeit mit einer Vielzahl von Benutzern getestet und optimiert.

PSB: Das Headset-Feedback ist einzigartig für PS VR2. Wie wurde diese neue Funktion erstmals hinzugefügt und wie sind Sie bei der Entwicklung vorgegangen?

YT: Die Ingenieure für mechanisches Design haben den Rumble Motor aus einem DualShock 4-Wireless-Controller entfernt und ihn an die PS VR angeschlossen, um ihn auszuprobieren. Sie stellten fest, dass dies tatsächlich das Gefühl der Immersion und den Realitätssinn erhöhte. Allerdings gab es Herausforderungen bei dem Versuch, die Funktion tatsächlich in das Headset zu integrieren. Deshalb haben wir den nächsten Prototyp, „Prototyp zur Bewertung der Blickerfassung Teil 2“ mit einem eingebauten Motor gebaut und getestet, wie sich der Motor auf die Blickerfassung und das Head-Tracking auswirkt.

Wir haben eng mit PlayStation Studios zusammengearbeitet, um herauszufinden, welche Art von Headset-Feedback anhand der Erkenntnisse aus den Prototypen am effektivsten sein würde. Unsere Erkenntnisse haben wir in einem Design-Leitfaden zusammengefasst, damit andere Entwickler davon lernen können, und viele Entwickler haben ihn als Nachschlagwerk verwendet.

PSB: Welches Feedback von PlayStation Studios hat das Team schlussendlich in das endgültige PS VR2-Headset einfließen lassen?

YT: Die Platzierung der Trackingkamera wurde anhand ihres Feedbacks angepasst und gleichzeitig der Bereich der Handbewegungen bestätigt, der beim tatsächlichen Gameplay erwartet wird. Als sich die Mitglieder der PlayStation Studios in San Francisco zu einem Event trafen, brachten wir Prototypen aus Japan mit und nahmen auf der Grundlage des dort erhaltenen Feedbacks Anpassungen vor.

Die Entwicklung des PS VR2 Sense-Controllers

_{Schauen Sie sich das Teardown-Video des PS VR2 Sense-Controllers an, um die interne Struktur des Controllers genauer unter die Lupe zu nehmen.}

PSB: Wann hat die Entwicklung des PS VR2 Sense-Controllers begonnen?

YT: Wie beim Headset haben wir 2016 mit den Diskussionen begonnen und 2017 mit der Prototypenentwicklung. Bei der Inside-Out-Methode handelt es sich um eine Tracking-Technologie, die mit dem Headset gekoppelt ist, also haben wir dies von Anfang an berücksichtigt. Wir diskutierten auch über andere Funktionen, die wir hinzufügen wollten, wie viele Tasten der Controller haben sollte und inwieweit wir Funktionen des DualSense Wireless-Controllers für die PlayStation 5 übernehmen konnten.

Zu den Mitgliedern gehörten Mitarbeiter aus den Bereichen elektrisches Design, mechanisches Design sowie Forschung und Entwicklung. Das Team für mechanisches Design war maßgeblich an der Entwicklung und Erforschung verschiedener Formen für den Controller beteiligt.

PSB: Welche Funktionen oder welche Designelemente haben am längsten für die Entwicklung in Anspruch genommen?

YT: Der PS VR2 Sense-Controller enthält wichtige Funktionen des DualSense Wireless-Controllers, wie haptisches Feedback und adaptive Trigger. Außerdem haben wir einen Sensor zur Erkennung von Fingerberührungen hinzugefügt und viel Zeit damit verbracht, den Controller so anzupassen, dass er einfacher und leichter zu halten ist. Darüber hinaus haben wir umfangreiche Benutzertests durchgeführt. PlayStation Studios verfügt über ein dediziertes Team für Benutzertests und wir haben eng mit dem Team in Europa zusammengearbeitet, um sicherzustellen, dass wir den Controller von so vielen Personen wie möglich testen lassen.

PSB: Wie sind Sie auf das endgültige Design und die Form des Sense-Controllers gekommen?

YT: Im ersten Prototyp verwendeten wir eine andere Tracking-Methode und nutzten die Kugel des PlayStation Move-Controllers. Er enthielt auch Funktionen wie adaptive Trigger, haptisches Feedback, Fingerberührungserkennung und L1/R1-Schultertasten. Wir haben diese Funktionen in den Prototyp eingebaut, um zu überprüfen, welche Funktionen am wichtigsten sind.

Der nächste Prototyp nutzte das Inside-Out-Tracking. Auf diese Weise bestimmten wir, wo die IR-LEDs platziert werden sollten, und begannen, mit verschiedenen Formen für den Controller zu experimentieren.

Dieser nächste Prototyp kommt der endgültigen Form sehr nahe, aber der Hauptunterschied ist die Größe des Griffs. Die Form ist das Ergebnis des Hinzufügens verschiedener Funktionen, wie adaptive Trigger, haptisches Feedback und natürlich den Akku. Er war jedoch zu groß, um ihn für längere Spielsitzungen in der Hand zu halten. Deshalb haben unsere Ingenieure für mechanisches und elektrisches Design hart daran gearbeitet, den Griff zu optimieren, damit er dünner und bequemer zu halten ist.

PSB: Welche Art von Bewertungsprozess haben Sie durchlaufen, als Sie völlig neue Funktionen wie die Fingerberührungserkennung hinzugefügt haben?

YT: Wir haben einen Prototyp entwickelt, der Funktionen wie adaptive Trigger, haptisches Feedback, Fingerberührungserkennung und andere Elemente enthält, die ein stärkeres Gefühl der Immersion in VR-Erlebnisse vermitteln. Wir haben verschiedene Formen der Fingerberührungserkennung in Betracht gezogen, darunter auch solche, die das Drücken von Tasten erfordern.

Jedes Mal, wenn wir einen Prototyp erstellt haben, haben wir die PlayStation Studios um Feedback gebeten und diese Erkenntnisse für weitere Tests genutzt. Wir fragten sie, wie sie den Controller in ihren Spielen nutzen wollten, und legten fest, welche Funktionen und wie wir sie einbauen wollten. Die optimale Anzahl der Tasten ist beispielsweise etwas, zu dem uns die Spieleentwickler das beste Feedback geben können, also haben wir während der Entwicklung genau auf ihre Meinungen gehört.

PSB: Die endgültige Form des Controllers fühlt sich in der Hand des Spielers natürlich an. Warum und wie haben Sie sich für dieses endgültige Design entschieden?

YT: Unser Ziel war es, ein Gleichgewicht zwischen Gewicht und Schwerpunkt zu schaffen, damit der Controller bei längeren Spielsitzungen leichter zu greifen und zu halten ist. Wir haben umfangreiche Tests mit Prototypen und Benutzern durchgeführt, um eine bequeme Passform zu erreichen. Es reichte nicht aus, die Komponenten einfach zusammenzustecken; wir mussten die innere Struktur drastisch verändern. Der nächste Prototyp kommt dem Endprodukt schon sehr nahe, aber die Passform ist noch nicht vollständig optimiert.

PSB: Es scheint, als hätte das Team bei der Entwicklung eine Menge Energie in das IR-Tracking gesteckt. Mussten Sie bei der Erstellung der Prototypen irgendwelche drastischen Änderungen gegenüber Ihrer ursprünglichen Planung vornehmen?

YT: Zu Beginn des Projekts waren wir uns nicht sicher, ob Inside-Out- oder Outside-In-Tracking besser war, also haben wir beide Möglichkeiten parallel erforscht. Wir teilten uns in zwei Teams auf und erstellten Prototypen für beide. Danach beschlossen wir, uns auf die Inside-Out-Methode zu konzentrieren und das Tracking weiter zu optimieren. Der Prototyp, der zum Testen der Platzierung der Headset-Trackingkamera hergestellt wurde, ermöglichte uns die Feinabstimmung der Position und der Winkel der vier Kameras mit einem Rad. Er diente auch dazu, die Reichweite zu überprüfen, die die Kameras erkennen können.

PSB: Waren Sie in der ersten Forschungsphase an der Softwareentwicklung beteiligt? Welches Feedback haben Sie berücksichtigt?

YT: Wir konnten uns nicht vollständig vorstellen, wie sich der Controller in einem tatsächlichen Spiel verhalten würde. Deshalb hat das Team von PlayStation Studios schon früh im technischen Überprüfungsprozess Feedback zu den vorgeschlagenen Produktspezifikationen gegeben. Wenn der Spieler beispielsweise aufrecht steht und nach einem Gegenstand an der Hüfte greift, muss der Kopf nach vorne gerichtet bleiben, also haben wir dafür gesorgt, dass die Kamera einen Gegenstand unterhalb des Headsets erkennen kann. Wenn Sie andererseits einen Pfeil und Bogen aus dem Rücken ziehen, befindet sich Ihr Arm nicht in der Reichweite der Kamera. In solchen Fällen, in denen sich der Controller außerhalb der Reichweite der Kamera befand, mussten wir anhand des Feedbacks Anpassungen vornehmen, damit sich das Tracking natürlicher anfühlte.

Die Optimierung der Ergonomie bei gleichzeitiger Integration von adaptiven Triggern und haptischem Feedback war eine Herausforderung, die wir allerdings aufgrund der starken Nachfrage seitens des Softwareentwicklungsteams gemeistert haben. Die adaptiven Trigger müssen sich in der Nähe der Fingerspitzen befinden, während das haptische Feedback dort eingebaut werden muss, wo der Spieler den Controller anfasst. Die adaptiven Triggermodule sind relativ groß, sodass, wenn man die Module und den Akku mit einbezieht, verschiedene Komponenten den Platz im Griffbereich einschränken. Das ist ergonomisch nicht ideal und geht zu Lasten des Komforts. Ursprünglich wollten wir die gleichen adaptiven Trigger-Komponenten wie beim DualSense Wireless-Controller verwenden. Schließlich haben wir allerdings ein maßgeschneidertes dediziertes Modul für den PS VR2 Sense-Controller entwickelt.

PSB: Und abschließend: Worauf sind Sie in Bezug auf das endgültige PS VR2-Headset am meisten stolz?

YT: Die ursprüngliche PS VR wurde von vielen Spieleentwicklern genutzt, um die Welt der VR-Spiele zu erweitern, und wir sind der Meinung, dass die PS VR2 die Grenzen noch weiter ausdehnt. PS VR2 ist in der Lage, atemberaubende 4K HDR-Grafiken zu rendern (2000 x 2040 pro Auge), und auch die Blickerfassung liefert mit effizienten Rendering-Techniken hochwertige Grafiken. In Kombination mit dem Controller, dem Headset und dem komfortablen Design können die Spieler vollständig in die außergewöhnlichen von den Spieleentwicklern geschaffenen VR-Welten eintauchen. Das vielfältige Portfolio an VR-Spielen wird in Zukunft weiter wachsen, und wir hoffen, dass die Spieler sie in vollen Zügen genießen werden.

• Erfahren Sie mehr über PS VR2
• Lesen Sie weitere PlayStation-Blogs über PS VR2