360° Bilder und Videos - notwendige Soft- und Hardware

[Kraeuterbutter]

Fürs Arbeiten ist mir die Auflösung immer noch zu gering. Bei den immersiven Spielen merke ich die grobe Auflösung witzigerweise gar nicht mehr. Aber fürs Arbeiten scheinen manche mit der "Nreal Air AR-Brille" happy zu sein - ganz was anderes aber bessere Auflösung für Virtual Desktop. Wird auch zusammen mit Samsung Dex auf dem Handy gelobt.

die NReal ist ja kein 6dof und glaub sogar nur in manchen Fällen (passendes Smartphone, bestimmte Apps) 3dof
ansonsten ist es wie eine Videobrille: das Bild bewegt sich mit dem Kopf mit - was leider Käse ist und ermüdet..
die Auflösung ist auch nur deshalb "so gut", weil sie ein sehr kleines FOV hat... 46° rum diagonal

sprich: nichtmal 1/4 der Fläche von dem was wir als VR gewohnt sind - wenn ich es richtig überschlage

ich hab mir die NReal selber schon überlegt und fast bestellt (und auch die Rockit angeschaut)
als Switch-Bildschirm
aber was mich abhält ist, dass das Bild eben mitwandert

das hab ich so ja schon mit meiner DroneMask/MovieMask
ppd ist hoch bei der Nreal.. kommt auf was um 40 (!)

aber: die Auflösung ansich ist mit 1920x1080 ja gerademal 2 Millionen Pixel - also nichtmal halb soviel wie z.b. bei einer Pico4

von wegen Auflösung bei VR und Arbeiten damit:
du hast ne Quest1 - da versteh ich das...
a) niedrige Auflösung
b) nur 2 statt 3Subpixel weil oled
c) Pentile-Pixelanordnung
alles zusammen: nicht gut um Schriften zu lesen..

nur mal so, die Entwicklung in VR:

Vive vor 7 Jahren: 2,6 Millionen Subpixel pro Auge
Vive Pro / Quest1: 4,6 Millionen Subpixel pro Auge

Pico4: 14 Millionen Subpixel pro Auge

und das ist schon eine deutlich spürbare Verbesserung zur Quest1

ca. 3mal soviele Subpixel !
die Bigscreen Beyond z.b. mit 2560x2560 kommt bereits auf 19,6 Millionen Subpixel pro Auge
mehr als 4mal soviel wie die Quest1
hier ist der Screendooreffekt tatsächlich nur mehr mit "Gewalt" zu finden, wenn man ihn krampfhaft sucht
die Pimax Crystal dann mit 2880x2880 kommt bereits auf 25 Millionen Subpixel, also 50 Millionen für beide Augen

das ist mehr als 5mal soviele Subpixel als eine Quest1
hier kommt halt dann - für längeres Arbeiten - das Gewicht wieder ins Spiel... 1,2kg (!)
die Bigscreen Beyond hingegen wiegt nur 127g (das vordere Teil), mit STrap etc. irgendwas um 170g
hier haben schon mehrere Personen berichtet, dass sie damit 8-10h ham Stück gut in VR verbracht hätten..

das GEsichtspolster wird per Laserscan auf das Gesicht des Nutzers extra angepasst bzw. angefertigt
die Brille gibt es in 15 Größen, man bestellt zu seinem eigenen IPD die passende Größe und dann halt nch das mass-angefertigte Facecover per Laserscan

ich denke das ist Stückweit die Zukunft die wir hier sehen


zurück zur Pico4 die ich habe:

3mal soviele Subpixel wie die Quest1 (14 Millionen vs. 4,6 Millionen)


das ist jetzt noch nicht soviel, dass ich es einem guten Monitor vorziehen würde.. sicher nicht
aber T460 womit z.b. noch viele Mitarbeiter bei uns rumlaufen mit 1366x768 auf 14" - zieh ich es auf jedenfall bereits vor
mein Dell-Notebook - 14" mit FullHD-Auflösung:
ja, Schriften sind schärfer, aber auch deutlich kleiner..benutze ich Skalierung (z.b. 150%) hab ich wiederum recht wenig Platz am Bildschirm
auch hier hab ich nach 1-2h Arbeit mit der Pico4 (2 virtuelle FullHD-Screens) und dann Akku leer und Wechsel zurück zum Notebook-Screen mich fast geärgert auf diesem mikroskopisch kleinen 14" Bildschirm weiterarbeiten zu müssen, mit nicht perfekter Ergonomie, geringem Auge-Schirm-Abstand, winziger Schrift, wenig Platz am Screen

zusammengefasst:
Quest1 - für mich Arbeiten nicht möglich --> zu geringe Auflösung, katastrophaler Komfort des Headsets (schlimm Kopflastig)
Quest2 - Auflösung natürlich noch nicht perfekt aber so, dass man damit arbeiten kann, Ergonomie mit (Akku)Elitestrap viel besser als bei Quest1

Pico4: auf dem Papier nochmal bessere Auflösung, gefühlt nicht sehr
ABER: PancakeLinsen die statt nur 20-30% scharfes Bild nur in der MItte eher 60% des Bildes scharf machen
man muss viel weniger den Kopf hin und herdrehen, kann allein durch augenbewegung Dinge trotzdem scharf sehen
dann noch mehr FOV UND super binocular Overlap was darin resultiert, dass der komplette virtuelle Bildschirm innerhalb des Binocular Overlaps sich befindet, was bei den Quests nicht der Fall ist
das macht das Bild auch nochmal schöner, weil der Übergang von "kann ich mit 2 Augen sehen" hin zu "kann ich nur noch mit einem Auge sehen" bei den Quests (und anderen Brillen) störend ist, wenn er durch den virtuellen Screen (oder z.b. eine virtuelle Kinoleinwand) läuft

meiner Meinung nach wird die Bedeutung dieses Overlaps unterschätzt..
nicht nur wegen 3D-Sehen..
sondern eben auch wegen der Störung des Bildeindruckes...
ein schlechter Binocular Overlap lässt mich nie vergessen, dass ich ne VR-Brille am Kopf habe

ist die Pico4 also perfekt?

nein !
aber ich würde mir für eine PIco5 wünschen - und die wäre dann schon hammer für mich:

bessere Linsen
(gerade hab ich die Linsen gelobt, was meine ich damit ?)
FOV (super) und Stereo overlap (super) können sie so lassen
aber die Linsen haben "Spiegelungen"/"Glow" - nicht so schlimm wie in manch Fresnel-Headsets aber doch vorhanden
die Quest Pro zeigt - mit einer speziellen Beschichtung - dass man das besser machen kann mit Pancake-Linsen
auch E2EC - von mir gelobt weil besser als bei JEDEM FResnel-Linsen-Headset am Markt - könnte besser sein
die Quest Pro zeigt auch hier, dass es noch besser geht.. die soll ja wo bei 80%+ scharf liegen
Nachteil bei Quest Pro: schlechter Stereo-Overlap

ein weiterer Punkt natürlich: die Auflösung.. 2880x2880 -> ich wäre so glücklich ;-)
und Warping... liegt es an den nicht so guten Linsen oder an den Distortion-Profilen: es gibt Verzerrrungen/Verwölbungen wenn man den Kopf in der Brille bewegt.. das sollte auch besser sein

Gewicht und Formfaktor darf für mich so bleiben, ist im Vergleich zu Quest1, Quest2 usw. für mich eh schon ein Gamechanger mit der Pico4
achja: Passthrough: bei Quest2 sw - ned schön... Tasten auf Tastatur kaum zu erkennen..
das macht die Pico4 besser.. trotzdem wünschte ich mir hier eine gute Kamera wie wir sie von Smarthpones heute kennen, mit noch höherem DYnamikumfang
ich will einfach - bei sogut wie allen Lichtverhältnissen - jederzeit gut die Tastenbeschriftungen meiner Tastatur lesen können im Passthrough-Modus
all diese Dinge sind technisch schon da und sollten machbar sein - also keine unmögliche Zukunftsphatasie
damit könnte ich mir schon gut vorstellen auch mal halben Tag ernsthaft in VR zu arbeiten
und Notebookdisplay würde ich wohl gar nimma angreifen

 

[Kraeuterbutter]

Sieht für mich vage so aus, als ob die voll auf AR setzen.

auf AR ?
hmm..
ich hab auch schon die Vermutung gelesen, dass sie es vielleicht so timen wollen, dass mit Release der Quest3 (die sie noch stärker verkaufen wollen als die Quest2) dann bei RElease der Quest3 bzw. dann im Anschluss zugkräftige Titel haben wollen..
Stichwort: zum Beispiel GTA SanAndreas
ich hoffe dann wirklich unter Ausnutzung der Fähigkeiten eines XR2 gen2 (und hoffentlich eyetracked foveted rendering - was die PSVR2 ja macht und zeigt dass es gut funktioniert)
dies in Kombination sollte die 5-fache GRafikpower einer Quest2 möglich machen, die 10fache einer Quest1
und so dann die Auflösung der Quest3 auch ausnutzen können

 

[Kraeuterbutter]

SideQuest soll wohl erlauben, die Grafik anzupassen.

ja, schon seit Jahren
sogar schon vor der Quest1, also die Funktion gabs schon für die Oculus Go
und - bei manchen Spielen wirkt es, bei manchen nicht..

aber wenn es funktioniert:
z.b. wo ich es krass gemerkt habe: AngryBirds damals..
da wurde aus dem original - verschwommen - nach dem Hochsetzen der Auflösung ein gestochen scharfes Bild.. als ob es am PC laufen würde

also enorme Verbesserung bei diesem Spiel (noch mehr als dein Screenshot im Vergleich hier zeigt)

leider laufen ja standardmässig großteil der GAmes auf Quest1, Quest2 und Pico4 mit niedrigerer Auflösung als die verbauten Displays könnten
besonders bitter bei der PIco4, wenn Games von Meta-STore portiert werden, und dann mit der Auflösung daherkommen die unter der physischen Displayauflösung der Quest1 daherkommen
gerade bei der Pico4 würde ich mir so eine Option wünschen, die Auflösung hochzuschrauben

es gibt ein Spiel, dass richtig hohe Auflösung auf der PIco4 bietet, und das schaut einfach gleich soviel besser aus
(Golf5 z.b. probiert - sehr gut)

hatte mal eine Liste erstellt:
Resüme: die meisten Games scheinen mit 1440x1584 zu laufen mit Frameraten von 60fps bis 90fps

das sind dann gerademal 49% der Displayauflösung (!) die die Pico4 eigentlich bietet
(am PC würde man sogar immer noch 30-50% an Auflösung auf die Physische draufschlagen für Headroom beim Distortion-Berechnen)


es gibt ein paar wenige Ausnahme, mit mehr Auflösung im Pico4 Store:

SuperHot VR	1536x1536 / 72fps
Ancient Dungeon	1584x1742 / 90fps
Song Beater VR	1664x1664 / 70fps
Puzzling Places	2160x2160 / 72fps
V-Speedway	2016x2217 / 90 fps
Paradiddle	2016x2220 / 72fps
Red Matter 2	1872x2060 / 72fps
Golf 5	2160x2376 / 60fps
Wander	2592x2851 / 90fps
Eleven Table TEnnis	Resolution: Adjustable(!). It seems to play very well with good visuals at 2016x2217, while maintaining 90 fps.

das das hochsetzen der Auflösung per Sidequest jetzt automatisch funktioniert ist Hammer !!!
danke für den Hinweis..
muss die Quest2 mal wieder rauskramen (seit ich die Pico4 habe verstaubt sie)
und das probieren..

anfangs musste man die Brille immer an den PC anschließen, am PC Sidequest starten, die Auflösung hochsetzen.. und das blieb auch nur bis zum nächsten Reboot der Brille bestehen

also wenn das bei sovielen GAmes funktioniert wie die sagen - wäre das eine enorm coole Sache !!!
bitte bitte sowas für die Pico4 auch machen, Sidequest gibts ja auch für die Pico4 und die hat ja nochmal 30% mehr Power als die Quest2

 

[Cube45]

OT: @Kraeuterbutter : sag mal, wie schnell kannst du genau tippen? In 22 Minuten 3 so lange Posts und kaum Tippfehler! Mal zwei Großbuchstaben am Anfang, ok ..

bei mir: "I cna tpye 300 wrods pre miunet"

 

[Kraeuterbutter]

sorry.. ja ich schreib oft zuviel... ich weiß...
Tippen - sehr schnell
bei den Tipp-Programmen die man im Internet das 10-finger-Blind testen kann bin ich meist bei den 1-2% der schnellsten dabei
(12 Jahre Akkordeon und Klavier-Unterricht)
ich tippe oft schneller als ich denke

oben hab ich natürlich länger gebraucht weil ich ja noch die Daten raussuchen musste ;-)

 

[Cube45]

Wow! Besondere Tastatur? (dann aber genug OT)

 

[Kraeuterbutter]

nö.. also nix mit mechanischen Tasten etc.. (die haben mir zuviel Hub)

 

[mawadre]

eyetracked foveted rendering - was die PSVR2 ja macht und zeigt dass es gut funktioniert

Hatte mal Linus Tech Tips die PS5 VR testen gesehen und er konnte im Headset nicht erkennen, wie du Auflösung dynamisch je nach Blick reduziert wird aber seine Kollegen konnten auf dem Bildschirm sofort sagen, wo er hinschaut

 

[mawadre]

In 22 Minuten 3 so lange Posts und kaum Tippfehler!

Mit dem Handy sollte das genauso schnell gehen dank Autokorrektur.
"The fastest phone typers can tap out 85 words-per-minute on touchscreens using two thumbs and autocorrect - as fast as the average keyboard user"
The fastest phone typers can match keyboard users


Ich selbst bin auf dem Handy inzwischen schneller als auf dem Laptop mit Tasten mit kleinem Hub. Mein verkorkstes eigenes 10 Finger System, die suboptimalen Tasten und fehlende Autokorrektur sind die Ursachen.

 

[mawadre]

Eleven Table TEnnis

Resolution: Adjustable(!). It seems to play very well with good visuals at 2016x2217, while maintaining 90 fps.

Auf Reddit meinte jemand, dass das Tracking der Pico4 nicht an die Quest 2 rankäme und somit ETT besser auf der Q2 liefe.

die NReal ist ja kein 6dof und glaub sogar nur in manchen Fällen (passendes Smartphone, bestimmte Apps) 3dof
ansonsten ist es wie eine Videobrille

Ja, bessere Videobrille mit 2 virtuellen Monitoren. Manche lassen sich aufs Konzept ein und lieben es. Zum Beispiel arbeiten oder Filme schauen auf 8h Flug.

 

[mawadre]

ich will einfach - bei sogut wie allen Lichtverhältnissen - jederzeit gut die Tastenbeschriftungen meiner Tastatur lesen können

Das sollte doch besser durch AR oder Software und Spezial-Keybiard gelöst werden. Entweder via Kameras oder IR LEDs das Keyboard erkennen und in VR beschriften wie bei den Controllern auch. Problem eleganter gelöst. Da käme auch das Konzept der "auf Oberfläche projezierten Tastur" wieder ins Spiel.

 

[mawadre]

Apples Einstieg in VR haben wir auch noch nicht diskutiert. Einzige meinen, dass sie hochpreisig mit einem teuren Paukenschlag einsteigen würden, Bedürfnisse wecken, um sich dann preislich runterzuarbeiten. So als hätte Mäte zuerst die Quest Pro für 1700 auf den Markt gebracht. Microsoft hatte das ja mit der 3000.- teuren Hololens probiert und scheinbar aufgegeben. Es geht im Kapitalismus halt nichts über Economy of Scale. Aufs wichtigste reduzierte und preisoptimierte Produkte für die ganze Welt.

 

[Kraeuterbutter]

Das sollte doch besser durch AR oder Software und Spezial-Keybiard gelöst werden. Entweder via Kameras oder IR LEDs das Keyboard erkennen und in VR beschriften wie bei den Controllern auch. Problem eleganter gelöst. Da käme auch das Konzept der "auf Oberfläche projezierten Tastur" wieder ins Spiel.

nicht alle sind davon überzeugt, dass AR "besser" ist
Palmer Luckey z.b. meinte, dass er die Zukunft in "künstlichen Photonen" sieht
sprich: alles was du als User siehst, sind künstlich erzeugte Photonen, keine Photonen aus der echten Welt (wie bei einer Brille wo man durchsieht und das AR-Bild nur eingeblendet wird)

AR-Brillen haben (derzeit) auch immer ein deutlich kleineres FOV, Farben/Kontrast schlechter

eine Varjo XR3 die jetzt bald 2 Jahre alt ist hat bei Demos schon gezeigt, das LEute teils den Unterschied zwischen gerenderten und in die Welt eingefügten Objekten und echten Objekten nicht unterscheiden können, sie verwechseln

auch ist das 3D und Auflösung so gut, dass es kein Problem ist einen dünnen FAden in das Öhr einer Nadel einzuführen

zurück zum ARbeiten:
sowohl Meta Workroom als auch Immersed können das ja schon: Objekte zu tracken und in VR durch eine künstliche Tastatur ersetzen, per Handtracking wird dann die Hand darauf eingeblendet..
ist beeindruckend, dass das so funktioniert
cooler und praktischer finde ich aber eben, einen Bereich am Tisch zu makieren, und diesen dann per Passthrough über Kamera sichtbar zu machen
so kann jede TAstatur, jedes Maus, jedes Cocktailglas etc. verwendet werden

Pico4 neu in Immersed:

da die Pico4 kein echtes 3D hat beim Passthrough ist die Position nicht wie angenagelt.. hier noch Verbesserungspotential
ich mag das... weil man sich nämlich trotzdem "wegbeamen" kann, in die "saubere" VR-Welt und so konzentrierter arbeiten kann (so geht es mir jedenfalls, wenn ich meinen messy Schreibtisch ned sehen muss oder im Homeoffice die Leute die rumlaufen *g*)

 

[Cube45]

dass es kein Problem ist einen dünnen FAden in das Öhr einer Nadel einzuführen

ich weiß nicht, ob das schon Thema war, aber:
How VR and AR Are Used in Surgery: 12 Examples

 

[mawadre]

ned sehen muss oder im Homeoffice die Leute die rumlaufen *g*)

Haha, normalerweise ist es ja umgekehrt

 

[mawadre]

jedes Cocktailglas

Ok, stimmt, jetzt wo Du es sagst, erinnere ich mich auch an das Problem

 

[mawadre]

Das Video hat mir einen guten ersten Eindruck gegeben, wie Computer-Arbeit mit VR Headsets aussehen kann:

 

[Kraeuterbutter]

genau, so nutze ich das
wobei: ich hab 2 screens übereinander statt mehrere nebeneinander..

der Kopf tut sich leichter mit leichten auf abschwenks, als hin-her-drehen
finde ich
man sitzt weiterhin gerade, wärend man mit den seitlichen Monitoren den Kopf immer verdreht hat
deshalb hab ich im Reallife auch kein dual-Moniotor-system (kurzzeitig tripple) mehr (3 Jahrzehnte gehabt)
und in VR eben 2 übereinander
lässt sich für mich erognomisch perfekt einrichten.. es ist keine Tischplatte im Weg, ich den unteren also weit nach unten geben damit ich beim oberen nicht zu weit nach oben schauen muss

wie gesagt: ergonomie lässt sich in VR dann perfekt einrichten
seitlich hab ich oft nur noch nen kleinen Monitor(e) für Telefonanlage und einen für Teams

derzeit brauchts noch bissal VR-Nerdismus um so zu arbeiten
aber es geht schon recht gut
und mit der nächsen, spätestens übernächsten VR-Brillen generation wirds denk ich richtig fein werden

 

[Kraeuterbutter]

gerade gesehen:

Bradley war auf der SID Displayweek 2023

und da wurden mehrere 4k x 4k (like) Displays vorgestellt
Apple soll ja in der wahrscheinlich in 2 Wochen vorgestellten Applebrille so eine Auflösung (von Sony) in ihrer VR-Brille verbaut haben

was Bradley da so beschreibt...
scheint also nimma lange zu dauern dass wir mit dieser Auflösung wohl in mehreren Headsets beglückt werden...
Hammer..

freu mich schon..
damit kommen dann unsere 360-Bilder richtig zur Geltung.. Oled, HDR-displays, und bei 4000x4000 Auflösung zahlen sich dann auch 16k 360-Bilder endlich aus
auch - weil du von den Farbproblemen gesprochen hast, @mawadre - das wird mit diesen Displays dann auch angegangen.. decken riesen Farbraum ab

Videos die das wirklich ausnutzen - dürften noch länger in weiter Ferne liegen (bezahlbar)

da könnten wohl eher 180°-Videos interessant sein, die dann mit 6k oder gar 8k (auf 180°) super schön ausschauen sollten..

 

[mawadre]

da könnten wohl eher 180°-Videos interessant sein, die dann mit 6k oder gar 8k (auf 180°) super schön ausschauen sollten..

Auf YouTube und Meta gibt's ja schon einige 12k VR Videos. Für mich sind aber gute Farben und Dynamikumfang gerade fast wichtiger als hohe Auflösung. Hatte auf YouTube mehrere VR Videos geschaut und war sofort raus bei einem, das mit einer Insta360 mit schlechtem Dynamikumfang gemacht wurde: