Dévoiler le rêve

Les films de science-fiction comme l'original Star Wars présentent des affichages volumétriques montrant des objets 3D qui semblent occuper l'espace réel, tout comme dans la vraie vie. Vous pouvez examiner le haut, le bas et les côtés des objets affichés lorsque vous bougez la tête, les rapprochant ainsi considérablement de l'apparence de la réalité physique.

Bien sûr, dans ce scénario de rêve, il n'y aurait pas de lunettes 3D.

En réalité, un tel affichage changerait la donne pour quiconque conçoit des objets en 3D : designers industriels, architectes, ingénieurs, développeurs de jeux et infographistes pour le cinéma. Un tel affichage constituerait également une percée pour la visualisation scientifique détaillée d'objets 3D en biochimie, géologie, systèmes d'information géographique et plusieurs autres disciplines.

L'écran de réalité spatiale de Sony est la réalisation de ce rêve.

L'écran de réalité spatiale de Sony fonctionne avec un PC et une plate-forme d'infographie 3D pour offrir une visualisation 3D stéréoscopique sans lunettes, incluant des images qui pivotent immédiatement en réponse au mouvement de la tête. Le résultat est un grand moment visuel : une impression écrasante de réalité 3D. Même les professionnels blasés du design et de l'infographie sont époustouflés.

Les chefs de file de l’industrie adorent l’écran de réalité spatiale de Sony.

Comment ça fonctionne

Une percée dans la visualisation d'images informatiques en 3D, l'écran de réalité spatiale ELF-SR1 se compose d'un panneau LCD 4K de 15,6 pouces de diagonale incliné dans le support fourni à 45°. Le panneau, qui compte plus de 8 millions de pixels, affiche des images indépendantes pour l'œil gauche et l'œil droit, chacune avec environ la moitié des pixels. Une lentille micro optique devant le panneau LCD sépare les deux images et les dirige chacune vers le bon œil. Cela crée l'illusion puissante d'une scène 3D qui s'étend devant la surface de l'écran. Bien qu'impressionnant, l'effet devient encore plus convaincant lorsque vous bougez la tête. Le système fait immédiatement pivoter la scène 3D en réponse au mouvement, maintenant l'illusion d'objets 3D réels. Vous êtes libre de regarder autour de vous et d'explorer la scène sous différents angles.

Le système suit le mouvement des yeux à la milliseconde près et l'image pivote de manière synchronisée lorsque vous inclinez ou déplacez la tête de haut en bas, de gauche à droite, même d'avant en arrière. Le résultat est une sensation irrésistible de réalité 3D.

Survol du système d’écran de réalité spatiale.

Le secret est une caméra de détection des yeux intégrée dans la lunette de l'écran. Cela envoie des données vidéo via USB 3.2 vers un PC Windows® 10. Un algorithme de rendu en temps réel avancé dans le logiciel d'exécution d'affichage de réalité spatiale de Sony interprète les données de détection oculaire et dirige les moteurs de jeu pris en charge pour faire pivoter immédiatement la scène en fonction des mouvements de votre tête.

L'affichage de réalité spatiale est pris en charge par deux des meilleures plates-formes de production de contenu 3D au monde : Unity® et Unreal® Engine. De cette façon, l’écran de réalité spatiale est prêt à fonctionner avec une vaste bibliothèque de contenus de réalité virtuelle existants.

Advantages

Unique dans sa configuration et doté d'une technologie exclusive, l'écran de réalité spatiale de Sony vous permet de voir ce qui n'avait jamais été vu auparavant. Pour les concepteurs, les chercheurs et les professionnels de la création de contenu, les avantages sont déterminants.

1. Le 3D stéréoscopique sans lunettes de qualité exceptionnelle. Certains écrans 3D sont sujets aux images fantômes gauche/droite, également appelées diaphonie, où chaque œil voit une partie de l'image destinée à l'autre. La lentille micro optique a été méticuleusement conçue pour minimiser au maximum la diaphonie. Le résultat est un effet 3D convaincant qui a remporté des commentaires élogieux de la part de professionnels les plus exigeants.
   

   L'un des secrets de l'effet 3D les plus convaincant du système est l’extraordinaire précision de la micro-lentille optique qui dirige les images de l'œil gauche et de l'œil droit.
2. Réponse à la milliseconde près au mouvement de la tête avec six degrés de liberté. L'affichage de réalité spatiale maintient l'illusion puissante d'une scène volumétrique solide en ajustant la vue lorsque vous bougez la tête. Le système détecte et répond en douceur au mouvement de votre tête avec six degrés de liberté. Il existe trois axes de mouvement : haut/bas, gauche/droite et avant/arrière jusqu'aux limites du « cône » de visualisation de l'écran. Dans certaines limites, l'écran peut également prendre en charge le roulis (incliner la tête à gauche et à droite), le tangage (incliner la tête de haut en bas) et le lacet (pivoter la tête à gauche et à droite). Le délai (latence) entre le mouvement de votre tête et le réglage de l'affichage qui en résulte dégraderait l'illusion. Pour un effet maximal, le système fonctionne en temps réel, avec une réponse en millisecondes et une grande précision. Sony atteint ces objectifs avec des avancées matérielles, micrologicielles et logicielles, notamment une caméra haute vitesse, une technologie sophistiquée de détection des visages et de détection des yeux et un algorithme de rendu en temps réel propriétaire.
   

   La caméra haute vitesse (à gauche) fournit des données à la milliseconde près pour le suivi du visage et la détection des yeux.
3. Haute résolution. L'affichage de réalité spatiale est doté d’une capacité étonnante à transmettre les détails et les textures des objets grâce à un panneau d'affichage natif 4K (3 840 x 2 160) avec plus de 8 millions de pixels au total. Pour optimiser l'expérience immersive 3D, Sony applique un bord de lunette masqué unique. Environ la moitié des pixels sont délivrés à chaque œil.
4. Confort de visualisation et commodité. Là où les casques de réalité virtuelle isolent l'utilisateur du clavier de l'ordinateur et des périphériques d'entrée, le Spatial Reality Display fonctionne comme un moniteur de bureau secondaire. Il fonctionne avec les moniteurs 2D traditionnels, vous permettant de passer en toute transparence entre l'évaluation 2D et 3D. Et tandis que certains utilisateurs peuvent ressentir des nausées ou de l'inconfort avec les casques VR, l'affichage de réalité spatiale minimise l'inconfort.
   

   Création de contenu dans Unity 2018.4.
5. S'adapte aux flux de travail existants. L'affichage de réalité spatiale s'intégrera parfaitement partout où les professionnels créent des images de synthèse 3D. Le système fonctionne avec un PC Windows® 10 équipé de la puissance CPU et GPU typique des maisons d'infographie 3D. Sony fournit une prise en charge des plug-ins pour deux des meilleures plates-formes de production de contenu 3D au monde : Unity et Unreal Engine. L'ELF-SR1 peut également afficher du contenu existant déjà créé pour la réalité virtuelle, soit directement, soit avec des modifications mineures, selon le contenu.

Applications

Depuis les premières démonstrations publiques au CES de 2020, le Spatial Reality Display a un vif intérêt dans de nombreux métiers. Les retours d'expérience des clients avec des échantillons d'évaluation nous ont donné un aperçu préliminaire des marchés potentiels.

1. Design automobile. Les constructeurs automobiles reconnaissent le potentiel de cette technologie. « Chez Volkswagen, nous évaluons l'affichage de réalité spatiale de Sony depuis ses débuts, et nous constatons une utilité considérable et de multiples applications tout au long du processus d'idéation et de conception, et même avec la formation », a commenté Frantisek Zapletal, Virtual Engineering Lab US, Groupe Volkswagen d'Amérique, Inc.
2. Design industriel. La réalité spatiale représente une toute nouvelle façon pour les concepteurs de prévisualiser leurs créations 3D. Après avoir travaillé avec un prototype, le concepteur de produits So Morimoto a déclaré : « Lorsque je vérifie mes conceptions, je modifie souvent l'angle de la lumière pour vérifier la texture. J'incline naturellement la tête pendant que je regarde les choses et ce qui est étonnant, c'est que cet affichage reflète précisément ces mouvements naturels. Le concepteur de produits et ingénieur en mécanique Tatsuhito Aono a déclaré : « Même lorsque nous travaillons à distance comme entre Tokyo et Shanghai… nous pourrions partager des conceptions avec ce type de présence. »
3. Architecture. Les architectes s'efforcent constamment de communiquer des concepts 3D. "Cela ressemble vraiment à un pas vers la communication à distance sous forme de formes et la possibilité d'envoyer des " choses à de nombreuses personnes différentes", a déclaré Keisuke Toyota, co-fondateur de noiz, un cabinet d'architecture dans la section Meguro de Tokyo.
4. Développement de jeu. Compatible avec les plates-formes Unity et Unreal Engine que tant de développeurs de jeux utilisent déjà, le Spatial Reality Display convient parfaitement aux projets 2D et VR conventionnels. Vous pouvez facilement évaluer les attributs 3D sans quitter votre environnement de travail.
5. Création de divertissement/contenu. Nous avons envoyé un échantillon à The Mill, un studio de production de premier plan avec des bureaux à Londres, New York, Los Angeles, Chicago, Berlin et Bangalore. Selon Dan Philips, producteur exécutif de cette technologie émergente, « Vous regardez littéralement la magie se produire à l'écran, en vous demandant comment elle fonctionne. Chaque personne que j'ai vue en train d'observer cet affichage m’a dit : ‘’Je n'ai jamais rien vu de tel’’. Selon Eric Reich, directeur de la marque et de la franchise chez Ghost Corps, "L'affichage offre une nouvelle approche pour visualiser les concepts et les personnages, facilitant ainsi la compréhension du produit fini."
6. Visualisation scientifique. Que vous essayiez de comprendre des protéines complexes, des dépôts minéraux ou des contraintes structurelles, il existe des applications où deux dimensions ne suffisent pas. L'affichage de réalité spatiale permet une visualisation 3D puissante sans avoir besoin de casques VR encombrants ou de la complexité des environnements virtuels automatiques CAVE.

Pourquoi Sony?

Selon les mots du co-fondateur de l'entreprise, Akio Morita, « Nous faisons ce que les autres ne font pas ». Le Spatial Reality Display est l'expression de cette ambition. Bien entendu, l'écran reflète également le leadership technologique de Sony dans trois domaines.

1. Un chef de file en matière d'affichage, des moniteurs de production sur les scènes sonores d'Hollywood aux moniteurs d'évaluation critique primés dans les suites d'étalonnage des couleurs, en passant par la signalisation numérique de détail et d'entreprise jusqu'aux téléviseurs domestiques.
2. Un chef de file dans la détection d'images. Le système tire parti d'un capteur de vision haute vitesse exclusif.
3. Un leader dans le traitement d'images générées par ordinateur génération après génération de consoles PlayStation®, menant à la PlayStation 5.

La réalité spatiale affichée représente une intégration unique de toutes ces technologies de classe mondiale. C'est une expérience 3D fascinante que vous ne trouverez nulle part ailleurs.

Comme la plupart des professionnels qui lisent ce document le savent, les humains se fient à la perception de la profondeur chaque fois que nous conduisons une voiture, prenons un crayon ou frappons une balle de tennis. La perception de la profondeur étant si fondamentale, elle tire parti d'un large éventail d'indices visuels. Ceux-ci incluent de nombreux indices évidents dans les moniteurs et projecteurs 2D et même visibles dans la peinture de la Renaissance : occlusion, taille relative et perspective aérienne. Les images animées en 2D fournissent un autre indice : la parallaxe des mouvements de la caméra.

Pour apprécier l'affichage de la réalité spatiale, il est utile d'examiner trois indices supplémentaires qui sont cruciaux pour la perception de la profondeur, puis de voir comment différentes technologies d'affichage réussissent ou échouent à les utiliser.

Comparons la façon dont différents types d'affichage utilisent ces indices de profondeur. Il est clair que l'affichage de réalité spatiale de Sony répond aux mêmes signaux que les casques de réalité virtuelle et les environnements virtuels automatiques CAVE.

Casques de réalité virtuelle

Les casques VR ont gagné du terrain pour les jeux et certaines applications grand public et professionnelles. Pour tous leurs avantages, ils placent l'utilisateur dans un environnement isolé, coupé du monde du travail. Vous devez retirer le casque pour tout accomplir, de la plupart des tâches de conception à la réponse aux courriels et répondre au téléphone. L'affichage de réalité spatiale agit comme un deuxième écran d'ordinateur, vous permettant de passer instantanément de l'évaluation 3D à toutes les autres tâches qui composent votre journée.

De plus, certains utilisateurs signalent un certain inconfort lors de l'utilisation de la réalité virtuelle. L'affichage de réalité spatiale minimise ces problèmes.

Environnements virtuels automatiques CAVE

Les environnements virtuels automatiques CAVE restent la référence en matière de visualisation 3D. Nous sommes fiers que les principales installations CAVE préfèrent les vidéoprojecteurs 3D SXRD® de Sony. Cependant, le visionnage de CAVE n'est pas pour tout le monde. Vous avez besoin d'une salle dédiée – un investissement immobilier substantiel – en plus du coût de plusieurs projecteurs, écrans et ordinateurs CGI. CAVE nécessite également une ingénierie méticuleuse, une installation précise, un étalonnage minutieux et des lunettes 3D. Alors que CAVE est idéal pour les installations de recherche bien dotées, il est hors de portée pour tout le monde.

De plus, CAVE, les casques VR, ne sont pas adaptés à l'environnement de travail quotidien. Alors que la réalité spatiale tient littéralement sur un bureau, la visualisation CAVE éloigne complètement les chercheurs de leur bureau.

Moniteurs 3D multi-vues

À première vue, la réalité spatiale de Sony semble remplir la même fonction que les moniteurs 3D multi-vues disponibles dans le commerce. Une analyse plus approfondie révèle des différences importantes et suggère des applications et des possibilités sensiblement différentes. Alors que la réalité spatiale de Sony sert un utilisateur à la fois, les moniteurs 3D multi-vues peuvent servir plusieurs utilisateurs simultanément. Naturellement, cette capacité implique des compromis importants.

1. Rendu pas à pas. Selon les études réalisées par Sony sur les produits commerciaux en février 2021, les écrans multi-vues offrent généralement 45 vues. En comparaison, le PC du système de réalité spatiale de Sony peut restituer littéralement des centaines de vues, chacune calculée avec précision pour la position exacte de l'utilisateur. Avec seulement 45 vues, l'image change par étapes discrètes lorsque vous bougez la tête. Le rendu par étapes peut être modéré en permettant à chaque œil de l'utilisateur de voir deux vues adjacentes ou plus, mais cela entraîne un flou considérable sur les parties de l'image qui s'étendent devant et derrière le « plan de parallaxe zéro » de l'écran. Le rendu par étapes peut également être modéré par un flou intentionnel lors de la création de contenu. Mais encore une fois, cela sacrifie les détails de l'image.
2. Résolution limitée. En utilisant l'exemple de 45 vues, chaque utilisateur voit généralement 2/45 de la résolution native de l'écran. Cela signifie que 95 % des pixels d'affichage sont consacrés à des vues que vous ne voyez pas. Les ingénieurs des écrans 3D multi-vues sont donc confrontés à un compromis difficile. D'une part, ils peuvent maximiser la résolution. De l'autre, ils peuvent offrir de nombreuses vues. Ils ne peuvent pas faire les deux.
3. Aucune réponse au mouvement de la tête haut/bas ou avant/arrière. Selon les études réalisées par Sony, sur les allégations publiées, vous ne pouvez pas modifier votre vue de l'objet en vous déplaçant verticalement, vers l'écran ou vers l'extérieur. La vue change uniquement au mouvement de la tête d'un côté à l'autre.

Ces différences suggèrent que le Spatial Reality Display et les moniteurs 3D multi-vues offrent des performances sensiblement différentes.