Réalité augmentée grâce au mode PassThrough (Quest 2)

Le casque Meta Quest 2 (autrefois Oculus puis Facebook) dispose d’une fonctionnalité très intéressante pour les programmeurs de la réalité augmentée.

Comment ça ? Le Meta Quest 2 n’est-il pas un casqcue de réalité virtuelle ?

Bien évidemment et c’est ce qui fait sa spécificité. C’est un super casque de réalité virtuelle, il est autonome, ne nécessite pas d’ordinateur ou d’ordinateur, ne nécessite pas de système de captation extérieur. Il propose du 6DoF (6 degrés de liberté) , c’est-à-dire que vous pouvez vous déplacer, bouger la tête dans tous les côtés comme dans la vie réelle. Il est par ailleurs entièrement accessible pour toutes les bourse (350 €) et offre des innovations intéressantes comme la captation des mains, c’est-à-dire que vous n’avez pas besoin de manettes pour interagir dans votre environnement virtuelle. Pour la petite histoire, je faisais la même chose il y a 5 ans avec un HTC Vive (cf. vidéo ci-dessous) sauf que j’avais besoin d’un PC (Le Vive n’était pas autonome), il y avait des éléments de captation extérieur (le casque, pour gérer le 6DoF, nécessitait l’installation de capteurs infrarouge à mettre sur trépied) et pour détecter les mains je devais coupler une LeapMotion au casque.

Mon implémentation avec l’HTC Vive

Donc oui, le Quest 2 est parfait pour la réalité virtuelle. Mais comment peut-il se positionner dans le domaine de la réalité augmentée ?

Pour faire simple, sachez que le Quest 2 possède des caméras infrarouges. Ces caméras servent à détecter votre environnement et en partie vos mouvements pour le 6DoF. Elles sont toujours actives lorsque vous faites une session de réalité virtuelle, sauf que vous ne le savez pas. L’idée est finalement simple, offrir la vision infra rouge à l’intérieur de l’expérience VR et laisser la possibilité d’afficher des éléments 3D.

Certes les caméras infrarouge renvoient l’environnement en noir et blanc (nuances de gris) mais les hologrammes, eux, restent en couleur. Nous sommes loin d’un fonctionnement de l’Hololens mais le casque offre un avant-goût des fonctionnalités au plus grand nombre.

Par ailleurs le mode Pass Through offre la fonctionnalité de pouvoir rapidement passer de la réalité augmentée vers la réalité virtuelle, et vice-versa.

Release de Visual Studio 2022

Ca y est, la dernière version de Visual Studio est sortie. Mais que nous apporte cette nouvelle version ?

Tout d’abord Visual Studio est maintenant une application 64 bits ! Vous avez bien lu. Depuis des années nous attendions que cette superbe application de développement qui vous permet de compiler en 32 et 64 bits (ok, ce n’est pas elle qui compile, mais elle délègue cette compilation), qui s’adresse à tout type de plateforme (ordinateur, téléphone, Xbox, Hololens.. et puis tout le reste si l’on utilise avec Unity) passe elle même en 64 bits.

Visual Studio est donc rapide, très rapide (non, je ne dirais pas trop rapide car on le l’est jamais assez mais franchement j’ai failli le dire) et surtout il ne rencontre plus aucun problème pour adresser de grandes quantité de RAM (merci le 64 bits).

Microsoft s’est focalisé sur l’amélioration des performances à tous les niveaux. La fonctionnalités de recherche dans les fichiers est ainsi 3 fois plus rapide.

La construction d’application moderne est facilitée par un support total de .NET 6 et son framework unifié de développement web, client et mobile pour Windows et Mac. Les éditeurs Blazor, Razor et le rechargement à chaud dans ASP.NET Core est désormais inclus (c’est un véritable avantage lorsque vous sauvez un fichier ou modifié un simple CSS. C’est quand même un plaisir de ne pas devoir tout relancer).

L’intégration de Git au sein de Visual Studio est aussi améliorée avec le support de plusieurs repository en même temps. Quel plaisir de ne pas avoir besoin d’ouvrir plusieurs Visual Studio ou outils diverses et et variés parce que l’on travaille sur plusieurs projets en même temps !

IntelliCode n’est pas en reste. Il est désormais capable de compléter une ligne complète en un seul coup. Quel avantage pour les fainéants… et pour les autres d’ailleurs ! Moins de touches à taper, plus de temps pour se concentrer ! Ce n’est pas tout, le principe de recommandations d’actions rapides fait son apparition. IntelliCode peut désormais détecter lorsque vous faite une tâche classique et vous propose une action rapide à exécuter (plutôt que vous tapiez… quelle bande de veinard vous faites).

La réalité augmentée se fait plus précise chez Apple

Cela fait des années que l’on en parle, des années que l’on entend parler de l’entré d’Apple de la réalité augmentée. Plus précisément, on a attendu – qui a dit espéré ? – son arrivé dans la réalité virtuelle, puis la réalité augmentée et enfin la réalité mixte depuis environ 5 ans.

Pourquoi une telle attente ? Tout simplement parce qu’Apple est connu et reconnu pour son expérience utilisateur. Beaucoup de ses clients sont fiers de la marque, des produits et, nonobstant des prix élevés, sont heureux d’acheter de nouveaux appareils. Tout est parfait, de l’emballage à la qualité produit jusqu’au plaisir de l’utilisation. Ceci existe pour de nombreuses marques, fort heureusement, mais Apple donne une projection sur le marché.

A l’époque où de nombreuses marques se concurrençaient sur les PDA (Personal Digital Assistant) avec des produits techniquement plus performants les uns que les autres, Apple est arrivé avec un iPhone sans copier-coller mais dont l’usage était simple, efficace et, qui plus est, beau.

Apple s’est positionné dans le domaine du « luxe IT ». Ce positionnement est volontaire et tient tant à la qualité des produits qu’à l’image que la société cherche à véhiculer. Ne nombreux produits sont équivalents, voire meilleure, que ce que cette société produit. Apple développe nombre de ses composants, y-compris des processeurs, mais fait également appel à l’extérieur. Le secret d’Apple n’est réside ainsi pas uniquement d’un point de vue IT, mais également marketing car la société créé de l’engouement. Quand Apple rentre dans un domaine, il convient assurément de s’y intéresser.

Apple est présent depuis longtemps dans la réalité augmentée et produit des choses hallucinantes, notamment avec ses iPhone Pro 12 et 13 équipés de Lidar. Mais ce que l’on attend le plus, et depuis des années, est un casque. Les choses semblent bouger chez la marque à la pomme, le sujet est à suivre de près. Pour en savoir plus, c’est ici.

Réalité virtuelle, Vive Flow et SDK

Peut-être ne l’attendiez-vous pas, mais ça y est le Vive Flow d’HTC est disponible. Que nous apporte ce casque vis-à-vis de ses concurrents ?

Tout d’abord doit-on parler de casque ? Avec ses 189 grammes au compteur… pardon, à la balance… il s’apparente plus à des lunettes qu’à un casque. Et c’est d’ailleurs la volonté affichée de Vive ; il suffit d’observer l’apparence de ce casque/lunette pour s’en rendre compte. Deux visières, des branches pour lunette, ça y est la réalité virtuelle bascule, devient opérationnel, transportable.

Est-ce vraiment le cas ? Tout dépend du point de vue. Tout d’abord le Meta Quest 2 est lui aussi transportable. Certes, plus gros, plus lourd, mais plus autonome avec un tracking étendu des mains et des manettes, ce qui n’est pas le cas du Vive. Son tracking est plus perfectible et en guise de manette il faut utiliser son téléphone Android ; passez votre chemin si vous êtes sur iPhone.

Avec une batterie limitée (ce qui se comprend vu le poids), le Vive Flow a été prévu pour pouvoir se connecter à des batteries extérieures au besoin, la batterie interne ne durant que quelques minutes. S’il supporte du 6DoF (six degrés de liberté qui permettent de se déplacer dans l’environnement virtuel), le casque/lunette a surtout été imagé pour une utilisation statique, dans son canapé, devant son bureau, dans sa voiture (en tant que passager) avec un accent fort mis sur la méditation, le calme ou le divertissement (il est très facile de projeter du contenu Netflix).

Niveau code, le Vive Flow se programme de plusieurs façons mais les plus intéressantes sont bien Unity (pour sa rapidité d’implémentation) et Unreal Engine car la programmation reste homogène avec ce que l’on connait sur d’autres casques. Il convient toutefois de faire attention aux problématiques de performance. Si le casque est équipé d’un système de refroidissement intelligent, il n’offre pas le niveau classique connu jusqu’alors. Il convient d’être attentif à vos créations et aux activités que vous proposez dans l’univers VR.

Un casque VR français : le LYNX R-1

Programmeurs, lisez jusqu’au bout, vous pourrez aisément coder pour ce casque ! Mais procédons d’abord par les présentations

Fait suffisamment rare pour attirer toutes les attentions, oui, une société française se positionne comme fabricant de casque VR.

Si la France est bien présente dans le domaine du consulting, création de logiciels et services, elle l’est aussi dans des domaines IT auxquels on fait moins attention en tant qu’architecte technique ou développeur, comme les outils de modélisation et référencement 3D. Pour la modélisation, je pense à Catia, le plus célèbre outil de modélisation et fabrications de produits créés par Dassault (utilisé dans l’aéronautique, automobile, fabrication de meubles et objets en tout genre). Pour le référencement, je pense à Sketchfa , véritable bibliothèque de modèles 3D en tout genre, du gratuit au payant.

Mais ça y est, la France est aussi désormais actrice dans le domaine matériel du Metavers, et ce, via un casque VR ! Certes ce n’est pas encore bouclé, mais au regard du capital cherché (300 000€), ça ne sera assurément qu’une formalité, d’autant plus que la société Lynx est partenaire Qualcomm.

Mais alors, ce Lynx R-1, c’est quoi ? Qu’est-ce que ça change pour le développeur ?

Le Lynx R-1 ressemble à un mashup, non est un mashup, de composants high tech reconnus et intelligemment assemblés, la reconnaissance des mains se fait par exemple avec l’Ultraleap ; mais ce n’est la qu’une de ses caractéristiques.

Ce casque offrira un lecteur de carte SD, chose extrêmement rare dans le domaine VR, car le stockage pourra être étendu entre 128Go et 1 To ! Avec ses 6Go de RAM, son chipset Qualcomm XR2, sa résolution de 1600×1600 par oeil, une fréquence de 90hz et un champ de vision à 90° , du bluetooth il ne lui manquerai que du WiFi 6, ça tombe bien, il l’a !

Pour le programmeur, le casque est compatible SteamVR grâce au support d’OpenXR ce qui est une excellente nouvelle. OpenXR c’est quoi ?

OpenXR est une norme ouverte et libre qui, lorsqu’elle est respectée, permet une portabilité des développements. C’est une véritable option à considérer en tant que développeur. Plutôt que de programmer avec une API spécifique liée à un device, vous programmez une fois pour toute. OpenXR supporte aussi bien la réalité virtuelle, que la réalité augmentée et même la réalité mixte. La superbe bonne nouvelle est que Unity propose un plug-in pour son éditeur au delà de la version 2020.2 et que ce plugin est entièrement compatible et a été validé sur Hololens 2 et Windows Mixed Reality.

Le HTC Focus 3, un casque orienté business et performance

Les choses se précisent dans le monde de la réalité virtuelle avec la sortie du HTC Focus 3. J’ai eu la chance, avant sa sortie, d’assister au main event d’HTC et de découvrir les espoirs de l’entreprise dans ce domaine.

Le HTC Focus 3 est clairement destiné aux professionnels, ça a été dit, répété, re-répété, un nombre incalculable de fois car dans la stratégie HTC on distingue les casques qui nécessitent un PC , ceux qui nécessitent des éléments extérieurs pour le tracking, ceux qui sont autonomes et ceux qui visent les entreprises.

Ce dernier segment est particulier car le casque coûte cher (1300€) mais est autonome, ce qui correspond à un usage entreprise car l’achat d’un PC 3D n’est pas chose courante dans le domaine professionnel classique.

Avec une résolution graphique impressionnante de 5K, du son immersif, un système de refroidissement intégré, la captation des mains, un réglage précis de la vision et surtout un système de streaming efficace, le HTC Focus 3 est une belle option si vous souhaitez créer des applications VR professionnelles.

Côté programmation, Vive nous offre une ribambelle de fonctionnalités grâce à une API particulièrement abouti sur Unity. Le fabricant qui se positionne comme un acteur essentiel du Metaverse propose même un système de télétravail à distance et des API auxquels le développeur peut se connecter. Affaire à suivre !

Azure IOT : et si vous implémentiez simplement la vision dans vos projets ?

Microsoft a récemment lancé Azure Percept, une plateforme simple d’emploi et sécurisé qui facilite la création de solutions de type edge computing nécessitant de l’intelligence artificielle. Pour rappel, l’edge computing consiste à traiter les données en périphérie du réseau, c’est-à-dire près de la source de données elle-même et non pas de façon centralisée sur des serveurs, généralement dans le cloud. Outre le temps de réponse, on gagne en charge réseau et en autonomie.

Avec Azure Percept Il est ainsi possible de démarrer rapidement ses POCs (Proof Of Concepts) grâce à un hardware qui s’insère rapidement dans Azure AI et Azure IOT Services. Comme les autres IoT services, percept est un mélange de matériel et de sofware qui tire parti du cloud. Les développeurs hardware ont ainsi la possibilité d’utiliser les composant Microsoft dans leurs propres devices, tout en ajoutant leurs propres fonctionnalités. Percept, comme le précise le titre de cet article, est dédié à la vision et à la reconnaissance.

Microsoft propose le développeur kit à partir de 349$ auxquels il faut ajouter 79$ si l’on souhaite un capteur audio. Percept embarque une puce Intel Movidius Myriad dédiée au machine learning et aux réseaux de neurones dédiés à la vision. Cette puce soulage l’environnement processeur ARM-64 bit de 4 cores, 4GB de RAM et 16GB de stockage. L’ensemble propose une connectivité Ethernet, le Wifi ou blutooth.

Microsoft créé Mesh et pousse la réalité mixte à un niveau incroyable

Qui n’a jamais rêvé de l’holoportation ? Microsoft a créé un nouveau mode de télétravail qui permet au équipes de collaborer ensemble et de se voir, par avatar interposé.

Joindre la puissance de la réalité mixte, avec l’Hololens, avec les possibilités d’immersion de la réalité virtuelle tout en intégrant la capture de l’individu est désormais possible, le tout avec Azure en toile de fond. C’est impressionnant, c’est puissant et c’est fondamentalement à tester

Voir la suite

Il revit des instants avec sa femme décédée grâce à la réalité virtuelle

Si le sujet est philosophiquement et psychologiquement discutable pour des raisons d’éthique ou d’impact sur l’individu, certains ont déjà tranché. La réalité virtuelle peut permettre de revivre des instants, ou en créer de nouveaux, avec des êtres disparus. Pour peu que ceux soient modélisés en 3D, que l’on prenne soin d’adapter leurs mouvement, postures, tenues mais également voix, et les retrouvailles sont plus que saisissantes.

C’est exactement ce qui arrive à cet homme dans la vidéo ci-dessous. Il a fallu plus de 6 mois à cette entreprise coréenne pour rendre cette prouesse possible, en prenant soin de faire intervenir une actrice pour que les mouvements et la voix soient adaptés. L’homme a pu revoir sa femme devant ses enfants émus et a pu, selon la société, faire son deuil.

Des chaussures pour la VR

La réalité virtuelle est en pleine croissance. Et si les constructeurs ont fortement améliorés le rendu visuel, il y a des pans entiers rigoureusement indispensables qui sont encore manquants. Il y a l’odorat, l’haptique c’est-à-dire le toucher et la kinesthésie, c’est-à-dire la perception du placement du corps dans l’espace qui nécessitent d’être améliorés.

Ici, c’est une idée particulièrement intéressante, comment laisser l’utilisateur se déplacer dans une large surface virtuelle. Jusqu’à maintenant la réponse la plus connu est de permettre la téléportation virtuelle ; l’utilisateur choisit une zone avec sa manette, clique sur un bouton et se téléporte. Cette solution n’existe pas dans la vie réelle et est bien évidemment un pis-aller pour le développeurs. Il est impossible de savoir la place dont disposera l’utilisateur chez lui ou dans son entreprise et il faut donc ruser.

Une alternative au déplacement est d’utiliser des systèmes de déplacement comme le 3dRudder qui s’utilise en position assise. Pas de téléportation, une action des pieds, mais qui s’apparente au déplacement d’une voiture en mode multidimensionnel (possibilité de glisser vers la gauche, la droite, etc).

3D-rudder

Une autre solution est de disposer d’une plateforme pour se déplacer de type KatVR (il en existe plein d’autres). L’idée de se type de plateforme est de reposer sur une forme de tapis roulant qui peut s’orienter dans toutes les directions. Ca fonctionne très bien, mais il faut non seulement retenir l’utilisateur par une ceinture, mais il faut également considérer que le système ne se transporte pas aisément partout.

Plateforme de déplacement

Et si la solution reposait sur des chaussures adaptées ? Des chaussures capables de s’adapter à votre mouvement, c’est -à-dire capable de vous laisser marcher tout en faisant en sorte de vous faire rester sur place ? C’est exactement ce qu’Ekto vous propose. Les chaussures semblent impressionnante mais il semblerait qu’elles soient légères et que la technologie s’améliorera.