La réalité augmentée en streaming : Quelles implications pour les utilisateurs?

La réalité augmentée a considérablement évolué au cours des dernières années et le paysage de la réalité augmentée a récemment connu des changements tectoniques qui rendent évidente la demande d’expériences partagées en temps réel au sein de réalités virtuelles immersives.

Dans ce billet, j’irai au-delà de la seule réalité augmentée et j’examinerai plus largement toutes les technologies immersives et la manière dont les expériences virtuelles en temps réel changeront la manière dont nous interagissons les uns avec les autres, dans le monde physique.

Qu’est-ce que la réalité XR ?

Dans cet article, XR fait référence à la réalité étendue.

La réalité étendue est un terme général qui couvre toutes les technologies immersives (AR/VR/MR), quel que soit le niveau d’interaction avec le monde physique. De nombreux articles décrivent les subtilités de chaque technologie (AV/VR/MR).

Qu’est-ce qu’une expérience partagée ?

Un autre concept clé sur lequel nous devons nous aligner : qu’est-ce qu’une expérience partagée ?

On parle d’expérience partagée lorsque plusieurs appareils (lire : utilisateurs) visualisent la même expérience XR et interagissent avec elle, que ce soit au même endroit ou à distance.

L’expérience XR partagée signifie que deux utilisateurs ou plus peuvent visualiser/interagir (partager) avec le même contenu virtuel en même temps et qu’ils voient tous les deux les mises à jour en temps réel. C’est comme jouer à un jeu multijoueur ou travailler sur un document Google partagé.

Étant donné le caractère immersif de la technologie XR lorsqu’elle est appliquée à des environnements collaboratifs, les kilomètres peuvent sembler des millimètres.

1. Les Cloud Anchors de Google ont fait le saut entre les plateformes (disponibles sur iOS et Android).
2. HoloLens et Google Glass lancent tous deux leurs deuxièmes itérations.
3. Magic Leap continue d’investir dans son écosystème, avec son fonds d’investissement et ses récentes acquisitions.
4. Enfin, nous ne pouvons pas oublier les percées que la RA basée sur le Web a réalisées avec ses récentes percées vers le courant commercial dominant.

• Commençons par les produits portables : HoloLens 2 a récemment été lancé avec des caractéristiques améliorées,
• un champ de vision plus large
• et un accent mis sur les entreprises.

Suivant les traces de Microsoft, les nouvelles Google Glass 2.0 ont également été annoncées et sont réservées aux entreprises. Ces deux plateformes majeures laissent les développeurs et les entrepreneurs en herbe chercher ailleurs leurs besoins en matière de casque de réalité mixte. Ne vous inquiétez pas, car Nreal et Epson ont tous deux lancé des casques de réalité mixte à moins de 500 $.

Les formats 3D

Apple a annoncé le .USDZ qui pouvait être intégré dans des pages web pour afficher le contenu web dans une visionneuse AR.

Google utilise le format open-source .glTF pour intégrer des éléments 3D dans ses résultats de recherche, et offre même aux utilisateurs la possibilité de les visualiser en réalité augmentée. Le fonctionnement est similaire à celui de l’AR QuickView d’Apple dans Safari, mais il utilise des normes ouvertes (ce qui nous ramène aux limitations de XRCloud).

• Dans le cadre de cette initiative, Google s’est associé à la NASA,
• New Balance,
• Samsung,
• Target,
• Visible Body,
• Volvo
• et Wayfair pour développer son contenu 3D.

Je vous conseille de garder un œil sur ces partenariats la prochaine fois que vous chercherez quelque chose sur Google.

Magic Leap a récemment acquis Mimesys (l’une des startups de son écosystème). Cette acquisition montre que Magic Leap ne comprend pas seulement l’importance des réalités virtuelles collaboratives, mais qu’elle investit activement dans ce domaine.

Mimesys est spécialisée dans la création de solutions permettant la coprésence dans les expériences XR. Contrairement à la plupart des autres solutions qui utilisent un avatar 3D, Mimesys utilise des scans volumétriques des participants distants au lieu d’avatars dans l’espace virtuel pour permettre aux utilisateurs de se sentir co-localisés pendant les activités de collaboration.

Le #XRCloud

La plupart des applications XR (comme FB/Insta et Snapchat) consistent en des expériences sur un seul appareil, où plusieurs personnes peuvent interagir avec l’expérience mais doivent partager un seul appareil.

Lorsqu’une application contenant des ressources et du contenu pour l’expérience est livrée préchargée, la taille des fichiers est trop importante, ce qui allonge les temps de téléchargement. De plus, chaque fois que vous voudrez mettre à jour l’expérience, les utilisateurs devront télécharger une nouvelle version de l’application.

La taille de l’application est importante (ne laissez personne vous dire le contraire), et lorsque la taille et la flexibilité sont importantes (sortez votre tête du caniveau), les développeurs se tournent vers une sorte de livraison d’actifs basée sur le nuage.

Points faibles de la livraison dans le nuage

La plupart des grandes plateformes XR utilisent un CMS basé sur le cloud qui télécharge et lance l’expérience en fonction d’un point d’entrée (lien, marqueur, visage, qr-code, etc.).

Ce déclencheur incite l’application à faire une demande au système dorsal pour envoyer les actifs et le code. Le problème de cette mise en œuvre est que l’application cliente doit télécharger l’ensemble de l’expérience avant de la lancer.

C’est la raison pour laquelle les plateformes limitent la taille de l’expérience, afin que les choses se chargent rapidement.

Pourquoi les temps de téléchargement sont-ils si importants ?

Il s’avère qu’il y a des chiffres qui expliquent l’importance de la taille et qu’un bon équilibre est crucial pour le succès de votre expérience de RA. Il y a environ 50 % d’abandon pour toute expérience qui prenait plus de 30 secondes à charger (téléchargement et initialisation) et environ 75 % de désabonnement de la part des utilisateurs qui s’en tiennent à l’interaction initiale.

Décortiquons cela un instant. Cela signifie qu’un temps de téléchargement perçu comme long peut vous faire perdre jusqu’à 90 % de votre audience, ce qui laisse environ 10 % d’utilisateurs qui se réengageront.

Donc maintenant, en plus de devoir faire en sorte que quelqu’un télécharge une application, pour garder l’utilisateur, votre application doit se charger rapidement.

L’ensemble de ce processus réclame la diffusion en continu en temps réel. Au fur et à mesure que l’industrie XR mûrit, nous assisterons à l’expansion/la croissance du XRCloud, mais il nous manque actuellement l’infrastructure clé et les normes nécessaires pour soutenir et faciliter l’adoption au niveau de l’internet général.

1. Les expériences de réalité augmentée et de réalité virtuelle nécessitent des réseaux spécialisés offrant une faible latence, une large bande passante, une informatique de pointe et une évolutivité fiable.
2. Les réseaux dédiés à la RA et à la RV peuvent renforcer l’immersion, prendre en charge des expériences multijoueurs transparentes, améliorer la diffusion de contenu et faciliter la formation et l’éducation réalistes.
3. Le marché de la réalité augmentée et de la réalité virtuelle connaît une croissance rapide, ce qui souligne l’urgence de construire des réseaux capables de répondre à la demande croissante d’expériences immersives.

Chaque plateforme a son propre SDK, ses propres API et même, dans certains cas, ses propres formats de modèles

Contrairement à l’infrastructure « Internet » actuelle où tout partage des normes communes pour son contenu (html/css/js), cela n’existe pas dans le domaine de la réalité augmentée.

Chaque plateforme a son propre SDK, ses propres API et même, dans certains cas, ses propres formats de modèles.

Tout cela a essentiellement créé de nombreux mondes virtuels cloisonnés, où chaque « monde » n’est accessible que si le développeur met en œuvre le XRLens spécifique. La RA basée sur le web (AR.js/8thWall/Zappar) cherche à changer cela en permettant aux utilisateurs d’utiliser la lentille (navigateur) de leur choix.

On pourrait affirmer que l’internet/le World Wide Web n’a véritablement pris son essor qu’après que Tim Bernards Lee a créé le HTML et le navigateur Web, et que tout le monde a disposé d’un moyen commun de publier et d’interagir avec l’information sur internet.

À moins que la communauté XR ne parvienne à mieux normaliser les composants du front-end, du back-end et de la livraison, nous n’assisterons pas à une diversification saine du paysage XRCloud et celui-ci aura du mal à réaliser son potentiel.

La nécessité de la diffusion en continu

Alors que l’AR Cloud et la récente introduction de la 5G gagnent du terrain, il y a une quête croissante pour des applications économes en ressources avec des délais de chargement réduits.

Cette tendance augure une reliance accrue sur l’edge computing et une harmonisation plus poussée pour la synchronisation entre multiples utilisateurs.

Pour que les mondes immersifs se développent et atteignent la taille du monde physique, le contenu et les actifs devront être diffusés en continu. Prenons l’exemple du jeu de football XR. Les chercheurs utilisent l’IA pour capturer les mouvements des joueurs et les projeter à travers un HoloLens pour le public.

Pour que ces expériences soient agréables et courantes, le jeu doit être diffusé en continu. Si plusieurs personnes regardent le même jeu, il ne faut pas de latences différentes, car cela gâcherait l’expérience lorsque les utilisateurs sont situés au même endroit.

Pour que ces applications deviennent courantes, elles doivent s’intégrer à un réseau en temps réel, afin de distribuer cette expérience à grande échelle avec des temps de latence garantis et sans problèmes.

Technologies axées sur les expériences partagées

J’ai indiqué que le futur du streaming XR arriverait plus tard, mais jusqu’à présent, je n’ai mis en évidence personne (à part Mimesys) qui collabore avec le XR en direct avec un produit actuellement sur le marché. Et pour cause, peu d’entreprises se sont lancées dans cette voie, ce qui crée un vide sur le marché que les nouvelles entreprises doivent combler.

Prenons un moment pour parler de Spatial AR, l’une des rares grandes plateformes axées sur les expériences XR partagées en temps réel. Spatial s’est associé à Microsoft pour proposer des expériences collaboratives en temps réel sur l’Hololens.

Ce projet de réalité mixte/collaboration est une grande avancée pour Microsoft. La société ajoute un onglet « Spatial Rooms » à son application de collaboration Teams (semblable à Slack).

• Dans les Spatial Rooms, les personnes peuvent travailler sur des projets,
• personnaliser la pièce
• et revenir plus tard pour poursuivre le travail.

Les réunions sont également plus ouvertes, car Spatial permet aux participants de se joindre à une réunion via le web ou un smartphone.

Nous ne pouvons pas non plus oublier de mentionner la plateforme Vuforia de PTC qui prend également en charge la RA collaborative, bien qu’elle soit loin d’être aussi robuste que Spatial.

Les deux dernières applications que j’aimerais mettre en avant sont Roomful et VRJam. Toutes deux s’appuient sur des réseaux en temps réel pour offrir à leurs utilisateurs des expériences immersives collaboratives.

Roomful est une solution de conférence immersive.

L’équipe a construit une plateforme sociale privée en 3D, où les organisateurs de salons professionnels, de conférences, de sommets, de séminaires et de webinaires peuvent créer leurs propres réseaux privés avec des salles personnalisées, des règles/droits d’adhésion, etc.

L’un des principaux avantages de la plateforme de vidéoconférence de Roomful est que tous les participants peuvent revivre ce contenu à la demande. Même après la fin de l’événement, les utilisateurs de Roomful peuvent visiter les espaces/chambres virtuels pour revivre le contenu et s’y engager. Cela résout un énorme problème dans les conférences vidéo et IRL.

VRJam est une solution de conférence virtuelle qui associe des mondes virtuels à la capture de mouvements en temps réel, afin de permettre des présentations simultanées en direct et virtuelles.

Comment cela fonctionne-t-il ? L’équipe de VRJam crée des avatars et des environnements 3D qui tirent parti de la capture de mouvement et de la technologie de streaming vidéo pour capturer la présentation en direct et diffuser en direct l’audio, la vidéo et la capture de mouvement 3D afin de recréer l’événement en direct dans un monde virtuel.

Vous n’aurez plus à vous sentir déçu de manquer une conférence en raison de la distance, vous pourrez désormais la vivre virtuellement dans un environnement immersif.

Des outils à utiliser dès aujourd’hui

Quelles sont les solutions disponibles pour construire en XR ?

Actuellement, Apple, Google et Microsoft fournissent des API natives pour les ancres spatiales basées sur le cloud. Cela signifie que tous les principaux fabricants d’appareils ont exposé des API permettant aux développeurs de créer des expériences XR partagées.

Il n’y a qu’un seul inconvénient majeur : tous exigent du développeur qu’il suive des procédures d’installation compliquées et, bien que cela simplifie grandement le processus, cela laisse encore une bonne partie du travail lourd au développeur.

Par exemple, comment ces API natives évoluent-elles une fois mises en œuvre ?

Il s’agit là d’une partie du travail difficile que vous devez effectuer en tant que développeur.

Supposons que vous mettiez en œuvre la session AR multi-utilisateurs d’Apple, une fois que vous avez établi une connexion entre les appareils, vous devez maintenir la session et prendre en compte toute la logique complexe associée à la synchronisation à l’échelle.

N’ayez crainte, car il existe un certain nombre de fournisseurs tiers qui peuvent vous aider à mettre en œuvre de telles solutions. Vous souhaitez mettre en œuvre une vidéo volumétrique similaire à Mimesys ? Consultez DepthKit, un fournisseur de logiciels basé à Brooklyn qui fusionne les données d’image des caméras DSLR avec les nuages de points des capteurs de profondeur pour capturer des vidéos volumétriques.

Si vous êtes intéressé par des filtres de visage similaires à ceux de Snapchat ou de Facebook/Instagram, jetez un coup d’œil à Banuba, un laboratoire de vision par ordinateur de pointe, spécialisé dans les technologies de RA de visage et qui fournit aux utilisateurs un SDK de RA qui apporte :

• les filtres de visage les plus immersifs,
• les masques 3D,
• l’animation faciale
• et les fonctions de beauté de RA à n’importe quelle application ou site web.

Scape.io, par exemple, qui fournit des SDK pour simplifier la création d’expériences de RA géolocalisées, a été acheté par FB au début de l’année 2020.

Unity a également lancé une nouvelle fonctionnalité de signalisation, mais elle n’est disponible que dans Unity.

Éléments à prendre en compte

Maintenant que nous sommes tous prêts à construire notre expérience XR partagée, quelles sont les choses à prendre en compte ?

Lors de la mise en œuvre d’expériences partagées, l’une des principales considérations doit être la mise à l’échelle. Je sais que je l’ai mentionné à plusieurs reprises dans ce billet, mais toute application qui implique plus d’un seul utilisateur doit être mise à l’échelle et synchronisée de manière gracieuse.

Le nouveau SD-RTM d’Agora permettra aux développeurs d’envoyer n’importe quelle donnée à tous les utilisateurs en temps réel avec une latence minimale.

La perte de paquets est un autre problème qui se pose lorsque l’on travaille avec des applications en temps réel. Les chercheurs de Google ont publié un article montrant comment l’Ai peut être utilisé pour recréer des images « intermédiaires » à partir d’un ensemble d’images de début et de fin.

Cette avancée ouvrira la voie à des solutions aux pénibles lacunes de l’UDP en matière de perte de trames. Il faudra un certain temps avant que cette technologie ne s’impose au grand public, mais gardez l’œil ouvert.

Conclusion

La création d’expériences XR en temps réel s’est peut-être démocratisée, mais toutes les meilleures solutions n’existent pas et il y a beaucoup de place pour l’innovation.

Avec toutes les avancées que nous voyons dans les capacités natives et émergentes basées sur le web, les fondations et les supports pour un écosystème plus complexe et plus étonnant existent, il est maintenant temps pour les développeurs d’aller de l’avant.

⇒ Cliquez pour lire :