Depuis les années 90, nous sommes captivés par le charme des animaux de compagnie virtuels, qu’il s’agisse de Tamagotchis, de Nintendogs ou de Neopets. Il y a quelque chose de fantaisiste dans ces compagnons virtuels qui sont toujours avec nous, attendant leur prochaine friandise ou leur prochain câlin virtuel. La technologie a beaucoup évolué depuis et a transformé nos compagnons 2D en compagnons hyperréalistes créés via réalité virtuelle et augmentée, mais l’affection que nous leur portons est restée la même.

Aujourd’hui, les animaux de compagnie virtuels deviennent encore plus vrais que nature dans Peridot, le premier jeu de Réalité Augmentée à utiliser l’IA générative pour donner aux Dots, les créatures virtuelles du jeu, l’intelligence de réagir de manière inattendue, surprenante et adorable aux choses qu’ils trouvent dans le monde réel, exactement comme un animal de compagnie le ferait.

Par exemple, tout comme vous ne savez pas comment votre chiot réagirait à la vue d’un chat dans la rue, votre Dot réagira lui aussi de manière imprévisible. Grognera-t-il, aboiera-t-il ou plongera-t-il à sa poursuite ? Si vous laissez une assiette de nourriture sur le comptoir, votre Dot va-t-il en voler une bouchée ou se rouler dans les restes ?

Grâce à l’IA générative, les Dots auront des réactions uniques, aléatoires, surprenantes ou tout simplement adorables lorsqu’ils rencontreront de nouveaux objets, donnant ainsi l’impression que les Dots apprennent et comprennent le monde qui les entoure.

Une autre première pour Peridot

Déjà le premier jeu entièrement RA, Peridot est aussi le premier à utiliser l’IA générative dans le seul but de rendre d’adorables créatures encore plus adorables. L’IA générative dans Peridot offre un aperçu de l’avenir des jeux alimentés par la réalité augmentée et l’intelligence artificielle. Nous pensons qu’il s’agit de l’une des premières mises en œuvre de l’IA générative dans un jeu mobile, si ce n’est la première.

En utilisant les techniques de conception de jeux antérieurs, nos équipes auraient dû programmer manuellement une gamme limitée de réactions pour les Dots lorsqu’ils rencontrent divers objets dans le monde. Grâce à l’IA générative, l’équipe peut augmenter considérablement le nombre de comportements possibles lorsque les Peridots rencontrent de nouveaux stimuli, par exemple un autre animal, une assiette de nourriture ou un bouquet de fleurs.

Comment ça marche :

Étape 1: Compréhension de l’environnement

Grâce aux algorithmes IA de Niantic, les images du monde réel vues par la caméra de l’utilisateur sont converties en formes 3D précises, afin que les Dots puissent profiter de tout l’espace. Grâce à l’ARDK de Niantic Lightship, les Dots peuvent reconnaître une variété de choses telles que des fleurs, de la nourriture, des animaux domestiques et bien d’autres objets et surfaces du monde réel.

Étape 2 : Transmission au LLM

Ces mots sont ensuite transmis à un grand modèle de langage, dans ce cas une utilisation personnalisée du Llama 2 de Meta, avec des informations sur les caractéristiques et la personnalité du Peridot, comme le fait qu’il soit extraverti ou timide, son âge et ses antécédents. Le backend Peridot demande ensuite au Llama comment une petite créature duveteuse pourrait réagir à ce qu’il a trouvé.

Étape 3 : Générer la réaction

Peridot crée un environnement unique pour l’utilisation de l’IA grâce notamment à une large bibliothèque d’animations inutilisées car difficile à exploiter sans reconnaissance de l’environnement. Grâce au nouveau système utilisant l’IA générative, ces animations font désormais partie d’un nombre beaucoup plus important de réactions possibles. C’est comme si le Dot apprenait, s’adaptait et faisait preuve de personnalité comme des créatures vivantes.

Par exemple, au cours du processus de test, le Dot d’un membre de notre équipe a trouvé une assiette vide de nourriture et, au lieu de la renifler simplement, à sa grande surprise, il s’est roulé dedans.

Nous y voyons un premier exemple de la manière dont les concepteurs et les producteurs de jeux peuvent utiliser l’IA générative pour rendre les personnages des jeux plus réalistes et plus interactifs. Plus généralement, à mesure que les personnages de réalité augmentée évolueront, ils devront utiliser l’IA non seulement pour comprendre le monde, mais aussi pour réagir à celui-ci et aux autres personnes.

Pour Peridot, le jeu continue d’être une plateforme d’expérimentation pour les applications de l’IA et de la RA. Nous sommes enthousiastes à l’idée de continuer à repousser les limites et de donner vie à ces créatures dans notre monde sur des appareils mobiles, tout en gardant un œil sur le matériel futur.

-L’équipe Peridot