Seit den 90er Jahren sind wir dem Charme virtueller Haustiere erlegen - von Tamagotchis über Nintendogs bis hin zu Neopets. Virtuelle Begleiter, die immer bei uns sind und auf die nächste Leckerei oder virtuelle Umarmung warten, haben etwas Skurriles an sich. Seitdem hat die Technologie einen langen Weg zurückgelegt und unsere 2D-Begleiter in hyperrealistische Begleiter in virtueller und erweiterter Realität verwandelt, aber unsere Zuneigung zu ihnen ist dieselbe geblieben.

Heute werden virtuelle Haustiere noch lebensechter in Peridot, dem ersten Augmented-Reality-Spiel, das generative KI einsetzt, um virtuelle Kreaturen oder “Dots” so intelligent zu machen, dass sie auf unerwartete, überraschende und entzückende Weise auf Dinge reagieren, die sie in der realen Welt finden - genau wie ein echtes Haustier es tun würde.

So wie Sie zum Beispiel nicht wissen, wie Ihr Welpe auf eine Katze auf der Straße reagieren würde, so wird auch Ihr Dot auf unvorhersehbare Weise reagieren. Wird er knurren, bellen oder sich auf die Katze stürzen? Wenn Sie einen Teller mit Essen stehen lassen, wird Ihr Dot einen Bissen stehlen oder sich in den Essensresten wälzen?

Dank der generativen KI zeigen die Dots in Peridot ebenfalls einzigartige, zufällige, überraschende oder einfach nur liebenswerte Reaktionen, wenn sie auf neue Objekte treffen.

Eine weitere Premiere für Peridot

Peridot ist nicht nur das erste vollständig AR-basierte Spiel, sondern auch das erste, das generative KI zu dem einzigen Zweck einsetzt, liebenswerte Kreaturen noch liebenswerter zu machen. Die generative KI in Peridot bietet einen Einblick in die Zukunft der Spiele, die durch Augmented Reality und künstliche Intelligenz unterstützt werden. Wir glauben, dass es eine der - wenn nicht sogar die erste - Implementierung von generativer KI in einem Handyspiel ist.

Bei der Verwendung früherer Spieldesigntechniken hätten unsere Teams eine begrenzte Anzahl von Reaktionen für die Dots programmieren müssen, wenn sie auf verschiedene Dinge in der Welt treffen. Mit generativer KI kann das Team die möglichen Verhaltensweisen drastisch erhöhen, wenn Peridots auf neue Reize treffen, z. B. auf ein anderes Tier, einen Teller mit Essen oder einen Blumenstrauß.

So funktioniert es:

Schritt 1: Verstehen der Umgebung

Mithilfe der KI-Algorithmen von Niantic für Computer Vision werden Bilder der realen Welt, die durch die Kamera des Benutzers gesehen werden, in genaue 3D-Formen umgewandelt, damit Peridots in ihrem Raum herumtollen können. Mithilfe von Niantic Lightship ARDK kann Dots eine Vielzahl von Dingen wie Blumen, Lebensmittel, Haustiere und viele andere Objekte und Oberflächen in der realen Welt erkennen.

Schritt 2: Übergabe an den LLM

Diese Wörter werden dann an ein großes Sprachmodell weitergegeben, in diesem Fall eine angepasste Verwendung von Metas Llama 2, zusammen mit Informationen über die Eigenschaften und die Persönlichkeit des Peridots, z. B. ob er kontaktfreudig oder schüchtern ist, sein Alter und seine Geschichte. Das Peridot-Backend fragt dann Llama, wie ein kleines flauschiges Wesen auf das reagieren könnte, was es gefunden hat.

Schritt 3: Generierung der Reaktion

Peridot hatte die einmalige Gelegenheit, mit Hilfe von KI eine umfangreiche Bibliothek ungenutzter Animationen zu nutzen, die nur schwer für präzise Umgebungsbedingungen eingesetzt werden konnten. Dank des neuen Systems, das die generative KI nutzt, sind diese Animationen nun Teil einer viel größeren Anzahl möglicher Reaktionen. Es ist, als ob der Dot lernt, sich anpasst und Persönlichkeit zeigt, wie lebende Wesen.

Während des Testprozesses fanden die Dots eines unserer Teammitglieder beispielsweise einen leeren Teller mit Essen, und anstatt einfach daran zu schnüffeln, rollte sich der Dot zu ihrer Überraschung darin herum.

Wir sehen dies als ein frühes Beispiel dafür, wie Spieldesigner und -produzenten generative KI nutzen können, um Spielfiguren lebensechter und interaktiver zu machen. Ganz allgemein werden Augmented-Reality-Charaktere bei ihrer Weiterentwicklung KI nicht nur nutzen müssen, um die Welt zu verstehen, sondern auch, um auf sie und auf andere Menschen zu reagieren.

Für Peridot sehen wir das Spiel weiterhin als Plattform für Experimente mit KI- und AR-Anwendungen. Wir freuen uns darauf, die Grenzen immer weiter zu verschieben und diese Kreaturen in unserer Welt auf mobilen Geräten wirklich zum Leben zu erwecken, mit Blick auf zukünftige Hardware.

Das Peridot-Team