「たまごっち」や「nintendogs」「ネオペット」など、私たちはずっとバーチャルペットの魅力に惹かれてきました。いつも一緒にいてくれて、次の食事やバーチャルハグを待っているバーチャルペットたちは、ちょっときまぐれだったりもします。テクノロジーが大きく進歩し、2Dだった彼らはARやVRのリアルな姿に進化を続けていますが、私たちの彼らへの愛情が変わることはありません。

バーチャルペットの「ペリドット（ドット）」が、生成AIを利用することでより本物の生き物ようになりました。バーチャル世界の生物に、生成AIを使用した初のARゲームとなる「ペリドット」は現実の世界で出会ったものに対して、本物のペットのように、私たちが予期しないような楽しい反応ができるようになりました。

例えば、子犬が道で猫を見かけた時にどのような反応を見せるかはわかりません。ドットも私たちの想定と違う反応を見せることがあります。食べ物の皿を出しっぱなしにしておくと、ドットがかじったり、食べ残しを転がしたりしてしまうかも？

生成AIを使用することで、ドットたちは、新しい物体に遭遇すると私たちの想定とは異なる、愛らしい反応を示すことがあります。ドットたちが実際に学習し、周囲の世界を理解しているかのようにも見えます。

**ペリドットにとってもうひとつの初めてのこと
**

AR100%のゲームとして初めて登場したペリドットは、愛らしい生き物をさらに愛らしくすることだけを目的に生成AIを使用した初めてのゲームでもあります。AR（拡張現実）とAI（人工知能）を活用しているペリドットの生成AIは、少しだけゲームの未来を見せてくれています。ペリドットが本当の最初ではないかもしれませんが、このアプリはモバイルゲームにおける初期の生成AIの実装例の1つであると考えています。

これまで、現実世界にあるさまざまなものに遭遇したときのペリドットのリアクションは限られ、手動でプログラムする必要がありました。生成的AIを使うことで、ペリドットが別の動物や食べ物の乗ったお皿、花束などの新しい刺激に出会ったときの行動の種類を劇的に増やすことができました。

どのように機能するのか：

ステップ1：環境の理解

Nianticのコンピュータビジョン用AIアルゴリズムを使い、ユーザーのカメラを通して見える現実世界の画像が正確な3D形状に変換されることで、ペリドットがその空間で戯れることができます。Niantic Lightship ARDKを使用することで、ペリドットは花、食べ物、ペットを含め、現実世界に存在する数多くの物体や表面など、様々なものを認識することができます。

ステップ2：LLM（大規模言語モデル）への伝達

この情報は、外向的か内気かなどの性格や、年齢、生い立ちなど、そのペリドットに関する情報とともに、大規模な言語モデル（MetaのLlama 2をカスタマイズして使用）に伝達されます。その次に、ペリドットのバックエンドは小さなふわふわした生き物が見つけたものにどう反応するかをLLMに尋ねます。

ステップ3：反応の生成

ペリドットには、膨大な未使用アニメーションのライブラリをAIで活用する機会がありましたが、これをペリドットが必要とする環境条件に活用することが困難でもありました。生成AIを活用した新しいシステムのおかげで、これらのアニメーションはリアクションの一部として利用することができるようになりました。まるで、ペリドットが本当の生き物のように学習し、適応し、個性を発揮しているようです。

例えば、テストプロセス中、あるチームメンバーのペリドットが空の皿を見つけた時のことです。私たちが想定していたのはそのお皿の匂いを嗅ぐという行為ですが、実際にはその皿の中を転げ回る反応を見せました。

[説明] 左：ペリドットは空の皿に盛られた食べ物に反応し、その中で転がる。これは予期していなかったことだが、新しいAI搭載システムのおかげで可能になった
右：生花のブーケを嗅ぐペリドット

ペリドットは、ゲームデザイナーやプロデューサーが生成AIを使ってゲームのキャラクターをよりリアルでインタラクティブなものにできることを示す初期の例のひとつです。ARのキャラクターが進化する際に現実の世界を理解するだけでなく、世界や他の人々に対してどのように反応するかにおいてもAIを使う必要が出てくると考えています。

ペリドットはゲームアプリではありますが、AIとARの応用実験のプラットフォームでもあり続けるでしょう。将来のハードウェアも視野に入れつつ、モバイルデバイス上でペリドットを現実の生き物のようにようにこの世界に登場させるためにこれからも限界に挑戦し続けます。

–Peridot チームより