Ubisoft présente des PNJ plus “vivants” grâce à l’IA générative

Lors de GDC 2024 une équipe de créateurs de jeux d’Ubisoft a proposé un aperçu de l’avenir des personnages non joueurs (PNJ), du gameplay interactif et de la narration émergente.

Cette expérience avait comme objectif d’explorer de nouveaux types de jeux interactifs mettant en œuvre des PNJ dynamiques. C’est un domaine en pleine révolution en raison de l’émergence des technologies d’IA générative. Ubisoft a dévoilé ses “NEO NPCs”, des PNJ conçus pour interagir en temps réel avec les joueurs mais pas seulement. La firme évoque aussi des interactions avec leur environnement et les autres personnages.

Tout ceci est le fruit d’une collaboration entre Ubisoft et certains partenaires technologiques de GenAI, comme Nvidia et Inworld AI. Il est expliqué

Le moteur de personnages et la technologie LLM d’Inworld permettent à l’équipe narrative d’Ubisoft de construire un historique complet, une base de connaissances et un style de conversation pour chaque PNJ, tandis que NVIDIA Audio2Face, qui fait partie de la suite de technologies NVIDIA ACE, est utilisé pour permettre l’animation faciale en temps réel.

NEO NPCs, l’avenir du jeu vidéo est prometteur

Les capacités de ces PNJ NEO ont été montrées aux travers trois scénarios afin de mettre en avant différents aspects du comportement, de la connaissance de l’environnement et du contexte. Ils ont aussi permis d’observer un éventail de réactions et d’animations en temps réel, ainsi que de la mémoire des conversations et de la collaboration.

En s’appuyant sur la technologie d’IA d’Inworld, l’équipe d’Ubisoft a créé deux PNJ NEO, Bloom et Iron. Chacun a sa propre histoire, sa propre base de connaissances et son propre style de conversation pour tenter de devenir un personnage unique dans l’univers de la démo.

La technologie d’Inworld fournit aux PNJ NEO une connaissance intrinsèque de leur environnement, ainsi que des réponses interactives grâce au LLM d’Inworld. Audio2Face fournit de son coté des animations faciales et des synchronisations labiales pour les visages des deux PNJ en temps réel.

Source : Nvidia, Ubisoft