Omniprésent depuis plusieurs décennies déjà, le jeu vidéo souffre encore de limitations multiples. Les univers s’avèrent bien souvent trop restreints, les « personnages non joueurs » restent d’une intelligence bien fruste et la conception demeure complexe. De fait, l’intelligence artificielle pourrait apporter une bien plus grande sophistication aux jeux vidéo et permettre une expérience ludique bien plus riche, tandis que les concepteurs pourraient automatiser une grande partie de leur travail.
Mais le mariage entre l’intelligence artificielle et le jeu ne s’arrête pas là. Les mondes virtuels proposés par les jeux constituent un laboratoire idéal pour tester les capacités des intelligences artificielles, pour expérimenter de nouveaux algorithmes et observer le comportements de créatures digitales. De fait, le jeu a toujours été à l’avant garde de la technologie informatique et cela n’est pas prêt de s’arrêter.
Julian Togelius est professeur de science informatique à l’université de New York. Il est également cofondateur de la startup modl.ai, qui cherche à appliquer les techniques de l’intelligence artificielle aux jeux vidéos. Julian a écrit a écrit un livre accessible sur l’impact de l’intelligence artificielle sur le jeu, Playing Smart (MIT Press). Il est également le co-auteur de plusieurs ouvrages très techniques et plus difficiles d’accès, dont Procedural Content Generation in Games et Artificial Intelligence and Games (Springer).
http://julian.togelius.com/
https://modl.ai/
Propos recueillis par Rémi Sussan.
Portrait de Julian Togelius © DR
Images d’illustration © Modl.ai
Est-ce que l’avènement des LLMs [01] et des systèmes d’IA générative va changer la conception des jeux vidéo futurs ? Et l’expérience du joueur ?
Oui, mais pas nécessairement de la manière à laquelle les gens s’attendent. Je pense que, pour la plupart des gens, ce qui vient à l’esprit en premier lorsqu’ils entendent parler de l’usage des modèles de langage dans les jeux vidéo, ce sont des PNJ (personnages non joueurs, pilotés par l’ordinateur) améliorés. Nous espérons tous pouvoir enfin dépasser les simples arbres de dialogues qui structurent l’interaction avec la plupart des PNJ. Et je crois que nous finirons en effet par obtenir des PNJ beaucoup plus intéressants en utilisant ces larges modèles de langage. Mais vous ne pouvez pas simplement intégrer un modèle de langage dans un concept de jeu préexistant et vous attendre à ce que les choses fonctionnent automatiquement. Les modèles pourraient dire beaucoup de choses que vous ne voulez pas qu’ils disent, mentir sur l’état du jeu ou se référer à des choses qui n’existent pas dans le monde du jeu. Vous devrez donc repenser le jeu autour des capacités du modèle. C’est une tâche complexe et cela souligne que la création d’une nouvelle génération de jeux alimentés par l’IA est tout autant une tâche de conception qu’une tâche technologique.
De manière plus générale, la plupart des genres de jeux qui dominent le marché aujourd’hui (FPS, RPG, MOBA, 4X, etc. [02]) sont ancrés dans des conceptions qui ont précédé l’avènement de l’IA. Dans les années 1980 et 1990, lorsque les premiers jeux de bon nombre de ces genres ont été conçus, nous n’avions pas les méthodes d’IA sophistiquées que nous avons aujourd’hui, et nous n’avions certainement pas le matériel grand public qui pouvait exécuter les algorithmes, même si nous les connaissions déjà. Nous avons donc dû concevoir en fonction du manque d’IA. Dans un FPS typique, on ne voit pas les adversaires assez longtemps pour apprécier vraiment à quel point ils sont stupides, et dans un jeu de stratégie 4X typique, il y a assez de brouillard de guerre [03] pour que l’adversaire informatique puisse simplement tricher au lieu de jouer correctement. Donc, intégrer une IA moderne à ces endroits est surtout une perte de temps. Pour tirer pleinement parti des nouvelles capacités offertes par l’IA, vous devez concevoir le jeu à partir de celles-ci.
Comment imaginez-vous les jeux vidéo du futur ?
Depuis leur naissance il y a plusieurs décennies, les jeux se sont de plus en plus diversifiés. Je m’attends à ce que cela continue. Dans 20 ans, il y aura toujours Call of Duty et les gens y joueront encore. Mais nous aurons également beaucoup de jeux et d’expériences interactives similaires à des jeux que nous ne pouvons même pas imaginer aujourd’hui. Beaucoup d’entre eux seront élaborés autour de l’IA. Nous pourrions avoir des jeux qui se recréent automatiquement pour s’adapter aux compétences ou aux préférences du joueur, ou à son image. Il pourrait y avoir des jeux qui se concentrent sur l’expression de la créativité du joueur. La frontière entre le joueur et le créateur de jeux pourrait devenir encore plus floue, avec des assistants d’IA aidant les gens à la fois à jouer et à créer de manière ludique. Et certains jeux vont simplement être énormes, tirant parti du monde réel médiatisé par l’IA pour créer des mondes de jeu aussi larges et avec autant de complexité que quiconque pourrait jamais le vouloir. Par exemple, on pourrait voler 500 kilomètres vers l’ouest, atterrir dans une petite ville aléatoire, entrer dans une maison aléatoire et examiner les affaires des gens qui y vivent et leur poser des questions sur leur vie – tout cela créé par le jeu selon les besoins.
Quel rôle voyez-vous pour les jeux indépendants créés par des individus et de petites équipes, étant donné que, comme vous le soulignez dans votre livre Playing Smart, les grandes entreprises de jeux sont très conservatrices en matière d’IA ?
Je pensais autrefois que les petites équipes indépendantes étaient désavantagées parce qu’elles n’avaient pas les compétences et les ressources pour élaborer de réelles IA. Mais quelque chose de merveilleux se produit actuellement, c’est que le mouvement open source a atteint l’IA. Nous constatons maintenant une énorme prolifération non seulement des implémentations d’algorithmes open source, mais aussi des modèles entraînés et des plateformes pour les déployer. Cela signifie que n’importe qui peut maintenant télécharger et même déployer des capacités assez avancées facilement. Un problème persistant tient au fait que les moteurs de jeu populaires ne sont pas vraiment configurés pour l’IA et en disposent pas de fonctions permettant par exemple une simulation déterministe rapide du jeu qui soit désolidarisée de l’animation. Mais je pense que nous assisterons également à des avancées dans ce domaine.
Et oui, je pense que nous aurons besoin également des créateurs indépendants pour leur créativité dans ce domaine. Il y a tellement de choses à essayer ! Les acteurs établis ne pourront peut-être pas accéder à ces idées car elles sont trop éloignées, ne correspondent pas au processus de développement de jeux existant, ou ils pourraient même être préoccupés par des dommages à leur réputation.
Tout le monde parle des LLM aujourd’hui, mais dans votre livre Playing Smart, vous mentionnez également d’autres approches, telles que les algorithmes génétiques, par exemple. Comment voyez-vous le futur proche de l’IA, au-delà des LLM, dans le contexte des jeux ou plus généralement ?
L’autre événement important qui se produit en IA ces temps-ci, ce sont bien sûr l’apparition des modèles de diffusion. Tout le monde connaît Midjourney et Stable Diffusion, mais il existe d’autres modèles qui peuvent créer des objets 3D à partir de texte. Ce qui nous manque, ce sont des modèles qui peuvent générer du contenu fonctionnel, y compris des niveaux, des objets et des règles qui doivent réellement fonctionner, et pas seulement avoir l’air joli. Nous travaillons activement là-dessus dans mon laboratoire, cependant [04].
Alors que les derniers grands modèles sont tous basés sur l’apprentissage auto-supervisé [05], d’autres méthodes d’IA resteront certainement importantes. En particulier, la recherche arborescente, les algorithmes évolutionnistes et l’apprentissage par renforcement [06] peuvent être combinés avec de grands modèles de langage ou de vision de manière fascinante et productive.
Comment imaginez-vous le rôle des jeux dans la société de demain ?
Les jeux sont déjà le médium dominant, et dans un sens, tout deviendra jeu à l’avenir. Ou du moins fortement influencé par le jeu. Des modes d’interaction à la présentation visuelle en passant par les schémas de récompense, les influences des jeux vont pénétrer dans tous les autres logiciels, et les logiciels seront partout. Vous aurez la possibilité de jouer à des jeux avec n’importe quel appareil avec lequel vous interagissez, de votre réfrigérateur à votre tondeuse à gazon en passant par votre portefeuille. Il est possible que la réalité augmentée décolle une fois que le matériel sera suffisamment bon, et alors nous verrons des couches ludiques superposées à notre réalité habituelle. Mais il y restera bien sûr la possibilité de jouer à des jeux dans votre chambre, sur votre console, en une isolation splendide par rapport au reste du monde. Parce que c’est si souvent tout ce que nous voulons.
[01] LLM : Large Langage Model. Les systèmes comme chatGPT, capables de discuter avec l’utilisateur.
[02] FPS : First Person Shooter. Le classique jeu d’action de type Doom : le joueur se déplace dans l’univers et lutte contre divers adversaires PNJ à l’aide de diverses armes. RPG : Role Playing Game. Le joueur crée un personnage avec certaines caractéristiques pour explorer un monde virtuel. Les jeux de la série Elder Scroll en sont un exemple typique. MOBA : Multiplayer Online Battle Arena. Dans ce type de jeu, deux équipes de joueurs combattent au sein de l’univers du jeu. 4X. Cette expression regroupe les jeux de stratégie dans lesquels on bâtit un empire et on lutte contre les nations adverses. Certains de ces jeux se jouent au tout par tour, comme le classique Civilization. D’autres se déroulent en temps réel, à la manière d’un autre grand classique, Age of Empires.
[03] Brouillard de guerre. Cette expression empruntée à Clausewitz signifie que les jeux vidéos de typer 4x, il est impossible de savoir ce que fait exactement l’adversaire, une partie de la carte non explorée étant masquée à l’écran.
[04] Voici probablement un exemple de ce genre de travaux, ChatGPT4PCG Competition: Character-like Level Generation for Science Birds : https://arxiv.org/abs/2303.15662
[05] Une des techniques les plus utilisés d’apprentissage machine.
[06] Recherche arborescente : technique algorithmique dans lequel le logiciel parcourt un arbre représentant les possibilités d’action qui lui sont offertes. Souvent utilisé dans les jeux de stratégie. En soi, cette technique peut être longue et peu efficiente, mais certaines méthodes comme celle dite de Monte Carlo, permet de l’accélérer en laissant le système choisir les branches plus prometteuses. Avec les algorithmes génétiques, on simule l’évolution darwinienne. Le système génère une population d’algorithmes (souvent créés aléatoirement au départ), puis « marie » (combine) les meilleurs d’entre eux, et recommence la sélection jusqu’à obtenir une solution optimale. Apprentissage par renforcement : système dans lequel le système est « récompensé » (ou « puni ») en fonction de la qualité de ses réponses.
