VideoGameBench : Quand l’IA Révolutionne le Gaming Rétro

VideoGameBench est un outil fascinant qui permet à votre modèle de langage préféré de jouer à n’importe quel jeu MS-DOS des années 90. Bien entendu, il faut utiliser un modèle de langage avec vision (VLM) puisque le système fonctionne en transmettant des captures d’écran à l’IA pour qu’elle détermine quelles actions entreprendre ensuite.

Une Compétition Entre Modèles d’IA

Dans une démonstration impressionnante, nous pouvons voir GPT-4o affronter Gemini 2.5 Pro, Gemini 2.0 Flash et Claude Sonnet. Qui ira le plus loin ? Gemini 2.0 est déjà hors-jeu, mais prenons les paris pour les autres…

La variété des jeux disponibles est remarquable :
– Pokémon Red
– Doom 1 et Doom 2
– Quake
– Civilization
– Warcraft 2
– XCOM
– Need for Speed
– Et bien d’autres titres classiques

En revenant sur la compétition, nous constatons que GPT-4o est malheureusement éliminé, suivi de Gemini 2.5 Pro. C’est finalement Claude Sonnet 3.71 qui remporte la victoire !

Ce type de benchmark est particulièrement intéressant car il fournit non seulement des données précieuses sur les performances des différents modèles, mais rend également l’IA plus accessible et divertissante pour le grand public.

Installation de VideoGameBench sur Votre Ordinateur

Dans ce guide, je vais vous montrer comment installer et exécuter VideoGameBench sur votre propre ordinateur. Ce n’est pas particulièrement difficile, et un point très intéressant est que, contrairement à la plupart des projets d’IA qui fonctionnent principalement sous Linux ou macOS, celui-ci fonctionne parfaitement sous Windows !

Note : Je suis en train de lancer un subreddit appelé AI Guild où je posterai un guide complet d’installation. Le lien sera disponible dans la description et en commentaire épinglé.

Étape 1 : Accéder au Dépôt GitHub

Commençons par accéder au dépôt GitHub qui contient tout le code et les instructions d’installation. Cette installation est l’une des plus simples parmi tous les projets d’IA sur GitHub que j’ai essayés.

Étape 2 : Installer Anaconda

Le projet utilise Anaconda, un écosystème open source pour l’IA. C’est gratuit et vous n’avez pas besoin de vous inscrire. Vous pouvez simplement le télécharger :

1. Rendez-vous sur le site d’Anaconda
2. Cliquez sur « Skip registration » (ignorer l’inscription)
3. Téléchargez soit l’installateur complet d’Anaconda, soit Miniconda (une version plus légère)

Étape 3 : Ouvrir Windows PowerShell

Recherchez « Windows PowerShell » dans votre menu démarrer. Il peut y avoir plusieurs versions disponibles selon votre installation. Vous pouvez également utiliser l’invite de commande (Command Prompt) qui est installée par défaut.

Vous pourriez avoir un « Anaconda PowerShell » spécifique, que vous devrez parfois exécuter en tant qu’administrateur pour certaines fonctionnalités. Selon votre installation, vous pourriez le trouver comme un programme autonome appelé « conda ».

Étape 4 : Créer un Répertoire de Travail

Dans la fenêtre de terminal, créons un répertoire pour notre projet :

mkdir video_game_bench
cd video_game_bench

Vous pouvez utiliser la touche Tab pour l’autocomplétion des commandes.

Étape 5 : Cloner le Dépôt

Exécutez la commande suivante pour cloner le dépôt GitHub :

git clone [URL du dépôt]

Étape 6 : Créer l’Environnement Anaconda

Utilisez la première ligne d’installation fournie dans le dépôt :

conda create -n video_game_bench python=3.10

Cette commande crée un environnement appelé « video_game_bench ». Un environnement est un espace isolé où vous pouvez installer des logiciels sans interférer avec le reste de votre système. Le système vous demandera de confirmer l’installation.

Étape 7 : Activer l’Environnement

Nous sommes toujours dans l’environnement de base, alors activons notre nouvel environnement :

conda activate video_game_bench

Vous remarquerez que l’invite de commande change de « base » à « video_game_bench », indiquant que vous êtes maintenant dans le bon environnement.

Étape 8 : Naviguer dans le Répertoire du Projet

Lorsque vous avez cloné le dépôt, un répertoire « video_game_bench » a été créé automatiquement. Accédez-y :

cd video_game_bench

Étape 9 : Installer les Dépendances

Installons toutes les dépendances nécessaires :

pip install -r requirements.txt

Cette commande installe tous les packages requis listés dans le fichier requirements.txt, y compris l’émulateur Game Boy, le traitement d’image, la validation de données, etc., tous avec les versions spécifiques nécessaires.

Étape 10 : Finaliser l’Installation

Exécutez ces deux commandes pour terminer l’installation :

pip install -e .
playwright install

La première installe le projet en mode éditable (vous pourrez modifier le code sans réinstaller), et la seconde installe Playwright, nécessaire pour interagir avec les navigateurs.

Utilisation de VideoGameBench

Jouer à Pokémon Red

La première chose que les développeurs suggèrent d’essayer est l’émulateur Game Boy pour jouer à Pokémon Red. Pour cela, vous aurez besoin du fichier ROM de Pokémon Red.

Ce fichier ROM aura l’extension « .gb » et devra être nommé « pokemon_red ». Une fois que vous avez ce fichier, placez-le dans le dossier « ROMs » du projet.

Note sur les ROMs : Si vous possédez une copie légale du jeu, vous êtes généralement autorisé à utiliser ces émulateurs pour y jouer. Vous pouvez faire une recherche Google pour en savoir plus sur le cadre légal.

Exécuter un Jeu

Pour lancer un jeu, utilisez la commande de base suivante :

python main.py --game [nom_du_jeu] --model [nom_du_modèle]

Expliquons les arguments :

1. python main.py : C’est la commande de base qui exécute le programme principal.
2. --game [nom_du_jeu] : Spécifie le jeu que vous souhaitez lancer (par exemple, Pokemon_Red, Doom2, Civilization, etc.)
3. --model [nom_du_modèle] : Indique quel modèle d’IA vous souhaitez utiliser.

Les noms des jeux disponibles se trouvent dans le dossier « configs » du projet. Voici quelques exemples :
– Age_of_Empires
– Doom
– Doom2
– Pokemon_Red
– Warcraft_2
– Wolfenstein

Spécifier un Modèle d’IA

Le projet utilise la convention de nommage LiteLLM, qui est assez intuitive :
– Format général : [fournisseur]/[nom_du_modèle]
– Exemples :
– gemini/gemini-2.0-flash pour Gemini 2.0 Flash
– anthropic/claude-sonnet-3.5 pour Claude Sonnet
– openai/gpt-4o pour GPT-4o

Si vous utilisez OpenAI, vous devrez trouver le nom complet du modèle sur leur site web (généralement dans la documentation API).

Configurer les Clés API

Vous pouvez passer votre clé API directement dans la commande :

python main.py --game [jeu] --model [modèle] --api-key "VOTRE_CLÉ_API"

Ou définir une variable d’environnement :
– Sur Linux/macOS : export OPENAI_API_KEY="VOTRE_CLÉ_API"
– Sur Windows : $env:OPENAI_API_KEY="VOTRE_CLÉ_API"

Exemples Pratiques

Jouer à Doom 2

Pour exécuter Doom 2, utilisez la commande suivante :

python main.py --game Doom2 --enable-ui

L’option --enable-ui est cruciale pour les jeux FPS, sinon le programme plante.

Une fois lancé, le jeu démarre et l’IA (par défaut GPT-4o) commence à jouer automatiquement. Le modèle analyse les captures d’écran, identifie sa santé, ses munitions et les ennemis, puis prend des décisions en temps réel.

Vous verrez à gauche de l’écran les pensées du modèle pendant qu’il joue. Par exemple : « Notre santé est à 97%, nous avons tant de munitions, etc. »

De façon impressionnante, l’IA est capable de nettoyer des salles entières d’ennemis tout en maintenant sa santé.

Mode Léger vs Mode Temps Réel

Il existe deux façons de jouer :
1. Mode temps réel (par défaut) : Le jeu continue pendant que le modèle réfléchit.
2. Mode léger : Le jeu se met en pause pendant que le modèle réfléchit, puis reprend pour exécuter les commandes.

Jouer à Warcraft 2

Pour essayer Warcraft 2 avec Gemini 2.5 Pro :

python main.py --game Warcraft_2 --model gemini/gemini-2.5-pro --api-key "VOTRE_CLÉ_API"

Dans ce jeu de stratégie, l’IA déplace la souris, comprend qu’elle doit construire des casernes, récolter des ressources (bois, or, etc.). Ce type de jeu prend plus de temps à maîtriser pour l’IA, mais c’est fascinant de la voir apprendre.

Mode Sans Interface (Headless)

Il existe également un mode « headless » qui exécute le jeu en arrière-plan et prend des captures d’écran à intervalles réguliers. Vous pouvez revenir plus tard pour voir ce que le modèle a fait.

Ces captures sont sauvegardées dans le dossier « logs », vous permettant de suivre l’évolution de la partie et de voir les réflexions du modèle à chaque étape.

Conclusion

VideoGameBench est un projet passionnant qui démontre les capacités impressionnantes des modèles d’IA avec vision. Que vous soyez intéressé par les benchmarks de performance ou simplement curieux de voir comment l’IA aborde des jeux classiques, cet outil offre une expérience accessible et divertissante.

Avez-vous réussi à l’installer ? Rencontrez-vous des problèmes ? N’hésitez pas à partager votre expérience dans les commentaires. Si vous avez déjà des millions d’agents d’IA qui parcourent Doom en éliminant des monstres, félicitations !

Je ferai de mon mieux pour fournir des ressources supplémentaires et des conseils de dépannage pour ceux qui rencontrent des difficultés.