Alpha Evolve de Google : L’IA qui Améliore sa Propre Intelligence

Google DeepMind vient de publier Alpha Evolve, une avancée technologique que beaucoup risquent de sous-estimer. Deux aspects essentiels méritent notre attention particulière dans cette innovation.

Qu’est-ce qu’Alpha Evolve ?

Alpha Evolve est un système d’IA conçu pour améliorer le code, les mathématiques ou d’autres processus. À sa base, il s’agit d’un grand modèle de langage (LLM) – en l’occurrence, Gemini 2.0 Pro parmi d’autres modèles. Mais ce qui est véritablement révolutionnaire se trouve en page 15 du document de recherche.

« Ce déploiement marque également une instance nouvelle où Gemini, grâce aux capacités d’Alpha Evolve, optimise son propre processus d’entraînement. »

Que signifie cette phrase ? « Instance nouvelle » indique que c’est un phénomène inédit. Gemini, le modèle d’IA de Google, utilise Alpha Evolve (un ensemble d’outils développés par Google DeepMind) pour améliorer son propre processus d’entraînement. En termes simples : « Nous avons donné des outils à notre IA, et elle s’est améliorée elle-même. »

Cette avancée semble déjà significative, mais ce n’est pas tout.

L’IA qui Améliore son Propre Matériel

Vous avez probablement entendu parler des TPU (Tensor Processing Units), les puces d’IA de Google. Ces composants matériels servent à exécuter et entraîner les IA, similaires aux GPU de Nvidia. La conception de ces puces est un processus complexe qui s’étend sur plusieurs années et mobilise des ingénieurs hautement qualifiés.

La révélation stupéfiante est qu’Alpha Evolve, piloté par le LLM Gemini, a réussi à réécrire une partie du code, éliminant des éléments superflus et améliorant essentiellement l’infrastructure matérielle sur laquelle il fonctionne.

Comme le précise le document : « Cette amélioration représente la première contribution directe de Gemini aux circuits TPU. » Cette exploration précoce démontre que cette nouvelle approche, décrite comme « l’évolution de code alimentée par LLM », peut assister dans la conception matérielle.

L’Explosion d’Intelligence

Cette innovation rappelle le concept d’ »explosion d’intelligence » proposé par Leopold Ashenbrener (ex-OpenAI) et d’autres experts. Bien que ce concept fasse l’objet de débats, l’idée fondamentale est qu’à un certain point, les IA commenceront à mener elles-mêmes la recherche en IA.

Ce phénomène, appelé « auto-amélioration récursive », suggère que ces systèmes d’IA, bien qu’incapables de se déplacer physiquement, peuvent effectuer des recherches en apprentissage automatique sur un ordinateur et travailler sur des percées algorithmiques jour et nuit.

Ashenbrener désigne 2027 comme un point d’inflexion potentiel où la recherche en IA deviendrait automatisée, les machines devenant plus efficaces que les ingénieurs humains dans ce domaine. Bien que certains considèrent cette vision comme de la science-fiction, les développements d’Alpha Evolve nous obligent à reconsidérer cette perspective.

Nous sommes en 2025, et le document Alpha Evolve vient d’être publié. Fait remarquable, certaines des optimisations découvertes par ce modèle d’IA ont déjà été mises en œuvre par Google depuis plus d’un an. Le document précise qu’une amélioration proposée par Alpha Evolve est en production depuis plus d’un an, permettant de récupérer continuellement un pourcentage des ressources informatiques mondiales de Google.

Comment Fonctionne Alpha Evolve ?

Alpha Evolve est un agent de codage piloté par Gemini qui peut améliorer certaines choses à un niveau fondamental. Ce nouvel agent d’IA de Google DeepMind fait évoluer les algorithmes – le terme « évoluer » n’est pas utilisé à la légère, il s’agit véritablement d’un agent de codage évolutif.

On peut considérer qu’Alpha Evolve comporte deux parties principales : il combine la créativité des grands modèles de langage avec des évaluateurs automatisés. Cette approche ressemble à celle du raisonneur « Absolute Zero » présenté récemment, où deux IA collaborent – l’une propose des défis, l’autre les résout.

Alpha Evolve n’est pas exactement identique, mais suit un concept similaire : une armée de grands modèles de langage génère des solutions, tandis que des évaluateurs classent et testent ces propositions. Ce qui est intéressant, c’est qu’Alpha Evolve utilise des modèles similaires à ceux disponibles pour le grand public via Google AI Studio ou l’application Gemini.

Les chercheurs utilisent une combinaison de Gemini 2.0 Flash et Gemini 2.0 Pro, associés à des évaluateurs automatisés qui vérifient les réponses. Ces modèles ne sont même pas les plus récents disponibles aujourd’hui.

Les Réalisations d’Alpha Evolve

Ce processus a déjà amélioré l’efficacité des centres de données de Google, la conception des puces, ainsi que le processus d’entraînement de l’IA – y compris l’entraînement des grands modèles de langage qui alimentent Alpha Evolve lui-même.

Cela signifie que, bien qu’Alpha Evolve soit partiellement alimenté par Gemini 2.0, il conçoit un meilleur algorithme pour entraîner Gemini 2.0 – il s’améliore lui-même.

Alpha Evolve a également conçu une multiplication matricielle plus rapide et trouvé de nouvelles solutions à des problèmes mathématiques ouverts, démontrant un potentiel incroyable d’application dans de nombreux domaines.

Par exemple, l’algorithme de Strassen, utilisé pour la multiplication matricielle et publié en 1969, a été amélioré par Alpha Evolve. Ce dernier a découvert un algorithme utilisant 48 multiplications pour multiplier des matrices complexes 4×4. En plus de 50 ans, personne n’avait trouvé d’amélioration à cet algorithme, jusqu’à Alpha Evolve.

Le Processus d’Évolution

Alpha Evolve combine les modèles Gemini : Gemini Flash, rapide et efficace, génère davantage d’idées (comme un brainstorming), tandis que le modèle plus puissant Gemini Pro fournit des suggestions approfondies et critiques.

Actuellement, les scientifiques et ingénieurs humains restent nécessaires pour certaines tâches. Alpha Evolve prend en charge une grande partie du travail, mais une configuration initiale est toujours requise.

Le processus fonctionne ainsi :
1. Les scientifiques fournissent le « quoi » (objectif)
2. Alpha Evolve gère le « comment » (solution)

Le système comprend :
– Un échantillonneur de prompts
– Un ensemble de LLM (Gemini Flash et Pro)
– Des pools d’évaluateurs et du code d’évaluation automatisé
– Une base de données de programmes à améliorer

Pour illustrer ce concept, imaginez que vous essayez de charger un camion avec des boîtes et des meubles, en optimisant l’espace. Vous avez probablement une approche en tête (placer la première boîte au fond à gauche, etc.). Alpha Evolve proposerait plusieurs approches différentes pour ranger ces boîtes, évaluerait ces approches, et déterminerait si la nouvelle méthode économise plus d’espace que votre approche initiale.

Le concept est simple, mais la complexité réside dans le processus évolutif conçu par Google. La fonction d’évaluation permet aux meilleures versions de survivre et de s’améliorer. Si le modèle de langage propose une solution prometteuse, cela se reflète dans l’évaluation, et le système tente de créer des solutions similaires.

Méthodes d’Évaluation Sophistiquées

Pour suivre les progrès d’Alpha Evolve et sélectionner les idées à propager dans les générations futures, chaque nouvelle solution proposée par les modèles de langage est automatiquement évaluée.

Par exemple, si trois solutions sont proposées, elles sont notées. Celle qui obtient le meilleur score sera propagée et continuera son évolution, tandis que les moins performantes seront écartées.

Google utilise plusieurs approches pour rendre ce processus plus rapide et efficace :

1. La cascade d’évaluation : Les tests commencent par les plus faciles pour éliminer rapidement les solutions moins prometteuses, puis progressent vers des tests plus difficiles.

2. Le feedback des modèles : Les modèles de langage eux-mêmes génèrent des retours sur certaines caractéristiques difficiles à quantifier précisément, comme la simplicité du programme découvert.

3. L’évaluation parallèle : Les fonctions d’évaluation s’exécutent en parallèle pour accélérer l’apparition de nouvelles générations.

Un défi clé est d’équilibrer l’exploration (essayer de nouvelles approches) et l’exploitation (utiliser ce qui fonctionne déjà). Cette approche est similaire à celle utilisée dans l’apprentissage par renforcement.

Impact sur l’Écosystème Informatique de Google

Ce processus a été utilisé pour optimiser l’écosystème informatique de Google, y compris les centres de données, le matériel et les logiciels. Ces petites améliorations d’efficacité, multipliées à l’échelle de l’infrastructure de Google, pourraient représenter des économies de millions de dollars.

Google dispose d’un système appelé Borg pour orchestrer ses vastes centres de données. La solution proposée par Alpha Evolve, en production depuis plus d’un an, récupère en moyenne 0,7% des ressources informatiques mondiales de Google.

Une autre réussite d’Alpha Evolve a été l’amélioration d’un circuit arithmétique déjà hautement optimisé pour la multiplication matricielle. Cette proposition a déjà été intégrée dans le TPU, la puce d’IA de Google.

En trouvant des moyens plus intelligents de diviser les grandes opérations de multiplication matricielle en sous-processus plus gérables, Alpha Evolve a accéléré une partie vitale de l’architecture de Gemini de 23%, ce qui a conduit à une réduction de 1% du temps d’entraînement de Gemini.

Bien que 1% puisse sembler modeste, cela se traduit par des économies massives en capital, énergie et temps pour Google, étant donné les ressources considérables nécessaires à l’entraînement des modèles d’IA.

Libérer les Humains pour des Tâches de Plus Haut Niveau

Un point intéressant du document est que des outils comme Alpha Evolve libèrent les humains pour des tâches de plus haut niveau. L’utilisation d’Alpha Evolve a considérablement réduit le temps d’optimisation des noyaux, passant de plusieurs mois d’efforts d’ingénierie dédiés à seulement quelques jours d’expérimentation automatisée.

Cela accélère non seulement le déploiement, mais permet également aux ingénieurs de consacrer leur expertise à des problèmes d’optimisation plus stratégiques et de plus haut niveau.

Comme le soulignent les chercheurs, « ce déploiement marque également une instance nouvelle où Gemini, grâce aux capacités d’Alpha Evolve, optimise son propre processus d’entraînement. » Google affirme que c’est une nouveauté : nous voyons cette IA améliorer elle-même son propre processus d’entraînement, permettant ainsi de créer de meilleures versions d’elle-même.

Qu’on appelle cela auto-amélioration ou auto-évolution, c’est incroyablement excitant. Gemini améliore non seulement son logiciel et son propre processus d’entraînement, mais contribue également à améliorer le TPU, la puce sur laquelle il est entraîné. Nous le voyons donc améliorer à la fois la pile logicielle et matérielle sur laquelle il est construit.

Vers une Explosion d’Intelligence ?

Cette évolution illustre l’idée que nous avons évoquée à plusieurs reprises : les humains construisent la version 1.0 de l’IA, puis cette version 1.0 contribue à construire la version 2.0, créant ainsi ses propres descendants.

Bien que ce processus ne soit pas encore totalement autonome, nous commençons à en observer les premières manifestations, et Google DeepMind le souligne clairement : c’est « la première contribution directe » de Gemini à l’amélioration de son matériel, et une « instance nouvelle » où il améliore son propre processus d’entraînement.

Google a lancé cette course aux LLM en publiant un article intitulé « Attention is All You Need », introduisant l’architecture Transformer utilisée dans la majorité des réseaux neuronaux modernes, des LLM à AlphaFold. Le mécanisme d’attention est au cœur de cette architecture.

Les chercheurs ont demandé à Alpha Evolve d’optimiser l’un des composants de cette architecture, une tâche particulièrement difficile car conçue pour le débogage plutôt que pour l’édition directe, et déjà hautement optimisée par le compilateur.

Chaque solution proposée par Alpha Evolve a été vérifiée par rapport au code non modifié et rigoureusement confirmée par des experts humains comme étant correcte pour toutes les entrées possibles.

Alpha Evolve a réussi à fournir des optimisations significatives : une partie a été accélérée de 32% et une autre de 15%. Ces résultats démontrent la capacité d’Alpha Evolve à optimiser le code généré par compilateur, offrant la possibilité d’incorporer les optimisations découvertes dans les compilateurs existants pour des cas d’utilisation spécifiques ou, à plus long terme, d’intégrer Alpha Evolve dans le flux de travail du compilateur lui-même.

Un Potentiel de Transformation dans de Nombreux Domaines

L’aspect remarquable d’Alpha Evolve est sa capacité à apporter des améliorations dans des domaines que nous considérons comme matures, où nous avons eu beaucoup de temps pour optimiser les processus.

Les chercheurs affirment : « Nous pensons qu’Alpha Evolve pourrait être transformateur dans de nombreux autres domaines tels que la science des matériaux, la découverte de médicaments, la durabilité et des applications technologiques et commerciales plus larges. »

En fait, Alpha Evolve semble applicable à tout domaine où l’on peut quantifier le résultat. Partout où l’on peut donner aux évaluateurs automatisés une métrique ou quelque chose qu’ils peuvent vérifier et noter, ce système pourrait fonctionner. Si le domaine est plus subjectif, cette approche pourrait être moins applicable, mais pour la plupart des problèmes d’optimisation, les résultats sont quantifiables.

Par exemple, pour notre problème de chargement de camion, si vous pouvez économiser de l’espace, il existe une formule spécifique pour le mesurer. Si Alpha Evolve peut trouver comment utiliser 5% moins d’espace, il réussit à optimiser ce problème.

L’Aube de l’Auto-Amélioration Récursive ?

En prenant du recul, ce qui est fascinant ici est que les chercheurs affirment que Gemini, avec cet échafaudage qu’est Alpha Evolve (l’ensemble des LLM et tout le système qui les entoure), commence à améliorer la prochaine génération de modèles.

Que se passe-t-il si le modèle que nous intégrons ici est capable d’améliorer la génération suivante de modèles – ce que nous voyons déjà dans ce document – et qu’il peut améliorer non seulement le logiciel et l’entraînement, mais peut-être même l’architecture des réseaux neuronaux et le matériel, les puces sur lesquelles nous les entraînons ?

Si certaines de ces améliorations contribuent à perfectionner la génération suivante de modèles, et que nous prenons cette nouvelle génération améliorée pour la réintégrer dans le système, cela améliore-t-il l’ensemble du système, contribuant à créer une pile matérielle et logicielle encore meilleure ?

C’est ce que nous considérons comme le début de l’explosion d’intelligence. L’idée est que ces IA n’ont pas besoin d’automatiser tout – si elles automatisent simplement la recherche en IA, améliorant la capacité de l’IA à accomplir des tâches, cela constituerait déjà une avancée majeure, car il s’agirait d’une auto-amélioration récursive.

Certains suggèrent que ce serait le début de cette explosion d’intelligence, où des modèles meilleurs peuvent fournir une génération suivante de modèles de plus en plus performants, créant une explosion exponentielle de l’intelligence.

Conclusion

Comme le soulignent les chercheurs dans leur document, « c’est le premier exemple » de ce phénomène, « un exemple nouveau ». Nous commençons à peine à observer ces manifestations, et si ce processus se poursuit, il va probablement s’accélérer.

Alpha Evolve représente-t-il un exemple, aussi modeste soit-il, d’une IA qui s’améliore elle-même, tant au niveau logiciel que matériel ? La réponse semble être affirmative, et les implications pour l’avenir de l’intelligence artificielle pourraient être profondes.

Featured image by Suzy Brooks on Unsplash