Le Premier Article Scientifique Évalué par des Pairs de l’IA Scientist : Un Pas Vers l’Explosion d’Intelligence

L’IA Scientist de Sakana AI, lancée il y a seulement quelques mois, vient de franchir une étape majeure : la publication de son premier article scientifique évalué par des pairs. Cet accomplissement marque un tournant dans l’histoire de l’intelligence artificielle, car l’article a été entièrement rédigé, recherché et publié par une IA, tout en passant par le même processus rigoureux d’évaluation par des pairs que les travaux humains.

L’IA Scientist de Sakana AI et sa première publication scientifique

Cet article a été généré à l’aide de l’IA Scientist V2, un système entièrement open source que n’importe qui peut télécharger et exécuter. Le dépôt GitHub du projet fournit toutes les instructions nécessaires ainsi que plusieurs exemples d’articles déjà rédigés par le système.

Mais quel était le sujet de recherche choisi par l’IA Scientist ? De façon fascinante, il s’agissait d’améliorer ses propres capacités. L’article s’intitule : « Régularisation compositionnelle : obstacles inattendus et amélioration de la généralisation des réseaux neuronaux ».

Cette orientation vers l’auto-amélioration est particulièrement significative car elle évoque ce que de nombreux experts appellent « l’explosion d’intelligence ». Ce concept décrit un scénario où une IA atteint un niveau d’intelligence générale artificielle (AGI) lui permettant de mener des recherches pour s’améliorer elle-même, d’appliquer ces améliorations, puis de continuer ce cycle itératif. Ce que nous observons aujourd’hui n’est qu’un aperçu de ce qui pourrait devenir possible.

Comment fonctionne l’IA Scientist ?

Le processus de l’IA Scientist suit plusieurs étapes méthodiques :

1. L’IA commence par formuler une idée ou un plan d’innovation
2. Elle vérifie la nouveauté de cette idée (a-t-elle déjà été découverte ou testée ?)
3. Elle évalue ses idées selon des critères pratiques et d’utilité
4. Elle élabore un modèle d’expérimentation
5. Elle écrit du code en utilisant un LLM et AER (AI Explorable Research)
6. Elle exécute l’expérience, analyse les résultats et itère
7. Elle produit des données et rédige un manuscrit
8. Un autre LLM révise l’article

Ce cycle se répète jusqu’à l’obtention d’un article de qualité suffisante.

Un résultat négatif mais significatif

Dans le cas de cette première publication, l’IA Scientist V2, après avoir reçu un sujet général sur lequel mener des recherches, a généré un article rapportant un résultat négatif. Cela signifie que l’IA a rencontré des obstacles en essayant d’innover sur de nouvelles méthodes de régularisation pour l’entraînement des réseaux neuronaux visant à améliorer leur généralisation compositionnelle.

Ce manuscrit a reçu une note moyenne de 6,33 lors de l’atelier ICLR, le plaçant au-dessus du seuil moyen d’acceptation. C’est un point intéressant à souligner : de nombreux chercheurs humains évitent de publier des résultats négatifs (des expériences qui n’ont pas fonctionné comme prévu), préférant se concentrer sur les succès. Pourtant, ces résultats négatifs sont tout aussi importants pour la communauté scientifique, car ils permettent d’économiser du temps en indiquant quelles approches ne fonctionnent pas.

L’utilisation de l’IA pour prouver des résultats négatifs pourrait non seulement encourager les chercheurs humains à publier de tels résultats, mais aussi accélérer la découverte des approches qui fonctionnent réellement.

Un processus transparent avec des limites reconnues

L’équipe de Sakana AI n’a pas caché l’origine artificielle de cet article. Au contraire, ils ont travaillé en étroite collaboration avec l’ICLR (International Conference on Learning Representations), en déclarant explicitement que tout le travail serait effectué par l’IA :

« Nous croyons qu’il est important pour la communauté scientifique d’étudier la qualité de la recherche générée par l’IA, et l’une des meilleures façons de le faire est de soumettre un petit échantillon au même processus rigoureux d’évaluation par les pairs que nous utilisons pour évaluer la science générée par les humains.« 

Il convient de noter certaines nuances importantes concernant cette publication :

1. L’article a été présenté dans un atelier (workshop track) plutôt que dans la conférence principale. Dans les conférences académiques, la conférence principale est généralement plus prestigieuse, avec des articles hautement sélectifs et rigoureusement évalués. Les ateliers, en revanche, se concentrent souvent sur des sujets spécialisés avec des critères d’acceptation moins stricts.

2. Les articles d’atelier présentent généralement des résultats préliminaires moins raffinés que les soumissions à la conférence principale.

3. Le taux d’acceptation de la conférence principale se situe entre 20 et 30%, tandis que celui des ateliers est de 60 à 70%.

4. Les performances de l’IA Scientist dépendent directement de celles des grands modèles de langage (LLM) sur lesquels il s’appuie. Comme le système est open source, il est possible d’essayer différents modèles comme Grock 3, Claude 3.7 Thinking ou GPT 4.5 pour voir lequel fonctionne le mieux.

Des imperfections mais un potentiel immense

L’article n’était pas parfait et contenait quelques erreurs, notamment dans les citations de références. Par exemple, il a incorrectement cité « Goodfellow et al. 2016 » au lieu de « Houthooft et Schmidhuber ».

Malgré ces imperfections, l’équipe de Sakana AI affirme : « Nous pensons que les articles que nous avons envoyés à l’atelier contiennent des idées originales intéressantes, bien que préliminaires, qui peuvent être développées davantage.« 

Ce qui est véritablement impressionnant, c’est que l’IA Scientist découvre de nouvelles connaissances. Et si nous pouvons améliorer ce processus, utiliser de meilleurs modèles et éliminer les imperfections, chaque petite amélioration pourrait avoir un impact exponentiel.

L’avenir de la découverte scientifique

L’équipe de Sakana AI est optimiste quant à l’avenir : « Nous pensons que la prochaine génération de l’IA Scientist inaugurera une nouvelle ère dans la science. Que l’IA puisse générer un article scientifique complet qui passe l’évaluation par les pairs dans un atelier de premier plan en apprentissage automatique constitue un signe très prometteur de progrès.« 

Ils se concentrent particulièrement sur l’apprentissage automatique, car à mesure que l’IA Scientist découvre de nouvelles techniques, elle peut les réimplémenter pour s’améliorer elle-même, créant potentiellement une boucle d’amélioration exponentielle.

« Nous nous attendons à ce que l’IA continue de s’améliorer, potentiellement de façon exponentielle. À un moment donné dans le futur, l’IA sera probablement capable de générer des articles au niveau humain et au-delà, y compris au plus haut niveau de publication scientifique. Nous prédisons que l’IA Scientist et les systèmes similaires créeront des articles dignes d’être acceptés non seulement dans les meilleures conférences d’apprentissage automatique, mais aussi dans les revues scientifiques les plus prestigieuses.« 

Expérimenter avec l’IA Scientist

Vous pouvez consulter les différents articles publiés par l’IA Scientist sur leur page GitHub, qui fournit également le code complet pour faire fonctionner votre propre IA Scientist.

Et si vous pensez que seules les IA les plus avancées peuvent accomplir ce genre de tâches, rappelez-vous qu’il y a seulement un mois et demi, Simon Willison a détaillé sur son blog comment il a utilisé l’IA pour doubler la vitesse de DeepSeek, avec un code écrit à 99% par l’IA.

Nous allons assister à une accélération de ce phénomène à mesure que l’IA continue d’écrire une plus grande partie du code mondial et devient plus capable de découvrir de nouvelles connaissances et de tester des théories. Nous nous dirigeons vers cette explosion d’intelligence prédite dans l’article « Conscience situationnelle » de Leopold Aschenbrenner.

Cette avancée représente une étape cruciale vers un futur où l’IA ne se contente pas d’assister la recherche scientifique, mais devient elle-même une force motrice de découverte et d’innovation, capable de s’améliorer continuellement et potentiellement d’accélérer exponentiellement le progrès scientifique humain.

Featured image by Klemens Morbe on Unsplash