Enfin, DeepMind a Créé un Test de QI pour les IA ! 🤖

Aujourd’hui, nous allons observer comment les techniques d’IA échouent de manière ridicule. Ce sera un désastre absolu ! Pourquoi ? Nous savons maintenant que les techniques d’IA peuvent générer des vidéos à partir d’un texte, mais la question se pose : comprennent-elles vraiment ce qu’elles regardent ? Connaissent-elles réellement la physique des objets qu’elles représentent ?

J’apprécie beaucoup cette question car elle semble très philosophique et pratiquement impossible à répondre. Mais attendez ! Selon cette nouvelle étude remarquable, il existe une réponse concrète. Incroyable ! Nous pouvons poser des questions pour tester si ces IA comprennent vraiment ce qu’elles voient.

Comment tester l’intelligence visuelle des IA ?

Si vous visualisez ce qui se trouve à l’intérieur d’un réseau neuronal, vous n’obtenez pas beaucoup d’informations utiles, juste un tas de chiffres. Rappelons-nous que ce n’est pas une intelligence humaine, mais une intelligence artificielle.

Alors, comment les interroger ? Les scientifiques de Google DeepMind proposent de leur montrer le début d’une vidéo. Si l’IA comprend réellement ce qu’elle voit, elle devrait être capable de nous dire ce qui se passera dans les 5 secondes suivantes. Nous, humains, savons ce qui est sur le point de se produire, mais qu’en est-il des IA ?

Quatre expériences de plus en plus difficiles

Examinons quatre expériences, chacune plus difficile que la précédente.

Expérience 1 : La théière rotative

Commençons simplement avec une théière qui tourne.

Pika 1.0 répond : « Écartez-vous tous, j’ai compris ! Elle ne tournera pas mais développera un socle. » C’est un désastre complet, et c’était pourtant la question la plus simple !

Lumière dit : « Non, non, c’est une théière rotative et je vais reproduire exactement cela. » Mais où étaient les poignées exactement ? « La permanence des objets n’est pas mon point fort. »

Open AI Sora et Runway Gen 3 s’en sortent un peu mieux. Ce n’est pas parfait, mais pas si mal.

Expérience 2 : Peindre quelque chose

Il y a une toile et un pinceau, et il est évident ce qui va se passer. Commençons avec Open AI Sora puisqu’elle a réussi la dernière fois… et mon Dieu, ce n’est même pas proche !

Pika 1.0 dit : « Oui, je sais ce qui se passe ici, un zoom puis quelque chose se produit. » Également faux.

Si nous demandons à Lumière… allez, essaies-tu même ?

Video Poet s’en sort mieux. Ce n’est pas parfait, mais c’est plus raisonnable.

Expérience 3 : Léger contre lourd

Un classique : nous nous attendons à ce que l’objet lourd (une kettlebell) laisse une empreinte plus grande sur l’oreiller qu’un léger morceau de papier. Facile, non ?

Video Poet dit : « Choisissez-moi, je sais ! L’oreiller maléfique mange le papier et, par vengeance, nous le poignardons ensuite. » C’est ce qui va se passer selon lui.

Pika 1.0 répond : « Rien à voir ici, juste un zoom, continuez à zoomer. »

Open AI Sora… eh bien, je ne sais pas ce qu’elle dit.

Toutes sont des catastrophes absolues !

Expérience 4 : Le feu et l’eau

On commence avec une allumette enflammée qu’on plonge dans l’eau. Que se passe-t-il ensuite ?

Runway Gen 3 dit : « Bien sûr, elle flotte. »

Lumière affirme : « Non, vous avez complètement tort, les feux existent clairement sous l’eau. »

Video Poet déclare : « C’est aussi faux, bien sûr qu’une explosion se produit. »

La meilleure réponse vient de Sora, qui comprend à peu près… attendez, puis l’allumette est à nouveau enflammée par l’eau ? Oh là là !

Des tests plus approfondis

Ce n’était que le début. Les scientifiques ont testé ces IA sur bien d’autres aspects : dynamique des solides, dynamique des fluides, optique, thermodynamique, magnétisme… vous l’aurez compris.

Résultats surprenants

Alors, quel est le résultat ? Je suis tellement curieux !

Waaa ! Regardez ça : Sora arrive en dernière position, tandis que la version multiframe de Video Poet obtient un A. Cependant, ce A représente moins de 30% de réussite. Elle n’a donc obtenu un A que par rapport à sa concurrence, mais globalement, le résultat est qu’elles n’ont majoritairement aucune idée de la physique.

Autre fait intéressant : elles ont mieux compris la mécanique des fluides que la dynamique des solides, ce qui est vraiment surprenant. Si vous étudiez les bases des deux, je pense que les fluides sont beaucoup plus difficiles, ce n’est même pas comparable. Mais pas pour l’IA. Ce n’est pas une intelligence humaine, c’est un type d’intelligence différent, et ces résultats sont vraiment surprenants pour moi.

Ces techniques peuvent générer beaucoup d’images photoréalistes, mais apparemment le réalisme visuel et la compréhension physique ne vont pas de pair. En d’autres termes, les systèmes à l’apparence la plus photoréaliste ne comprennent pas nécessairement mieux le monde qui nous entoure.

Un test de QI visuel

Une autre étude montre des images à ces assistants IA de type GPT et leur pose des questions. Considérez cela comme un test de QI visuel où nous posons des questions sur la température, la pression de l’air, ou écrasant une pastèque et posant des questions à ce sujet.

Les résultats sont mitigés. Chacun connaît un peu mieux différents domaines, mais tous sont étonnamment médiocres. Mais pourquoi ? Tout le monde dit que beaucoup de ces systèmes sont de niveau doctorat, alors que s’est-il passé ? Qu’est-ce qui a mal tourné ?

Deux problèmes fondamentaux

Deux choses :

1. La compréhension physique diffère considérablement des tâches pour lesquelles ces systèmes sont formés. Donc, il suffit de leur en apprendre davantage à ce sujet, non ?

2. Non, car, étonnamment, à mesure que nous enseignons davantage à ces algorithmes, ils ne commencent pas à obtenir de meilleurs résultats sur des tests comme ceux-ci.

Conclusion

Oui, les IA peuvent faire des choses incroyables aujourd’hui, mais elles ne possèdent pas une intelligence humaine. Elles représentent un type d’intelligence fondamentalement différent qui a encore un long chemin à parcourir.

J’espère que vous avez pris autant de plaisir que moi à découvrir ces résultats. J’ai adoré cette étude ! Si vous souhaitez en voir plus, abonnez-vous et cliquez sur l’icône de la cloche.

Et vous, chers lecteurs, qu’en pensez-vous ? Faites-le moi savoir dans les commentaires ci-dessous.

Outil recommandé pour comprendre les articles scientifiques

Si, comme moi, il vous faut du temps pour vraiment comprendre un article scientifique, surtout lorsqu’il n’est pas dans votre domaine, Macro.com est un nouveau lecteur de documents AI qui vous donne des super-pouvoirs. Cliquez sur n’importe quel terme ou figure, et il vous l’explique sans quitter votre page. Vous pouvez même parler à l’article ou poser des questions. Essayez-le gratuitement sur macro.com/papers et obtenez 5$ avec le code « papers ».

Featured image by JESHOOTS.COM on Unsplash