ChatGPT Nous Rend-il Plus Stupides ? Ce que Révèle une Étude du MIT

Une nouvelle étude du MIT suggère que ChatGPT pourrait effectivement nous rendre moins intelligents, et c’est une réalité difficile à accepter pour beaucoup d’entre nous. Cette recherche approfondie démontre non seulement que l’utilisation de ChatGPT nous fait oublier ce que nous venons d’écrire, mais aussi que nous ne ressentons pas le sentiment d’avoir réellement écrit le contenu nous-mêmes. Plus inquiétant encore, ces effets négatifs persistent même après avoir cessé d’utiliser le modèle de langage pour nous aider à rédiger.

Ces découvertes ont d’énormes implications, non seulement sur l’apprentissage, mais aussi sur la façon dont les humains vont penser à l’avenir. Plongeons dans les détails de cette étude de plus de 200 pages pour comprendre ce qui se passe réellement dans notre cerveau lorsque nous utilisons ChatGPT.

L’étude du MIT : « Votre cerveau sous ChatGPT »

L’étude s’intitule « Votre cerveau sous ChatGPT : Accumulation de dette cognitive lors de l’utilisation d’un assistant IA pour les tâches de rédaction d’essais ». Elle se concentre sur l’identification du coût cognitif de l’utilisation d’un modèle de langage (LLM) dans le contexte éducatif de la rédaction d’un essai.

Les chercheurs ont cherché à répondre à quatre questions principales :

Les personnes écrivent-elles des essais significativement différents lorsqu’elles utilisent des LLM, un moteur de recherche ou uniquement leur cerveau ?
Comment l’activité cérébrale des participants diffère-t-elle entre ces trois groupes ?

Comment l’utilisation d’un LLM impacte-t-elle la mémoire des participants ?
L’utilisation d’un LLM affecte-t-elle le sentiment d’appropriation des essais ?

Pour répondre à ces questions, les chercheurs ont divisé les participants en trois groupes :
– Ceux qui n’utilisaient que leur cerveau pour rédiger l’essai
– Ceux qui utilisaient un moteur de recherche traditionnel comme Google
– Ceux qui utilisaient des modèles de langage comme ChatGPT

Les avantages apparents des LLM

J’ai toujours été un grand partisan de l’utilisation des modèles de langage pour l’apprentissage. Je les utilise quotidiennement pour apprendre sur divers sujets. Mais après avoir lu cette étude, je vais être beaucoup plus réfléchi sur la façon dont j’utilise les LLM pour apprendre.

L’une des caractéristiques les plus uniques des LLM est leur capacité à fournir des informations contextualisées et personnalisées. Ils génèrent des réponses cohérentes et détaillées aux requêtes des utilisateurs. Les LLM sont également utiles pour l’apprentissage adaptatif, car ils peuvent adapter leurs réponses en fonction des commentaires et des préférences des utilisateurs, offrant des clarifications itératives et une exploration plus approfondie des sujets.

Tout cela semble positif, n’est-ce pas ? Mais ce n’est pas tout rose.

Les inconvénients cachés

Il est important de noter que le lien entre les informations générées par les LLM et les sources originales est souvent perdu, ce qui peut conduire à la diffusion d’informations inexactes. Si vous demandez une information à un LLM sans vérifier la source, vous ne savez pas nécessairement si elle est vraie. Les hallucinations se produisent, et il est essentiel de toujours vérifier les sources.

La fourniture de citations est une fonctionnalité plus récente des modèles de langage avancés, et tous les modèles de pointe (Perplexity, ChatGPT, Claude, Gemini) proposent désormais cette fonction. Cependant, le problème des références hallucinées, fabriquées ou incorrectes demeure un défi. Même lorsqu’une IA génère une réponse avec une source citée, il n’y a aucune garantie que la référence corresponde à l’information fournie ou que le modèle comprenne correctement ce que la source voulait dire.

L’impact sur notre cognition

Voici la grande révélation : la commodité des réponses instantanées que fournissent les LLM peut encourager une consommation passive de l’information. Cela peut conduire à un engagement superficiel, à un affaiblissement des compétences de pensée critique, à une compréhension moins profonde des matériaux et à une formation de mémoire à long terme réduite.

Bien sûr, ce n’est pas aussi simple. Il s’avère que votre intelligence affecte réellement la façon dont vous utilisez ces modèles de langage.

Le niveau réduit d’engagement cognitif pourrait également contribuer à une diminution des compétences de prise de décision et favoriser des habitudes de procrastination et de paresse chez les étudiants comme chez les éducateurs. De plus, l’utilisation des LLM peut réduire les opportunités d’interaction humaine directe ou d’apprentissage social, qui joue un rôle essentiel dans l’apprentissage et la formation de la mémoire.

Recherche web vs LLM : différences cognitives

L’étude compare d’abord la recherche web traditionnelle à l’apprentissage. 81% des Américains s’appuient beaucoup sur les informations provenant d’Internet pour prendre des décisions importantes. Internet est une mine d’informations, mais la façon dont vous l’utilisez dépend de votre intelligence fondamentale.

Si vous êtes intelligent, vous rechercherez des informations sur Internet, les validerez, les vérifierez et contrôlerez les citations. Si vous avez un QI plus faible, vous pourriez ne rien faire de tout cela et simplement faire confiance à la source qui vous informe.

Les recherches web réussies exigent des connaissances du domaine, une autorégulation et des comportements de recherche stratégiques pour optimiser les résultats d’apprentissage. Les personnes ayant une connaissance élevée du domaine excellent dans les recherches web car elles sont mieux équipées pour discerner les informations pertinentes et naviguer dans des sujets complexes.

La charge cognitive pendant les recherches web

La charge cognitive fait référence à l’effort mental imposé par la présentation de l’information. Lorsque l’information est présentée clairement, sans encombrement, publicités ou éléments d’interface qui détournent l’attention de l’information principale, votre charge cognitive est réduite. Lorsque l’information est plus facilement traitée et comprise, votre cerveau travaille moins dur.

La charge cognitive pendant l’utilisation des LLM

Les LLM réduisent la charge cognitive dans tous les domaines, facilitant la compréhension et la récupération d’informations par rapport aux méthodes traditionnelles comme les recherches web. Les utilisateurs de LLM ont connu une charge cognitive 32% inférieure par rapport aux utilisateurs de logiciels uniquement, avec une frustration et un effort significativement réduits lors de la recherche d’informations.

Cela semble très positif, n’est-ce pas ? Mais il y a des inconvénients, d’où le sujet de cette étude. Les LLM rationalisent le processus de présentation et de synthèse de l’information, réduisant ainsi le besoin d’intégration active de l’information et, par conséquent, diminuant l’effort cognitif nécessaire pour construire des schémas mentaux. Mais si vous ne réfléchissez pas aussi intensément, si vous ne développez pas ces schémas mentaux, alors peut-être que vous ne comprenez pas vraiment l’information.

Productivité vs compréhension profonde

L’utilisation des LLM, en raison de la charge cognitive beaucoup plus faible, entraîne une productivité globale beaucoup plus élevée. Les utilisateurs de LLM sont 60% plus productifs dans l’ensemble. Et en raison de la diminution de la charge cognitive extrinsèque, les utilisateurs sont plus disposés à s’engager dans la tâche pendant de plus longues périodes.

Mais voici le piège : bien que des charges cognitives plus faibles améliorent souvent la productivité en simplifiant l’achèvement des tâches, les utilisateurs de LLM s’engagent généralement moins profondément avec le matériel, compromettant la charge cognitive nécessaire pour construire et automatiser des schémas robustes.

Les étudiants qui s’appuient sur les LLM pour des recherches scientifiques produisent un raisonnement de qualité inférieure à ceux qui utilisent des moteurs de recherche traditionnels, car ces derniers nécessitent un traitement cognitif plus actif pour intégrer diverses sources d’information.

Ce que j’ai compris de cette étude, c’est que lorsque vous vous appuyez trop sur les modèles de langage et n’utilisez pas votre cerveau pour réfléchir, vous ne mémorisez pas aussi bien l’information, vous ne la comprenez pas aussi bien, et vous n’êtes pas capable d’établir des connexions entre les différentes parties de l’information aussi efficacement.

Le changement de paradigme : de la réflexion active à la supervision passive

La réduction de la charge cognitive conduit à un passage du raisonnement critique actif à une supervision passive. Plutôt que de faire le travail mental de comprendre un sujet, vous supervisez l’IA pour qu’elle fasse ce travail pour vous.

Il y aura un équilibre délicat entre la compétence de supervision et d’orchestration des agents d’IA et la compréhension profonde de l’information elle-même.

Et concernant le QI faible et élevé ? Les apprenants plus compétents utilisent stratégiquement les LLM comme un outil pour l’apprentissage actif. Le groupe moins compétent s’appuie souvent sur l’immédiateté des réponses des LLM au lieu de passer par le processus itératif impliqué dans les méthodes d’apprentissage traditionnelles.

C’est la même chose : utilisez-vous le LLM comme un outil ou pour faire le travail à votre place ? C’est une distinction essentielle que chacun devra réfléchir pour lui-même.

LLM vs moteurs de recherche : forces et faiblesses

D’un côté, les moteurs de recherche pourraient être plus adaptés aux tâches nécessitant une exploration large à travers plusieurs sources ou une vérification des faits à partir de références directes. La recherche web permet aux utilisateurs d’accéder à une grande variété de ressources, ce qui les rend idéaux pour les tâches où des données complètes spécifiques à la source sont nécessaires.

En revanche, les LLM sont optimaux pour les tâches nécessitant des réponses contextualisées et synthétisées. Si vous voulez aller droit au but, droit à la réponse, les LLM sont meilleurs. Ils sont bons pour générer des explications concises, faire du brainstorming et permettre un apprentissage itératif. Les LLM rationalisent le processus de récupération d’informations en éliminant le besoin de passer au crible plusieurs sources, réduisant la charge cognitive et améliorant l’efficacité.

L’expérience : méthodologie et protocole

L’ensemble de ce document porte sur l’expérience qu’ils ont mise en œuvre, qui consiste à faire participer trois groupes d’étudiants à la rédaction d’essais :

Un groupe n’utilisant que leur cerveau, sans outils
Un groupe n’utilisant que des moteurs de recherche

Un groupe n’utilisant que des LLM

Ensuite, ils ont créé une quatrième phase. Ils ont pris le groupe qui utilisait les LLM et leur ont demandé de n’utiliser que leur cerveau. Puis ils ont pris le groupe qui n’utilisait que leur cerveau et leur ont demandé d’utiliser des LLM, pour voir si ce préjudice à la mémoire et à la compréhension des concepts persistait même après avoir cessé d’utiliser le LLM.

Le protocole comportait des étapes importantes comme la tâche de rédaction d’essai et l’entretien post-évaluation. Après avoir rédigé l’essai, on leur a posé une série de questions sur l’essai qu’ils ont écrit, comme :

Pourquoi avez-vous choisi ce sujet d’essai ?
Avez-vous suivi une structure pour rédiger votre essai ?
Comment avez-vous procédé pour rédiger l’essai ?

Pour le groupe LLM : avez-vous commencé seul ou demandé d’abord à ChatGPT ?
Pour le groupe moteur de recherche : avez-vous visité des sites web spécifiques ?
Pouvez-vous citer une phrase de votre essai sans la regarder ?

Pour la quatrième session, où les groupes ont échangé leurs places, on leur a demandé :

Vous souvenez-vous de ce sujet d’essai ?
Si oui, vous souvenez-vous de ce que vous avez écrit dans l’essai précédent ?

Si vous vous souvenez de votre essai précédent, comment avez-vous structuré cet essai ?
Quel essai trouvez-vous plus facile à écrire ?
Lequel des deux essais préférez-vous ?

Le facteur « âme » : la différence humaine

Lorsque vous lisez un essai ou un article, pouvez-vous dire qu’il est écrit par une IA ? Souvent, c’est possible, même dans les emails. Cette nuance a des implications importantes.

Voici ce qui s’est passé lorsque des enseignants ont noté et examiné ces essais. Selon deux professeurs d’anglais : « Certains essais sur tous les sujets se sont démarqués par une utilisation presque parfaite de la langue et de la structure, tout en ne parvenant pas à donner des aperçus personnels ou des déclarations claires. » Bien que structurés parfaitement, grammaticalement parfaits, avec une orthographe impeccable, il n’y avait pas de déclarations claires sur le contenu réel, et les enseignants les ont qualifiés de « sans âme ».

Je trouve cela fascinant. Je constate la même chose avec les vidéos, la musique et les images générées par l’IA. Beaucoup sont sans âme. Et je ne sais pas exactement comment le décrire, c’est juste un sentiment. Et peut-être que ce sentiment est ce qui sera important pour que les humains restent distincts, uniques et spéciaux à l’avenir, quand il y aura tant de bruit par rapport au signal.

Les enseignants ont ajouté : « Bien que les essais aient l’air académiques et développent souvent un sujet plus en profondeur que d’autres, nous valorisons l’individualité et la créativité plutôt que la perfection objective. »

C’est un peu comme ce qu’on voit avec les échecs d’IA. Voir deux IA jouer aux échecs est intéressant, mais pas aussi intéressant que de voir deux humains se battre, utilisant chaque parcelle de leur intellect pour gagner à ce jeu incroyable. Et les erreurs dans ces jeux sont vraiment ce qui les distingue. Voir une IA performer parfaitement contre une autre IA performant parfaitement, et une IA finit par performer légèrement moins bien, n’est tout simplement pas aussi intéressant que de voir deux humains s’affronter.

Le sentiment d’appropriation

Rappelez-vous que j’ai mentionné l’appropriation, le sentiment d’avoir réellement écrit cet essai. Bien sûr, si vous utilisez un LLM pour rédiger votre essai, beaucoup de gens ne pensent pas qu’ils sont propriétaires de l’essai.

Pour les groupes moteur de recherche et cerveau uniquement, ils avaient pratiquement 100% de sentiment d’appropriation. Si cela vous semble intuitif, c’était plus nuancé que cela.

Le groupe LLM a indiqué soit une appropriation totale de l’essai pour la moitié des participants, soit aucune appropriation du tout, soit une appropriation partielle de 90% pour 1 participant sur 18, 50/50 pour 1 sur 18, et 70/30 pour 1 sur 18. Mais encore une fois, les groupes moteur de recherche et cerveau uniquement n’ont signalé aucune absence d’appropriation.

Les résultats : impact sur le cerveau et la mémoire

Que signifie tout cela ? Voici les résultats réels.

Le groupe cerveau uniquement a dû fortement mobiliser ses propres ressources cognitives. En revanche, le groupe assisté par LLM a présenté un profil de connectivité généralement plus faible, ce qui signifie qu’ils utilisaient moins leur cerveau. Bien que le groupe LLM ait certainement engagé des réseaux cérébraux pour écrire, la présence d’un LLM semble avoir atténué l’intensité et la portée de la communication neuronale, et les exigences en matière de mémoire de travail et d’exécution étaient plus légères, probablement parce que le bot fournissait un soutien cognitif externe.

Ils ont également découvert que le flux d’information est différent selon que vous utilisez un LLM ou non. Si vous n’utilisez pas de LLM, vous découvrez des informations de manière ascendante (bottom-up). Vous trouvez toutes ces choses, vous établissez des connexions, puis soudainement, vous voyez l’image de haut niveau. Mais c’est l’inverse pour l’utilisation des LLM. Pour les LLM, c’était descendant (top-down) dirigé. Fondamentalement, vous avez pris l’idée que le LLM a donnée, puis vous avez essentiellement compris les petites pièces à partir de cette idée principale.

Le groupe cerveau uniquement a montré des preuves de flux ascendants plus importants, ce qui peut être interprété comme les régions sémantiques et sensorielles du cerveau alimentant de nouvelles idées et du contenu linguistique dans le système exécutif frontal. En revanche, le groupe LLM, avec une entrée externe du bot, a probablement connu une connectivité plus descendante dirigée. Le rôle de leur cerveau était d’intégrer et de filtrer les contributions de l’outil, puis de les imposer à leur récit global.

L’IA nous rend-elle vraiment plus stupides ?

Peut-être que l’IA ne nous rend pas réellement plus stupides. Elle change simplement le type de travail que notre cerveau effectue.

Bien que la quantité d’implication exécutive soit moindre pour les utilisateurs de LLM, la nature des tâches exécutives peut avoir changé, passant de la génération de contenu à la supervision du contenu généré par l’IA. Lorsque vous utilisez un LLM, cela peut libérer des ressources mentales et rendre la tâche plus facile, mais le cerveau de l’utilisateur du LLM pourrait ne pas entrer aussi profondément dans les riches processus associatifs qu’implique l’écriture créative non assistée.

Le groupe cerveau uniquement a démontré un réseau de connectivité plus étendu et plus fort pendant la tâche de rédaction d’essai que le groupe moteur de recherche. Sans assistance Internet, les participants ont intensément engagé les réseaux de mémoire et de planification, s’alignant sur le besoin de se rappeler des informations et de générer créativement du contenu.

Bien sûr, avec la capacité de rechercher, les participants ont probablement déchargé certaines demandes cognitives. Au lieu de se souvenir des faits, ils pouvaient les trouver. Au lieu de recouper les connaissances en interne, ils pouvaient les vérifier via des sources web.

Impact sur la créativité et l’homogénéité

De plus, le groupe qui a utilisé les LLM était moins créatif. Le groupe cerveau uniquement a présenté une forte variabilité dans la façon dont les participants ont abordé la rédaction d’essais sur la plupart des sujets. Lorsqu’ils étaient laissés avec leur propre cerveau pour travailler, ils étaient très créatifs et très différenciés au sein de ce groupe.

Cependant, le groupe LLM a produit des essais statistiquement homogènes au sein de chaque sujet. Lorsque vous vous appuyez sur les LLM, tous ceux qui s’appuient également sur eux écrivent en quelque sorte la même chose. Le groupe moteur de recherche a probablement été influencé, au moins en partie, par le contenu promu et optimisé par un moteur de recherche – c’est aussi la chambre d’écho.

Statistiques révélatrices

Voici quelques statistiques importantes :

Pour le groupe moteur de recherche : environ 34 à 48% de connectivité totale inférieure dans le cerveau
Le groupe LLM a montré la connectivité la moins étendue : 55% d’utilisation du cerveau réduite

Et qu’en est-il de la mémoire ? La divergence comportementale la plus cohérente et la plus significative entre les groupes a été observée dans la capacité à citer son propre essai.

Les utilisateurs de LLM ont significativement sous-performé dans ce domaine. 83% des participants ont signalé des difficultés à citer lors de la première session. Fondamentalement, ils ont utilisé des LLM pour rédiger un essai et ne pouvaient même pas se souvenir de quoi que ce soit de l’essai. Aucun n’a fourni de citations correctes. Pas un seul d’entre eux n’a pu, même s’ils se souvenaient de la citation, la fournir avec précision.

Les participants des groupes moteur de recherche et cerveau uniquement n’ont pas eu de telles déficiences. Ils ont atteint une capacité de citation presque parfaite. Et à la troisième session, 100% des participants des deux groupes ont signalé la capacité de citer leurs essais avec seulement des écarts mineurs dans la précision des citations.

L’effet durable : le plus inquiétant

Rappelez-vous cette quatrième session que j’ai mentionnée ? Ils ont pris le groupe LLM et leur ont demandé de travailler avec leur cerveau uniquement. Ils ont pris le groupe cerveau uniquement et leur ont demandé de travailler avec un LLM.

Il s’avère que les effets étaient durables lorsque vous commenciez avec des LLM. Ces participants passant de LLM à cerveau uniquement ont constamment sous-performé par rapport à la deuxième session du groupe cerveau uniquement. Cela signifie que si vous avez commencé avec un LLM, puis qu’on vous a demandé d’écrire l’essai avec votre cerveau uniquement, vous avez toujours sous-performé en termes de mémoire et de compréhension. C’est assez effrayant.

Mais encore une fois, souvenez-vous, prenez tout cela avec un grain de sel car c’est un très petit groupe de participants.

Leçons à retenir

Voici quelques enseignements clés :

La dépendance précoce à l’IA peut entraîner un encodage superficiel. Le faible rappel et les citations incorrectes du groupe LLM indiquent que leurs essais antérieurs n’étaient pas intégrés en interne, probablement en raison du traitement cognitif externalisé vers le LLM. Fondamentalement, vous laissez le LLM faire le travail pour vous, et il ne finit pas dans votre cerveau.

Retenir les outils LLM pendant les premières étapes pourrait soutenir la formation de la mémoire. L’engagement métacognitif est plus élevé dans le groupe passant du cerveau au LLM.
Utiliser d’abord son cerveau puis les LLM est plus efficace. Le groupe cerveau uniquement a peut-être mentalement comparé leurs efforts passés sans aide avec les suggestions générées par l’outil, s’engageant dans l’auto-réflexion et la répétition élaborative, un processus lié au contrôle exécutif et à l’intégration sémantique, comme on le voit dans leur profil EEG.

Conclusion

Je sais que c’était beaucoup à digérer, mais j’espère que tout cela a du sens. Les modèles de langage comme ChatGPT sont des outils puissants qui peuvent améliorer considérablement notre productivité, mais ils viennent avec des compromis cognitifs importants. La clé est d’être conscient de ces compromis et d’utiliser ces outils de manière réfléchie, en particulier dans les contextes d’apprentissage.

Plutôt que de laisser l’IA faire tout le travail cognitif pour nous, nous devrions l’utiliser comme un complément à notre propre réflexion, en veillant à nous engager activement avec le matériel et à former nos propres connexions mentales. De cette façon, nous pouvons profiter des avantages de l’IA sans sacrifier notre propre développement cognitif.

Featured image by Solen Feyissa on Unsplash