Un Ancien Directeur de Google Révèle Tout sur l’IA : Entre Progrès Technologiques et Préoccupations Éthiques
Dans une conversation fascinante entre d’anciens dirigeants technologiques, nous plongeons au cœur des coulisses de l’intelligence artificielle moderne. Cette discussion révèle non seulement l’état actuel de l’IA, mais aussi les tensions internes qui animent l’industrie et les préoccupations concernant son avenir.
Les avertissements ignorés et les réalités internes
La conversation commence par un rappel saisissant : « Peter Teal a dit à Sam Altman il y a des années : ‘Je ne te finance plus. Je t’ai viré de mon programme et tu dois faire sortir ces gens d’EA (Effective Altruism) d’OpenAI maintenant ou tu le regretteras.’ Et Sam a répondu quelque chose comme ‘Eh bien, tu sais, la politique et tout ça.’ Il lui a donné un avertissement clair. »
Ce qui rend cette discussion particulièrement précieuse, c’est la perspective d’initiés que ces anciens cadres apportent. Comme l’un d’eux le souligne : « Quand Joe et moi travaillions chez Google, quand vous êtes à l’intérieur de ces entreprises, vous ne pouvez pas simplement prendre le micro et commencer à parler de technologie parce que cela violerait votre accord de confidentialité ou vous attirerait des ennuis. »
Il ajoute avec une pointe d’ironie : « À la place, vous voyez des gens comme Lex Fridman et d’autres qui n’ont jamais été à l’intérieur des opérations d’entreprise ou proches de la façon dont les décisions sont prises, qui se contentent de pontifier sur n’importe quoi. »
La nature mystérieuse des grands modèles de langage
L’un des aspects les plus fascinants abordés est la nature fondamentalement différente de l’IA moderne par rapport à nos conceptions traditionnelles :
« Nous reproduisons exactement la même chose avec les grands modèles de langage maintenant. C’est la prochaine grande vague et je suis très enthousiaste à ce sujet. Un peu effrayé aussi car il semble que l’interprétabilité diminue un peu lorsque nous développons l’apprentissage par renforcement. »
Cette remarque rejoint une observation fondamentale sur notre relation avec ces technologies : « Cela revient à ce que vous disiez au début : nous ne concevons pas vraiment ces choses. Et l’autre face de cette médaille est que même après qu’elles aient grandi ou se soient développées, nous ne pouvons pas vraiment comprendre comment elles fonctionnent. »
L’un des participants illustre ce paradoxe de façon éloquente : « Imaginez avoir une machine complexe juste devant vous et une équipe d’ingénieurs à qui vous demandez : ‘Avez-vous démonté cette chose et compris comment elle fonctionne à l’intérieur ?’ Et ils vous répondent : ‘Nous l’avons démontée. Nous l’avons remontée. Nous ne savons toujours pas comment elle fonctionne.’ C’est dingue, non ? »
Les parcours des intervenants dans le monde de la tech
La discussion nous permet également de découvrir les parcours professionnels impressionnants des participants :
« Joe Ternowski est un ingénieur et leader tech. C’est un ancien directeur d’ingénierie chez Google et Facebook, et il a également occupé des postes chez Apple, Microsoft, Splunk, Wealthfront et Adobe. »
« Jordan Tibido se concentre sur les aspects commerciaux et humains de la technologie. Il a passé plus de 10 ans chez Google, 8 ans dans les fusions et acquisitions, et a ensuite travaillé chez Slack et Salesforce, ce qui lui donne une compréhension de la technologie, des affaires, de la stratégie et des dynamiques organisationnelles. Il a également dirigé le programme de conférences internes de Google, interviewant des personnalités comme Ray Dalio et Tim Ferris. »
L’évolution personnelle vers l’IA
L’un des participants partage son parcours personnel vers l’IA :
« J’ai commencé dans le marketing en ligne vers 2013. J’ai rejoint une startup en e-commerce comme employé numéro trois, et ils ont développé cette entreprise de zéro à environ 20 millions à la fin de la première année. Ils ont fini par atteindre 33 millions par an à un moment donné. »
Son tournant vers l’IA est venu avec ChatGPT : « Fin 2022, Elon Musk a dit que ChatGPT devenait vraiment bon. Je me suis demandé ce qu’était ce ChatGPT. J’ai regardé et c’est à ce moment-là que tout a commencé à s’assembler. Je me suis dit que je devais m’investir à fond dans ce domaine. »
« J’ai mis quelques vidéos YouTube, elles ont commencé à avoir du succès, et j’ai vraiment apprécié parce que je pouvais apprendre en même temps. Je m’asseyais et lisais tous les articles publiés par Microsoft, OpenAI et d’autres entreprises, je les surlignais et je partageais les résultats sur YouTube. Les gens aimaient ça et je me disais : ‘On me paie pour apprendre ces choses’, c’était comme un rêve devenu réalité. »
L’art des miniatures YouTube et l’algorithme
La conversation aborde également les aspects pratiques de la vulgarisation sur YouTube :
« Pour beaucoup de gens, ce qui n’est peut-être pas évident à première vue, c’est que YouTube est très différent des autres plateformes. Sur la plupart des autres plateformes sociales, l’algorithme vous sert le contenu. Sur Twitter, il vous montre le contenu. Sur Instagram, il vous montre le contenu. Sur YouTube, ce n’est pas le cas. Il vous montre ce que le créateur a choisi comme emballage : la miniature et le titre. »
« Pour que les gens voient le contenu, cela doit être tueur. Ça doit avoir un taux de clics élevé. Et une fois qu’ils cliquent sur le contenu, ils doivent rester. Les gens disent parfois ‘cliquer et rester’. Vous cliquez sur la miniature, vous restez avec le contenu. »
« Beaucoup de gens regardent mon flux vidéo et c’est toujours ce visage, vous savez ? Et ils disent : ‘Pourquoi utilisez-vous la même miniature dans chacune de ces images ?’ Ce n’est pas vrai. Je teste toujours trois versions différentes et mon objectif est d’en trouver une qui bat celle-là. Mais vous tous, les gens qui regardent, vous cliquez toujours sur ce visage pour une raison quelconque. »
L’expérience révélatrice avec GPT-4
Un moment clé de la discussion concerne la révélation que GPT-4 a représentée pour l’un des participants :
« ChatGPT était bon et on sentait clairement qu’il y avait quelque chose là. Ce n’était pas tout à fait époustouflant pour moi. Ce qui m’a vraiment frappé, c’est quand GPT-4 est sorti. Microsoft l’a présenté comme un ‘proto-AGI’ (Intelligence Artificielle Générale). »
« C’est difficile à expliquer, mais parfois vous donnez à GPT-3.5 une certaine instruction et il comprend à peu près ce qui doit être dit, mais il n’y réfléchit pas trop profondément. Avec GPT-4, on peut voir un processus beaucoup plus profond, une compréhension plus profonde. »
« Dans l’article ‘Sparks of AGI’, l’un des exemples était d’écrire une lettre de Gandhi recommandant un candidat à la présidence des États-Unis, et ce candidat est une particule subatomique, un proton. On se demande ce que cela signifie même. Il faut s’arrêter et réfléchir à ce que Gandhi dirait à ce sujet. Rien de tout cela n’a vraiment de sens en surface. »
« GPT-3 est un peu comme un enfant qui n’a pas fait ses devoirs mais qui sait à peu près ce qu’il faut dire. Il dit : ‘Oh, vous savez, George Washington était un grand président. Je suis si fier de lui. Il était génial.’ Blablabla. Et puis GPT-4 décompose vraiment le problème et capture ces concepts abstraits et est capable de les articuler, et on se dit : ‘D’accord, on vient de passer d’un enfant qui sait parler anglais, qui n’a pas fait ses devoirs, mais qui sait à peu près ce qu’il faut dire, à quelque chose de plus avancé.’ »
« Alors je me suis dit : ‘D’accord, projetons cela vers l’avenir. Il semble que si cela continue, si cela continue à s’améliorer, nous allons voir des choses incroyables.’ »
La nature unique de l’IA moderne
La discussion met en lumière à quel point l’IA moderne diffère fondamentalement des technologies précédentes :
« Dans toute autre technologie, il y a un ingénieur quelque part dans le monde, vivant ou mort, qui à un moment donné savait comment la fabriquer, comment la créer, comment elle fonctionne. Rien n’était tel qu’aucun être humain n’ait jamais su exactement ce qui y était entré. Et c’est en quelque sorte différent ici, où c’est comme si nous ne savions pas vraiment ce qui se passe. »
« Dario Amodei d’Anthropic a récemment publié un article où il dit qu’ils font des progrès en termes d’interprétabilité et de compréhension de ce que font les neurones et les groupes de neurones. Ils ont publié des recherches fascinantes à ce sujet. Mais il dit qu’il croit qu’en cinq ans, nous aurons fait de grands progrès dans la compréhension de ces choses. Mais il ajoute qu’au rythme auquel progresse l’IA, ce sera beaucoup trop tard. »
Les trois camps de l’IA : « Doomers », « Deniers » et « Dreamers »
L’un des moments les plus éclairants de la discussion est la catégorisation des différentes attitudes envers l’IA :
« Il y a comme trois classes de personnes qui reçoivent le plus d’attention médiatique actuellement. Les ‘doomers’ (catastrophistes), les ‘deniers’ (négationnistes) et les ‘dreamers’ (rêveurs). »
« Vous avez les ‘doomers’ qui sont les gens de l’alignement de l’IA. Helen Toner, Daniel K, et d’autres. Puis vous avez Jan Ley ou comme Tibido. »
« Les gens disent : ‘Oh, vous dites que les gens de l’alignement de l’IA sont des catastrophistes.’ Mais pour faire la distinction, il y a les équipes de préparation à l’IA chez OpenAI qui font un vrai travail, qui font en sorte que les gens ne puissent pas aller sur le système et essayer de faire en sorte que ce modèle pratique le catfishing avec des enfants ou accompagne des pensées suicidaires et des choses comme ça. C’est donc une évaluation des risques valide. Personne n’est contre ça. »
« Mais ensuite, vous avez les gens de l’alignement de l’IA qui réfléchissent à ce que seront ces systèmes dans 15-20 ans. Concentrons-nous donc sur ce groupe de toutes nos hypothèses et essayons de trouver un moyen de confondre tout le monde avec un système moderne qui ne peut pas accomplir une tâche régulière par lui-même pendant un temps décent sans s’autodétruire. »
« Pour notre émission, nous nous sommes concentrés sur la façon d’être pragmatiques ici concernant les systèmes d’IA que nous avons aujourd’hui. »
« Ensuite, vous avez aussi les ‘deniers’, qui sont des gens qui, peu importe, pensent que cette technologie est nulle, qu’elle ne va nulle part, qu’ils ne veulent pas l’utiliser, etc. Je me souviens quand ChatGPT a eu son moment et j’étais chez Salesforce. L’actuel VP de l’IA disait que ces LLM étaient surestimés et il a envoyé un message Slack interne disant qu’ils étaient surestimés et que nos méthodes étaient probablement meilleures, etc. Puis, quelques semaines plus tard, Mark Benioff a eu une discussion avec lui et soudainement, il a miraculeusement eu la révélation et a dit : ‘Oh non, en fait, ChatGPT est assez bon.’ »
« Et puis vous avez les types comme Yann LeCun qui sont brillants, ont fait beaucoup de grandes choses pour la rétropropagation, super intelligents, mais qui ont une vision de l’endroit où l’IA devrait aller avec son truc JEPA et tout ça, mais qui n’ont pas la compréhension politique que maintenant, c’est le moment des LLM, ils attirent l’attention. C’est la première fois que l’IA a été mise entre les mains des profanes, des paysans qui ne savent pas coder, qui peuvent réellement l’utiliser pour faire des choses comme écrire du contenu pour nous ou nous aider avec des trucs. Et reconnaissons et célébrons cela. Mais il est plus concentré sur ‘ce n’est pas une AGI’. Et les gens sont comme, qui s’en soucie ? Tout ce que je sais, c’est que je peux maintenant utiliser ces choses pour m’aider avec 15-20% de mon travail aujourd’hui. »
« Le dernier groupe est les ‘dreamers’ qui se concentrent sur l’AGI de demain. Ce sont beaucoup de gens chez OpenAI qui sont aussi des gens de l’alignement, qui sont de vrais croyants en l’IA au point qu’ils pensaient, ils croyaient avec un zèle messianique que ce qu’ils faisaient allait mener à l’AGI et à un ordinateur qui peut penser consciemment et nous aider à évoluer et tout ça. »
« Vous deviez avoir cette croyance à l’époque si vous alliez dire : ‘Je quitte Google où je suis un chercheur en IA payé des millions pour rejoindre cette entreprise OpenAI et travailler sur l’AGI.’ Beaucoup d’entre eux se faisaient moquer. »
« Il y a un livre appelé ‘True Believer’. Il parle de personnes qui pensent que le monde actuel que nous avons est imparfait et que la seule façon pour nous de nous améliorer est de pousser pour une mission sociale ou un changement qui nous amènera à la terre promise. Je les appelle donc les vrais croyants de l’IA. Et ce sont de grandes personnes. Ils avaient raison que ces LLM allaient monter en puissance. Mais ensuite, ils commencent à prendre des substances bizarres et commencent à penser : ‘Eh bien, ils vont obtenir les codes nucléaires et ils vont tout détruire.’ Et c’est comme, attendez, time out. »
L’approche pragmatique face aux extrêmes
La conclusion de cette partie de la discussion offre une perspective équilibrée sur l’approche à adopter face à ces différents camps :
« Notre émission essaie d’être comme, hé, pro-IA, mais en même temps, ces gens de l’AGI fument trop de crack et ces catastrophistes deviennent un peu hors de contrôle et ces négationnistes doivent monter dans le train et dire, hé, vous savez, ces LLM font réellement quelque chose. »
« Les catastrophistes de l’IA, beaucoup d’entre eux sont des personnes très, très intelligentes et beaucoup des arguments qu’ils présentent sont enracinés dans la connaissance de la recherche sur l’IA. Donc quand ils parlent d’exemples concrets des problèmes qu’ils voient et pourquoi c’est si difficile, ils semblent très… ils semblent savoir de quoi ils parlent. Je suis d’accord avec beaucoup de choses qu’ils disent, comme oui, ce sont des problèmes difficiles, oui, nous n’avons pas résolu ces problèmes, et ils disent ‘donc nous allons tous mourir dans cinq ans’. Je me dis ‘D’accord. Ce saut… c’est là que vous m’avez perdu.’ »
Le papier « Absolute Reasoner » et l’auto-apprentissage
La discussion se termine sur une note d’optimisme technologique avec l’examen d’une avancée récente :
« Sur ma chaîne, je viens de couvrir une vidéo. Je crois qu’elle vient de quelques chercheurs chinois en collaboration avec des chercheurs américains. Ce qu’ils ont fait, c’est créer exactement ça. Ils se sont demandé comment entraîner ces modèles d’IA, comment les entraîner à coder sans aucune donnée humaine, sans aucun fine-tuning supervisé, uniquement avec de l’apprentissage par renforcement. »
« Alors ce qu’ils ont fait, c’est qu’ils ont créé deux modèles. L’un est le ‘proposer’ (proposeur) qui propose diverses questions et problèmes, etc. Et ils ont l’étudiant ou ils l’appellent le ‘solver’ (solutionneur) et il résout tous les problèmes. Ce papier a l’air vraiment intelligent. Ils ont vraiment capturé quelque chose. »
« S’ils sont capables de prendre ça, de l’appliquer à des modèles plus grands, de développer l’apprentissage par renforcement, il semble qu’ils pourraient obtenir des modèles capables d’être des codeurs incroyables parce que cette approche généralise. Elle ne se contente pas de mémoriser comment résoudre le problème X ou le problème Y. C’est plutôt comme, d’accord, j’ai vu ces problèmes ici et je peux maintenant résoudre tous ces problèmes que je n’ai jamais vus auparavant. Donc elle généralise aux données non vues. »
« Si cela fonctionne dans les prochaines années, je pense que nous allons voir un décollage assez rapide dans le codage. Et si ce n’est pas le cas, peut-être qu’il y aura un peu d’hiver de l’IA ou quelque chose comme ça où ça va juste, vous voyez ce que je veux dire ? »
« Le papier ‘Absolute Zero’ était génial. Et c’est drôle parce que c’est une longue lignée de ces choses, n’est-ce pas ? Je ne sais pas quand c’était, dans les années 60, quand Samuels a construit le joueur de dames qui s’auto-entraînait jusqu’à ce qu’il puisse battre n’importe qui aux dames. Puis il y a eu Tesoro et le joueur de backgammon qui a fait la même chose. Puis il y a eu l’équipe Deep Blue faisant des échecs. Et puis nous avons AlphaGo faisant du go parce que c’était considéré comme insoluble parce qu’il y a tellement… c’est un si grand plateau, tant de combinaisons de mouvements. »
« Et puis Silver et son équipe décident, vous savez quoi ? Et si nous ne l’entraînions sur aucune donnée humaine ? Nous le faisons apprendre uniquement par auto-jeu et vous obtenez AlphaZero et AlphaZero Moo et le même moteur peut jouer aux échecs, au go et au shogi, je crois. C’est fou. Et il devient surhumain dans le jeu de ces trois jeux, la même architecture, n’est-ce pas ? »
« Et puis ces gars d’Absolute Zero sont comme, comme vous l’avez décrit, nous allons faire ce proposeur et ce solutionneur et nous allons essayer d’obtenir des défis de codage de plus en plus difficiles à proposer et puis le solutionneur deviendra de plus en plus fort pour résoudre des problèmes de plus en plus difficiles et puis nous allons juste exécuter un autre tour d’apprentissage par renforcement sur ces exemples d’entraînement. Et maintenant, le proposeur est plus intelligent et donc il propose des problèmes encore plus difficiles. Maintenant, nous allons juste manger notre propre queue dans une boucle jusqu’à ce que cette chose sorte d’un plafond de verre, vous savez, et vole autour de la ville ou quelque chose comme Willy Wonka, non ? »
« Quoi qu’il en soit, mon point est que cet algorithme et cette nature auto-renforçante, c’est génial et ça s’est avéré être génial auparavant. La question que j’avais et probablement que vous avez pensé la même chose en regardant les papiers, comment allez-vous appliquer cela à des problèmes du monde réel ? Comme si nous comprenons comment le faire dans un jeu, vous savez, un jeu à deux joueurs, information totale sur le plateau, les règles sont vraiment simples. Je vois comment vous avez construit un auto-jeu et je pourrais même probablement en concevoir un moi-même si je devais le faire, mais comment faire cela sur des problèmes mathématiques ou du raisonnement dans un cas juridique. »
« Je n’ai aucune idée de comment mettre en place un jeu d’auto-apprentissage là jusqu’à ce que je voie deux choses dans ce papier. L’une est qu’ils ont découvert comment le faire pour le code. C’est logique parce que vous pouvez évaluer le code et vous savez avec certitude s’il a fonctionné ou non et s’il a donné la bonne réponse ou non. Mais aussi, au fur et à mesure que leur système devenait de plus en plus fort en codage, il devenait également meilleur pour résoudre des problèmes mathématiques, n’est-ce pas ? Et ils ne l’entraînaient pas sur des problèmes mathématiques, seulement sur le codage. Je me dis, attendez une minute. Juste devenir meilleur en codage rend cette chose meilleure en mathématiques. Je me demande si elle devient meilleure en raisonnement générique. Et je ne connais pas encore la réponse. Je ne pense pas qu’ils l’aient abordé dans le papier, mais c’est une question à 64 millions de dollars, n’est-ce pas ? »
Cette conversation fascinante entre anciens dirigeants technologiques nous offre un aperçu rare des coulisses de l’IA moderne et des tensions qui animent cette industrie en pleine évolution. Entre les avancées technologiques impressionnantes et les préoccupations légitimes, il semble que la voie la plus sage soit celle d’un optimisme pragmatique, reconnaissant à la fois le potentiel transformateur de ces technologies et la nécessité d’une approche réfléchie de leur développement.
Featured image by Juan I. Riera on Unsplash