Les Anciens Employés de Google S’Expriment | La Superintelligence de Meta et les Robots Tueurs

Les Anciens Employés de Google S’Expriment | La Superintelligence de Meta et les Robots Tueurs

Les Anciens Employés de Google S’Expriment | La Superintelligence de Meta et les Robots Tueurs

L’Acquisition de Scale AI par Meta : Une Stratégie à 14 Milliards de Dollars

Meta finalise actuellement une transaction de 14 milliards de dollars en espèces contre des actions pour Scale AI. Il s’agit de la deuxième plus grande acquisition de Facebook après WhatsApp. Lorsque Facebook a acquis WhatsApp, ils ont dépensé 10% de leur capitalisation boursière pour cette entreprise. En comparaison, l’acquisition de Scale AI représente moins de 1% de la capitalisation boursière actuelle de Meta, ce qui en fait un risque calculé avec un potentiel de hausse élevé et un inconvénient minimal.

Alexander Wang est désigné pour diriger la nouvelle équipe de superintelligence que Mark Zuckerberg est en train de recruter. Zuckerberg offre également des salaires à huit ou neuf chiffres aux ingénieurs pour les inciter à rejoindre l’équipe. Cette initiative vise à remettre Meta dans la course après ce que beaucoup considèrent comme l’échec de Llama 4.

Différents Types d’Acquisitions dans la Tech

Dans le monde des fusions et acquisitions technologiques, on distingue trois principaux types de transactions :

  1. Acqui-hire : Il s’agit essentiellement d’un exercice d’embauche glorifié. L’entreprise acquéreuse n’accorde aucune valeur à l’entreprise elle-même, mais souhaite simplement embaucher ses employés. Les fondateurs reçoivent peu ou pas de compensation, à part peut-être une prime de rétention.

  2. Licence et libération : L’entreprise acquéreuse veut l’équipe et une partie de la propriété intellectuelle, mais pas l’entreprise elle-même. Dans ces accords, les investisseurs en capital-risque peuvent récupérer une partie de leur investissement, mais rarement avec un profit significatif.

  3. Achat complet d’actions : C’est le type d’acquisition où tout le monde est payé généreusement. L’entreprise acquéreuse paie une prime importante sur les actions, et les investisseurs peuvent obtenir des rendements de 100x ou 1000x sur leur investissement initial.

Pourquoi les Accords de Licence Échappent au Radar de la FTC

Les accords de licence et de libération passent souvent sous le radar de la Federal Trade Commission (FTC) car ils ne constituent pas techniquement une acquisition complète. Lorsqu’une entreprise achète une autre entreprise dans le même secteur, la FTC examine si cela crée un monopole. Mais dans un accord de licence et de libération, l’organisation d’origine continue d’exister, même si elle peut finir par disparaître.

Cependant, dans le cas de Scale AI, bien que Meta ne possède que 49% de l’entreprise, Alexander Wang reste au conseil d’administration et recevra probablement des actions Meta supplémentaires. La FTC pourrait donc considérer qu’il s’agit d’une acquisition de facto et décider d’enquêter.

Les accords de licence présentent également l’avantage d’éviter la responsabilité juridique associée à l’entreprise acquise. Lorsqu’une entreprise en acquiert une autre, elle hérite de tout son historique juridique et de ses responsabilités.

Le Retour en Grâce des Accords de Licence

Récemment, plusieurs accords de licence importants ont été conclus dans le secteur de l’IA :

  • Microsoft et Inflection : 650 millions de dollars
  • Google et Character AI : 2,7 milliards de dollars
  • Amazon et Adept : 330 millions de dollars
  • Meta et Scale AI : bien que techniquement un investissement, cet accord ressemble à un accord de licence puisque Meta obtient le PDG et quelques employés clés

Que Recherche Réellement Meta ?

L’acquisition de Scale AI par Meta peut être vue comme un moyen d’obtenir Alexander Wang et son énergie dans l’organisation pour redresser la situation après l’échec de Llama 4. Meta aura également accès au pipeline de données de Scale AI pour l’aider à entraîner ses modèles.

Cependant, il est important de noter que l’émergence des données synthétiques pourrait avoir un impact sur l’activité de Scale AI à l’avenir. Scale AI a manqué son objectif de revenus l’année dernière, atteignant 870 millions de dollars au lieu du milliard prévu. Cela pourrait indiquer que l’entreprise commence à ressentir la pression de ces nouvelles technologies.

Les cycles de vente en entreprise peuvent également donner des indices sur la santé d’une entreprise. Si les clients commencent à retarder la signature des contrats, c’est souvent un signe que quelque chose ne va pas dans l’environnement ou que le produit n’est plus aussi pertinent.

Risques Potentiels

Plusieurs risques se profilent à l’horizon pour cette acquisition :

  1. Google se retire du contrat avec Scale AI (bien que Meta ne s’en soucie probablement pas trop)
  2. D’autres clients pourraient partir
  3. Meta paie-t-il trop cher ? Le multiple est d’environ 12-15x le chiffre d’affaires
  4. Inadéquation culturelle : Alexander Wang, 28 ans, vient d’une petite entreprise agile et va rejoindre Facebook, une organisation massive avec beaucoup de politique interne

Les Papiers de Recherche en IA : Analyses et Implications

Le Papier d’Apple sur les Limites des LLM

Apple a récemment publié un article de recherche critiquant les capacités de raisonnement des grands modèles de langage (LLM). Cependant, cette approche soulève plusieurs questions :

  1. Définition du raisonnement : Qu’entend-on exactement par « raisonnement » pour un LLM ? C’est un concept très centré sur l’humain.

  2. Preuve négative vs positive : Montrer un million d’exemples où les LLM échouent ne prouve pas qu’ils ne peuvent pas raisonner. Il suffit d’un exemple réussi pour réfuter cette affirmation.

  3. Exploitation des limitations connues : L’article se concentre sur les problèmes qui dépassent la fenêtre de contexte des modèles, une limitation connue.

  4. Réfutation rapide : Peu après la publication de l’article, des membres de la communauté ont démontré que des modèles comme GPT-4 pouvaient résoudre certains des problèmes présentés comme impossibles dans l’article.

Il est possible qu’Apple, n’ayant pas réussi à développer sa propre IA au niveau de ses concurrents, choisisse de critiquer la technologie plutôt que de l’adopter. Cela rappelle l’échec d’Apple Maps en 2012, qui a laissé une cicatrice profonde dans la culture de perfection de l’entreprise.

Apprentissage du Raisonnement sans Récompenses Externes

Un article de recherche de Berkeley présente une approche intéressante où les modèles sont entraînés en fonction de leur confiance interne plutôt que de récompenses externes vérifiables. Plus le modèle est confiant dans sa réponse, plus il est susceptible d’avoir raison.

Cette méthode ressemble à l’auto-cohérence, où l’on échantillonne le modèle plusieurs fois et on prend la réponse la plus fréquente. Les réponses correctes ont tendance à se regrouper, tandis que les réponses incorrectes sont plus dispersées.

Ce processus permet d’identifier les réponses correctes, qui peuvent ensuite être utilisées pour un nouveau cycle d’apprentissage par renforcement. Le modèle qui en résulte est plus fort que celui de départ, et le processus peut être répété pour obtenir des améliorations continues.

Modèles Auto-Adaptifs

Une recherche du MIT présente des modèles de langage auto-adaptifs, capables de modifier leurs propres poids pour s’adapter à des tâches spécifiques. C’est comparable à un étudiant qui lit tous les manuels, prend des notes, puis étudie à partir de ces notes.

Cette approche permet aux modèles de mettre à jour leur base de connaissances et leurs capacités en temps réel, ce qui pourrait être crucial pour les agents IA autonomes qui doivent maintenir une cohérence sur des tâches à long terme.

Bien que ce processus nécessite beaucoup de puissance de calcul (environ 60 secondes pour une mise à jour sur un petit modèle d’un milliard de paramètres), il ouvre la voie à des améliorations significatives dans l’auto-apprentissage des modèles.

L’Automatisation de la Recherche en IA

Plusieurs papiers récents suggèrent que nous approchons du point où l’IA pourrait automatiser le travail d’un chercheur en apprentissage machine moyen. Anthropic et OpenAI ont tous deux mentionné cette métrique comme un objectif important.

OpenAI dispose d’un benchmark appelé ML Paper Bench qui teste si leurs systèmes peuvent répliquer le code et les expériences décrites dans des articles de recherche en apprentissage machine. Bien qu’ils n’y soient pas encore parvenus, les progrès sont rapides.

Sam Altman a récemment décrit notre situation actuelle comme « les stades larvaires de l’amélioration récursive de soi ». Même si nous finissons par atteindre un plateau dans certains domaines (suivant une courbe en S plutôt qu’une croissance exponentielle continue), ces plateaux peuvent révéler d’autres voies d’amélioration potentielles.

Conclusion

L’acquisition de Scale AI par Meta représente un pari stratégique important dans la course à l’IA. Alors que les grands acteurs technologiques investissent massivement dans ce domaine, nous voyons également des avancées significatives dans la recherche fondamentale qui pourraient mener à des systèmes d’IA de plus en plus autonomes et capables.

Les implications de ces développements sont profondes, tant pour l’industrie technologique que pour la société dans son ensemble. La question n’est plus de savoir si l’IA va transformer notre monde, mais comment et à quelle vitesse cette transformation se produira.