Dario Amodei estime que la course aux modèles d’IA est peut-être en train d’aller trop vite pour les éditeurs eux-mêmes comme pour les autorités chargées de les encadrer. Dans un billet publié sur son blog, « We Must Pace the Frontier », le CEO d’Anthropic plaide pour un ralentissement de la progression des capacités afin de laisser aux mécanismes de sécurité le temps de suivre. Il appelle cette approche le « pacing the frontier » : il ne s’agit pas d’arrêter l’entraînement des modèles ni de freiner le progrès technique, mais de donner aux entreprises le temps d’évaluer, d’aligner et de sécuriser leurs systèmes, avec la possibilité pour des tiers de vérifier leurs pratiques.
Pour justifier ce virage, Amodei met en avant deux évolutions. D’abord, l’accélération des capacités des modèles, y compris leur aptitude croissante à contribuer au développement de la génération suivante d’IA, ce qu’il décrit comme du « recursive self-improvement ». Ensuite, une série d’incidents où des agents IA ont adopté des comportements inattendus, notamment l’épisode OpenAI-Hugging Face qu’il cite. Son inquiétude centrale est que la vitesse d’amélioration des modèles dépasse désormais la capacité des entreprises à comprendre et contrôler leurs comportements.
Son plan repose sur trois propositions, aux implications très différentes pour les industriels et les régulateurs.
La première vise les laboratoires qui développent les modèles les plus avancés : Amodei veut qu’ils ouvrent leurs opérations à des évaluateurs externes disposant d’un accès continu, proche de celui de collaborateurs internes chargés de l’évaluation des risques. Anthropic dit vouloir appliquer ce modèle et demande aux pouvoirs publics de l’imposer aux autres acteurs de pointe. Concrètement, ces évaluateurs ne seraient pas cantonnés à un audit ponctuel avant la sortie d’un modèle : ils seraient intégrés au quotidien du laboratoire, avec bureaux, badges, ordinateurs et accès aux espaces de travail, outils et permissions comparables à ceux des équipes internes. Leur mission couvrirait les modèles déjà développés comme les processus d’entraînement, afin de vérifier les pratiques de sécurité, signaler les incidents et contrôler le respect des engagements pris. Amodei veut ainsi aller bien au-delà de la simple transparence documentaire : le tiers indépendant devrait pouvoir constater la réalité opérationnelle des dispositifs de sécurité. Les évaluateurs pourraient aussi publier leurs principales conclusions sur les risques, incidents ou pratiques observées, sans contrôle éditorial d’Anthropic, l’entreprise ne pouvant masquer que certaines informations pour des raisons de sécurité, de confidentialité juridique ou commerciale, ou pour protéger des tiers.
Le deuxième volet concerne la régulation elle-même. Amodei propose que les entreprises de pointe des démocraties se coordonnent pour définir des standards communs de sécurité et des limites au rythme de progression des capacités, tout en reconnaissant que cette coordination entre concurrents pose des problèmes de droit de la concurrence. Il estime que le gouvernement américain devrait faciliter certaines discussions, notamment via des dérogations antitrust ciblées. Surtout, il défend une régulation fondée non pas seulement sur les caractéristiques techniques des modèles ou la taille des infrastructures, mais sur des seuils de capacité observés. L’idée : lorsqu’un modèle atteint un certain niveau, son développeur doit fournir des garanties de sécurité correspondantes. Il cite par exemple un modèle capable de contourner la plupart des mécanismes de « sandboxing » courants : à ce stade, l’éditeur devrait démontrer, via des évaluations, des analyses d’interprétabilité ou des audits des environnements d’entraînement, que le système ne présente pas de comportement dangereux susceptible de lui permettre de sortir de son environnement et de prendre le contrôle d’un grand nombre d’ordinateurs. Cette logique ferait évoluer la conformité vers un processus continu, où chaque saut de capacité déclenche de nouvelles exigences. Amodei évoque aussi des critères liés aux ressources nécessaires pour développer les modèles, tout en admettant qu’ils seraient plus faciles à contourner que des mesures fondées sur le comportement observable.
Le troisième niveau est le plus ambitieux et le plus incertain : une coordination internationale. Amodei juge nécessaire de coopérer avec les gouvernements autoritaires, en particulier la Chine, qu’il considère comme le principal acteur à prendre en compte après les États-Unis. Mais il souligne immédiatement le problème de la vérification : un accord qui laisserait un pays progresser secrètement pendant que les autres ralentissent pourrait bouleverser rapidement l’équilibre géopolitique. Il distingue donc quatre niveaux de coopération, du plus réaliste au plus ambitieux. Premier niveau : interdire certains usages particulièrement dangereux, comme l’emploi de l’IA pour produire des armes biologiques. Deuxième : imposer des tests avant mise sur le marché, notamment sur les risques aigus en cybersécurité, en biologie et en alignement, avec l’idée d’un organisme international chargé de définir des standards communs, même si leur contrôle resterait difficile. Troisième : ralentir l’amélioration récursive, en instaurant une sorte de « limitation de vitesse » si les modèles commencent à contribuer eux-mêmes à leurs successeurs ; selon lui, passer d’une amélioration « extrêmement rapide » à une progression « seulement rapide » pourrait réduire les risques sans faire perdre un avantage stratégique majeur. Quatrième : limiter globalement le rythme du développement de l’IA, voire envisager une pause, scénario qu’il juge peu probable à court terme car un acteur aurait intérêt à tricher pour prendre l’avantage.
Au fond, la proposition renvoie à un dilemme classique des régulateurs : pour réguler le rythme de l’IA, encore faut-il pouvoir le mesurer et vérifier les capacités réelles des modèles. D’où l’importance, pour Amodei, d’évaluateurs indépendants placés au cœur des laboratoires. Sans accès direct, les autorités restent dépendantes des déclarations des entreprises ; avec un accès permanent, elles disposeraient d’un mécanisme de contrôle bien plus concret. Mais le dispositif soulève lui-même de nombreuses questions : jusqu’où un tiers peut-il accéder aux infrastructures d’un laboratoire ? Comment protéger les secrets commerciaux et les données clients ? Comment définir les capacités déclenchant un nouveau niveau de contrôle ? Et comment éviter qu’un système pensé pour la sécurité ne pénalise surtout les acteurs qui s’y conforment, au détriment de ceux qui le contourneraient ?
Amodei relie enfin cette réflexion à la compétition géopolitique avec la Chine. Il recommande de limiter l’accès chinois aux puces avancées et aux équipements de fabrication de semi-conducteurs, de lutter contre la contrebande de puces et la distillation non autorisée de modèles, et de renforcer la protection des poids des modèles contre le vol. Selon lui, ces mesures pourraient permettre aux États-Unis d’élargir leur avance sur la Chine dans les trois à cinq prochaines années, une fenêtre qu’il juge décisive.
La prise de position a rapidement trouvé un écho chez deux rivaux majeurs : Elon Musk a répondu « Dario is right », tandis que Sam Altman a affirmé qu’OpenAI partageait l’idée de « ralentir le rythme » du développement des modèles et s’est engagé à mettre en place des évaluateurs indépendants.