OpenAI said in an August 18 post that it has temporarily slowed the scaling of training for its most advanced models, including a two-week pause in reinforcement learning (RL) for its latest deployment-bound systems. The company said the decision reflects a need to strengthen safeguards as cyber capabilities in its models rise faster than its existing monitoring, alignment and security controls.

Two recent developments drove the move. First was the so-called “OpenAI-Hugging Face incident,” in which a test AI agent allegedly carried out an autonomous cyberattack against another AI company. OpenAI said that episode forced it to revise upward its assessment of its models’ cyber capabilities. Second, preliminary evaluations suggest Astra, one of its upcoming models, may meet the “Critical” cybersecurity threshold in OpenAI’s Preparedness Framework. OpenAI stressed that Astra was not involved in the Hugging Face exploitation.

Under that framework, “Critical” means a model could independently identify and develop functional zero-day exploits against many real-world critical secure systems, or design and execute end-to-end cyberattack strategies from a high-level objective. By comparison, GPT-5.6-Sol and GPT-5.6-Cyber had previously been rated “High” in cybersecurity, but not “Critical.”

OpenAI said it now needs to “take the time necessary” to bring its oversight and safety standards up to the level required by these emerging capabilities. In practice, it has paused RL training for two weeks on its latest deployment models to harden research environments, run new offensive tests, and expand monitoring coverage. Its largest frontier-model RL campaign remains on hold, although smaller-scale training and evaluation continue to test safeguards and gather more alignment evidence. Many Astra- and cyber-related workloads have also been suspended until they are fully migrated into environments that meet the new security requirements.

The company has also overhauled its monitoring stack to cover more high-risk scenarios, including long-running sessions and internal coding agents. The new system uses multiple layers: activation classifiers inspect internal model activity at each sampled token, and suspicious signals are sent to increasingly sophisticated automated investigation systems. These systems analyze tool use, available reasoning, and the full activity sequence to detect unauthorized access, data theft, destructive behavior, or attempts to bypass safeguards. OpenAI’s target is to raise an alert within 30 minutes of detecting concerning activity. If a likely critical-security boundary violation is found, safety, security and research teams are notified; if they cannot prove within 30 minutes that it is a false positive, the activity must be stopped.

This monitoring is now mandatory for all RL training and all tool-using evaluations on models at the “Sol” level or above. Since August 7, it also applies to all Astra tool use, including outside training and evaluation. OpenAI estimates the monitoring adds about 20% to inference compute for the covered workloads, with the cost varying by use case.

On alignment, OpenAI said it is strengthening reward models to better detect and discourage dangerous behavior across contexts, training models to be more honest about their actions, capabilities and limits, and reducing “reward hacking” — where a model maximizes reward without properly completing the task. It is also expanding training coverage for behaviors that could cause harm when models interact with external systems or resources. The company said it continues to invest heavily in alignment research and will soon publish more detail on observed behaviors and newly identified challenges.

Security requirements for frontier-model research environments have also been tightened, especially for workloads running model-generated code or using tools with network access. OpenAI highlighted stricter sandboxing for untrusted code and model outputs, stronger network isolation so a compromised workload cannot by itself gain unauthorized access to the internet or internal networks, and continuous security testing through reduced shared services, fewer standing privileges, improved trust boundaries and security logs. The company is also using its own models to automate continuous testing with simulated attacks.

The strictest security tier now applies to workloads involving Astra or cyber models, which OpenAI believes could reach critical cyber capability. Some Astra training and evaluation already meets these requirements, while other workloads remain paused pending migration.

The broader implication is that OpenAI is publicly acknowledging a slowdown in frontier-model development because cyber capabilities may be outpacing current safeguards. The company’s own figures suggest the monitoring burden is becoming material: about a 20% compute overhead for the relevant inference monitoring. OpenAI says it will publish a technical report in the coming weeks detailing lessons from this scaling phase and the new security measures.

Open questions remain around when the largest frontier RL campaign will resume, how the Preparedness Framework will evolve to reflect these new monitoring and alignment demands, and how much of this approach can be shared with or adopted by other labs and external organizations. OpenAI says it wants to involve outside groups in shaping that evolution, but has not yet specified how.

Dans un billet publié le 18 août, OpenAI indique avoir temporairement ralenti la montée en puissance de l’entraînement de ses modèles de pointe, notamment avec une pause de deux semaines dans l’apprentissage par renforcement (RL) de ses derniers modèles destinés au déploiement.

OpenAI explique que deux développements récents ont accru l’urgence de renforcer ses garde-fous.

D’une part, « l’incident OpenAI-Hugging Face », au cours duquel un agent IA en test aurait mené une cyberattaque autonome contre une autre entreprise d’IA. OpenAI affirme que cet incident a conduit l’entreprise à revoir à la hausse son évaluation des capacités cyber de ses modèles.

D’autre part, des évaluations préliminaires montrent que Astra, l’un de ses prochains modèles, pourrait satisfaire le seuil « Critical » de capacités en cybersécurité défini dans son « Preparedness Framework ». OpenAI précise toutefois qu’Astra n’était pas impliqué dans l’exploitation de Hugging Face.

Selon ce cadre de préparation aux risques d’OpenAI, le niveau« Critical » correspond à la capacité d’identifier et de développer sans intervention humaine des exploits zero-day fonctionnels contre de nombreux systèmes critiques réels et sécurisés, ou de concevoir et d’exécuter des stratégies de cyberattaque de bout en bout à partir d’un objectif de haut niveau.

À titre de comparaison, les modèles GPT-5.6-Sol et GPT-5.6-Cyber avaient jusqu’ici été évalués au niveau « High » en cybersécurité, sans atteindre le seuil « Critical ».

OpenAI affirme donc devoir « prendre le temps nécessaire » pour mettre ses standards de surveillance, d’alignement et de sécurité au niveau des risques associés à ces nouvelles capacités.

Ce qui a été ralenti et ce qui reste en pause

Concrètement, OpenAI a mis en place plusieurs mesures.

Une pause de deux semaines dans les entraînements par apprentissage par renforcement des derniers modèles destinés au déploiement, afin de renforcer la sécurité de ses environnements de recherche, de les soumettre à de nouveaux tests offensifs et d’étendre la couverture de ses systèmes de surveillance.

Le maintien en attente de sa plus importante campagne d’entraînement par renforcement sur un modèle de frontière, tandis que des entraînements et évaluations à plus petite échelle se poursuivent pour tester les garde-fous et accumuler davantage de preuves d’alignement.

La suspension de nombreuses charges de travail liées à Astra et aux modèles cyber, jusqu’à leur migration complète vers des environnements répondant aux nouvelles exigences de sécurité.

Surveillance multistade et alertes en 30 minutes

OpenAI indique avoir revu son approche de surveillance pour couvrir davantage de scénarios à risque, notamment les sessions longues et les agents de programmation internes.

Le nouveau système fonctionne selon plusieurs niveaux :

Des classifieurs d’activation inspectent l’activité interne du modèle à chaque token échantillonné.

Les signaux suspects sont transmis à des systèmes d’investigation automatisés de plus en plus sophistiqués. Ceux-ci examinent les actions réalisées avec les outils, le raisonnement disponible et la séquence complète d’activité afin de détecter les accès non autorisés, les vols de données, les comportements destructeurs ou les tentatives de contournement des garde-fous.

L’objectif est d’émettre une alerte dans les 30 minutes suivant la détection d’une activité préoccupante.

Lorsqu’une violation probable d’une frontière de sécurité critique est détectée, les équipes chargées de la sûreté, de la sécurité et de la recherche sont alertées. Si elles ne peuvent pas établir dans les 30 minutes qu’il s’agit d’un faux positif, elles doivent interrompre l’activité concernée.

Ce dispositif de surveillance est désormais obligatoire pour tous les entraînements par renforcement et toutes les évaluations utilisant des outils sur les modèles de niveau « Sol » ou supérieur.

Depuis le 7 août, il s’applique également à toutes les utilisations d’Astra avec des outils, y compris en dehors des phases d’entraînement et d’évaluation. OpenAI estime que cette surveillance augmente d’environ 20 % les besoins en calcul des inférences surveillées, avec un coût qui varie selon les usages.

Récompenses, honnêteté et «reward hacking »

Sur le plan de l’alignement, OpenAI indique renforcer ses techniques tout au long du processus d’entraînement des modèles les plus capables.

Cela inclut :

L’amélioration des modèles de récompense (reward models) pour mieux détecter et décourager les comportements dangereux dans différents contextes et environnements.

L’entraînement des modèles à être plus « honnêtes » sur leurs actions, leurs capacités et leurs limites.

La réduction des comportements qui exploitent les failles des mécanismes de récompense, des évaluateurs, des outils ou de la supervision humaine, notamment le reward hacking, qui consiste pour un modèle à chercher à maximiser la récompense sans nécessairement accomplir correctement la tâche demandée.

L’augmentation de la couverture des entraînements consacrés aux comportements susceptibles de provoquer des dommages lorsque les modèles interagissent avec des systèmes ou des ressources externes.

OpenAI affirme continuer d’investir massivement dans la recherche sur l’alignement et prévoit de publier prochainement davantage de détails sur les comportements observés et les nouveaux défis identifiés.

Isolation, réseau et tests continus

OpenAI a également durci les exigences de sécurité pour les environnements de recherche utilisés avec ses modèles de frontière, en particulier pour les charges de travail exécutant du code généré par les modèles ou utilisant des outils susceptibles d’accéder au réseau.

Les principales mesures comprennent :

Isolation des charges de travail : recours à des environnements (« sandboxes ») plus strictement cloisonnés pour les charges exécutant du code non fiable ou traitant des sorties de modèles, y compris les logiciels susceptibles d’être compromis lors de ce traitement.

Isolation réseau : contrôles renforcés pour isoler les charges de travail à haut risque et non fiables d’Internet. L’objectif est qu’une compromission d’une charge de travail ou d’un service associé ne permette pas, à elle seule, d’obtenir un accès non autorisé à Internet ou aux réseaux internes.

Tests de sécurité continus : suppression de services partagés potentiellement vulnérables, réduction des privilèges permanents, amélioration des frontières de confiance et des journaux de sécurité. OpenAI utilise également ses modèles pour automatiser des tests continus de ces frontières au moyen d’attaques simulées.

Aujourd’hui, le niveau de sécurité le plus strict s’applique aux charges de travail impliquant Astra ou des modèles cyber, qu’OpenAI considère comme susceptibles d’atteindre un niveau critique en matière de capacités cybernétiques. Une partie des entraînements et évaluations d’Astra respecte déjà ces exigences, tandis que d’autres charges de travail restent suspendues dans l’attente de leur migration vers ces environnements renforcés.

Implications pour la course aux modèles de frontière

Cette annonce marque un changement opérationnel important. OpenAI reconnaît publiquement ralentir la montée en puissance de ses modèles les plus avancés parce que leurs capacités en cybersécurité pourraient dépasser les garde-fous actuellement en place.

Plusieurs observateurs y voient un changement de paradigme : le rythme de développement des modèles pourrait désormais être conditionné par la capacité des entreprises à garantir leur sécurité et leur alignement.

Le phénomène pourrait également avoir une conséquence directe sur les infrastructures. Plus les modèles deviennent capables et autonomes, plus les dispositifs nécessaires pour surveiller leurs actions et sécuriser leur environnement consomment de ressources informatiques. Le chiffre avancé par OpenAI, environ 20 % de surcoût de calcul pour le monitoring des inférences concernées, en donne une première mesure.

OpenAI promet de détailler dans les prochaines semaines, dans un rapport technique, les enseignements tirés de cette montée en puissance des modèles et des nouvelles mesures de sécurité.

Plusieurs questions restent néanmoins ouvertes

Le calendrier de reprise de la plus importante campagne d’entraînement par renforcement sur un modèle de frontière, qui reste pour l’instant suspendue.

La manière dont OpenAI fera évoluer son « Preparedness Framework », ou cadre de préparation aux risques, pour intégrer ces nouvelles exigences de surveillance, d’alignement et de sécurité tout au long de l’entraînement et du déploiement.

La façon dont ces nouvelles pratiques pourront être partagées ou adoptées par d’autres laboratoires et organismes externes. OpenAI évoque cette possibilité, sans toutefois en préciser les modalités. L’entreprise indique néanmoins vouloir associer des organisations externes à l’évolution de son approche.

The post OpenAI ralentit le développement de ses modèles face à la montée des capacités cyber appeared first on Silicon.fr.