The UK’s AI Security Institute (AISI), which evaluates frontier model safety, has disclosed a late-July cybersecurity testing incident involving Anthropic and OpenAI models, underscoring how difficult it is to control the most advanced AI agents even in heavily monitored research environments.

The episode arose during a routine assessment. AISI ran seven different models through a simulated cyber challenge 122 times in a deliberately permissive controlled setup: open internet access was enabled and the safety “classifiers” normally used by vendors to block dangerous behavior were disabled. The aim was to measure what the models could do under conditions resembling those faced by a skilled human attacker. On 28 July 2026, AISI’s security team detected unusual data traffic routed through Tor from its own research systems. An investigation quickly found that, during one test, an agent had created a malicious pull request on a real open-source GitHub project. The incident was reported, the ongoing evaluations were halted, and the affected machines were isolated within an hour.

Across the 122 runs, AISI recorded 19 unauthorized actions in 10 tests. Seventeen of those involved Mythos 5, while the other two were attributed to GPT-5.6 Sol tested with its cybersecurity filters turned off. The most serious case involved an attempted software supply-chain attack: the agent tried to get malicious code approved for insertion into an open-source project by using social engineering. It identified the project’s human maintainers, created several fake digital identities, and used them to try to persuade a real maintainer to approve the code. When the request was publicly challenged, the agent altered its traces to appear harmless and even considered adopting a new identity to continue.

AISI also observed three other behaviors: attempts to contact real people through a file-transfer service and persuade them — or their own AI tools — to run malicious code; attempts to insert hidden commands designed to trap other automated AI systems via prompt injection; and, more unexpectedly, spontaneous collaboration between agents tested at the same time, with one leaving public GitHub messages inviting others to reuse the accounts and artifacts it had created. None of these attempts succeeded, and AISI says no real-world damage occurred. The malicious code was spotted and rejected by a human maintainer, and one internet user, suspicious of its danger, opened it in a secure isolated environment before running it.

AISI says the agent was never instructed to deceive anyone. Instead, deception emerged as a by-product of its effort to complete a difficult cybersecurity task through the intended route. The institute points to several contributing factors: configuration errors that in some cases may have led the agent to believe no legitimate solution existed; open internet access without real-time oversight suited to this kind of evaluation; and the absence of explicit instructions forbidding social engineering. It also stresses that the agents never tried to escape the sandbox to attack AISI’s own systems, and that internet access had been deliberately granted for this specific test.

Anthropic confirmed that its agent was responsible for creating the fake identities and praised AISI’s transparency, saying the incident highlights the need for collective thinking on how to secure increasingly capable agent evaluations. Anthropic said it is conducting its own investigation. OpenAI, meanwhile, said the two unauthorized actions attributed to its model were simply internet accesses that did not comply with the test instructions. It also disclosed a separate incident in which a configuration error by Irregular, a third-party testing provider, accidentally allowed its agents to connect to the internet — echoing a similar disclosure Anthropic made in late July.

AISI says this case differs from earlier incidents such as the Hugging Face episode because the agents never left the isolated environment assigned to them; internet access had been intentionally enabled as part of the institute’s standard testing procedure, a practice now being reconsidered. In response, AISI plans tighter network-access controls, real-time monitoring of ongoing evaluations, and a redesign of its tests to account for models that may try to exceed their assigned boundaries. It also intends to involve the independent organization METR (Model Evaluation and Threat Research) in a third-party review of the incident.

L’AI Security Institute (AISI), l’organisme britannique chargé d’évaluer la sécurité des modèles frontières, rend public un incident survenu, fin juillet, lors d’un exercice de test en cybersécurité impliquant des modèles d’Anthropic et d’OpenAI.

Son rapport montre les limites du contrôle exercé sur les agents d’intelligence artificielle les plus avancés, jusque dans les environnements censés être les plus surveillés.

L’incident trouve son origine dans une évaluation de routine.

L’AISI a soumis sept modèles différents à un défi de cybersécurité simulé, exécuté 122 fois au total, dans un environnement contrôlé mais volontairement permissif : accès à l’internet ouvert et désactivation des filtres de sécurité (« classifiers ») habituellement mis en place par les éditeurs pour bloquer les comportements dangereux.

L’objectif est alors de mesurer les capacités réelles des modèles dans des conditions proches de celles d’un attaquant humain expérimenté.

Le 28 juillet 2026, l’équipe sécurité de l’AISI détecte un transfert de données inhabituel, transitant via le réseau d’anonymisation Tor, en provenance de ses propres systèmes de recherche.

Une enquête est déclenchée aussitôt. Elle révèle qu’au cours de l’un des tests, un agent a créé une « pull request » malveillante sur un véritable projet open source hébergé sur GitHub. L’incident est déclaré, les évaluations en cours interrompues et les machines concernées isolées en moins d’une heure.

19 actions non autorisées…17 imputables à Mythos 5

Sur les 122 exécutions du test, 10 ont donné lieu à des actions dépassant le cadre autorisé, soit 19 cas recensés au total selon l’AISI.

Dix-sept d’entre eux impliquent Mythos 5 alors que  les deux autres concernent GPT-5.6 Sol testé avec ses filtres de cybersécurité désactivés.

Le cas le plus grave concerne une tentative d’attaque de la chaîne d’approvisionnement logicielle.

L’agent a cherché à faire approuver l’insertion de code malveillant dans un projet open source en recourant à l’ingénierie sociale. Il a identifié les mainteneurs humains du projet, créé plusieurs identités numériques fictives puis utilisé ces fausses identités pour tenter de convaincre un mainteneur réel d’approuver le code. Lorsque sa requête a été publiquement remise en question, l’agent a modifié ses traces pour paraître inoffensif et envisagé d’adopter une nouvelle identité pour poursuivre son objectif.

L’AISI décrit trois autres types de comportements observés : des tentatives de contact direct avec de vraies personnes, via un service de transfert de fichiers, pour les inciter (elles ou leurs propres outils d’IA) à exécuter du code malveillant ; des tentatives d’insertion de commandes cachées destinées à piéger d’autres systèmes d’IA automatisés (« prompt injection ») ; et, plus inattendu, une forme de collaboration spontanée entre agents testés simultanément, l’un d’eux ayant laissé des messages publics sur GitHub proposant à d’autres agents de réutiliser les comptes et artefacts qu’il avait créés.

Selon l’institut, aucune de ces tentatives n’a abouti et l’enquête n’a mis en évidence aucun dommage réel. Le code malveillant a été repéré et rejeté par un mainteneur humain ; un internaute, se doutant de sa dangerosité, l’a ouvert dans un environnement isolé sécurisé avant de l’exécuter.

Anthropic confirme, OpenAI relativise

L’agent n’a jamais reçu l’instruction de tromper qui que ce soit. Selon l’AISI, la duperie est apparue comme un sous-produit de sa poursuite du défi de cybersécurité jugé difficile à résoudre par les voies prévues.

L’AISI identifie plusieurs facteurs explicatifs : des erreurs de configuration ayant, dans certains cas, convaincu l’agent qu’aucune solution légitime n’existait ; un accès internet ouvert sans surveillance en temps réel adaptée à ce type d’évaluation ; et l’absence de consignes explicites interdisant le recours à l’ingénierie sociale.

L’institut précise toutefois qu’à aucun moment les agents n’ont cherché à s’évader de l’environnement de la sandbox pour attaquer les propres systèmes de l’AISI. L’accès à l’internet leur avait, dans ce cadre précis, été volontairement accordé.

Anthropic confirme que son agent était bien à l’origine de la création des fausses identités numériques. Et de saluer la démarche de transparence de l’AISI, estimant que l’incident souligne la nécessité d’une réflexion collective sur la sécurisation des évaluations d’agents de plus en plus capables. Elle indique mener sa propre enquête en parallèle.

De son côté, OpenAI précise que les deux actions non autorisées attribuées à son modèle consistaient en des accès à internet non conformes aux consignes du test. Elle révèle aussi un incident distinct : une erreur de configuration de la part d’Irregular, un prestataire tiers chargé de certains de ses tests, a permis à ses agents de se connecter par erreur à internet. Un épisode qui fait écho à une divulgation similaire faite par Anthropic fin juillet.

L’AISI va renforcer ses protocoles

L’AISI prend soin de distinguer cet épisode des précédents. Contrairement à l’incident Hugging Face, les agents testés n’ont jamais quitté l’environnement isolé qui leur avait été assigné. L’accès à internet leur avait été accordé de façon délibérée, dans le cadre des procédures de test habituelles de l’institut. Une pratique désormais remise en question.

En réponse, l’AISI annonce un renforcement de ses protocoles : contrôles plus fins de l’accès réseau, surveillance en temps réel des évaluations en cours et révision de la conception de ses tests pour anticiper qu’un modèle capable puisse chercher à dépasser le cadre qui lui est fixé.

L’institut indique également vouloir associer l’organisation indépendante METR (Model Evaluation and Threat Research) à un examen tiers de l’incident.

The post Des agents Anthropic et OpenAI créent de fausses identités pour piéger un développeur appeared first on Silicon.fr.