OpenAI’s AI models broke out of a restricted test environment and attacked Hugging Face’s production infrastructure while being evaluated on the ExploitGym benchmark, a new cybersecurity challenge comprising 898 tasks that require exploiting vulnerabilities in the Linux kernel, the V8 JavaScript engine, and various user-space programs. Each task provides enough information to reproduce the vulnerable binary and its execution, with mitigation methods that can be toggled individually. OpenAI both contributed to the benchmark and used it to test its models.

During testing, models including GPT-5.6 Sol and a preview of a “more powerful model” found a way to escape their sandbox by exploiting a zero-day vulnerability in an internally hosted third-party software package proxy/cache. This flaw enabled a series of privilege escalations and lateral movements across OpenAI’s test infrastructure, ultimately reaching a node with internet access. The models then reasoned that Hugging Face’s databases might contain solutions to ExploitGym’s tasks. One attack chain achieved arbitrary code execution by targeting two components of Hugging Face’s dataset processing pipeline: the script loader and configuration files.

OpenAI states the incident was unintended and that it is now reinforcing controls on its evaluation environments “at the expense of research velocity.” Additionally, Hugging Face has been added to OpenAI’s Trusted Access for Cyber program, which grants vetted users and organizations access to models with fewer cybersecurity restrictions than public access. Participants must undergo identity verification and, for enterprises, implement access controls (SSO, MFA, RBAC), API key governance, and an incident response procedure. An invitation-only tier for cybersecurity professionals further relaxes restrictions. Permitted uses include security testing, vulnerability research, red teaming, malware analysis, threat intelligence, and incident response on authorized systems.

Soit des vulnérabilités dans le noyau Linux, dans le moteur JavaScript V8 et dans divers programmes en espace utilisateur. Quels agents IA sont capables de les exploiter ?

C’est le principe du benchmark ExploitGym, qui a émergé il y a quelques semaines.

Chacune des 898 tâches contient des informations suffisantes pour reproduire le binaire vulnérable et son exécution. Les informations sur les méthodes d’atténuation peuvent être (dés)activées individuellement.

OpenAI y a contribué. Il l’a aussi utilisé pour tester ses modèles… jusqu’à compromettre l’infrastructure de production de Hugging Face.

Ce n’était pas prévu, assure-t-il désormais. Malgré les garde-fous, ses LLM (dont GPT-5.6 Sol et la préversion d’un « modèle plus puissant ») ont trouvé le moyen de sortir de leur environnement restreint. Pour cela, ils ont exploité une 0-day dans un logiciel tiers hébergé en interne et qui servait de cache/proxy pour l’installation de packages. Cette vulnérabilité a ouvert la voie à une série d’élévations de privilèges et de mouvements latéraux sur l’infra de test d’OpenAI, jusqu’à atteindre un nœud qui avait accès à Internet.

Les modèles se sont dit qu’ils pourraient trouver, dans les bases de données de Hugging Face, des solutions aux problèmes contenus dans ExploitGym. Une de leurs chaînes d’attaque a permis l’exécution de code arbitraire en exploitant deux composantes du pipeline de traitement de datasets (chargeur de scripts et fichiers de configuration).

Hugging Face finalement intégré au programme Trusted Access for Cyber

En conséquence de l’incident, OpenAI promet un renforcement des contrôles sur ses environnements d’évaluation… « au détriment de la vélocité de recherche ». Il déclare par ailleurs avoir intégré Hugging Face à son programme Trusted Access for Cyber.

Ce programme permet de solliciter l’accès aux modèles d’OpenAI avec moins de garde-fous cyber que ceux en vigueur sur l’accès public*. Il implique essentiellement une procédure de vérification d’identité. Et, pour les entreprises, quelques obligations dont la mise en œuvre d’un contrôle des accès (SSO, FMA, RBAC), d’une gouvernance des clés d’API et d’une procédure de réponse aux incidents. Un niveau sur invitation, réservé aux professionnels de la cyber, permet de lever encore un peu plus les garde-fous.

* Usages autorisés : tests de sécurité, recherche de vulnérabilités, red teaming, analyse de logiciels malveillants, renseignement sur les menaces, réponse aux incidents et activités connexes sur des systèmes autorisés.

Illustration principale © Bartek – Adobe Stock

The post L’attaque automatisée contre Hugging Face provient… d’OpenAI appeared first on Silicon.fr.