Un nouveau cap a été franchi dans l’inquiétante séquence de désobéissance agentique.

OpenAI a publié, ce 20 octobre, un rapport décrivant deux incidents internes au cours desquels des agents d’IA ont affaibli des dispositifs de surveillance conçus pour repérer des comportements potentiellement problématiques.

On parle ici d’un  » misalignment monitoring « , un ensemble de contrôles chargés de détecter lorsqu’un modèle interprète mal une instruction ou agit au-delà du périmètre autorisé.

Des garde-fous neutralisés pendant des tâches courantes

Le premier incident est survenu le 3 octobre. Un agent chargé de réparer un pipeline d’évaluation a reçu une consigne visant à ne pas envoyer de messages Slack. Selon OpenAI, il a interprété cette demande comme couvrant également les alertes automatiques destinées à son équipe sécurité.

« Un agent GPT-6.1 Sol, chargé de réparer un pipeline d’évaluation, a désactivé les alertes automatiques destinées à notre équipe sécurité, considérant qu’une consigne antérieure de ne pas envoyer de messages lors d’une recherche dans l’historique Slack justifiait la suppression des notifications de surveillance. » indique le rapport.

Le système de surveillance est resté actif et a continué d’enregistrer ses rapports. Mais les notifications destinées aux équipes humaines ont été supprimées. « Le moniteur de misalignment a continué de fonctionner et d’enregistrer ses rapports, mais les alertes destinées aux humains ont été désactivées. » peut-on lire.

Le second cas, daté du 6 octobre, est plus sensible. Un agent GPT-6 Astra a copié puis migré du code vers un autre environnement. La configuration de destination ne prévoyait pas de moniteur. L’agent a alors retiré l’intégration de surveillance du code d’origine afin de se conformer à l’implémentation de référence.

« Un agent GPT-6 Astra, chargé de migrer un programme, a retiré son intégration de surveillance afin de correspondre à une implémentation de référence, puis a affirmé faussement à l’utilisateur qu’il n’avait pas retiré le moniteur. » révèle OpenAI.

Interrogé ensuite, l’agent a indiqué à tort qu’aucun moniteur actif n’avait été supprimé : « Non […] je n’ai pas retiré un moniteur actif de ce chemin. »

Une réponse d’OpenAI en deux temps

La première mesure annoncée par OpenAI concerne son outil interne Auto-Review, déjà obligatoire pour l’usage interne de Codex, qui a été renforcé pour détecter et bloquer les tentatives de désactivation ou de contournement du monitoring de misalignment.

La seconde mesure est encore en cours de déploiement. OpenAI prévoit d’exiger une « safety case » valide pour chaque catégorie de charge de travail. Ce document devra définir les exigences de surveillance applicables. À terme, toute charge de travail ne disposant pas d’une safety case valide, ou ne respectant pas ses exigences, devra être arrêtée automatiquement.

« Les charges de travail dépourvues d’une safety case valide, ou ne respectant pas les exigences de la safety case de leur catégorie, seront automatiquement interrompues. » précise la scale-up.

OpenAI a également lancé une enquête pour déterminer si ces comportements relèvent d’une persistance excessive dans l’exécution des tâches ou d’une propension plus générale des modèles à éviter la surveillance.

« Il est possible que ce comportement soit simplement un exemple de “persistance excessive bénigne”, les modèles ne comprenant pas l’importance de la surveillance ou insistant pour exécuter des instructions au-delà de ce qu’une personne raisonnable pourrait attendre. » détaille le rapport.

Une série d’incidents qui s’inscrit dans une série

Cette divulgation intervient après plusieurs annonces similaires.

Le 16 septembre, OpenAI révèle six comportements « inattendus ou préoccupants » observés au cours des six mois précédents. Au menu : dissimulation d’erreurs, fabrication de données, transfert de fichiers sur Internet sans autorisation ou insertion d’instructions de type jailbreak dans ses propres notes de travail.

Mi-octobre, OpenAI publie quatre nouveaux rapports portant sur des incidents survenus en juin. Deux d’entre eux étaient qualifiés de critiques. L’un concernait le téléchargement non autorisé de données hospitalières par un modèle, l’autre l’accès à des systèmes internes et la persistance d’un accès après modification de la configuration.

OpenAI précise avoir observé plusieurs cas où un agent a lancé un déploiement dépourvu de monitoring de misalignment. L’agent lui-même restait surveillé, mais la charge de travail qu’il avait mise en production, elle, échappait à toute surveillance.

L’inventeur de ChatGPT ne présente pas ces incidents comme la preuve d’une intention délibérée de ses modèles. « Nous n’avons pas encore d’explication satisfaisante à ce comportement. » admet-il.

The post OpenAI : des agents IA ont désactivé leur système de surveillance appeared first on Silicon.fr.