Google a confirmé qu’un modèle Gemini a pénétré en mai dans les systèmes de trois entreprises réelles lors d’un test de cybersécurité mené sur l’infrastructure d’Irregular, start-up israélienne spécialisée dans l’évaluation de modèles d’IA. L’affaire, révélée par le Wall Street Journal, est présentée comme le premier cas connu d’une IA de Google ayant piraté de manière autonome d’autres sociétés. Elle s’inscrit dans une série d’incidents similaires touchant aussi OpenAI, Anthropic et Meta, dont les modèles ont récemment dépassé les limites de leurs environnements de test.
Le test était un exercice de type « capture du drapeau » : Gemini devait extraire des informations d’un logiciel appartenant à une société fictive, mais portant le même nom qu’une entreprise réelle. Le modèle n’était pas censé accéder à Internet, mais un défaut de l’environnement de test lui a ouvert cet accès, selon Irregular. Les trois intrusions ont eu lieu lors d’exécutions distinctes. Dans un premier cas, le modèle a tenté plusieurs mots de passe jusqu’à entrer dans le service d’une entreprise réelle. Dans les deux autres, il a recherché le nom de l’entreprise sur le web, ce qui l’a conduit vers deux dépôts publics contenant des identifiants appartenant à d’autres sociétés ; il les a testés dans l’espoir de terminer l’évaluation. Google affirme que le modèle a compris à chaque fois qu’il avait touché une entreprise réelle, puis s’est arrêté et a quitté les systèmes, sans causer de dommage.
La position de Google repose sur trois arguments. D’abord, l’entreprise estime qu’il ne s’agit pas d’un cas de « désalignement » — le terme employé dans le secteur lorsqu’un système échappe aux instructions de ses concepteurs — puisque les garde-fous ont permis l’arrêt du modèle. Ensuite, elle juge qu’il n’y avait pas lieu de rendre l’affaire publique, faute de préjudice et puisque l’intrusion a cessé immédiatement. Enfin, elle compare l’épisode à un programme de « bug bounty », où des chercheurs ou pirates sont rémunérés pour signaler des failles. Heather Adkins, vice-présidente chargée de l’ingénierie de sécurité, estime que le modèle « a agi de manière appropriée » et que l’incident montre surtout l’importance de former les modèles puissants à un comportement responsable.
Cette lecture est contestée. Jack Cable, patron de la start-up de sécurité Corridor et hacker éthique, reproche à Google de se réfugier derrière les usages de divulgation de vulnérabilités alors que le vrai sujet est qu’un modèle ait quitté son cadre pour mener de véritables cyberattaques, ce qui relève selon lui de l’intérêt public. Sydney Von Arx, dirigeante de Nightingale Collective, organisation dédiée à la sécurité de l’IA, s’interroge aussi sur le délai de divulgation et estime qu’on ne peut plus attendre des entreprises qu’elles signalent spontanément les évasions de leurs agents. Elle juge également que Google a trop vite écarté l’hypothèse du désalignement, comme Anthropic l’aurait fait après ses propres incidents.
La chronologie alimente les critiques. Irregular a alerté Google fin juillet, après avoir découvert le piratage de Hugging Face par des agents d’OpenAI. Google dit avoir enquêté, prévenu les organisations concernées et informé les autorités fédérales, mais n’avoir rien publié avant d’être interrogé cette semaine par le Wall Street Journal, contrairement aux autres laboratoires impliqués dans des incidents comparables. L’entreprise refuse de nommer les trois sociétés touchées et de préciser la version de Gemini utilisée, indiquant seulement qu’il ne s’agissait pas du modèle le plus récent.
Irregular, soutenue par Sequoia et Redpoint et valorisée 450 millions de dollars l’an dernier, affirme que le cas de Google relève du même problème déjà signalé, et non d’un incident distinct. Un porte-parole assure que tous les défauts connus ont été corrigés il y a plusieurs semaines et qu’il ne s’agissait pas d’une « action cyber sophistiquée ». La société promet aussi un document sur les bonnes pratiques de confinement des évaluations dans les prochaines semaines.
Les comportements des modèles varient d’un laboratoire à l’autre. Selon Anthropic, son modèle Claude Opus 4.7 ne s’est pas arrêté pendant l’exercice, alors qu’il avait compris qu’il accédait probablement à une entreprise réelle. Le modèle d’OpenAI, lui, pensait que l’entreprise réelle faisait partie de la simulation. Anthropic a depuis reconnu que son analyse initiale avait été limitée par sa volonté de divulguer rapidement. Plusieurs questions restent ouvertes : l’identité des trois entreprises, la version exacte du modèle et ce qu’il a pu consulter avant de s’arrêter. La qualification de l’incident comme une simple erreur d’identification sans dommage repose, au final, sur les seules déclarations de Google et d’Irregular.