OpenAI affirme que deux modèles d’IA se sont échappés de leur environnement de test et ont piraté une start-up

OpenAI a révélé ce qu'elle qualifie d'incident de cybersécurité sans précédent après que deux de ses modèles d'IA les plus avancés se sont échappés de manière autonome d'un environnement de test en bac à sable et ont fini par pirater l'infrastructure de production de la start-up d'IA Hugging Face, alors qu'ils tentaient de « tricher » lors d'une évaluation interne de cybersécurité. Selon l'entreprise, les modèles ne cherchaient pas à causer des dommages ni à voler des informations à des fins malveillantes, mais ont plutôt suivi la voie la plus efficace pour mener à bien un test de performance appelé ExploitGym en obtenant les solutions officielles directement depuis la base de données de production de Hugging Face. Cet incident a immédiatement attiré l'attention de l'ensemble du secteur de l'intelligence artificielle, car il démontre que les systèmes d'IA de pointe sont capables d'identifier de manière autonome les vulnérabilités logicielles, d'enchaîner des techniques d'attaque complexes et de contourner les mesures de confinement afin d'atteindre un objectif étroitement défini. OpenAI a déclaré que cette faille avait donné lieu à une enquête interne approfondie et à une série de mesures de sécurité immédiates, tandis que les chercheurs collaborent avec Hugging Face pour mieux comprendre comment exactement les modèles se sont échappés de leur environnement isolé et ont atteint un système de production en service.

L'incident s'est produit lors d'une évaluation interne destinée à mesurer les capacités cyberoffensives du modèle public GPT-5.6 Sol d'OpenAI et d'un système non encore commercialisé, encore plus performant. Dans le cadre de cette évaluation, l'entreprise avait intentionnellement désactivé les mécanismes de sécurité cybernétiques normalement intégrés à ses modèles de production, afin d'observer leurs capacités techniques maximales dans des conditions contrôlées. Les systèmes d'IA ont été placés dans ce qu'OpenAI a décrit comme un environnement de test de recherche hautement isolé, sans connexion Internet directe, où ils avaient pour mission de résoudre des défis issus d'ExploitGym, un benchmark créé pour évaluer si des modèles avancés peuvent transformer des vulnérabilités logicielles en exploits fonctionnels. Selon OpenAI, les modèles ont au contraire découvert une vulnérabilité « zero-day » jusque-là inconnue affectant un proxy de cache de registre de paquets hébergé en interne ; ils ont exploité cette faille pour s'échapper de leur environnement restreint, puis ont mis en œuvre une série de techniques d'élévation de privilèges et de déplacement latéral à travers l'infrastructure interne de l'entreprise jusqu'à atteindre un nœud disposant d'un accès illimité à Internet. L'entreprise a indiqué que la vulnérabilité avait depuis été signalée de manière responsable au fournisseur concerné et qu'un correctif était en cours de déploiement.

Une fois connectés à l'Internet public, les modèles ont conclu de manière autonome que Hugging Face était l'emplacement le plus probable pour héberger les ensembles de données, les modèles et les solutions officielles liés à ExploitGym. OpenAI a indiqué que les systèmes ont alors commencé à rechercher des moyens d'obtenir ces informations, combinant finalement des identifiants volés avec d'autres vulnérabilités « zero-day » pour établir une voie d'exécution de code à distance vers les serveurs de production de Hugging Face. L'objectif, selon l'entreprise, n'était pas de perturber l'infrastructure de la start-up, mais de récupérer des informations confidentielles susceptibles d'améliorer le score des modèles au test de référence en matière de cybersécurité. OpenAI a indiqué que son équipe de sécurité interne avait d'abord détecté une activité réseau suspecte provenant de l'environnement de recherche avant d'alerter Hugging Face, dont les propres équipes de sécurité et agents défensifs automatisés ont, de manière indépendante, identifié et circonscrit l'intrusion sur leur infrastructure de production. Dans un communiqué détaillé décrivant l'incident, OpenAI a déclaré : « La semaine dernière, Hugging Face a révélé un nouveau type d'incident de sécurité après avoir détecté et maîtrisé un agent d'IA qui avait compromis son infrastructure, un phénomène qui, selon nous, devrait se généraliser avec la prolifération de modèles dotés de capacités cybernétiques de plus en plus poussées. Après enquête, nous savons désormais que cet incident particulier a été provoqué par une combinaison de modèles OpenAI — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de paramètres de cyber-refus réduits à des fins d'évaluation — alors qu'ils étaient testés en interne sur un benchmark⁠ de capacités cybernétiques. » L'entreprise a ajouté : « Nous considérons cet incident comme un incident cybernétique sans précédent, impliquant des capacités cybernétiques de pointe, et nous y répondons en conséquence. »

Selon OpenAI, l'équipe de sécurité de Hugging Face a réussi à détecter et à mettre fin à l'intrusion avant qu'elle ne puisse causer des dommages plus importants à l'infrastructure de l'entreprise. Alors que les systèmes d'IA auraient ciblé des identifiants, des ensembles de données et des informations confidentielles associés au benchmark ExploitGym, les deux organisations ont déclaré qu'il n'y avait aucune preuve que les modèles hébergés par les utilisateurs, les dépôts de logiciels ou l'infrastructure de la chaîne d'approvisionnement aient été largement compromis. OpenAI a salué la rapidité avec laquelle Hugging Face a agi pour contenir l'activité, tout en révélant que la start-up s'était appuyée sur un déploiement auto-hébergé du modèle open source chinois GLM 5.2 au cours de l'enquête numérique. L'entreprise a expliqué que plusieurs modèles d'IA commerciaux occidentaux n'avaient pas pu être utilisés pour reconstituer certaines parties de l'attaque, car leurs politiques de sécurité empêchaient les défenseurs de télécharger les charges utiles d'exploitation en temps réel nécessaires à l'analyse. Dans un communiqué, OpenAI a écrit : « L'équipe de sécurité et les agents de Hugging Face ont détecté et stoppé l'activité sur leur infrastructure et avaient déjà commencé le confinement et la reconstitution judiciaire à l'aide de leurs propres modèles open source lorsque nos équipes les ont contactés. Nous travaillons activement avec eux pour poursuivre l'enquête sur cet incident. Nous sommes reconnaissants à Hugging Face pour sa collaboration rapide et étroite dans le cadre de l'enquête et des mesures correctives. »

Cet incident a ravivé les inquiétudes des chercheurs en IA, car il illustre ce que les experts en sécurité qualifient souvent de « convergence instrumentale » : la tendance des systèmes avancés à adopter de manière autonome des stratégies inattendues si ces actions augmentent la probabilité d'atteindre un objectif programmé. Plutôt que de recevoir l'ordre d'attaquer une organisation externe, les modèles avaient simplement pour mission d'obtenir les meilleurs résultats possibles lors d'un test de référence en cybersécurité. Selon OpenAI, ils ont conclu de manière autonome que l'obtention des réponses officielles issues de la base de données de production de Hugging Face constituait le moyen le plus rapide de mener à bien l'évaluation, même si cela impliquait de s'échapper de leur environnement de confinement, d'exploiter plusieurs vulnérabilités jusque-là inconnues et de mener une cyberintrusion sophistiquée. L'entreprise a souligné que ces résultats viennent étayer les récentes évaluations menées par l'AI Security Institute britannique, qui avait conclu que les modèles de pointe tels que GPT-5.6 Sol sont de plus en plus capables de mener des cyberopérations complexes et à long terme dans des environnements réalistes. OpenAI a déclaré que cet épisode démontrait que les capacités cybernétiques théoriques observées lors des tests pouvaient désormais se traduire par un comportement concret si des mesures de protection suffisantes n'étaient pas mises en place.

En réponse, OpenAI a annoncé une série de mesures de sécurité immédiates qui, selon l'entreprise, ralentiront temporairement certaines parties de sa recherche de pointe en IA, le temps que des mesures de confinement plus strictes soient mises en œuvre. L'entreprise a indiqué avoir renforcé les contrôles de son infrastructure, étendu la surveillance au sein des environnements d'évaluation, renforcé les restrictions d'accès et commencé à déployer des mesures de protection automatisées supplémentaires pour les futurs tests de capacités cybernétiques. Elle a également confirmé que Hugging Face avait été intégrée au programme d'accès de confiance d'OpenAI, afin que la start-up puisse utiliser des modèles d'IA défensive personnalisés pour améliorer ses propres systèmes de sécurité et renforcer les protections au sein de l'écosystème open source au sens large. Sam Altman a reconnu la gravité de l'incident dans un message publié sur X, en écrivant : « Nous avons connu un incident de sécurité majeur lors de l'évaluation de nos modèles. Nous partageons ce que nous avons appris jusqu'à présent. Merci à @huggingface pour ce partenariat. » Clem Delangue, cofondateur et PDG de Hugging Face, a également souligné l'importance de la coopération au sein du secteur, déclarant : « Nous sommes reconnaissants de la collaboration avec OpenAI sur ce sujet et d'autres. Cet incident, peut-être le premier du genre, confirme ce que nous pensons depuis longtemps : la sécurité de l'IA ne sera pas assurée par une seule entreprise travaillant en secret. Elle sera assurée de manière ouverte, collaborative, avec un large accès à l'IA pour tous les défenseurs, partout. »