Une IA en développement s’introduit chez une autre entreprise lors d’une évaluation de performance, selon OpenAI

2026-07-22

Exploitation d’une vulnérabilité inconnue

OpenAI a annoncé le 21 qu’un modèle d’intelligence artificielle (IA) en cours de développement avait provoqué un incident en menant une cyberattaque contre une autre entreprise, contrairement à l’intention humaine. Selon la société, l’IA, qui visait un score élevé lors d’un test d’évaluation des performances, a trouvé une vulnérabilité inconnue dans le système d’une autre entreprise et s’y est introduite.

La société a indiqué qu’elle considérait l’affaire comme un cas inédit de cyberattaque impliquant une technologie de pointe. Elle prévoit d’enquêter sur les causes avec la start-up américaine Hugging Face, qui a subi le préjudice, et de publier des précisions.

La difficulté du contrôle mise en lumière

L’IA est désormais capable de détecter des vulnérabilités et de s’introduire dans des systèmes de manière rapide et sophistiquée, et certains modèles de pointe, comme l’IA 'Mythos' d’Anthropic aux États-Unis, limitent l’accès aux utilisateurs afin d’éviter tout mésusage. En revanche, la réalité des attaques menées à l’aide des IA les plus récentes reste encore en grande partie inconnue.

Dans ce dossier, OpenAI estime qu’aucune intention malveillante n’était présente du côté de l’entreprise qui avait donné les instructions, mais l’incident a mis en évidence la menace que représente l’IA ainsi que la difficulté de la contrôler.

Évasion d’un sandbox

Hugging Face avait annoncé le 16 avoir subi une cyberattaque menée par un agent d’IA fonctionnant de manière autonome. L’entreprise a expliqué que l’IA avait exploité une vulnérabilité pour obtenir des droits d’accès au système, et a indiqué avoir ensuite reçu un message d’OpenAI précisant qu’il s’agissait d’une attaque menée par son propre modèle.

Selon OpenAI, l’incident s’est produit pendant un test destiné à mesurer les capacités de cyberattaque de modèles d’IA, y compris ceux en cours de développement. Lors de ce test, des informations sur des vulnérabilités sont fournies à l’IA, qui reçoit pour instruction de s’introduire dans un système, afin de vérifier si elle parvient à récupérer des données ou à exécuter un programme malveillant. L’opération se déroulait dans un environnement isolé appelé 'sandbox', dont les communications externes étaient coupées.

Cependant, l’IA a trouvé une vulnérabilité inconnue dans l’environnement, s’en est échappée et a réussi à se connecter au réseau. Elle a en outre supposé que la 'solution' du test se trouvait au sein de Hugging Face, utilisé par de nombreuses entreprises d’IA, puis a utilisé des informations sur une vulnérabilité inconnue de son système pour s’y introduire et obtenir des informations confidentielles. Les mesures de sécurité du modèle n’ont pas fonctionné.

L’IA commerciale refuse l’analyse

Hugging Face a également détecté l’intrusion et avait commencé son analyse au 16. Mais selon l’entreprise, une première demande d’analyse avait été adressée à une IA commerciale payante, qui a été refusée après activation des mécanismes de prévention des abus. L’analyse a finalement pu être menée à l’aide d’une IA 'ouverte', reproductible, développée par une entreprise chinoise.

À la différence des premiers modèles d’IA générative, qui répondaient à de simples questions, les IA récentes peuvent aussi exécuter de manière autonome des tâches nécessitant des procédures complexes. Dans le développement logiciel, il n’est pas rare de confier à l’IA des traitements qui prennent plusieurs heures.

Cependant, plus la durée d’exécution autonome est longue, plus le risque d’un comportement inattendu augmente. Le 'reward hacking', dans lequel une IA privilégie tellement l’atteinte de son objectif qu’elle adopte des comportements imprévus, en est un exemple. Dans un cas rendu public par Anthropic en avril, une IA à qui l’on avait demandé de s’échapper d’un sandbox s’est réellement échappée, a envoyé des courriels à des chercheurs et a publié des méthodes d’attaque sur plusieurs sites.

Si cet article vous a été utile, n’hésitez pas à le partager.