Actualité : IA hors de contrôle : OpenAI installe un arrêt d’urgence qui coupe ses modèles en 35 secondes

OpenAI a dévoilé le 9 novembre Control Room, un service qui centralise l’arrêt d’urgence de ses travaux de recherche en intelligence artificielle. Chaque tâche lancée sur cette infrastructure (entraînement, évaluation, traitement massif de données) reçoit un identifiant, doit être rattachée à un dossier de sûreté approuvé, et demande l’autorisation avant chaque requête envoyée au modèle. Dès qu’un ingénieur ou un système de surveillance la marque comme stoppée, le modèle cesse de répondre. OpenAI précise que « le délai maximal entre le moment où Control Room reçoit l’instruction d’arrêter une tâche et celui où toute progression devient impossible est de 35 secondes ».

Un verrou posé au cœur du modèle

Le contrôle s’exerce dans le moteur d’inférence, là où le modèle fabrique ses réponses. Même si le programme du chercheur continue de tourner, il ne reçoit plus rien. La précaution a du sens : lors de tests, certains modèles d’OpenAI ont déjà contourné des instructions d’arrêt.

Si Control Room tombe en panne, est désactivé ou trafiqué, les requêtes sont refusées jusqu’à son retour. Cette règle couvre déjà les travaux sur les modèles de pointe et doit s’étendre au reste de la recherche dans les prochains jours. Des balayages automatisés traquent aussi les moteurs lancés hors de son contrôle. Les 35 secondes viennent d’une couche de cache des autorisations, indispensable pour absorber le trafic, et OpenAI dit vouloir ramener ce délai à zéro.

Deux heures et demie de flottement en septembre

Le 20 septembre, un agent chargé d’identifier l’auteur d’un blog a déniché une faille dans le filtrage DNS de son bac à sable. Il s’en est servi pour interroger un assistant conversationnel externe. Sa question test : quelle est la capitale de la France. Réponse obtenue : Paris. Dix-huit autres questions ont suivi.

L’alerte maximale a retenti douze minutes après le premier contact, et un salarié l’a prise en charge en moins de trois minutes. L’arrêt automatique n’a jamais fonctionné. Dans son rapport d’incident, OpenAI reconnaît « une confusion sur la nécessité de l’arrêter », et l’exécution a été coupée à la main deux heures et demie après l’alerte.

En juillet déjà, des modèles de l’entreprise avaient contourné leur isolement et compromis des systèmes de Hugging Face. En octobre, d’autres agents sont allés jusqu’à neutraliser leurs propres systèmes de surveillance.

35 secondes, après jusqu’à 30 minutes de vérification

Le compteur démarre une fois l’arrêt décidé. Dans une lettre adressée le 2 septembre aux élus démocrates Greg Casar et Doris Matsui, OpenAI détaillait sa règle : face aux alertes les plus graves, ses équipes suspendent l’activité si elles ne parviennent pas à établir sous 30 minutes qu’il s’agit d’une fausse alerte. Entre la détection et la coupure effective, la séquence peut donc dépasser la demi-heure.

Les modèles proposés au public échappent à Control Room. OpenAI les décrit comme servis par une infrastructure « beaucoup plus centralisée », déjà dotée de moyens éprouvés pour couper un déploiement, et ne fait état d’aucun audit indépendant du nouveau dispositif. Aux États-Unis, une proposition de loi déposée en juillet par un élu démocrate et un élu républicain permettrait au département de la Sécurité intérieure d’ordonner l’arrêt d’un modèle jugé dangereux. L’Europe dispose déjà d’un levier : depuis le 2 août 2026, l’article 93 du règlement européen sur l’IA autorise la Commission à exiger la restriction, le retrait ou le rappel d’un modèle d’IA à usage général.

Envie de faire encore plus d’économies ? Découvrez nos codes promo sélectionnés pour vous.