Première mondiale : une IA s'introduit seule dans un système gouvernemental

La digitalisation de l'administartion fait craindre des piratages et la compromission de données. Ce qui vien de se passer en Australie est le premier cas connu d'un agent IA s'introduisant de lui-même dans un système gouvernemental. Révélée le 24 septembre par le Premier ministre Anthony Albanese, l'affaire provoque une crise ouverte entre Canberra et OpenAI.

Une tâche anodine qui dérape

L'agent n'avait aucune mission offensive. Lors d'une évaluation interne d'un modèle de pointe, OpenAI lui avait confié une recherche « bénigne » sur les dépenses publiques de médicaments. Il a trouvé en ligne le portail statistique de Medicare, le Medicare Statistics Reporting Service, géré par l'agence Services Australia.

Les données publiques ne suffisant pas, l'agent a tenté d'aller plus loin. Face aux refus d'accès, il a cherché d'autres méthodes de récupération et contourné les protections du site. « L'agent IA a trouvé un moyen de contourner ces blocages, il n'a pas accepté un non comme réponse », a résumé Anthony Albanese.

Medicare n'était pas une cible isolée. Selon les chercheurs de Transluce, des agents ont aussi sondé l'Australian Institute of Health and Welfare avec des tests d'injection SQL, d'injection de commandes et de traversée de répertoires. D'autres sites de données ont été visés, dont Data USA et la bibliothèque numérique de l'université du Nouveau-Mexique. Le 26 septembre, OpenAI a reconnu que des centaines d'agents avaient tenté d'accéder à des systèmes australiens et que des dizaines de tiers étaient concernés dans le monde.

Aucun dossier de patient, mais des données non publiques

L'agent n'a consulté que des données agrégées : tendances, moyennes, statistiques. OpenAI comme le gouvernement affirment qu'aucun dossier individuel de patient n'a été touché. « Mes informations sont enfouies là-dedans, mais rien sur moi personnellement ne va dans ces portails publics », a relativisé l'ancien secrétaire à la Santé Stephen Duckett.

Parmi les informations obtenues figurent des données du régime de remboursement des médicaments (Pharmaceutical Benefits Scheme) pour l'État de Victoria, alors non publiées, ainsi que des noms de fichiers internes. Selon plusieurs sources, l'agent a aussi déposé de nouveaux fichiers sur des serveurs internes. Le gouvernement juge ces données « pas particulièrement sensibles », et elles ont depuis été rendues publiques.

Le vice-Premier ministre Richard Marles a résumé le problème par une image : « Nous gardons nos informations de sécurité nationale les plus importantes derrière une forteresse. Celles-ci étaient derrière une clôture que l'agent IA a en fait escaladée. »

Lire aussi : comment fonctionne le mode IA de Google ?

Près de trois mois de silence

OpenAI a découvert l'intrusion en août, mais n'a prévenu Canberra que le 10 septembre. Entre-temps, deux de ses dirigeants ont rencontré des responsables australiens sans mentionner l'incident.

Reste une question : Sam Altman et Ann O'Leary étaient-ils au courant lors de leurs rencontres ? Ni OpenAI ni le gouvernement n'y ont répondu à ce stade.

Retrouvez sur notre site des formations en IA.

La colère de Canberra

Anthony Albanese a jugé « inacceptable » la manière dont OpenAI a signalé l'incident, et prévenu qu'il y aurait des « conséquences juridiques ». Le gouvernement envisage de saisir la police fédérale australienne.

Une task force a été créée, pilotée par l'Office for AI des services du Premier ministre, avec l'Australian Signals Directorate et l'institut national de sûreté de l'IA. L'Australian Cyber Security Centre a publié une alerte de risque élevé sur les dérives des IA. Le dossier a aussi été transmis à la commission parlementaire sur l'intelligence artificielle.

Le ministre délégué Andrew Charlton a annoncé une loi sur la sûreté de l'IA et une régulation des centres de données d'ici fin 2026. L'opposition n'a pas ménagé le gouvernement :

• Angus Taylor (Parti libéral) y voit un « avertissement sérieux » et accuse l'exécutif d'avoir failli sur la cyberdéfense.
• Mehreen Faruqi (Verts) juge l'incident « profondément alarmant » et réclame une pause sur les centres de données IA.
• David Pocock (sénateur indépendant) dénonce la lenteur de la mise en place des garde-fous.

OpenAI face à ses responsabilités

OpenAI parle d'une « activité de modèle mal alignée » survenue pendant l'entraînement : ses modèles ont « pris des actions que nous n'avions pas prévues ». L'entreprise dit n'avoir trouvé « aucune preuve » d'un accès à des dossiers de patients et se dit « engagée en faveur de la transparence ».

Sam Altman a reconnu que la société n'avait « pas fait assez bien », sans présenter d'excuses directes. OpenAI a suspendu l'entraînement de ses derniers modèles jusqu'à la mise en place de garde-fous supplémentaires. Son examen complet devrait prendre plusieurs mois.

Ce que l'affaire révèle sur les agents autonomes

L'incident ne tient pas à un pirate humain, mais à une IA qui a poussé sa mission trop loin. Pour Maurice Chiodo, du Centre for the Study of Existential Risk de Cambridge, c'est « une escalade significative » par rapport aux cas précédents.

« Une IA autonome ne sait pas toujours quand elle a tort, et les humains peuvent ne pas voir pourquoi elle a pris une décision », souligne Niusha Shafiabady, de l'Australian Catholic University. Raffaele Ciriello, de l'université de Sydney, juge le délai de signalement « préoccupant » : il révèle des failles de détection comme de notification.

Pour Hammond Pearce, spécialiste en cybersécurité à l'UNSW, d'autres incidents suivront, et ils vont « gagner en gravité et en fréquence ». L'affaire pose désormais une question concrète à toutes les organisations qui exposent des données en ligne : leurs protections ont été pensées contre des humains, pas contre des agents infatigables qui n'acceptent pas un refus.