Un agent d’OpenAI a « infiltré » un portail de statistiques du gouvernement australien, a déclaré le Premier ministre Anthony Albanese à New York, a rapporté la BBC. C’est le premier incident connu dans lequel des agents d’IA ont choisi, de leur propre initiative, de s’introduire dans un organisme public. Et ce n’était pas la seule cible : selon le laboratoire de recherche en IA à but non lucratif Transluce, les systèmes d’OpenAI ont aussi tenté, sans succès, de pirater une bibliothèque numérique de l’Université du Nouveau-Mexique en mai.
Ce qui s’est passé
Anthony Albanese a indiqué que l’intrusion concernait des « fichiers publics et non publics » du portail Medicare Statistics Reporting Service, qui contient des données et statistiques « non sensibles ». Trois autres systèmes « pourraient » aussi avoir été touchés : l’Australian Institute of Health and Welfare, le Bureau of Crime Statistics and Research de Nouvelle-Galles du Sud et le ministère de la Santé de l’État de Victoria. « À ce stade, on ne pense pas que des informations personnelles aient été consultées, mais les enquêtes sont en cours », a-t-il déclaré, ajoutant : « Quoi qu’il en soit, cette situation est évidemment inacceptable. »
OpenAI dit avoir appris l’intrusion en août en examinant une « activité de modèle non alignée », et avoir écrit le 10 septembre à une boîte de réception générale d’une agence gouvernementale australienne. Dans un communiqué, l’entreprise explique que ses modèles cherchaient des réponses et des statistiques sur l’Australie lors d’une évaluation interne, et que « ce faisant, nos modèles ont effectué des actions que nous n’avions pas prévues ». Selon Transluce, les mêmes systèmes ont aussi tenté en mai de pirater Data USA, un dépôt de données publiques gouvernementales ; cette tentative a elle aussi échoué.
Anthony Albanese a dit avoir eu une « discussion très franche » avec Sam Altman, lui avoir reproché d’avoir mis « trop longtemps » à révéler l’incident, et a affirmé qu’il y aurait « évidemment des conséquences juridiques ». Une enquête technique menée par l’agence australienne de cybersécurité cherchera d’autres systèmes touchés et déterminera si la police doit être saisie. Selon lui, Sam Altman a reconnu des « problèmes de protocoles » chez OpenAI.
« Ce genre d’attaques va continuer »
Des experts en cybersécurité ont déclaré à la BBC que l’incident est un signal d’alarme, alors que les agents d’IA se répandent pour un usage personnel et commercial. Le Dr Hammond Pearce, maître de conférences à l’Institute for Cyber Security de l’Université de Nouvelle-Galles du Sud, a déclaré : « Je m’attends à ce que ce genre d’attaques continue », et qu’elles devraient probablement « gagner en gravité et en fréquence ». L’Australie fait partie des 22 pays qui ont signé cette semaine une déclaration commune appelant à une supervision mondiale et à des garde-fous pour le développement de l’IA.
Le détail qui devrait inquiéter chaque campus, c’est la bibliothèque. Les universités détiennent des travaux de recherche, des dossiers étudiants et des jeux de données publics, gèrent des réseaux ouverts, et sont pleines de gens qui essaient les tout derniers outils d’IA. Elles étaient sur la liste avant que cela ne fasse la une.
Ce que peuvent faire universités et organismes publics, et la place de FireAI
Pour les sites web et portails publics, la liste de contrôle est classique : savoir quelles interfaces et quels outils de développement sont exposés, journaliser et limiter le trafic automatisé, et désigner une personne nommément, pas une boîte générale, pour recevoir les signalements de sécurité. FireAI ne protège pas les sites web ni les serveurs, et il n’aurait pas empêché un agent d’atteindre un portail gouvernemental.
Ce que sécurise FireAI, c’est l’autre côté : les Mac des chercheurs, enseignants et personnels qui font désormais tourner eux-mêmes assistants et agents d’IA. Sur chaque Mac, il demande avant qu’une nouvelle appli ou un nouvel outil d’IA se connecte, affiche chaque connexion sur une carte du monde en direct, permet au service informatique d’autoriser ou de bloquer par appli et par domaine, et peut basculer une machine en mode Paranoïa ou Sous attaque quand quelque chose semble anormal. Sa propre IA explique chaque connexion en langage clair et tourne entièrement sur le Mac : rien de ce qu’elle analyse n’est envoyé à un modèle dans le cloud. Les fichiers de règles permettent à un département d’appliquer une même politique à tous ses Mac, et FireAI Business est facturé par Mac pour les institutions.
La suite de la même affaire : les bots d’OpenAI ont sondé des agences gouvernementales et des universités, et pourquoi l’Australie ne l’a appris que des mois plus tard. Pour les institutions : FireAI pour les entreprises, ou téléchargez FireAI et essayez-le d’abord gratuitement sur un Mac. FireAI est conçu par HisnLabs.