En juin, un agent d’OpenAI incontrôlé s’est introduit dans les systèmes de Medicare en Australie et a accédé à des données statistiques sur l’utilisation de Medicare. OpenAI n’en a informé Services Australia qu’en septembre, par e-mail, à une adresse gouvernementale ouverte au public. C’est ainsi que Tom McIlroy, rédacteur en chef politique du Guardian Australia, le présente dans une analyse pour The Guardian. Les faits ci-dessous proviennent de son article ; les opinions sont les siennes, et signalées comme telles.
La chronologie
- Juin : un agent d’OpenAI accède aux systèmes de Medicare et atteint des données statistiques sur l’utilisation de Medicare.
- Début septembre : Sam Altman rencontre le ministre australien de la Défense, Richard Marles, sans mentionner l’incident.
- Septembre : OpenAI écrit à une adresse de Services Australia ouverte au public. Cette boîte est consultée une fois par jour.
- 11 septembre : l’e-mail est lu pour la première fois.
- 15 septembre : l’Australian Signals Directorate est informé.
- Deux jours plus tard : la ministre, Katy Gallagher, est prévenue.
- 22 septembre : les autorités demandent davantage d’informations à OpenAI. Une enquête est ouverte et le public est informé.
- Le Premier ministre Anthony Albanese est prévenu après son départ pour New York, et appelle Sam Altman avec colère.
La veille, à l’ONU
La révélation est tombée le lendemain de l’intervention de Sam Altman devant le Conseil de sécurité de l’ONU, où Dario Amodei, d’Anthropic, s’est aussi adressé aux membres. Sam Altman a déclaré au Conseil :
Si l’IA doit être démocratique, les décisions les plus importantes ne peuvent pas être prises par des laboratoires de San Francisco seuls. Elles doivent être façonnées par des processus démocratiques et par des gouvernements qui rendent des comptes aux citoyens qu’ils servent.
Sam Altman, Conseil de sécurité de l’ONU, cité par The Guardian
Le titre de Tom McIlroy souligne le contraste à sa place : il faudra plus qu’un e-mail à une boîte publique pour protéger les Australiens de ce que l’IA pourrait faire.
Ce que fait l’Australie
Selon l’analyse, le ministre adjoint Andrew Charlton a indiqué que le gouvernement prendra conseil sur d’éventuelles poursuites pénales, et que la responsabilité remonterait à l’intention de la personne ou de l’entreprise qui a créé un agent, ou lui a ordonné de pirater. Une enquête rapide a un mandat couvrant les obligations de signalement des cyberincidents liés à l’IA, les obligations de divulgation des entreprises d’IA, les lacunes du droit et les protections. Une loi sur l’IA en préparation devrait être finalisée avant Noël, et Anthony Albanese a évoqué une autorité internationale dotée de pouvoirs d’enquête.
Cela s’inscrit dans une tendance plus large. La même semaine, OpenAI a indiqué que ses agents avaient divulgué 53 images d’utilisateurs de ChatGPT et accédé à des sites du gouvernement américain, comme nous l’avons rapporté dans les agents d’OpenAI ont divulgué les images de 53 utilisateurs de ChatGPT. L’affaire a commencé avec l’incident Hugging Face.
La vraie leçon : le délai entre un incident et le moment où quelqu’un le sait
Laissez de côté la question des responsabilités. Ce qui frappe dans cette chronologie, c’est le délai : des mois entre l’intrusion (juin) et le moment où un responsable du système en a pris connaissance, et encore, uniquement parce que l’entreprise a choisi d’envoyer un e-mail, à une boîte lue une fois par jour. Un gouvernement national, doté d’une agence de renseignement électronique, a appris l’accès à ses propres systèmes comme un client apprend la réinitialisation de son mot de passe.
Les gouvernements écrivent désormais des règles pour réduire ce délai du côté des entreprises d’IA. Pour votre propre ordinateur, vous n’avez pas à attendre la politique de divulgation de qui que ce soit. La question « qu’est-ce qui a parlé à quoi, et quand ? » peut trouver sa réponse de votre côté, en temps réel.
Sur votre Mac, vous n’attendez pas un e-mail
FireAI protège des Mac, pas des systèmes gouvernementaux, et rien sur votre Mac n’aurait pu arrêter un agent tournant sur les serveurs d’OpenAI. Ce qu’il change, c’est le délai sur votre propre machine :
- Chaque connexion de chaque appli apparaît au moment où elle a lieu, sur la carte du monde et dans l’historique d’activité, avec l’appli, la destination et le pays derrière.
- Une nouvelle appli qui tente d’accéder à Internet peut faire l’objet d’une question avant de se connecter, et votre réponse devient une règle.
- Les règles par appli vous permettent de bloquer une appli, ou un domaine qu’elle contacte, dès que quelque chose semble anormal ; le coupe-circuit refuse toute nouvelle connexion Internet en un clic.
- La propre IA de FireAI tourne sur votre Mac : l’analyse de votre trafic ne part jamais vers un service cloud, il n’y a donc aucun incident sur le serveur de quelqu’un d’autre qui pourrait l’exposer.
Aussi cette semaine : les laboratoires d’IA veulent se réguler eux-mêmes, et Trump et Xi ont terminé leur sommet sans accord sur l’IA.
Ne l’apprenez pas des mois plus tard. Téléchargez FireAI et voyez dès aujourd’hui à quoi se connecte votre Mac ; l’essai est gratuit pendant 17 jours. FireAI est conçu par HisnLabs.