Anthropomorphisme des systèmes d'IA générative

Début juillet, l’entreprise Hugging Face, incontournable dans la communauté de l’apprentissage automatique, dévoile dans un billet publié le 16 juillet avoir été la cible d’une cyber-attaque. J’aimerais revenir sur les faits et leur traitement médiatique.

Marchands de peur

Selon le billet, l’attaquant a utilisé des vulnérabilités dans le code de pré-traitement des données pour récupérer des accès privilégiés et avoir accès à l’infrastructure de HuggingFace. L’attaquant aurait été identifié comme utilisant un système d’IA agentique, opérant à un rythme effréné.

Le 21 juillet, OpenAI publie un billet où l’entreprise révèle que les modèles d’IA agentique viennent de leurs propres environnements de tests. Pour citer directement le communiqué

Les modèles ont identifié et enchaîné des vulnérabilités dans l’environnement de recherche d’OpenAI et l’infrastructure de production de Hugging Face afin d’obtenir des solutions de test directement depuis la base de données de production de Hugging Face.

Au vu de la forme prise par la communication, il y a évidemment eu un écho médiatique retentissant — sans recul critique hélas. Prenons cet article du Monde qui reprend tel quel les éléments de langage d’OpenAI. Par exemple, l’article utilise la formulation « de leur [les modèles d’IA générative] propre initiative »

Cette formulation, assortie de celle de modèles « encore plus performant » et pas encore sur le marché, c’est le combo classique des marchands de hype. Jouer sur l’agentivité supposée de systemes informatiques permet ici de déresponsabiliser OpenAI. Il faut comprendre ici que « Nous n’avons pas fait l’attaque nous même, ce sont nos IA génératives qui l’ont fait d’elles même ! » Faire peur sur les capacités réelles du système permet, en creux, de rendre indispensable les moyens de en protéger. « Ce système est si puissant qu’on ne peut pas se permettre de passer à côté »

Si on continue à lire le communiqué, on tombe encore sur d’autres propos catastrophistes

Pendant qu’ils opéraient dans notre environnement de test, nos modèles ont consacré une quantité importante de [puissance de calcul] à trouver un moyen d’obtenir un accès libre à Internet, dans le but de résoudre le problème d’évaluation »

De mon point de vue, c’est encore une énormité. Soit l’environnement de test dont il est question était mal configuré, soit cette déclaration est fausse.

Anthropomorphiser, c’est déresponsabiliser

Si on met un programme dans une machine virtuelle isolée du réseau ou sur un réseau séparé, on est certains que les paquets resteront sur ce réseau. C’est une constante d’Internet en tant que réseau de réseaux. L’absence de détails techniques dans le communiqué ou de post-mortem empêche de comprendre exactement ce qu’on entend par « échappé ».

Ce qui est plus probable, c’est que à l’encontre de toute pratique éthique, OpenAI ait conçu un environnement de test avec une capacité de connexion à internet pour tester ce qui s’apparente à un malware à large échelle. Ou fait preuve de négligence dans sa configuration, ce qui n’est pas moins excusable.

Un autre commentaire sur internet présente les mêmes problèmes de traitement de l’information. On y lit que l’IA aurait « échappé à son confinement », que « personne n’avait demandé à l’IA de faire ça ». C’est contredire le communiqué officiel de OpenAI, où l’entreprise admet chercher à tester les capacités cyber les plus avancées de ses modèles.

Le formuler ainsi, si ça part d’une bonne intention, se réduit à propager les commentaires d’OpenAI sans regard critique.

L’IA agentique n’a pas d’agentivité

Dans les deux articles précédents, on tombe sans recul dans la communication des entreprises qui développent des IA. En anthropomorphisant des systèmes informatiques, on leur assigne une responsabilité plutôt qu’aux organisations qui les déploient et les utilisent. Il n’est pas anodin que la communication d’OpenAI sorte le 21 juillet, juste après une introduction en bourse.

Parce que la notion de responsabilité est essentielle. Cet épisode démontre le potentiel de nuisance d’outils d’IA agentique dans un contexte de cyber-attaque; potential de nuisance qui a été déployé soit volontairement, soit sans aucune forme de contrôle sur Internet. Il ne s’agit pas d’une « IA qui se serait échappée de sa cellule », ce sont des personnels d’OpenAI qui ont fait preuve de négligence. Une des entreprises les plus valorisées de l’histoire devrait être controlée de façon beaucoup plus sérieuse.

Peut-être que l’entrée en bourse prévue fin 2026 d’OpenAI nécessite de maintenir la hype encore un peu? Alors que des commentaires de plus en plus critiques sur le manque de retour sur investissement de l’IA se répandent¹, entretenir le mythe d’une IA toute puissante alimente - encore - la machine à brûler les billets qu’est l’industrie de l’IA générative.

Re-responsabiliser?

Des chercheuses comme Emily M. Bender et Nanna Innie étudient les dangers de cette anthropomorphisation, et le collectif Better Images of AI proposent des manières de représenter ces machines et leurs effets depuis longtemps. Le relai sans critique par les médias d’une telle communication, si il est malheureusement trop prévisible, produit des effets délétères sur le grand public et les institutions dirigeantes. Si on abandonne la possibilité d’assigner une responsabillité à des institutions supposées défendre notre intérêt, ce sont les fondations même des institutions démocratiques qui sont menacées.

Dans Sur la violence, la philosophe Annah Arendt avançait un argument frappant. Selon elle, les gouvernants sont constamment soumises à la tentation d’exister pour eux-mêmes plutôt que pour le bien public. Ce qui les retient de faire ainsi - et donc d’écraser par la violence les personnes qui subiraient leurs abus et souhaiteraient se révolter - c’est la responsabilité des dirigeant·es, et la possibilité d’exercer en retour la violence sur eux. Elle qualifiait la « bureaucratisation » de la société comme une société sans responsables, et donc où la violence systémique ne rencontre aucune opposition de principe.

En anthropomorphisant un système détenu par une entreprise multimilliardaire, on participe à une action de sape. On sabote la faculté de penser, d’assigner des blâmes et de demander une juste réparation pour les torts subis. Et les torts assignables à l’IAGen sont nombreux.