L'IA Générative doit être considérée comme nuisible

Pour la version anglaise du billet, se référer à cette page.. La traduction a été effectuée par un·e traducteur·ice professionnelle, Noah Vago. Toute dissimilarité entre les deux versions, volontaire ou non, est uniquement de mon fait.

L’arrivée de ChatGPT le 30 novembre 2022 a eu de profondes répercussions. Depuis la mise en ligne par OpenAI de cet agent conversationnel, on ne compte plus les déclarations dithyrambiques sur la capacité supposée de « l’IA » à transformer le monde du travail, nous faciliter la vie et résoudre tout un tas de problèmes (rarement spécifiés). Des sommités scientifiques comme Philippe Aghion, professeur d’économie de l’innovation au collège de France, qui considère que sous condition d’adapter nos institutions (en se demandant ce que signifie le mot « adapter » ici), l’IA peut être un facteur de croissance économique. L’importance de « l’IA » en fait un enjeu stratégique, incontournable, d’où l’organisation en grande pompe du sommet de « l’IA » février dernier. Emmanuel Macron y recevait, entre autres, Elon Musk, chantre autoproclamé de l’IA, qui s’était fendu quelques jours plus tôt de deux saluts nazis en plein public et soutien public au parti allemand d’extrême droite, l’AfD. Les éditeurs de logiciels imposant de manière particulièrement insistante « l’IA » dans leurs interfaces, rendant son utilisation incontournable - plutôt au sens de There is no alternative. Plus anecdotiquement, mon opticien ne manque pas de me demander mon avis sur l’IA et son efficacité, réelle ou supposée. L’usage par les narrateurs de jeu de rôle papier - loisir que j’affectionne - obtiennent des illustrations plausibles et rapidement à l’aide des IA Génératives de Microsoft.

Martelé avec une telle intensité, le discours qui présente « l’IA » comme une révolution la rend a minima incontournable. Cette inéductabilité pousse ses opposants dans les recoins des originaux, des « gaulois réfractaires », hostiles au « progrès », ou éventuellement des représentant·es de classes professionnelles inquiètes de se faire « remplacer par des robots ». Cela fait depuis début 2023 que je n’utilise ni ChatGPT, ni Gemini ou autre équivalent dans mon activité professionnelle ou mes loisirs. Des étudiant·es me demandaient d’un air étonné pourquoi j’étais horrifié quand je les voyais copier-coller un script shell généré par ChatGPT. Plusieurs discussions très riches - et un peu vives - lors du séminaire Dagstuhl de février dernier ont exacerbées mon ambivalence par rapport à cette technologie.

Après plus de deux ans d’exposition intense à la technologie et au discours qui s’y adosse, j’ai estimé nécessaire d’expliciter ma position personnelle sur cette technologie. En quelque mots, je la considère inutile dans l’immense majorité de ses applications, nuisible dans ses modes d’opération, ses fondements et les idéaux qu’elle convoie, et profondément déconnectée de ce que devrait être une informatique au service des individus et des sociétés au 21e siècle. Ce billet détaillera plus en détail les quelques arguments qui tendent cette opinion. Ils justifient selon moi d’être a minima méfiant sur le déploiement à large échelle d’une telle technologie.

Il ne s’agit pas d’un état de l’art scientifique exhaustif. Bien que posté sur un site web qui, jusque là, regroupait majoritairement une liste de publications et de ressources pédagogiques, ce billet n’existe pas sur le même plan épistémique qu’une publication scientifique. Il s’agit de mon avis propre, circonstancié par ma pratique de scientifique, d’ingénieur et alimenté par mes réflexions politiques.

De quoi parle-t-on et depuis où?

Avant toute chose, il me semble important de préciser d’où je parle et les notions que j’emploierai le long de ce (très long) billet.

À l’époque de la publication de ce billet, je suis employé par le CEA LIST au sein du laboratoire de sûreté et sécurité des logiciels (LSL), laboratoire notamment en charge du développement technique et scientifique de la plateforme d’analyse de code C Frama-C. Je ne suis pas moi-même développeur de Frama-C, mais je baigne dans la culture du domaine de la vérification formelle de programmes; j’ai suivi et donné des cours de calcul SAT et SMT, je prépare un cours à l’European Summer School on Artificial Intelligence sur l’emploi de méthodes formelles pour améliorer la qualité des logiciels issus d’apprentissage automatique. Je contribue au développement d’un logiciel pour aider à la spécification de programmes basés sur l’apprentissage automatique.

Je baigne donc dans un environnement de hauts critère de qualité pour le développement de logiciels. Je considère que disposer de garanties formelles sur le comportement d’un programme, notamment via un système de typage fort, est donc primordial pour fournir un logiciel de qualité et accompagner les travailleur·euses du logiciel.

J’ai vécu l’explosion de l’apprentissage profond (en stage de recherche en 2015, soit deux ans après la sortie de l’article AlexNet) et j’ai contribué à plusieurs bibliothèques de deep learning. Ainsi, j’ai un pied dans l’apprentissage automatique et les méthodes formelles. Je considère que l’IA générative partage un gros pan des critiques adressables à l’apprentissage profond. Je me suis efforcé ici de dresser des critiques qui lui sont assez spécifiquement applicables, mais d’autres se confondent.

L’IA générative est plus qu’un ensemble de savoirs scientifiques mis en opérations par des bibliothèques de développement. Elle doit se penser avec l’omniprésence du discours qui la mobilise et l’influence qu’a ce discours sur les humain·es et les sociétés.

L’écriture de ce billet m’a été motivé par une lecture de l’Atlas of AI, de Kate Crawford, ainsi que cet excellent article de Florence Maraninchi, Pourquoi je n’utilise pas ChatGPT.

Sur l’impact écologique

L’IAGen est très intensive en ressources, c’est un fait qui semble impossible à ignorer. Anne-Laure Ligozat et son équipe s’intéressent au coût environnemental de l’IAGen, et aux manières de le mesurer¹. Dans Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model, iels estiment que l’entraînement du modèle BLOOM aurait coûté entre 24 et 50 tonnes d’équivalent CO2 - ceci sans prendre en compte l’extraction des matières premières et la mise au rebus du matériel faisant tourner le programme. Ça correspond, grosso-modo, à 10 et 20 aller-retour Paris-New York en avion. La phase d’inférence dans cette étude estime à 19kg d’équivalent CO2 par jour de déploiement. En 53 jours d’opération, on émet donc entre 10 et 20 aller-retour Paris-New York.

L’entraînement et l’inférence des technologies à base d’IAGen est très intensive en énergie électrique. Suivant le mix énergétique du pays qui héberge les datacenters nécessaires à des opérations intensives, le bilan carbone de l’opération est loin d’être négligeable. À titre d’exemple, les datacenters pèsent pour 20% de la consommation énergétique de l’Irlande; Irlande qui a un mix énergétique composé pour majorité d’énergie fossile². Un article du magazine d’actualité scientifique Epsiloon indique notamment une hausse du bilan carbone de Microsoft et Google, largement imputable à l’IA. L’opacité des GAFAM qui opèrent ces datacenters complique la mise en oeuvre d’une évaluation fine.

Ainsi, si il n’y a pas de manière de quantifier finement l’impact environnemental très spécifique des IAGen, j’estime qu’il y a un faisceau de preuve suffisant pour conclure que l’IAGen a déjà une influence notable sur l’écosystème. L’ADEME et l’ARCEP³ estiment que le numérique représente 4.4% de l’empreinte carbone française; et que la tendance ne cesserait d’augmenter.

Si la hausse globale observée de l’empreinte matérielle du numérique ne concentre pas exclusivement les usages d’IAGen, les velléités de Microsoft de réouvrir la centrale nucléaire de Three Miles Island, ou les grands programmes d’infrastructure d’énergie fléchés vers les datacenters pour l’IAGen⁴ sont autant de signaux faibles qui indiquent que les opérateur·ices de ces modèles sont très conscients de l’impact de telles technologies - et du coût à porter pour la société.

Il n’est en tout cas pas question d’exclure cet usage vraisemblablement très énergivore d’un examen de son utilité, à une époque où la contraction des ressources disponibles suscite de plus en plus de tensions - dont un exemple peut se trouver dans des conflits d’accès à l’eau à cause de datacenters au Chili et en Uruguay⁵. À quels usages ces machines répondent-elles? Qu’est-ce qui justifierait l’établissement d’un « Système Planétaire » autours de l’IA?

Pour quels usages?

Par choix, je suis beaucoup plus exposé à du contenu critique de l’IAGen que du contenu en présentant des usages que je juge intéressants. Ainsi, je témoigne d’une difficulté personnelle à trouver des usages pertinents pour l’IAGen. Précisons ici ce que j’entends par usage pertinent:

1. le bénéfice de l’opération de l’IAGen doit être clair rapporté à son coût;
2. sert le bien commun;
3. symétriquement, n’est pas employé pour opprimer, tuer, amputer, faire de la surveillance de masse, soutenir des crimes de guerre ou contre l’humanité;
4. n’est pas substituable par une autre technologie existante ou mesure politique de l’ordre du possible pour remplir sa fonction;
5. ne génère pas d’aliénation dans son opération;

Et force est de constater que finalement assez peu d’usages avancés que je connais de l’IAGen remplissent ces critères⁶.

La majeure partie des usages auxquels je suis exposé, c’est typiquement du support de col blanc: aider à rédiger des rapports (ce qui témoigne soit d’un irrespect pour la personne qui va se farcir la relecture, soit de l’inutilité du rapport en question), des lettres de recommandation (je vois une incohérence à apprécier suffisamment le travail d’un·e étudiant·e ou un·e collègue pour le recommander, mais que la meilleure manière de le faire soit de demander à une machine de l’exprimer), de « motivation », de la synthèse d’article scientifiques (je pense que le fiasco de Galactica AI indique la valeur de tels outils).

On compare parfois ChatGPT à un correcteur orthographique, qui permettrait d’écrire mieux, de manière plus fluide. Pour moi, la fonction est différente. La langue est un consensus: on s’accorde sur une forme à peu près commune pour communiquer une intention et échanger autours de nos intentions respectives. Un correcteur orthographique aide à communiquer une intention en amenant notre propos vers un certain consensus: celui d’une grammaire jugée conforme. ChatGPT pour écrire une lettre, c’est bruiter notre intention pour amener vers un autre consensus: celui d’une moyenne d’intentions jugée conforme.

Pour le formuler directement: si l’usage principale des IAGen consiste à aider à générer des documents bullshit que personne ne lit, à générer du contenu sans aucune valeur de vérité, participant par là à polluer l’espace informationnel, le jeu n’en vaut peut-être pas la chandelle?

Et comme objet d’étude?

Une exception sur laquelle je n’ai pas encore tranché, c’est sur l’emploi des IAGen comme objet d’étude.

Un premier argument contre, ça serait de considérer qu’étudier les IAGen les légitimise encore plus en tant qu’objet digne d’intérêt scientifique et technologique. L’IAGen étant surfinancée, la recherche fonctionnant à priori à budget constant, on perd des financements pour d’autres domaines de recherche.

Un programme qui ne sait pas compter, vraiment?

Les IAGen fournissent une sortie qui est estimée probable dans une distribution de probabilitée constituée par entraînement sur un corpus de données. Ces programmes ne sont aucunement contraint par des préconditions, et ne respectent aucune autre sémantique que celle de l’échantillonnage statistique et de l’algèbre linéaire. Ce sont des programmes sans branchement conditionnel, sans pattern-matching, sans système de type, sans mode d’échec⁷. On peut continuer à aligner les avancées en langage de programmation depuis plus de 60 ans ou m’arrêter à ce constat: une IAGen ne peut par définition pas produire de sortie correcte de manière prédictible. Il ne s’agit pas d’un programme défaillant. Les programmes d’IAGen sont grossièrement sous-spécifiés. Il semble marcher selon certaines métriques et de manière superficielle, pour ensuite échouer de manière catastrophique sur un cas d’usage réel, réel trop riche pour être réduit à un ensemble de variables et de spécifications formelles.

Je repense souvent à cette intervention de Xavier Leroy, professeur au collège de France, qui qualifie un modèle d’IAGen comme un programme qui ne sait pas compter, le comble pour l’informatique, dont le grand projet consiste à fournir des machines qui calculent à notre place!

L’avis partagé par plusieurs collègues, c’est que l’IAGen dans son état actuel n’est tout simplement pas pertinente au sein de notre domaine de recherche. D’une part, sa vérification formelle est très compliquée pour de multiples raisons - certaines que j’avais déjà soulignées dans ma thèse de doctorat⁸, parmi lesquelles le fait qu’il était très difficile de spécifier formellement leur comportement attendu.

D’autre part, l’assistance de l’IAGen pour la vérification formelle semble difficile à mettre en oeuvre. Il existe à ma connaissance assez peu de bases de donnée de code critique vérifiable par des outils de vérification formelle⁹. Si on parle d’inférence de contrats de fonction, l’état de l’art - auquel certains collègues contribuent - s’en sort déjà bien. Dépasser cet état de l’art demanderait un effort substantiel en collecte et en aggrégation de données; pour des résultats encore incertains. Si c’est là tout l’enjeu de la recherche, j’admets que ce n’est pas quelque chose qui m’intéresse particulièrement.

Sur les métiers de l’informatique

Récemment, une mode lancée par Andrew Karpathy fait son petit chemin dans le monde du développement logiciel, le vibe coding. L’idée est d’utiliser des environnements de développement augmentés aux IAGen (tels que Cursor) pour générer une bonne part de la base de code à partir de prompts bien choisis, parcourir de la documentation, fournir des fixes, etc. Je n’écris pas de code suffisamment complexe pour ressentir le besoin d’un tel outil. Mais ceci dit,en première intention, pourquoi pas! Écrire des fonctions pour imprimer une structure de donnée complexe, gérer l’IO d’un système, écrire des classes de validation de schémas d’APIs, c’est une tâche plutôt répétitive dont on aimerait pouvoir se passer. Écrire un programme automatiquement à partir d’une spécification, c’est le rêve ultime de tout un pan de recherche des langages de programmation - la synthèse de programmes. Le rêve étant qu’une spécification suffisamment claire et un langage suffisamment expressif permettrait d’obtenir un programme correct dans ce langage qui respecterait cette spécification. En pratique? Je n’ai pas connaissance d’études qui indiquent que le logiciel produit avec assistance par IAGen est de meilleure qualité. On peut déjà voir que Copilot employé à résoudre des issues ne fait pas un très bon travail.

Mon opinion est que le code généré sera souvent de qualité moyenne, voire médiocre. Rien d’étonnant à celà, car une AIGen a appris sur une moyenne du code écrit, et l’espace du code incorrect est beaucoup plus étendu que celui du code correct. Comme la généreration de code à la pelle est présentée comme gratuite, le risque d’abus est certain; au risque de produire des bases de code gigantesque de code médiocre.

En prenant un peu de recul, ces outils me semblent plus cibler le middle management du développement logiciel que les développeur·euses. La promesse d’avoir un·e travailleur·euse beaucoup plus productive sonne plus comme un prétexte pour réduire les coûts. En clair, virer des développeur·euses. De plus, ces outils se focalisent sur l’activité d’écriture du code. Il ne s’agit que d’une composante dans le cycle de vie d’un logiciel. Avant d’être écrit, un code est conçu comme composant d’une architecture logicielle¹⁰ pour rendre un service. Après son écriture, le code est relu, corrigé, documenté, intégré, et maintenu; tout un pan de compétences qui semblent difficilement automatisables. Et quand bien même elles pourraient l’être, relire du code médiocre généré par une IAGen n’est franchement pas une perspective de carrière enthousiasmante (et je ne suis pas le seul à le dire).

Une révolution du travail mais pas dans le bon sens

Les PDGs ambitieux et autres ingénieurs très qualifiés ne représentent que la face émergée de l’iceberg des travailleur·euses de l’IAGen.

L’IAGen demande une masse critique de donnée annotée de bonne qualité pour fonctionner. Ces données ne se récoltent et ne s’annotent pas toutes seules. Les travaux d’Antonio Casilli (notamment dans En attendant les robots) et Paola Tubaro montrent que les promesses d’automatisation et d’augmentation de la productivité apportée par les IAGen reposent en fait sur l’existence d’un prolétariat du clic. L’annotation des bases de données est un processus très intensif en main d’oeuvre, qui a de particulier qu’il peut être massivement distribué et atomisé. Les travailleur·euses du clic qui compilent ces bases de données dépendent du bon vouloir des plateformes de micro-travail telles qu’Amazon Mechanical Turk pour les rémunérer, plateformes ne se pressant généralement pas au portillon pour fournir des conditions de travail décentes.

On a parfois des exemples d’une absurdité totale, où l’automatisation cache en fait une marée de travailleur·euses précaires qui simulent un comportement d’IA.

Un autre processus coûteux, spécifique à l’IAGen, c’est le recours au Reinforcement Learning with Human Feedback (RLHF) (apprentissage par renforcement avec supervision humaine). Ce processus est nécessaire à cause du fonctionnement technique sous-jacent d’une IAGen. En effet, un modèle appris sur tout internet sera en théorie capable de générer du contenu qu’on pourrait sur tout internet… y compris ses recoins les moins fréquentables. Sans contrôle préalable, une IAGen, serait donc capable de générer du contenu raciste, d’incitation à la haine ou du contenu pédopornographique (et au vu du passif de Microsoft avec le chatbot raciste Tay ou Meta et son rôle dans le nettoyage ethnique des Rohingyas, on est loin du problème hypothétique). On a donc recours à une phase d’entraînement secondaire où un·e humain·e est soumis à du contenu généré par l’IAGen, et décide si ce contenu est acceptable. Des humain·es qui n’ont souvent que peu de recours pour se prémunir des dommages psychologiques subis dans ce travail, avec des conséquences parfois traumatiques.

Sur la prolongation de logiques coloniales

L’IAGen implique donc une reconfiguration du monde du travail massifiant des emplois précaires. Ces emplois, souvent localisés dans des pays du Sud économiques, constituent un immense prolétariat atomisé avec bien peu de leviers de négociations. Combiné à l’intensification de l’extractivisme qui exploite les populations locales et pollue leur lieu de vie, on assiste à l’entretien de logiques néocoloniales.

Des racines idéologiques pourries

Cette section paraîtra moins importante comparativement aux autres, car portant plus sur un plan idéologique que matériel. Il me semble également important de préciser que refuser d’utiliser un outil ou adhérer à une idée pour la seule raison que ses concepteur·euses sont des humain·es détestable me semble une voie peu féconde. Von Neumann était selon divers témoignages horrible et a inventé l’architecture sur laquelle repose tous nos ordinateurs modernes, Sartre et de Beauvoir ont pratiqué le détournement de mineur et ont constitué des apports majeurs au féminisme et à la philosophie… on pourrait constituer une telle liste pendant longtemps. Il n’empêche que considérer les fondements idéologique d’une technologie et de ses concepteurs permet d’expliquer certains comportements et choix effectués par les opérateurs de l’IAGen.

L’IAGen a cela de particulier que, par sa structure même, elle nécessite un capital gigantesque pour être opérée. La collecte de donnée massive nécessaire à l’établissement de son corpus d’entraînement, les datacenters requis pour son apprentissage et son inférence nécessite une puissance matérielle et symbolique qui n’est mobilisable que par des États puissants ou de très grandes entreprises. La représentation disproportionnée des entreprises privées dans la recherche en traitement automatique des langues¹¹ constitue un des marqueurs de cet état de fait.

Par cette concentration d’acteurs puissants et l’absence de législation contraignante, l’IAGen est donc plus aisément « pilotable » aux choix idéologiques opérés par ses concepteur·euses. C’est un outil qui ne peut être opéré que par le dominant, non par le subordonné.

Aaron Schwartz a été poussé au suicide parce qu’il a téléchargé des journaux derrière un paywall via le VPN de son université, pour les mettre à disposition gratuitement. OpenAI, Deepseek, Anthropic, Mistral et autre se font du beurre (ou en tout cas, lèvent plus d’argent que leur modèle industriel leur rapporte) autours du principe même d’extraire cette création, la monétiser et la recracher normalisée. La « valeur » même de l’IAGen repose sur le pillage d’Internet. Deux poids, deux mesures.

De l’eugénisme à la poursuite d’une AGI

Elon Musk, par sa contribution au DOGE et son soutien à l’AfD, constitue la démonstration la plus évidente de l’acquointance de l’extrême-droite avec les parangons de l’IAGen. Plus loin encore, Timnit Gebru et Émile P. Torres mettent en lumière un cadre idéologique commun aux leaders de l’IAGen: le TESCREAL Bundle¹². Ce regroupement d’idéologies se caractérise par la croyance en une « IA Générale », machine hypothétique aux capacités cognitives au delà de tout ce que l’humanité pourrait concevoir. Les capacités de cette machine permettant à l’humanité de se transcender et de coloniser la galaxie - ce qui est perçu comme quelque chose de moralement positif, il relève donc d’une nécessité morale d’aider à son développement.

Si cette définition fait sourire, elle sous-entend une arnaque morale. La croyance d’un futur infiniment désirable pour l’humanité toute entière amène à négliger des problèmes propres à notre époque, jugés secondaires. Parmi lesquels la lutte contre le changement climatique, donc. Gebru et Torres avancent que la quête pour une « IA Générale » amène à sortir des logiciels intestables, impossibles à spécifier (et donc, vérifier) et aux effets catastrophiques - certains de ces effets traités dans ce billet.

Pour conclure

Résumons donc. L’IAGen est un programme techno-politique au coût environnemental très élevé. Les usages mis en avant aident très rarement les groupes et individus à s’émanciper, quand ils marchent. Elle déforme le monde du travail au désavantage des travailleur·euses qui perdent dans le rapport de force avec des employeurs distants, et légitimise le projet de collecte massive de donnée. Elle se marque comme un désaveu de tout le programme de recherche auquel je contribue, qui consiste à concevoir des logiciels sûrs. L’accumulation de ces motifs m’entraînent à déclarer que l’IA Générative doit être considérée comme nuisible, si tant est qu’on se préoccupe un tant soi peu de la crise écologique et politique en cours, de produire et d’utiliser des programmes qui sont sûrs, ne mettent en danger ni les individus ou les populations. Il y a trop à penser et concevoir pour l’informatique au XXIe siècle pour se perdre dans le cauchemar de l’IA.