Quelques textes un peu trop longs pour mastodon (garanti 0% de matière IAsse)

Florence Maraninchi

La pétition Pour une Convention citoyenne sur l'Intelligence Artificielle circule pas mal en ce moment. Je ne la signerai pas.

J'aimerais vraiment beaucoup qu'il y ait une convention citoyenne sur le déploiement des IAg à marche forcée, mais la pétition telle qu'elle est me semble aborder la question sous un angle très problématique.

Je pense que le problème n'est vraiment pas le risque d'IA générale, la fameuse “superintelligence”. Et qu'agiter cet épouvantail est un bon moyen de masquer les dégâts bien réels à raz de terre, ici et maintenant. Par exemple la loi de simplification de l'état qui classe les datacenters dans les infrastructures stratégiques (et du coup on ne demande plus l'avis de personne). Data for Good a fait une bonne analyse de cette histoire : https://www.linkedin.com/posts/dataforgood_loi-simplification-de-la-vie-economique-activity-7451879853995397120-IATT

Le déploiement des datacenters en France semble juste incompatible avec la stratégie nationale bas carbone : https://www.lesechos.fr/idees-debats/cercle/explosion-de-lia-la-france-devra-arbitrer-entre-alimenter-ses-data-centers-et-decarboner-ses-transports-et-son-chauffage-2222020

Par ailleurs, faire peur sur l'IA générale et la superintelligence est une stratégie délibérée des vendeurs d'IAg. C'est très bien analysé dans le livre “Les prophètes de l'IA” de Thibaut Prévost, ou dans ses chroniques sur Arrêt sur Images/ Il dit en particulier : “Cette double Apocalypse – l'IA nous sauvera toustes/ l'IA nous détruira toustes – et ses multiples déclinaisons impliquent et entretiennent la même certitude techno-déterministe : celle de l'émergence inévitable de l'IAG, de la même manière que les récits du Paradis et de l'Enfer légitiment chacun l'existence de Dieu. En d'autres termes, tous ces types croient, dur comme fer, à la possibilité et l'imminence d'une machine pensante à la puissance divine.”

Voir aussi un texte d'il y a 3 ans, dû à Emily Bender. Il y avait eu une lettre du FutureOfLife Institute demandant une pause sur l'IA, avec des arguments du même genre que la pétition ci-dessous.

Ursula von der Leyen a eu droit récemment à une lettre de scientifiques du domaine quand elle a fait mine de croire que les machines à faire des phrases allaient atteindre le niveau de l'intelligence humaine : https://www.iccl.ie/wp-content/uploads/2025/11/20251110_Scientists-letter-to-the-President-AI-Hype.pdf

Le phénomène de “hype” est un risque politique en soi : https://www.techpolicy.press/expanding-hype-literacy-to-protect-democracy/ On y lit :

“In a historical context where tech leaders are openly embracing neo-reactionary (and intellectually shallow, ill-informed) positions such as the dark enlightenment and effective accelerationism, assessing hype is critical. Especially when the myth of Artificial General Intelligence (AGI) —a sociotechnical fiction itself, since it has been repeatedly considered unachievable through Large Language Models — has amassed the largest private capital investment round in history. The cocktail of deep pocket actors embracing both unrealistic visions and extreme political positions make hype a strategy to make imagination come true — and therefore an urgent matter of political attention.”

Bref, je pense que propager le discours sur l'avènement de la superintelligence, c'est servir les idées de gens tout à fait politiquement infréquentables (voir les explications sur la mouvance TESCREAL). Alors qu'il y a énormément de choses à dire sur le déploiement à marche forcée partout, mais avec des arguments tout à fait terre à terre. Voir par exemple le collectif “Le nuage était sous nos pieds” ou Stop Dataone.

#resistIAGen

@flomaraninchi@pouet.chapril.org

Image

Wilkins & Co. Factory – 1860s – Chase & Bachrach (American, founded about 1865, dissolved 1868)

Ironies of Automation

En 1983 Lisanne Bainbridge publia dans une revue d'automatique un article intitulé Ironies of Automation, ce que l'on peut traduire par : les contradictions (ironiques) de l'automatisation. Elle y développe l'idée que, plus un processus est automatisé, plus il doit être surveillé par un être humain compétent, alors même que cet humain perd sa compétence du fait de ne plus exercer le travail que réalise maintenant le système automatique. Toute ressemblance avec les promesses d'une certaine technologie à la mode ces temps-ci serait totalement fortuite.

Dans un article de 2012 intitulé The ironies of automation: still going strong at 30?, les auteurs terminent leur résumé par ce constat tout à fait d'actualité : “The more we depend on technology and push it to its limits, the more we need highly-skilled, well-trained, well-practised people to make systems resilient, acting as the last line of defence against the failures that will inevitably occur.” (Plus nous dépendons de la technologie et approchons de ses limites, plus nous avons besoin de personnes douées, bien formées et expérimentées pour faire en sorte que les systèmes soient résilients, comme dernière ligne de défense contre les pannes qui ne peuvent manquer de se produire – je traduis).

Sûreté des systèmes automatisés

En lisant l'article de L. Bainbridge 43 ans plus tard, on ne peut s'empêcher de penser que, pourtant, des processus industriels ont été automatisés complètement, qui plus est grâce au numérique. C'est le domaine des systèmes embarqués critiques, auxquels on pense relativement peu parce qu'ils fonctionnent vraiment très bien. Par exemple : le freinage automatique dans les métros, même avec conducteur ; la surveillance du cœur des centrales nucléaires qui peut déclencher un arrêt d'urgence ; les commandes de vol d'un avion de ligne ; etc. En revanche certaines promesses qu'on entendait dans les années 2000, comme celle de supprimer la colonne de direction dans les voitures (le drive-by-wire par analogie avec le fly-by-wire), n'ont jamais été réalisées, sans doute car considérées comme trop risquées.

Comment la sûreté de ces systèmes automatisés est-elle assurée ? Une partie de la réponse se trouve dans les principes de conception technique, l'autre dans le cadre de développement de ces systèmes. Côté technique, c'est le règne de la redondance, du déterminisme et de la reproductibilité. Côté cadre, la sûreté des produits repose sur des cycles de développement dédiés, de la traçabilité, des audits indépendants, une attention particulière à la maintenance, une certaine lenteur du processus complet par rapport à d'autres domaines de l'informatique. Dans l'avionique civile la norme DO-178B précise les contraintes de développement des systèmes informatiques selon une classification en cinq niveaux de criticité.

On peut se demander s'il reste un humain “dans la boucle” ? Il est clair que l'humain n'est plus dans les boucles de contrôle qui sont bien trop rapides. Pour certaines boucles le cycle complet (acquisition d'une information sur l'environnement via les capteurs, calculs, production d'une commande vers l'environnement via les actionneurs) peut ne durer que quelques centaines de millisecondes, voire moins. Quand on a décidé d'automatiser les commandes de vol d'un avion de ligne, sachant que le pilote ne pourrait pas se substituer à tous les systèmes automatiques en prenant la place de l'ordinateur “dans la boucle”, la sûreté a été assurée par les choix techniques particuliers et les contraintes qui encadrent le processus de développement. Les pilotes sont formés à la cohabitation avec des systèmes automatisés, pour reprendre la main sur certaines fonctions si le système automatique se désengage, par exemple à la suite de données capteurs non fiables.

Dès qu'on relâche un peu les contraintes sur le cadre de développement, les exigences de certification et la formation des pilotes, cela peut déboucher sur des accidents du type Boeing 737MAX. Et finalement, même si le cadre contraint est respecté, il peut subsister des accidents, malgré tout. Pour certains il semblerait que les contradictions de l'automatisation, comme définies par L. Bainbridge, se soient manifestées. On peut penser au cas du vol Rio-Paris. L'émotion qu'ils suscitent est à la hauteur du degré de confiance qu'on a acquis dans ces systèmes.

Quoi qu'il en soit, personne n'a jamais suggéré d'assurer la sûreté du système automatique de commandes de vol en développant un robot-pilote installé à la place du pilote, lui-même surveillé par un humain. La sûreté du système automatisé est assurée par : des choix techniques, un cadre de développement, la formation des humains amenés à intervenir. C'est en quelque sorte une automatisation de premier ordre. Si les solutions techniques impliquent la redondance entre un système principal et un autre système qui le surveille, c'est d'une certaine manière une surveillance horizontale.

Propositions de l'agentisation : on passe à l'ordre supérieur

Quand on utilise un LLM pour produire du code, il est conseillé de relire et contrôler cette production. C'est un travail pénible, qui demande des compétences que l'être humain va justement perdre en ne pratiquant plus la production de code. Les contradictions (ironiques) de l'automatisation sont de retour. Est-ce que les promoteurs de ces “outils” envisagent d'assurer la qualité du logiciel final grâce à la redondance et à la lenteur, voire la lourdeur, des cadres de développement ?

Force est de constater que les propositions de l'agentisation ressemblent à s'y méprendre à l'idée de développer un robot-pilote installé à la place du pilote, lui-même surveillé par un humain. Quand on signale que surveiller la production de code d'une machine est pénible et risque de ne pas pouvoir assurer la qualité, la réponse est toujours orientée vers plus d'automatisation : des revues de code automatiques, des tests automatiques, un agent IA qui inspecte le travail d'un autre agent IA, etc. Tout cela surveillé par un humain, bien sûr. Lequel est de plus en plus loin de l'activité réelle qu'il pratiquait auparavant et dont il tirait les compétences qui lui sont maintenant d'autant plus indispensables qu'il doit surveiller une armée d'agents infatigables. L'humain “dans la boucle” n'est plus censé surveiller seulement un robot-pilote, mais bientôt les robots-pilotes de toute la flotte d'une compagnie. On passe à une automatisation d'ordre supérieur. Nul doute que les contradictions de l'automatisation passent elles-mêmes au niveau supérieur. Pourtant dès 2020, les auteurices de Closing the AI accountability gap: defining an end-to-end framework for internal algorithmic auditing mentionnaient l'avionique comme source d'inspiration pour une démarche d'audit de bout en bout des systèmes d'IA.

Tout ça ressemble de plus en plus à une autre ironie, celle de cette “information” due à Onion News Network : la sortie d'une nouvelle version du jeu World of Warcraft (WoW), intitulée World of World of Warcraft. Le joueur anime un personnage qui lui-même joue au jeu WoW d'origine. Les personnes interviewées sont unanimes et enthousiastes sur le réalisme du jeu ! On les entend dire : – Here I'm gonna press Alt-Shift-7 and that's gonna make my character start scrolling through the terms-of-use agreement, and user-licence agreement (ça a l'air vraiment amusant !) – I'm gonna press my up-arrow key, and that's gonna make him press his up-arrow key, which just gonna make the character on his screen move forward across the screen – When you're staring at a computer screen, you actually believe you're in a basement staring at a computer screen, with each keystroke you just think “Oh my god! It sounds exactly like keystrokes that I know from my own personal experience of hitting keys”.

Vraiment, redisons-le, toute ressemblance avec les promesses d'une certaine technologie à la mode ces temps-ci serait totalement fortuite.

#resistIAGen

@flomaraninchi@pouet.chapril.org

image

Mlle Beaumaine, Théâtre des Variétés — about 1900 — Paul Nadar (French, 1856 – 1939)

Dans les recommandations habituelles qui fleurissent depuis quelque temps pour encadrer l'usage des IA génératives, on lit systématiquement quelque chose qui ressemble à : “ne faites jamais confiance à une IAg, contrôlez soigneusement avec d'autres sources”.

Faisons un détour par les systèmes critiques avant d'examiner les moyens de suivre ces recommandations. Nous ne traiterons pas ici de la question mais alors, pourquoi utiliser l'IAg ?, qui mériterait en soi un long développement.

Systèmes critiques : redondance de capteurs, identification des sources, probabilités de défaillance

Dans les systèmes embarqués critiques on assure la sûreté par de la redondance, en particulier la redondance matérielle des dispositifs qui permettent d'acquérir des informations sur l'environnement physique. Par exemple, si une fonction critique utilise les données d'un capteur (l'altitude ou la vitesse d'un avion, la température d'un processus chimique en cours, l'état d'un réacteur nucléaire...), il est de bon goût de prévoir au moins 2 capteurs (pas forcément du même modèle), au cas où l'un d'eux serait en panne. Un problème est détecté dès que les deux capteurs diffèrent suffisamment pendant suffisamment longtemps. Pour pouvoir déterminer quel capteur est en panne, on en met même plutôt 3, pour pouvoir voter, en faisant l'hypothèse que si deux capteurs donnent des valeurs cohérentes entre elles, mais différentes de la valeur du troisième, la probabilité est forte que le troisième soit défaillant. Parfois on met même 4 capteurs. Quoiqu'il en soit, la sûreté repose sur des sources d'informations redondantes, avec possibilité d'identifier la provenance des informations (capteur 1, capteur 2, ...) pour comparer. Par ailleurs la sûreté déclarée des systèmes qui utilisent ces capteurs repose sur une analyse des défaillances possibles. La probabilité qu'un capteur tombe en panne est trop grande pour qu'on fasse dépendre la sûreté de tout le système de cette unique source d'information. La probabilité de deux pannes simultanées est déjà plus faible, pour 4 pannes simultanées on considère que la probabilité est tombée suffisamment bas pour que le risque (qui n'est jamais nul) soit tolérable.

Comment contrôler la production des IA génératives ?

Cette analogie permet-elle de comprendre comment appliquer la recommandation “ne faites jamais confiance à une IA, contrôlez soigneusement avec d'autres sources” ? Imaginons une situation où la production de l'IAg va servir dans un processus de décision important, par exemple. Comment contrôler ? Sommes-nous vraiment dans la situation de la redondance de sources d'information, avec identification de la provenance et estimation des probabilités de défaillances simultanées ?

Si on fait une photo de l'état actuel de l'information en ligne — ou peut-être qu'il aurait fallu faire cela il y a 3 ans — on peut encore se convaincre que les productions des IA génératives peuvent être confrontées à ce qu'on trouve dans un espace informationnel non pollué, et que l'identification de provenance est encore possible.

Mais les productions des IA génératives et les informations authentiques cohabitent dans un même espace. Avec cet effet de pollution informationnelle à grande échelle engendré par un usage répandu et inconsidéré des IA génératives elles-mêmes, comment la situation évolue-t-elle ? va-t-on pouvoir encore distinguer l'authentique du généré, pour continuer à “contrôler” les productions des IAg ? Tout porte à croire que la redondance et la connaissance des sources, indispensables à la garantie de qualité de l'information sur laquelle on se base pour la suite du travail, sont menacées.

Comment contrôler ce que dit une IA générative sur un sujet, si les moteurs de recherche fournissent également des résumés faits par des IAg, qui plus est de sources elles-mêmes générées par IA ? On s'inquiète parfois de dégradation intrinsèque de la qualité due au fait que les IAg se nourrissent des productions d'autres IAg. Mais le risque principal pour l'utilisateur est de ne plus pouvoir distinguer les sources, et d'être donc dans l'incapacité d'appliquer la fameuse injonction de contrôler les productions des IAg.

#resistIAGen

@flomaraninchi@pouet.chapril.org

Il y a un an j'écrivais ça.

Depuis j'ai eu de multiples occasions d'argumenter contre des gens qui trouvent toujours un usage à ces objets.

Parler d'impacts environnementaux ?

Depuis quelque temps je me dis que les arguments sur les impacts environnementaux des IAg ne marchent pas. On nous répond souvent que c'est tout le numérique qui a des impacts environnementaux désastreux (sous-entendu : on n'est plus à ça près).

A quoi je réponds : raison de plus pour ne pas en remettre une couche alors que justement il s'agirait de réduire le numérique.

Ou alors on entend que ce n'est pas grand chose par rapport à l'aviation, l'industrie, l'agriculture, … ou autre secteur.

Argument classique, encore une fois il faut réduire de partout ; et de plus le numérique est un accélérateur de tout le reste. D'ailleurs c'est vendu comme ça. Les IAg vont paraît-il booster la productivité et donc la croissance.

On entend aussi qu'une requête ChatGPT ça ne coûte vraiment “rien” (en électricité, en eau, en CO2 ...).

Oui, c'est vrai, un mail non plus. Mais il faut regarder l'infrastructure dessous. Et il y doit bien y avoir une raison à la frénésie de construction de datacenters et au rallumage de vieilles centrales nucléaires. Et aux gains de Nvidia.

On ne peut pas se permettre l'aggravation des impacts envt du numérique due aux IAg. Point.

Les bigtech qui imposent un narratif sur le calcul des coûts à la requête, c'est un peu comme si l'industrie du tabac avait dit que tirer une bouffée d'une cigarette n'augmente le risque de maladie que de 0.00001% pour les enfants, bien moins que la junk food ou le patin à roulettes.

Parler du micro-travail abrutissant derrière l'IA

Après avoir mis les arguments sur les impacts environnementaux un peu de côté, j'ai cru un moment que le travail humain d'annotation caché derrière ces prétendues intelligences artificielles était susceptible de frapper les esprits. Mais il semblerait que non.

Savoir que des gens se sont farci des heures de contenus les plus pourris du web (au point d'être atteints de TSPT) pour entraîner un garde-fou et qu'on puisse demander à ChatGPT un résumé ou une recette de nouilles au fromage sans être soi-même confronté à ces horreurs, visiblement ça ne suffit pas à détourner du bidule. (oui, je sais, le smartphone, les mines, etc. Encore une fois : justement, arrêtons au moins d'en rajouter).

Montrer que ça ne marche même pas (ou même que ça ne peut pas marcher)

Ensuite je me suis dit : à force de parler des impacts désastreux, on en oublie de dire que ça ne marche même pas. Que fondamentalement ça ne peut pas faire ce pour quoi c'est vendu.

Les délires autour du vibe-coding ou des agents montrent que la croyance dans les capacités d'autonomie du numérique est très ancrée dans l'imaginaire. Même chez les informaticiens qui devraient quand même savoir que ces capacités sont totalement illusoires et que le numérique ça se surveille comme le lait sur le feu.

Ça rejoint un autre billet : L'imaginaire d'une infrastructure numérique auto-entretenue immuable.

Le but des IAg est ce qu'elles font

Et puis j'en suis venue à me dire que la qualité des résultats n'est pas la question centrale, qu'en fait ça marche parfaitement bien pour les gens qui les fabriquent ou les promeuvent.

J'ai lu ce matin Deflating “Hype” Won’t Save Us et c'est une argumentation impeccable de cet aspect.

Pour résumer (mais lisez tout) : “The purpose of a system is what it does” + “this is not a bug, this is a feature”.

Des alternatives éthiques/sobres/ouvertes/... ??

Reste la question de la possibilité d'existence de variantes sobres, éthiques, souveraines, ouvertes, nourries à la bonne herbe de nos prés bien français, avec autorisation des propriétaires.

Mais soyons sérieux : – Où sont les petites mains derrière les produits des IAg “éthiques” – Par quel miracle serait-il rentable de vendre une IAg sans avoir pillé la terre entière pour la construire, alors qu'OpenAI n'est toujours pas rentable ? – Pourquoi donc dans les mêmes conditions sociales et économiques ces IAg éthiques seraient-elles bonnes pour les travailleurs, alors que les autres sont un désastre ? – Pourquoi ne contribueraient-elles pas aux phénomènes de pollution informationnelle galopante déjà installés ?

Pour un usage frugal et responsable des IA génératives, vraiment ?.

Et à la fin on a droit à la tyrannie du retard, à la croyance en un mouvement autonome du “progrès” auquel il faut s'adapter…

#resistIAGen

@flomaraninchi@pouet.chapril.org

image

Walker Evans (American, 1903 – 1975), photographer — Roadside Sandwich Shop. Ponchatoula, Louisiana, 1936

Hier j'ai lu le IA génératives : le contre et le pour. Ça vaut vraiment le coup de lire cet article de Julien Falgas avant ou après pour y repérer les clichés : Comment le discours médiatique sur l’IA empêche d’envisager d’autres possibles.

Dans l'article du Blog Binaire on trouve bien sûr le désormais traditionnel argument d'inévitabilité, ici sous la forme : “Ne nous faisons pas trop d’illusions : le train est lancé et, du fait de la compétition internationale, il ne semble pas qu’on puisse l’arrêter. Mais on pourrait au moins le ralentir et en focaliser les usages sur les usages positifs.”.

Mais c'est un autre argument qui mérite qu'on y revienne : l'usage positif au service d'une prétendue démocratisation de l'expression écrite. On la trouve ici sous la forme :

“il faut rappeler que de nombreuses personnes n’arrivent pas à exprimer leurs idées, leurs sentiments, leur colère … parce qu’elles ne maîtrisent pas suffisamment la langue. Les IA génératives leur redonnent la parole. L’utilisation de ces outils pour quelqu’un d’instruit est de l’économie d’effort, voire de la paresse. Pour ceux qui n’ont pas eu la grande chance de longues études, c’est une libération.”

Que dire ? Le rappel est utile, et je suis bien d'accord. Mais qu'on puisse affirmer “Les IA génératives leur redonnent la parole”, ça me sidère.

Si l'usage de ChatGPT avait effectivement des effets de nivellement par le haut de l'usage de la langue, j'en serais vraiment ravie (en oubliant momentanément les impacts socio-environnementaux et les patrons des BigTech politiquement infréquentables).

Mais c'est une fausse promesse.

Je ne crois pas cinq minutes à cette fameuse démocratisation de la créativité, qui permettrait à des personnes peu à l'aise avec l'écriture d'en maîtriser complètement les effets grâce aux IAg. Imbriquer sa pensée et l'écriture, c'est compliqué. Maîtriser suffisamment l'écriture pour que ce soit un outil au service de la pensée et pas un obstacle en soi, c'est compliqué.

Mais on n'apprend pas à faire la cuisine en promptant son sandwich chez Subway.

Le faire croire est détestable. Quand je vois quelqu'un qui ne sait pas écrire suffisamment bien pour transmettre ce qu'il pense, précisément, profondément, j'ai envie d'essayer de le lui apprendre, pas de lui donner ChatGPT, ce qui selon moi est un excellent moyen d'assurer qu'il ne saura plus jamais comment exprimer fidèlement ce qu'il pense.

Autres arguments

A la suite du thread sur mastodon que j'ai repris ci-dessus, il y a eu plusieurs remarques qui apportent des arguments complémentaires, et des hasards de pouet-line qui résonnent très fort avec certains aspects des remarques ci-dessus.

Illettrisme

Grâce à Vincent-Xavier j'ai lu La dignité retrouvée des mots : plongée dans la France de l'illettrisme juste après avoir commenté l'article du Blog Binaire. Le paragraphe suivant m'a paru particulièrement bienvenu pour revenir sur terre face aux promesses technosolutionnistes :

“Dans une société de plus en plus numérisée, dématérialisée, automatisée, l’illettrisme devient une prison. Sans guichet. Sans humain. Souvent sans traduction possible”

L'idée que ChatGPT puisse apporter une solution à cet état de fait serait risible si ce n'était pas si triste.

Dépendance à l'outil

Corse_pia fait remarquer que l'usage de ChatGPT pour “rendre la parole” à quelqu'un qui ne maîtrise pas l'écrit supposerait que cette personne ait les moyens matériels et financiers d'accéder à ChatGPT, qui “serait toujours là quand il y en a besoin” et toujours “gratuit”. Bref, une erreur sur ce qu'est l'éducation et une discrimination sur toute la ligne.

Effectivement, même si ça marchait très bien pour “rendre la parole”, on installerait une telle dépendance, y compris financière, que ça vaudrait le coup de se demander s'il n'y a pas une autre solution (remettre des moyens dans l'éducation nationale, par exemple).

#resistIAGen

@flomaraninchi@pouet.chapril.org

Je crois qu'il serait intéressant de faire une lecture comparée de ce genre de guide et du manifeste d'objection de conscience :

Dans le guide, il est “amusant” de noter quelques petites choses, par ci par là. Par ex au paragraphe 1.1/ Recherche d’informations (cas général) on voit : “Mistral AI société FR, hébergement US”.

Mais ce qui me laisse pantoise, c'est l'affirmation absolument gratuite, sans aucune source qui permette de l'appuyer (page 12) :

“Les assistants IAG sont capables de rechercher et synthétiser des informations, à partir de requêtes formulées en langage naturel, sans que l’utilisateur ait besoin de maîtriserle vocabulaire du domaine. (...) ces outils innovants peuvent générer des réponses synthétiques et personnalisées, plutôt que de simples listes de liens. “

Pour un usage en recherche.

Depuis quand est-il normal de ne pas maîtriser le vocabulaire de son domaine de recherche ? Et si c'est pour des gens hors domaine, comment vont-ils ensuite pouvoir appliquer la recommandation de la même page :“il est indispensable de croiser les sources et vérifier les informations obtenues” ?

Où est la source qui permet d'affirmer de manière aussi péremptoire qu'une machine à faire des phrases permet de “synthétiser des informations” ?

A quel moment est-il devenu acceptable de déléguer à cette même machine à faire des phrases le travail d'examen minutieux des “simples listes de liens”, pour s'approprier à la fois leur contenu et le graphe de connexion entre les sources, qui donne une idée des frontières raisonnables d'un domaine ?

En quoi une réponse “personnalisée” a-t-elle un intérêt en recherche ? Et qu'est-ce que ça veut dire, d'ailleurs ? On n'est pas en train de choisir un carrelage pour la cuisine, là.

L'accumulation des messages de mise en garde (p 6) :

“Notez bien que l’utilisateur est seul responsable devant la loi des contenus qu’il produit à l’aide de l’IAG et du respect de la réglementation relative à ses usages.”

suivi de :

“Qualité et pertinence des résultats : les résultats générés dépendent de la performance de l’IAG et de ses données d’entrée (quantité, qualité, fraicheur, etc.). Des résultats biaisés, incomplets ou même erronés peuvent être obtenus.”

laisse perplexe.

Je crois que c'est la 1ère fois qu'on nous fait à répétition une telle pub pour des outils intrinsèquement non fiables, en nous rappelant en permanence que si une erreur en découle ce sera notre faute.

Et en faisant semblant de croire qu'un usage responsable et conscient des enjeux va permettre d'infléchir l'exponentielle des impacts environnementaux du numérique. Voir aussi Pour un usage frugal et responsable des IA génératives.

N'importe qui d'un peu conscient des enjeux et effectivement responsable ne voit qu'une solution : ne surtout pas mettre le doigt dans cet engrenage.

Un jour on complétera le manifeste d'objection de conscience par un argumentaire sur le non-sens total des arguments publicitaires dans l'#ESR et l'EN (et à plein d'autres endroits aussi).

#resistIAGen

@flomaraninchi@pouet.chapril.org

image

Les impacts environnementaux du numérique au court du temps

ALT: un diagramme des impacts environnementaux divers du numérique (ordonnée) en fonction du temps (abscisse). La courbe monte régulièrement. En 2022 elle se redresse brutalement à l'arrivée des IA génératives. Une montgolfière rouge décorée de $ y est accrochée et la tire vers le haut. A côté on voit une courbe de croissance de la demande en électricité, avec la légende “Dans le monde, la consommation d'électricité des datacenters va doubler d'ici 2026, en TWh” (note : elle doublerait aussi même si elle était exprimée dans une autre unité :–)). Sur la droite en haut on voit une image d'énorme datacenter bleu comme posé sur Manhattan, pour donner l'échelle. Cette image vient d'une communication officielle de META sur les réseaux sociaux. Sur la droite tout en bas on voit un petit bonhomme tout frêle, dessiné en vert, arc-bouté pour tenir une corde accrochée quelque part en haut de la courbe des impacts redressée, un peu en dessous de son point d'accroche à la Mongolfière. La courbe a l'air très légèrement déformée par cette traction vers le bas. Mais vraiment très légèrement. A droite de l'image, en vert aussi, on lit : Chartes pour usages responsables.

Il manque encore à cette image l'idée que le développement tous azimuts de chartes d'usages responsables, éthiques, sobres, raisonnables, etc., contribue aux courants d'air qui font monter la montgolfière.

#resistIAGen

(Image évidemment faite à la main avec minutie – ou presque – par un être humain certifié authentique).

@flomaraninchi@pouet.chapril.org

#resistIAGen

image

Louis Fleckenstein (American, 1866 – 1943), photographer Sculpture of Thinking Woman, 1895–1943 The J. Paul Getty Museum, Los Angeles, 85.XM.28.1065

Il y a quelque temps déjà que je grince des dents en voyant passer ici ou là un article, une tribune ou une pétition qui, tout en dénonçant une oppression, une injustice ou un manque d'égalité d'une manière qui me touche et me convainc, détruit son propre message en choisissant une illustration générée par IA. Parfois ce n'est même pas signalé, mais soit les artistes se sont donné le mot pour représenter des personnages à 6 doigts partout, soit ce critère reste un bon détecteur.

Cela aurait pu arriver à une autre occasion, un peu plus tôt, un peu plus tard[^1] mais il se trouve que mon énervement croissant déclenche aujourd'hui l'écriture de ce billet, à l'occasion d'une tribune de l'association Femmes&Sciences : Cessez de parler « d’autocensure ». Admirez la main à 6 doigts, un pouce de chaque côté. Je n'arrive pas à imaginer quel prompt il faut donner à une IA générative d'image (laquelle, d'ailleurs ?) pour obtenir ce visuel particulièrement inepte. Pour avoir une idée de mon état d'esprit relatif au déferlement des IA génératives partout et au forcing des bigtech pour nous en faire manger à tous les repas, dites-vous que c'est environ cent fois plus énervé qu'en février dernier.

Dans le cas précis de la tribune publiée sur le site de Femmes&Sciences, à ceux (et celles) qui ne comprennent pas mon énervement croissant, j'essaie d'expliquer qu'entre autres dégâts socio-environnementaux avérés, les IA génératives ont un énorme problème de justification et de reproduction des biais et des discriminations. Comme l'écrivent Emily Bender et Alex Hanna dans leur excellent livre The AI Con, how to fight big tech's hype and create the future we want (page 36) : “General intelligence is not something that can be measured, but the force of such a promise has been used to justify racial, gender, and class inequality for more than a century” (“l'intelligence générale n'est pas mesurable, mais la force de la promesse a servi à justifier les inégalités raciales, de genre et de classe depuis plus d'un siècle”). Dans l'article précurseur “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”, on lit : “Biases can be encoded in ways (...) subtle patterns like referring to women doctors as if doctor itself entails not-woman (...)” (“les biais peuvent être codés (...) schémas subtils dont le fait de parler de “femmes docteurs”, comme si “docteur” seul impliquait nécessairement non femme (...)“. Notons qu'en français on tombe ici dans le problème de la féminisation des noms de métiers).

Nous avons donc une association “Femmes&sciences”, qui milite en particulier pour la place des femmes dans les disciplines scientifiques peu féminisées, publiant une tribune très bienvenue pour combattre l'idée que le problème vient de l'autocensure des femmes. Même si on est d'accord avec le diagnostic de la tribune, comment ne pas voir une énorme incohérence entre le fond et la forme ? Comment ne pas grincer des dents en découvrant une image produite par une famille d'outils qui, lorsqu'il s'agit de textes, génèrent l'expression “female doctors” comme s'il était totalement inimaginable que “doctors” désigne des femmes ? Une famille d'outils qui génère des histoires pleines de médecins nécessairement masculins et d'infirmières nécessairement féminines (Cf. Gender Representation of Health Care Professionals in Large Language Model–Generated Stories) ?

Complétons le titre de la tribune “Cessez de parler « d’autocensure » : ce ne sont pas les femmes qui se taisent, ce sont les structures qui les réduisent au silence” en ajoutant : “Et les outils qui reproduisent les biais de ces structures”.

Chères luttes contre toutes les discriminations et injustices, prises une par une ou dans une perspective intersectionnelle, merci de ne pas utiliser des outils qui reproduisent et amplifient ces mêmes discriminations et injustices que vous dénoncez à juste titre, outils qui sont aussi les derniers avatars d'une longue suite de promesses sur une prétendue intelligence artificielle ayant servi à justifier toutes ces oppressions et injustices depuis plus d'un siècle.

[^1]: Les autres luttes contre les discriminations qui affichent leur incohérence en utilisant des images générées par IA se reconnaîtront sans peine dans la critique ci-dessous.

Édit le 8 février 2026 : on me signale un autre cas tout à fait digne de celui que je racontais ci-dessus. Jugez vous-même : Programme Femmes et filles de sciences : l'ENS s'engage pour la mixité dans les sciences.

@flomaraninchi@pouet.chapril.org

#resistIAGen

image

B. L. Singley (American, 1864 – 1938), photographer “Sew on your own buttons, I'm going for a ride.”, 1896 The J. Paul Getty Museum, Los Angeles

En informatique on parle d'intégration “seamless” ou “sans couture” en français, pour qualifier des situations où plusieurs services sont intégrés de manière à ce que le passage de l'un à l'autre soit extrêmement fluide, et idéalement invisible pour un utilisateur.

Considérons un environnement de gestion d'images qui propose des outils de manipulation simples des images individuelles. Si l'on a un répertoire plein de photos, on peut lancer séparément (1) cet outil de visualisation pour répérer des photos à monter en panorama (on note les numéros sur un bout de papier) ; (2) un autre outil de création de panorama dans lequel on importe les photos choisies (en se référant au bout de papier). Si l'environnement de gestion d'images propose lui-même de sélectionner les photos, de lancer la création de panorama pour nous, et de ré-importer l'image produite, on court-circuite le bout de papier d'échange d'informations entre outils.

Une application pour usager des transports en commun peut intégrer des outils de type cartographie de lignes, recherche d'itinéraires, paiement, etc. L'intégration va au-delà du point d'entrée unique : on peut avoir des liens entre fonctions, comme un bouton “acheter un billet” qui apparaît dans les résultats de recherche d'itinéraire, pour qu'on ne soit pas obligé de remonter au point d'entrée de l'application pour repartir dans une branche différente (en ayant besoin de se souvenir de ce qu'on a trouvé dans la recherche d'itinéraire, ou en l'ayant noté sur un bout de papier).

Les outils parfaitement intégrés facilitent la vie des utilisateurs, bien sûr, et font “gagner du temps”. Ils font aussi gagner de l'argent aux sites commerciaux. Amazon est le champion toutes catégories de la navigation fluide et des interfaces dans lesquelles aucun obstacle n'apparaît jamais à une décision d'achat intempestive et souvent fugace. SNCF Connect est un exemple à l'autre extrémité du spectre. Comprendre les liens entre l'appli SNCF Connect, l'appli de suivi du trafic, TGV pro qui existe encore sur certaines plateformes, etc., demande de longues études et une concentration sans faille.

L'intégration sans couture a aussi un effet sur la compréhension des choses. Quand on saute d'un outil à un autre sans se rendre compte des frontières grâce à cette absence de coutures, on perd la notion des flux d'informations sous-jacents, et la frontière entre retouche simple et création de panorama s'estompe. Cette perte de compréhension n'est pas nécessairement un mal en soi. Il est normal que l'on puisse se servir d'une voiture sans connaître le principe des moteurs à explosion. Le numérique est un outil comme un autre, il n'y a pas de raison particulière d'exiger que les utilisateurs le comprennent mieux que d'autres outils.

L'arrivée des IA génératives, en particulier pour le texte, s'inscrit pleinement dans cette situation de gommage des frontières, de masquage des flux d'informations, et de perte de compréhension des choses. Si le même outil, avec le même point d'entrée unique, permet de réaliser à la fois la correction orthographique ou grammaticale plus ou moins contextuelle, et des tâches de réécriture, on perd la notion de frontière entre correction et écriture à notre place. De même dans les outils d'édition courants pour la programmation (les “IDE” pour integrated Development Environment), la frontière devient floue entre proposition de complétion des noms de fonctions disponibles, corrections locales contextuelles, et carrément suggestion de forme de code ou même d'algorithme.

Rendez-nous les coutures ! Parfois il serait plus sain de choisir soi-même le bon outil au bon moment. En tout cas on aimerait avoir le choix.

Si l'on utilise un outil de type IA générative pour tout, y compris de la simple correction orthographique, c'est bien cher (en impacts socio-environnementaux, et peut-être bientôt en tarif d'abonnement) pour une fonction qui existe déjà dans des outils dédiés, certains même libres et gratuits. Avoir un correcteur intégré dans son outil d'édition de texte est déjà une forme d'intégration sans couture bien pratique. Mais s'il s'agit de générer des textes à partir de pas grand chose, forçons-nous[^1] à sortir de cet environnement et à lancer sciemment un autre outil, pour être bien conscients qu'il s'agit d'autre chose, entièrement.

Dans l'enseignement de l'algorithmique et de la programmation, le gommage des frontières entre correction locale et suggestion de code est particulièrement néfaste. Pour un étudiant, aller récupérer sans trop réfléchir des bouts de code directement sur StackOverflow pour les coller dans son projet, ça avait l'avantage de permettre de rester conscient de ces “emprunts” et du fait qu'on n'avait pas vraiment fait le travail demandé. Si l'équivalent de ces emprunts vient tout seul à soi, dans son outil d'édition de code, comme prolongation naturelle des fonctions de suggestion et correction locale, il va devenir difficile de savoir quand on a fait le travail nécessaire à l'apprentissage.

Encore une fois, rendez-nous les coutures ! S'il est normal de pouvoir conduire sans comprendre le principe du moteur à explosion, on aimerait quand même que la voiture ne passe pas en mode auto-pilot sans prévenir. Surtout si l'auto-pilot conduit mal.

[^1]: Je dis “forçons-nous” en m'incluant dans cette injonction, mais je n'utilise toujours pas ChatGPT.

@flomaraninchi@pouet.chapril.org

#resistIAGen

Dans le dernier billet de l'excellent David Gerard “Generative AI runs on gambling addiction — just one more prompt, bro!“, on lit l'histoire de ce programmeur qui essaie tant bien que mal de faire produire par une IA générative le code qu'il veut :

“For a good 12 hours, over the course of 1 ½ days, I tried to prompt it such that it yields what we needed. Eventually, I noticed that my prompts converged more and more to be almost the code I wanted. After still not getting a working result, I ended up implementing it myself in less than 30 minutes.”

Ça me fait irrésistiblement penser à ces moments où l'on passe l'aspirateur, et il y a un bout de papier à moitié coincé entre les lattes du parquet, qui résiste obstinément à l'aspiration. On se baisse pour le détacher et le présenter correctement devant le tuyau, on se relève et on essaie de l'aspirer, mais il se dérobe de nouveau. On se rebaisse pour le poser autrement et puis on se relève et on approche subrepticement le tuyau mais, las! décidément, il ne se laisse pas aspirer ! En désespoir de cause on se baisse une dernière fois, et puisqu'on a ce damné papier dans la main, on pense enfin à le mettre directement à la poubelle.

@flomaraninchi@pouet.chapril.org