L’intelligence artificielle au gouvernement ?

Pourrions-nous accepter de laisser une intelligence artificielle (IA) nous gouverner ? La question a été posée fin 2019 dans le cadre d’un projet Arts & Sciences de l’université de Bordeaux, en partenariat avec la compagnie Primesautier Théâtre, à l’occasion d’un faux procès public1. Il est fondé sur la fiction suivante : La Macropole, nous sommes en 2050. Le scandale éclate lorsque l’on découvre que ce qui nous gouverne depuis trois ans n’est pas un humain, mais une intelligence artificielle, dissimulée dans une enveloppe humaine ! Et pourtant, son bilan est plus que prodigieux. Tout allait merveilleusement bien depuis son élection à la tête de la Macropole : plus de pollution ni de bouchons et encore moins de pauvreté, du travail et de la santé pour toutes et tous et une douceur de vivre unanimement partagée. Que doit-on faire ? Débrancher l’IA ou se laisser gouverner par une intelligence artificielle ?

L’œuvre de l’humain, la part de l’IA, les quelque 250 citoyens réunis en jury populaire ont dû se prononcer sur le maintien, ou non, de l’IA aux manettes. Cette expérience était le prétexte à un exercice de médiation scientifique qui a permis de croiser les regards disciplinaires sur les questions éthiques et techniques associées au développement de l’IA dans nos sociétés2. Les enjeux que la question soulève sont loin d’être éteints, peut-être encore moins en période de crise sanitaire. Que signifierait une gouvernance par une intelligence artificielle ?

La notion d’intelligence est première : elle pourrait être constituée par la capacité à utiliser une expérience passée pour s’adapter à une situation nouvelle. Étymologiquement, elle réside dans la possibilité de faire un choix. Grâce au développement des vitesses de calcul et de traitement de l’outil informatique, et au perfectionnement des algorithmes, une intelligence autre qu’humaine ou animale est désormais capable de faire des choix. Les intelligences artificielles ont d’ailleurs déjà dépassé les humains dans de nombreux domaines (les jeux comme les échecs, le go et le poker, la reconnaissance de motifs informationnels ou encore la catégorisation de données). Il s’agit encore quasi exclusivement d’intelligences artificielles « faibles », c’est-à-dire se concentrant uniquement sur l’une de ces tâches. Mais la possibilité d’IA « fortes », autrement dit capables d’une intelligence générale, n’est désormais plus à exclure. Depuis les années 2010, l’IA est composée de multiples modules connectés, à l’image du cerveau humain, lui permettant de pratiquer une forme d’apprentissage à partir d’une quantité substantielle de données3. L’IA sort ainsi – en partie au moins – du domaine de la science-fiction4. De là à surpasser l’humain, aujourd’hui, le constat est clair : parmi toutes les aptitudes cognitives humaines, il n’y en a qu’une poignée que l’on commence à savoir reproduire artificiellement. Le défaut de capacité d’adaptation fait qu’il est possible pour une IA de nous être « supérieure », mais seulement dans des domaines spécialisés. Et demain ?

L’irruption de l’IA dans nos vies est déjà bien réelle (nos téléphones, nos objets connectés et, dans une certaine mesure, l’origine ou l’application de certaines décisions politiques). Pour autant, pourrions-nous accepter de laisser une intelligence artificielle nous gouverner ? Entre neurosciences, droit, philosophie, sciences cognitives et littéraires, quelles sont les principales connaissances qui peuvent être mobilisées « à charge » et « à décharge » d’une gouvernance par une intelligence artificielle ? 

La fable du bonheur

Le fonctionnement de l’apprentissage machine se trouve dans l’accumulation de données5. Pour pouvoir être efficace, la machine doit être confrontée au maximum de données, dans lesquelles son réseau artificiel de neurones va puiser pour dessiner des schémas, étudier les ressemblances et les dissemblances, à une très large échelle mais de manière aussi précise que possible.

Lorsqu’il s’agit de gouvernance d’une population, l’IA peut certes être nourrie de l’ensemble des données préexistantes constituées par des décennies de décisions politiques, mais elle doit surtout pouvoir accéder à l’ensemble des informations nécessaires à la prise de la décision, c’est-à-dire aux données personnelles des habitants de l’espace politique. Les données utilisées par l’IA, à la fois lorsqu’elle est en phase d’apprentissage et lorsqu’elle exécute effectivement ses décisions, sont nécessairement celles produites par la cité. Il pourrait suivre d’une telle utilisation massive de ces informations une forme de surveillance généralisée6, « bienveillante ». Pour permettre à l’IA de prendre la meilleure décision possible, il faut qu’elle ait accès au plus d’informations disponibles, sans tenir réellement compte des libertés fondamentales essentielles, dont fait partie le respect de la vie privée. Elle aura, par exemple, nécessairement besoin des informations sur la consommation électrique des ménages, leurs horaires de présence dans leur habitation, les modes de transports utilisés, les différentes activités professionnelles et de loisirs conduits dans la ville, et même d’informations plus subjectives encore, comme le moral des individus ou leur conduite dans le cadre familial. Déjà, le respect de la vie privée tend à être congédiée, reléguée au rang d’un droit formaliste et individualiste, qui peut céder face aux enjeux sécuritaires et sanitaires.

Ces données présentent également le risque d’être biaisées. Par exemple, pour rendre un jugement, une IA doit disposer de décisions passées. Si ces exemples sont biaisés contre une certaine catégorie de population comme les classes les plus pauvres, alors la machine fera la corrélation qu’être pauvre induit le fait d’être coupable7.

Ensuite, qu’en est-il de la transparence du processus décisionnel ? Pour ce type d’algorithme, « apprendre » consiste à ajuster ses paramètres internes pour établir des corrélations entre les variables qu’il reçoit (en entrée) afin de prédire au mieux les valeurs (en sortie). Une fois qu’il a « appris », il est en principe capable de classifier correctement des occurrences qu’il n’a jamais vues, c’est-à-dire de séparer les « bonnes » des « mauvaises » décisions. Le problème est alors qu’il est, par construction, incapable de dire ce qu’il a précisément vu dans les données, de révéler la chaîne des causalités opérées. Ce sont des boîtes noires qui privent les citoyens d’un levier démocratique sur la détermination de leur propre avenir. En renonçant à comprendre les raisons des décisions qui sont prises, nous faisons de l’IA une forme supérieure d’intelligence qui nous dépasse et que nous ne pouvons pas comprendre, mais à qui nous faisons confiance par principe. L’idée n’est pas si éloignée de la confiance accordée par les Antiques aux prédictions des oracles.

Qu’en est-il, par ailleurs, de la responsabilité de telles décisions ? Une IA ne peut pas faire face à ses électeurs, pas plus qu’elle ne peut être condamnée devant un tribunal. S’il est possible de rechercher la responsabilité de ses concepteurs, c’est au prix de certains arrangements avec les conceptions classiques, essentiellement fondées sur la théorie du libre arbitre de l’individu8.

Enfin, quel serait le but d’une telle utilisation « décisionnelle » de l’intelligence artificielle ? Garantir le bonheur humain, parvenir à maximiser la réussite de politiques publiques au service du bonheur de chacune et de chacun, en évitant la prise de mauvaises décisions, intrinsèque au décideur humain ? L’IA peut effectivement prendre la décision la plus fondée quantitativement. Pour autant, un monde dans lequel une IA parviendrait à créer et maintenir, dans la durée, une société heureuse semble difficilement possible. Pourrait-on imaginer qu’une IA réussirait ce qu’apparemment nous aurions échoué à faire pendant des milliers d’années ? D’ailleurs, qu’entend-on même par une société heureuse ? Quels en sont les critères, comment les définir et mesurer leur « efficacité » ? Quand bien même, comment l’IA connaîtrait ces critères ? Pourrait-elle les identifier dans la masse quasi infinie des données humaines ? Elle aurait alors fini par percer à jour le secret du bonheur collectif et le sens de la vie. Cela semble impensable, sauf à admettre que le bonheur soit algorithmique.

L’existence d’une telle IA engendrerait en outre une forte comparaison sociale. Imaginons qu’une autre IA, plus puissante, plus intelligente que celle qui gouverne une ville donnée parvienne à créer, dans une autre ville, une société encore plus heureuse. Par comparaison, les habitants de la première ville se sentiraient alors moins heureux, ce qui ferait naître chez eux de nouvelles attentes et donc de nouvelles frustrations. Le monde que nous propose une gouvernance par l’intelligence artificielle ressemble en tout cas bien davantage à une fable du bonheur qu’à une véritable recette pour y parvenir.

Une même boîte noire

L’IA est une boîte noire, et alors ? L’être humain a aussi sa boîte noire : son cerveau. Quand on demande à une personne pourquoi il ou elle a pris telle décision dans tel contexte, il ou elle est capable de fournir une réponse argumentée, généralement en fournissant les raisons de sa décision9. Pourtant, on pourrait s’interroger sur le fait que les niveaux computationnels et neurobiologiques jouent un rôle crucial dans la décision prise. Le problème est que l’auteur d’une décision n’a pas accès à ces niveaux, qui lui sont opaques. Il n’a pas un œil intérieur lui permettant de visualiser en temps réel les événements et processus neuronaux qui vont déboucher à sa prise de décision. Si un individu était amené à gouverner, un manque de transparence comparable à celui évoqué au sujet de l’IA se produirait, sans qu’il pose pour autant problème. Notre peur de ne pas savoir comment l’IA prend ses décisions, même si nous les jugeons bonnes, serait ainsi peut-être due en grande partie à un préjugé constitué par la peur de ce qui nous échappe.

Plus encore, qu’est-ce qui différencie le rôle de l’expertise dans les décisions de politique publique de celui que pourrait jouer une IA ? On assiste en effet depuis quelques années au développement de la logique néolibérale : l’intelligence collective est congédiée au profit d’un gouvernement des experts10. L’expert, qu’il soit sécuritaire, sanitaire ou scientifique, connaît. Il est donc source d’une décision imposée à l’intelligence collective. Cela, nous le vivons déjà. Cette logique peut bien sûr être contestée, mais pourquoi s’opposer de manière massive à l’IA, quand le gouvernement néolibéral des experts ne soulève que peu d’interrogations ?

D’ailleurs, l’IA n’est pas un phénomène naturel qui s’imposerait à nous, mais un outil informatique comme les autres. Elle doit donc être conçue en réponse à des besoins explicites et fournir tous les éléments nécessaires à leur compréhension et à leur utilisation. Informatique et IA sont des moyens, pas des finalités.

Doit-on accepter de laisser une intelligence artificielle nous gouverner ? À la majorité des deux tiers, le jury populaire réuni à Bordeaux le 20 novembre 2019 a décidé de débrancher l’IA. Nous laisserons ici le lecteur se forger sa propre réponse.

***

Toute la problématique ici esquissée tourne autour du remplacement de Sapiens par une ou des IA. On remplace certaines activités, fonctions ou comportements intelligents par des IA spécialisées. Ces petits remplacements se multiplient. Face à eux, on peut se sentir partagé entre le confort ainsi produit et l’inquiétude qu’ils finissent par nous mettre au chômage. Pour l’heure, personne ne peut dire si et quand la Singularité, ce moment unique d’une évolution autonome et accélérée où l’IA surpasserait l’humain en intelligence et prendrait en main son propre destin ainsi que le nôtre, aura lieu. Nombreux sont ceux qui pensent qu’elle relève du pur fantasme et qu’il faut ignorer sa possibilité. D’autres croient au contraire que c’est une vraie possibilité et qu’il faut d’ores et déjà faire de l’IA tout en nous prémunissant de sa survenue potentielle. Enfin, d’aucuns émettent l’hypothèse que le fantasme qu’elle constitue est ourdie intentionnellement pour rendre la « data-fication » plus acceptable et l’accélérer. Sa crainte serait un moyen d’inciter les gens à accepter de sacrifier leur vie privée : pour se prémunir du risque de la Singularité, il faudrait tout surveiller et tout numériser.

Le procès, ouvert à toute personne souhaitant participer au jury populaire, se tiendra à nouveau le 1^er octobre 2021 à Bordeaux dans le cadre de la fête de la science.

• 1. Toutes les informations sur le projet, ainsi que la fiction et la vidéo du procès (montage par l’université Bordeaux Montaigne), sont à retrouver ici. L’exercice de médiation scientifique (le « faux procès ») s’est tenu dans le cadre de l’édition 2019 du Festival Facts. Les épisodes du procès sont diffusés sur ActuSF. 
• 2. Le projet, coordonné par Marie Coris, chercheure, et Antoine Wellens, metteur en scène et auteur, a réuni une quinzaine de chercheurs issus de nombreuses disciplines (droit, économie, neurosciences, philosophie, sciences cognitives, informatique, littérature, robotique, physiologie) : Serge Ahmed, Frédéric Alexandre, Thomas Boraud, Cédric Brun, Sarah Cherqaoui, Pierre Dos Santos, Thipaine Dourges, Olivier Ly, Yoann Nabat, Alain Piveteau, Emmanuel Petit, Aude Rétailleau, Nicolas Rougier, Nicolas Roussel, Natacha Vas-Deyres.
• 3. Pour un état des connaissances et des pratiques relatives à l’IA, voir notamment Jean-Gabriel Ganascia, Le Mythe de la singularité : faut-il craindre l’intelligence artificielle ?, Paris, Seuil, 2017. Sur le développement de l’IA, voir la vidéo Démystifier l’intelligence artificielle de Nicolas Rougier (INRIA).
• 4. Voir Marie Coris, Natacha Vas-Deyres et Nicolas P. Rougier, « Intelligence artificielle : entre science et fiction » [en ligne], The Conversation, 20 novembre 2020. Voir aussi Natacha Vas-Deyres, « La science-fiction, une machine à écrire les futurs », Nouvelle revue pédagogique, n° 647, mars 2016.
• 5. Voir Frédéric Alexandre, « Mon cerveau et ses biais dans la prise de décision » [en ligne], Binaire, 23 avril 2021.
• 6. Shoshana Zuboff, L’âge du capitalisme de surveillance, trad. par Bee Formentelli et Anne-Sylvie Homassel, Paris, Zulma, 2020.
• 7. Le documentaire Coded Bias (2020) de Shalini Kantayya évoque ces difficultés, en mettant en lumière des contributions de nombreux chercheurs dont Cathy O’Neil (voir son Algorithmes. La bombe à retardement, trad. par Sébastien Marty, préface de Cédric Villani, Paris, Les Arènes, 2018).
• 8. Voir Grégoire Chamayou, Théorie du drone, Paris, La fabrique, 2013.
• 9. Voir Thomas Boraud, Matière à décision, Paris, CNRS Éditions, 2015.
• 10. Voir Barbara Stiegler, « Il faut s’adapter ». Sur un nouvel impératif politique, Paris, Gallimard, 2019.