« Encore la faute de qui on sait ». Prévenir le racisme en ligne

La haine en ligne est souvent abordée comme un phénomène individuel. On pense au commentaire rageur d’un internaute complotiste, antisémite ou raciste, adossé à une publication Facebook : « encore la faute de qui on sait », « ce ne sont pas des gens comme nous », « la violence, chez eux, c’est maladif »… Ces discours ne seraient que des manifestations, au sein d’un espace numérique, de dispositions personnelles à la haine contre les Juifs, les musulmans, les Tsiganes ou les personnes racisées.

Une telle approche, traitant les énoncés haineux indépendamment les uns des autres, néglige le facteur social de la haine en ligne, son pouvoir fédérateur, et manque la caractéristique la plus importante des espaces numériques : les individus qui s’expriment sur le web ne sont jamais des monades isolées, mais se relient les uns aux autres à travers ce qu’ils publient. Car au sein des espaces numériques, tous les échanges et toutes les sociabilités sont médiés par des contenus textuels et sonores, ou par des images. Les discours haineux gagnent ainsi à être contextualisés et rapportés à l’essence grégaire des espaces numériques.

Le pouvoir fédérateur des discours haineux

Pensons par exemple à la manière dont, sur le web, certaines communautés d’extrême droite ont développé tout un lexique propre pour déverser leur haine à l’insu des autres internautes : les prétendues « élites juives manipulatrices », qui constituent un énoncé antisémite, seront désignées par l’expression « dragons célestes », beaucoup plus cryptique. Les jeunes hommes noirs ou maghrébins, principales cibles de racisme dans les espaces numériques français, seront qualifiés par antiphrase de « Suédois », ou de « chances pour la France ». Tout ce lexique énigmatique est destiné à être partagé, à circuler, parce qu’il introduit une distinction forte entre les internautes capables de le comprendre et ceux qui en sont incapables. Chacune des grandes figures de l’extrême droite en ligne de ces dix dernières années, que l’on pense à Alain Soral, à Dieudonné, au Raptor Dissident, à Papacito ou à La Menace, a construit son propre répertoire d’expressions-signatures, destinées à fédérer des communautés de discours qui, en ligne, deviennent de véritables sous-groupes sociaux. Plus récemment, les influenceurs masculinistes auxquels de plus en plus de travaux sont consacrés, n’ont fait qu’enrichir ces répertoires d’expressions détournées – « redpill », « sigma », « tana », « doro » – qui renvoient toutes à une idéologie justifiant la domination masculine, assortie, selon les courants, de préjugés racistes ou conspirationnistes.

Ces communautés sont très largement apparentées à l’extrême droite. Une enquête collective à laquelle j’ai participé a permis d’évaluer le pourcentage de commentaires haineux sur la plateforme YouTube, mais aussi les sous-espaces où ils se concentrent1. Pour cela, nous avons construit deux outils de détection algorithmique des discours litigieux : un détecteur d’énoncés antisémites et un détecteur d’énoncés islamophobes. Ce travail de détection puis de cartographie a révélé que les énoncés antisémites et islamophobes sont largement surreprésentés dans les territoires de YouTube apparentés à l’extrême droite : on les trouve préférentiellement dans les zones de commentaires de vidéos d’influenceurs masculinistes, de partis d’extrême droite et de médias réactionnaires, bien davantage que dans les territoires de YouTube associés à la gauche et à l’extrême gauche.

Je propose de définir comme des « balises » les nombreuses références autour desquelles les discours de haine sont construits. Lorsqu’un internaute mobilise certains termes, comme « national-sioniste », « opposition contrôlée » ou « tana », celui-ci s’exprime dans une langue vernaculaire, faisant usage de termes d’abord faits pour être vus ; les fameuses balises. Partant, il signale ses convictions personnelles aux autres internautes capables de reconnaître ces balises, tout en contournant les dispositifs de modération des discours numériques. Publiées « à bon entendeur », les balises sont des éléments de langage renvoyant à un discours plus global, à toute une vision du monde antisémite, raciste ou misogyne.… Ces mots et expressions, qui semblent dénués de jugement péjoratif pour le grand public, relèvent en vérité d’un langage d’initiés : dans des espaces sociaux comme les espaces numériques, au sein desquels les liens communautaires ne sont médiés que par le langage écrit, les balises soutiennent les affinités, tout en déjouant les dispositifs automatisés de modération.

Faire mal, ensemble

Même si l’écriture d’un commentaire en ligne est une intervention langagière, elle n’en est pas moins un acte : celui de publier un contenu. C’est autour de cette complémentarité entre dire et faire, entre le message et son acte de publication, que l’enjeu de la haine en ligne doit être repositionné. Ce faisant, on aborde derrière les discours haineux la question de leur performativité : au-delà de ce qu’ils disent, qu’est-ce que font ces discours ? En l’espèce, peuvent-ils faire mal ?

Judith Butler a ouvert ce débat il y a plus de vingt ans dans Le Pouvoir des mots. Discours de haine et politiques du performatif2, en s’appuyant notamment sur les travaux de Catharine MacKinnon sur la pornographie, qui considèrent les vidéos X comme performatives en ce qu’elles montrent des rapports de domination masculine, les illustrant d’une façon paradigmatique et particulièrement crue3. Partant, chacune de ces vidéos ratifie un état des rapports hommes-femmes, dans lequel l’homme jouit d’un ascendant radical. La pornographie participe ainsi de l’entretien d’une situation de domination et, agissant sur les représentations, agit sur le monde.

Cet argument est-il transposable aux discours de haine, permettant de justifier leur performativité ? Judith Butler répond par la négative, se questionnant non plus sur la nature du message – le film pornographique, le discours de haine –, mais sur la subjectivité de son énonciateur. Peut-on qualifier celui qui profère un discours de haine de « sujet » parlant ? Parle-t-il vraiment en son nom, quand les discours de haine sont construits sur des stéréotypes, des tropes, actualisés par des personnes influentes ? Comme l’écrit Butler, les discours haineux sont tout entiers « citationnels ». En analysant un grand nombre d’énoncés racistes, antisémites ou islamophobes publiés, la pauvreté de ces discours apparaît. Outre leur caractère impersonnel et citationnel, ils s’avèrent souvent dysorthographiques, mal construits, grevés par des ruptures logiques et des argumentaires bancals. Ils ressemblent à un bricolage de références, à une combinaison d’éléments disparates, extraits des vidéos de Dieudonné, de Papacito, ou de théories conspirationnistes éculées.

Plus que des agressions et plus que des affects négatifs isolés, ceux-ci participent à la structuration de communautés contre-démocratiques.

Dès lors, l’argument de Judith Butler se trouve redoublé : quel sujet s’exprime véritablement ici ? N’a-t-on pas affaire à une répétition qui n’est portée ou assumée par aucune subjectivité ? Il ne s’agit pas de nier la violence de ces discours, mais de rappeler leur faiblesse intrinsèque, leur pauvreté, afin de mieux comprendre ce que l’on combat lorsqu’on lutte contre les discours de haine. Plus que des agressions, qui ne doivent évidemment être ni négligées ni passées sous silence, et plus que des affects négatifs isolés, ceux-ci participent à la structuration de communautés contre-démocratiques. Ces dernières détournent les capacités offertes par les technologies numériques pour fracturer l’espace public et le priver de sa capacité de partage et de discussion.

Un problème de taille

Pour plusieurs raisons, les dispositifs légaux qui régulent les discours dans l’espace public sont mal ajustés aux formes d’expression qui se sont fait jour sur les plateformes numériques. En particulier, les lois les plus importantes qui condamnent le racisme ou l’antisémitisme – les lois Pleven, Gayssot ou Taubira, promulguées respectivement en 1972, 1990 et 2001 – n’apparaissent pas vraiment adaptées pour poursuivre des discours de haine en ligne, qui prennent souvent des formes atténuées ou détournées ; on pense à l’insinuation « encore la faute de qui on sait ». Peut-on imaginer que ces énoncés, indéniablement haineux et problématiques, mais souvent publiés sans réelle réflexion préalable et si fréquents sur le web, puissent systématiquement faire l’objet de poursuites judiciaires ?

À ce premier désajustement, relatif à la phraséologie des discours de haine et à leur grammaire, s’ajoute un second, qui concerne les moyens humains mis en œuvre pour surveiller l’expression des internautes sur le web et sanctionner leurs abus. On le sait, les nouvelles technologies de l’information et de la communication ont « élargi » l’espace public, selon l’expression du chercheur Dominique Cardon, diminuant considérablement les ressources nécessaires pour produire un énoncé visible par tous, comme le sont la plupart des énoncés en ligne. Si la capacité d’intervention dans un débat public était autrefois le privilège des journalistes, des personnalités politiques, des lobbyistes ou des stars du show-biz, n’importe qui peut, aujourd’hui, produire un texte, un podcast, une vidéo, susceptible d’être partagé par des millions d’internautes, et lu, vu, entendu autant de fois. Partant, le web apparaît comme un océan de contenus, ses régulateurs n’ayant jamais assez d’yeux pour le surveiller de fond en comble. Rien que sur la plateforme YouTube, cinq cents heures de vidéo sont ajoutées chaque minute4.

Sur cette même plateforme, notre équipe de recherche a estimé en 2021 qu’environ 0, 6 % des commentaires publiés étaient susceptibles d’abriter une parole antisémite5. Cette proportion semble faible ; mais si on la rapporte à la masse de contenus présents en ligne, le nombre d’énoncés haineux qui polluent les espaces numériques devient vraiment conséquent. Est-il alors raisonnable de penser que des équipes de modérateurs, chargés de surveiller les contenus publiés sur le web, des officiers de police et des magistrats puissent ensemble signaler, arrêter, juger tous les auteurs de haine en ligne ?

La fausse piste des algorithmes

Au contraire, il semble que les moyens humains ne seront jamais suffisants devant l’ampleur du contentieux. Pour faire face à cette difficulté, il a été proposé, dans deux lois spécifiques au traitement de la haine en ligne, de faire reposer la modération des contenus litigieux sur les internautes et sur les plateformes : la loi allemande NetzDG de 2017 et la loi Avia de 2020 précisent ainsi que c’est à Facebook, Twitter ou Instagram d’examiner les contenus signalés par les internautes, en les mettant à l’épreuve de leurs chartes de modération et de les supprimer le cas échéant. Mais ces solutions ne se sont pas non plus avérées satisfaisantes : les principales dispositions de la loi Avia ont très vite été retoquées par le Conseil constitutionnel, et la Commission européenne a évalué en 2022 que les entreprises du numérique ne parvenaient pas à gérer efficacement tous les signalements des internautes6.

Pourquoi, alors, ne pas confier la tâche de modération à des algorithmes chargés de moissonner automatiquement tous les contenus publiés en ligne afin d’évaluer leur conformité avec certains principes moraux ? À l’instar de Detoxify, ou de Perspective API, il existe de nombreux algorithmes capables d’affecter à un énoncé une probabilité d’être obscène, insultant ou dégradant. Ces outils, qui pour les plus récents peuvent même saisir des formes d’ironie, tombent cependant sous le coup des critiques les plus classiquement adressées à la prise de décision algorithmique, critiques qui sont à la fois d’ordre moral et d’ordre technique. D’abord, leur fonctionnement est opaque, et il ne semble pas souhaitable, en démocratie, que les limites de la liberté d’expression soient fixées par des systèmes automatisés, dont les décisions ne sont presque pas justifiables ex post. Ensuite, ces dispositifs automatiques peuvent être aisément contournés. Les expressions « Suédois », « dragons célestes » ou « chances pour la France » en sont la preuve. Celles-ci, et tant d’autres, constituent autant de syntagmes qu’il est difficile pour un algorithme d’associer à des discours haineux.

D’autant que des techniques encore plus fines de dissimulation de contenus litigieux existent par ailleurs, consistant par exemple à faire disparaître une lettre d’un mot injurieux ou à jouer sur le lettrage7. Comment un algorithme pourrait-il s’habituer à reconnaître ces discours vernaculaires qui, de plus, s’enrichissent constamment de nouveaux termes ? Le dispositif automatique ne risque-t-il pas de supprimer à tort des conversations portant sur la Suède ou sur le manga One Piece, dont l’expression « dragon céleste » est extraite8 ? En l’état, et du fait de ces possibilités de contournement, la modération automatisée de contenus est souvent perçue comme étant trop permissive et pas assez bien calibrée pour saisir la particularité de la haine en ligne.

Vers une nouvelle solution : le shadow banning ?

L’une des pistes les plus intéressantes dans la modération de contenus litigieux demeure le shadow banning. Cette opération consiste à jouer sur la visibilité des énoncés en ligne, de sorte que les textes haineux soient perdus dans les tréfonds des plateformes. Nous l’avons dit : les espaces numériques constituent un véritable océan de contenus. Ce sont les algorithmes de recommandation qui permettent aux utilisateurs d’avoir connaissance des vidéos, podcasts, ou textes les plus susceptibles de les intéresser. À l’inverse, il est possible de programmer une véritable mise au ban algorithmique des discours jugés litigieux, à l’insu de leurs auteurs. Par ces opérations, les vidéos ou podcasts abritant des discours de haine sont simplement moins recommandés aux internautes, et les commentaires litigieux renvoyés sur des pages web presque jamais consultées.

Même si cette méthode n’élude pas les difficultés inhérentes à la prise de décision algorithmique – opacité de l’action, possibilités de contournement –, elle permet des modulations plus fines que la modération binaire, dans laquelle un contenu est soit publié en ligne, soit supprimé. Des degrés de visibilité peuvent en effet être affectés aux différents contenus selon les espaces dans lesquels ils sont postés ou selon le profil des internautes qui y sont le plus souvent exposés. La plupart du temps, les auteurs de textes shadow banned ne savent pas que leurs contenus sont modérés ; ils ne s’en rendent même pas compte. Cette méthode ne peut donc pas tout à fait être qualifiée de « censure », comme l’est parfois la suppression pure et simple des contenus ; argument que l’extrême droite et les promoteurs de discours haineux ne se privent jamais de brandir. L’internaute qui publie du contenu haineux ne se voit pas vraiment dénier le droit à l’expression, à l’intervention ou à la participation à un espace conversationnel, puisque son commentaire n’a pas été supprimé et demeure consultable en droit sur la plateforme ; même si, en vérité, les choses se compliquent.

Le shadow banning ouvre donc des pistes intéressantes pour la modération des contenus et, plus largement, pour la curation de l’espace public numérique. À cette méthode algorithmique s’ajoute également tout le travail de modération pris en charge par la société civile, par l’intermédiaire des trusted flaggers, spécialisés dans le signalement de contenus abusifs, et des associations de fact-checkers, qui se chargent de vérifier des informations en ligne et en viennent bien souvent à débusquer des ferments de discours haineux. Contre l’idée que le web pourrait s’autoréguler, ces acteurs réintroduisent des subjectivités humaines dans la modération des espaces numériques. Et c’est sur leur maillage que l’antiracisme doit compter pour être efficace en ligne, pour qu’autour d’eux cristallise une culture du refus : d’abord le refus de la haine ordinaire – « encore la faute de qui on sait » –, que les espaces numériques ne peuvent pas excuser ; puis le refus des communautés haineuses, et le refus de l’extrême droite.

• 1. Voir Commission nationale consultative des droits de l’homme (CNCDH), « Enquête sur l’empreinte antisémite sur YouTube » [en ligne], Rapport 2020 sur la lutte contre le racisme, l’antisémitisme et la xénophobie, 2021.
• 2. Voir Judith Butler, Le Pouvoir des mots [1997], traduit de l’anglais par Charlotte Nordmann, Paris, Éditions Amsterdam, 2004. Voir également Gisèle Sapiro, Des mots qui tuent, Paris, Seuil, 2020.
• 3. Voir Catharine A. MacKinnon, Only Words, Cambridge, Harvard University Press, 1993.
• 4. Voir Jérémy Vial, « Internet : les 20 ans de YouTube en 20 chiffres », 20 Minutes, 14 février 2025.
• 5. Voir CNCDH, « Enquête sur l’empreinte antisémite sur YouTube », Rapport 2020 sur la lutte contre le racisme, l’antisémitisme et la xénophobie, 2021.
• 6. Voir Commission européenne, « Code de conduite de l’UE contre les discours haineux en ligne : la dernière évaluation montre un ralentissement des progrès » [en ligne], Représentation en France, 24 novembre 2022.
• 7. Voir Thibault Grison, Faire dire, faire taire. La modération (algorithmique) des réseaux sociaux numériques au prisme des sexualités, thèse de doctorat en sciences de l’information et de la communication, Sorbonne Université, 2024.
• 8. Sans parler des possibilités de signalements abusifs sur les réseaux sociaux. Voir Romain Badouard, « La régulation des contenus sur Internet à l’heure des “fake news” et des discours de haine », Communications, n^o 106, 2020, p. 161-173.