Séminaire - La modération des contenus en ligne. Essai sur une régulation de la conversation mondiale

Julie Charpenet, 26 septembre 2023

Thèse défendue en décembre 2022

modération en ligne :

retrait des contenus illicites : protégés par une certain droit (terrorisme, pédopornographie, propriété intellectuelle), "c'est un aspect mais j'ai voulu voir plus large"
toutes les sanctions négatives que peut appliquer un opérateur de réseau social : masquage, avertissement, démonétisation, etc.
à distinguer des sanctions positives : améliorer la visibilité de contenu (recommandation), "moi ce qui m'intéresse c'est les sanctions négatives, donc la modération"

"si vous faites une story dans un concert et que vous ne pouvez pas la publier, ça c'est de la modération des contenus"
"quand ChatGPT refuse de produire un discours anti-avortement" : modération ex ante

il y a plusieurs types de modération :

la modération ex ante = a priori (avant publication)
la modération ex post = a posteriori (bouton de signalement)

"quand j'ai commencé à travailler dessus en 2016, on parlait encore peu de modération" : comment les "plateformes collaboratives" (Uber, Airbnb) arrivent à réguler leur contenu ?
"on ne pouvait pas publier des objets nazis sur Leboncoin"
"je me suis aperçu que la notion de modération n'existait pas dans le paysage juridique"

"je me suis donc intéressé à cette notion de modération par elle-même : comment les plateformes définissent notre liberté d'expression à l'échelle mondiale"
réguler des textes, vidéos, etc. qui ne répondent pas aux règles de la loi, mais d'un contrat, "non soumis à la territorialité du droit"
"on a les même CGU qu'aux États-Unis : une "stérile traduction" qui crée une espèce de norme globale dans tous les pays"
est-ce que ce contrat applique purement et simplement le droit étasunien, ou bien fait-il "un melting-pot" des droits nationaux qui l'arrange ?

le schéma de modération varie selon les plateformes, mais ont des éléments cruciaux en commun :

à la base, les CGU (conditions générales d'utilisation) auxquelles chaque utilisateur doit absolument consentir
ensuite, l'IA qui va réagir soit automatiquement (proactivement), soit sur un signalement ("ça ne va pas directement aux modérateurs humains")
les signalements peuvent être effectués par les utilisateurs, les autorités, ou les juges
l'algorithme passe ensuite la main aux modérateurs humains :
- de rang 1 : pays "sous-développés", Allemagne ou Portugal, "très peu qualifiés" donc devant appliquer des règles basiques (ex. pour qualifier une menace, il faut = date + lieu + mode opératoire)
- le rang 3 est vraiment constitué de juristes, généralement au siège de l'entreprise, pour résoudre les litiges ("dans la pratique, c'est ce qui entraîne les mises à jour des CGU")
enfin, communication à l'utilisateur et mécanisme d'appel "comme dans une juridiction"
"c'est pour ça que j'ai essayé de prouver qu'il y avait une fonction quasi-juridictionnelle des plateformes"

dans les CGU, on a 2 corps de texte (documents "gigogne"/"à tiroir", comme les appelle la doctrine) qui sont "vraiment à part" et "assez mal foutus" :

politique de protection des données
politique de modération
Info

sur le "mal foutu". cf. Bardin : "on m'a fait écrire des conditions d'utilisations les plus floues et les plus vagues possibles, mais au moins l'avantage c'est que je sais comment les attaquer"

contenus illicites (interdits par la loi)/indésirables (licites mais interdits par les CGU)

les robots peuvent détecter les contenus illicites et les sanctionner à la place d'un juge => quel droit on applique ?
"le parfait exemple" de contenu indésirable : la nudité
"c'est là qu'on voit les plateformes dessiner les contours de la liberté d'expression"

"si vous allez voir les CGU de votre plateforme préférée, vous verrez tout un tas d'exemples, ce que le droit ne fait pas"
est-ce que la plateforme crée du droit ? "la réponse est que la plateforme crée de la norme, mais de la norme très exhaustive, pouvant impacter des milliards d'individus"

ce rôle accru des contrats consacre une contractualisation de la liberté d'expression, "ce qu devrait vous faire bondir, on parle d'une liberté consacrée au plus haut niveau" : sur quel fondement ?
on se rend compte que cette contractualisation est en réalité le vecteur d'une "standardisation"

"j'ai essaye de comprendre ce que voulait dire la "haine en ligne" selon les plateformes, s'il y avait une convergence entre ces plateformes, et si je pouvais retrouver des traces de droit américain ou davantage de droit européen"
"la réponse n'est pas tranchée : il y a certes une forte influence du droit américain, mais celui-ci est extrêmement libéral concernant la liberté d'expression, donc assez antinomique avec la modération"
"les plateformes ont donc choisi les règles les plus strictes pour les appliquer partout dans le monde", "plus strictes que les lois européennes"

78% d'occurrences identiques dans les plateformes de modération : "cela illustre le passage de la contractualisation à la standardisation, "comme un vol d'oies sauvages" pour citer Emmanuel (Étaire ?)"

concernant les CGU proprement dit ("on n’est plus dans la politique de modération là"), toutes les sanctions ne sont pas précisées (démonétisation, shadowban)
"on a une espèce de mini-système juridique dans les réseaux", "avec beaucoup beaucoup de pincettes"

les outils automatisés sont abondamment utilisés : la majorité des contenus n'est modérée que par ces robots

contenus qu'ils connaissent déjà : hashmatching (Content ID)
contenus nouveaux
plus le score de confiance est élevé, plus l'algo prendra une décision seul
en revanche, plus le score de risque est élevé mais le score de confiance bas, plus l'algo passera la main à un humain
"mais le seuil varie selon les plateformes"

dans quelle mesure ces pratiques sont reconnues juridiquement ?
dans quelle mesure ont-elles pu influencer le législateur européen (DSA) ?

le DSA demande que toutes les sanctions figurent dans les CGU
il a aussi consacré les partenariats avec les tiers de confiance
les signalements et leurs messages de réponses sont aussi décrits dans le DSA
le DSA aborde aussi les interactions entre modérateurs et public (droit à l'information)

toutes les procédures ont donc été reprises par le législateur européen : de la pratique est née la consécration juridique via le DSA
mais le législateur a rendu ces procédures obligatoires pour toutes les plateformes, et va contrôler leur conformité avec des audits indépendants

le DSA inclut une gestion systémique des risques, "de la même manière qu'on a une gestion des risques dans le monde financier"
le DSA est un texte de compliance mais qui utilise les outils de la régulation économique traditionnelle
"sauf qu'on a un souci, enfin moi j'ai un souci" : pour le législateur européen, on a une co-régulation entre d'un côté l'État, "au sens très très large" et d'un autre, les plateformes
à aucun moment les utilisateurs ne sont concernés : "c'est le gros trou dans la raquette"
à l'inverse, le RGPD consacre des droits (et en crée d'autres) pour l'utilisateur : accès, oubli

"j'ai donc essayé de proposer un droit à l'autodétermination communicationnelle, sur le modèle de l'autodétermination informationnelle sur lequel le RGPD a pu se fonder"
de la même façon que l'utilisateur a "toutes mesures gardées" des droits sur ses données

la cour constitutionnelle du Portugal évoque un tel méta-droit
avec un volet défensif (obligation d'information renforcée) et un volet collectif (droit de participation et de représentation, "une consultation et pourquoi pas un système de vote")

Questions

en reprenant directement les règles déjà écrites par les plateformes, est-ce que c'est un aveu d'échec de la part du législateur ? (impossible de leur demander de faire différemment)
"un peu beaucoup quand même"
"quelque part, ce n'est que la continuité de la directive e-commerce, qui commence à dater : on n'a pas les outils, les plateformes sont les mieux placées, on doit les laisser faire"
"mais là où il y a eu un tour de force de la part de l'UE, c'est de prendre en compte la modération pour elle-même, de mettre en ouvre des mesures pour tous les processus, et de permettre aux autorités compétentes et au juge de pouvoir se positionner"

est-ce que le législateur a bien fait de ne pas préciser lui-même tous les contenus illicites (= définir la "liberté d'expression") ?
"on aurait eu un gros problème avec les législateurs nationaux"
"ils ont pris ce qu'il y avait de plus vertueux pour les appliquer à tous, de relever tout le monde au standard le plus élevé"

est-ce qu'on ne va pas se calquer sur le "moins-disant" en matière de défense de la liberté d'expression ("l'Iran et la Corée du nord")
"c'est exactement ça"
"il y a 2 choses" : les plateformes appliquent les lois des pays les plus stricts avec parcimonie (ex. Google contre la Thaïlande), et les critères sont territorialisés selon les pays (ex. geoblocking "gay pride" en Russie)

"au moment où je travaillais sur cette notion d'autodétermination communicationnelle, le conseil d'État a sorti un rapport de 200 pages où il propose ce même droit à la représentation et au paramétrage"

ma question

est-ce qu'en consacrant ce droit à l'autodétermination communicationnelle, on n'en viendrait pas à supprimer la notion de contenu "indésirable", en ne gardant que le contenu "illicite" à modérer et en retirant aux grandes plateformes le pouvoir discrétionnaire de déclarer indésirable du contenu pourtant licite ?
(je crois qu'elle a répondu oui)

est-ce que vous trouvez normal que les plateformes définissent la liberté d'expression garantie par la Constitution
"évidemment non, et c'est ce qui a motivé la rédaction de cette thèse"
"mais il y a une relation de cause à effet, finalement ce sont les législateurs qui encouragent les plateformes à définir cette liberté d'expression, d'abord avec la directive ecommerce, puis la soft law des codes de conduite"
"les juges vont dans cette voie-là : on ne peut pas se passer de vous, on doit faire avec"

est-ce qu'il y a une différence entre la modération et la régulation ?
"c'est mon postulat de départ : la modération est un outil de régulation"

la justice peut-elle décider qu'un contenu soit davantage modéré par des humains que par des IA ?
"c'est prévu par la RGPD, un algo ne peut prendre des décisions par lui-même"
"le DSA n'est pas allé dans ce niveau de détail"
"la logique des entreprises, c'est d'arriver à réduire les coûts en mettant le plus possible sur l'algorithme"
"ça fera partie des critères étudiés dans les audits sous le régime du futur règlement IA, s'il ne bouge pas d'ici là"

Koumpli : le droit des utilisateurs n'a pas de partie dédiée dans le DSA, mais il y a énormément d'injonctions ; n'est-ce pas plus protecteur pour les utilisateurs - d'autant plus que le RGPD est davantage de la compliance que de la régulation - en réinvestissant les États sur le devant de la scène contrairement à ce qui se passe dans la version actuelle du RGPD ("on le sait avec mes étudiants en stage de DPO, la CNIL n'intervient quasiment jamais") ? Peut-être que le DSA sera un texte efficace ?
"certes, dans le DSA le terme "utilisateur" est en fait remplacé par plein de synonymes"
"mais je ne dis pas que l'utilisateur est absent de la vision de la commission européenne : ce que je reproche au texte, c'est de ne pas laisser les utilisateurs intervenir directement eux-même, contrairement au RGPD"
"certes dans l'auditoire vous n'êtes peut-être pas nombreux à avoir fait une demande d'accès, mais vous savez que vous pouvez le faire : le RGPD a ici une visée pédagogique que le DSA n'a pas"

Plateformes digitales et États : la corégulation par les données. Le cas des requêtes gouvernementales

Info

Koumpli conseille le livre "Au cœur du lobbying européen"