Algorithmes - Vers un monde manipulé (Dörholt)
Documentaire de Dorothe Dörholt (2022)
à propos de VioGén (https://www.francetvinfo.fr/economie/emploi/metiers/droit-et-justice/en-espagne-une-application-informatique-permet-de-lutter-contre-les-violences-conjugales_3601265.html) :
On donne le pouvoir au policier, mais il choisi de le déléguer à une machine ; ainsi, il se sent moins responsable. Ce que nous constatons, c'est que ces systèmes ne sont pas utilisés comme des outils d'assistance, mais comme un substitut au travail d'un individu. (...) Nous avons des policiers qui pensent que la responsabilité repose sur un algorithme ; des juges ne remettent pas en question le résultat algorithmique. Au final, l'incorporation d'un algorithme a aggravé le problème.
- Gemma Galdon-Clavell, fondatrice de la fondation Eticas, auteure de "The External Audit of the VioGen System"
Dans cet "audit externe", VioGén est décrit comme "the largest risk assessment system in the world, with more than 3 million registered cases"
À propos des biais algorithmiques :
Il y a des précédents historiques comme la physiognomonie et la phrénologie, c'est-à-dire ce qu'on appelait la "science de la race" au début du XXe siècle, et qui était très étroitement lié à l'eugénisme. Ces pseudo-sciences ont été invalidées au plan scientifique, elles sont complètement démystifiées, mais il faut comprendre qu'elles ont aussi des histoires politiques. Elles ont été mises au service du colonialisme, de la construction d'empires, de l’assujettissement des minorités, d'autres peuples. C'était historiquement une façon de mettre un vernis scientifique sur l'injustice.
- Trevor Paglen, co-créateur (avec Kate Crawford) d'ImageNet
À propos de Parcoursup :
Tout le monde peut aller voir comme ça fonctionne, l'algorithme d'appareillement : c'est en ligne, en open access. Mais à côté de ça, il y a d'autres algorithmes, dont chaque université, qui vont déterminer le classement des candidats ; les algorithmes de classements, eux, ne sont pas publics. (...) Je crois qu'il y a aussi plus fondamentalement une raison, c'est qu'il y a certains critères qui ne sont pas totalement avouables. (...) Le ministère a fait passer une nouvelle règle, qui est celle du secret des délibérés, c'est-à-dire que les commissions qui examinent les vœux des étudiants n'ont pas à rendre compte de leur classement, c'est protégé par le secret. C'est une exception à la règle.
- Julien Grenet, Paris School of Economics
la règle en question : https://guides.etalab.gouv.fr/algorithmes/guide/#_3-le-cadre-juridique-applicable (transparence algorithmique)
(le docu la résume en disant "la loi stipule" donc je ne reproduis pas son résumé ici)
Voir aussi de Grenet : "La transparence et l’obstacle. Principes et enjeux des algorithmes d’appariement scolaire (in "Comment ça matche. Une sociologie de l’appariement", 2022)
Abigail Thorne évoque un exemple hypothétique d'algo ("AI") de sélection d'entrée à l'université dans sa vidéo sur "l'IA éthique"
La chose la plus importante en ce moment à la Silicon Valley est la centralisation du pouvoir, à un rythme et à une échelle sans précédent.
Si nous développons autant de technologies nuisibles, c'est en partie parce que le domaine de l'intelligence artificielle est peuplé de blancs, d'hommes, et surtout de personnes qui ont fait des études supérieures dans les grandes écoles. Les développeurs de ces technologies ne sont pas représentatifs de la population mondiale.
- Sasha Costanza-Chock, chercheuse en communications
L'intelligence artificielle n'est jamais purement technique. Elle est aussi sociale, politique, culturelle. Elle est aussi en lien avec l'histoire. Et qui étudie la société ? Qui étudie la politique ou l'histoire ? Ce ne sont pas des ingénieurs. Il faut davantage impliquer de personnes issues d'autres disciplines.
- Paglen
le docu mentionne notamment :