Algorithmes - Vers un monde manipulé (Dörholt)

On donne le pouvoir au policier, mais il choisi de le déléguer à une machine ; ainsi, il se sent moins responsable. Ce que nous constatons, c'est que ces systèmes ne sont pas utilisés comme des outils d'assistance, mais comme un substitut au travail d'un individu. (...) Nous avons des policiers qui pensent que la responsabilité repose sur un algorithme ; des juges ne remettent pas en question le résultat algorithmique. Au final, l'incorporation d'un algorithme a aggravé le problème.

Il y a des précédents historiques comme la physiognomonie et la phrénologie, c'est-à-dire ce qu'on appelait la "science de la race" au début du XXe siècle, et qui était très étroitement lié à l'eugénisme. Ces pseudo-sciences ont été invalidées au plan scientifique, elles sont complètement démystifiées, mais il faut comprendre qu'elles ont aussi des histoires politiques. Elles ont été mises au service du colonialisme, de la construction d'empires, de l’assujettissement des minorités, d'autres peuples. C'était historiquement une façon de mettre un vernis scientifique sur l'injustice.

Tout le monde peut aller voir comme ça fonctionne, l'algorithme d'appareillement : c'est en ligne, en open access. Mais à côté de ça, il y a d'autres algorithmes, dont chaque université, qui vont déterminer le classement des candidats ; les algorithmes de classements, eux, ne sont pas publics. (...) Je crois qu'il y a aussi plus fondamentalement une raison, c'est qu'il y a certains critères qui ne sont pas totalement avouables. (...) Le ministère a fait passer une nouvelle règle, qui est celle du secret des délibérés, c'est-à-dire que les commissions qui examinent les vœux des étudiants n'ont pas à rendre compte de leur classement, c'est protégé par le secret. C'est une exception à la règle.

La chose la plus importante en ce moment à la Silicon Valley est la centralisation du pouvoir, à un rythme et à une échelle sans précédent.

Si nous développons autant de technologies nuisibles, c'est en partie parce que le domaine de l'intelligence artificielle est peuplé de blancs, d'hommes, et surtout de personnes qui ont fait des études supérieures dans les grandes écoles. Les développeurs de ces technologies ne sont pas représentatifs de la population mondiale.

L'intelligence artificielle n'est jamais purement technique. Elle est aussi sociale, politique, culturelle. Elle est aussi en lien avec l'histoire. Et qui étudie la société ? Qui étudie la politique ou l'histoire ? Ce ne sont pas des ingénieurs. Il faut davantage impliquer de personnes issues d'autres disciplines.