La boîte translucide (Jourlin)

Pierre Jourlin, 2021

Ainsi, la recherche en intelligence artificielle doit accepter que l’intelligence soit un mécanisme qui émerge de la complexité de cet immense enchevêtrement de cellules, sans pouvoir aller significativement plus loin dans sa compréhension.

Les hypothèses sur lesquelles s’appuient les réseaux de neurones artificiels sont plus difficiles à cerner que dans le cas de la statistique traditionnelle. On a pu montrer par exemple que, lorsqu’un tel réseau ne possède qu’une seule couche de neurones, il est équivalent à une régression linéaire à plusieurs dimensions, une méthode statistique connue depuis le XVIII^e siècle. Il s’agit d’approximer des données expérimentales par un modèle théorique dont on estime les coefficients. Lorsque les données sont des points sur une courbe, ce modèle est une droite. Quand il s’agit de modéliser des points dans un espace à plusieurs dimensions, on estimera les paramètres d’un plan multidimensionnel.

Les progrès réalisés ces dernières décennies apparaissent considérables, surtout si on les évalue à l’aide d’un test de Turing (le jeu d’imitation). Mais il me semble qu’il est encore assez facile à un interrogateur avisé, au fait des technologies mises en œuvre, de démasquer la machine.

Info

demander à Jourlin d'expliquer la distinction entre :

apprentissage statistique ("Dans toutes ces approches fondées sur un apprentissage de type statistique, ce sont les réseaux de neurones artificiels qui ont fini par s’imposer")
apprentissage symbolique ("Ces approches, fondées sur des lexiques, des règles de grammaire, des théories linguistiques, offrent l’avantage d’être plus facilement accessibles à l’esprit humain que les milliards de paramètres que manipulent les réseaux de neurones artificiels et les modélisations statistiques")
approche connexionniste ("L’approche était bien moins économe en mémoire et en puissance de calcul")
approche stochastique perroquet stochastique ? ("Elle permettait d’obtenir rapidement des résultats prometteurs")
est-ce que les approches statistiques sont la raison pour laquelle ChatGPT est mauvais en maths ?