L’ère de l’IA

Chapitre 1 — Des neurones formels aux transformers : une généalogie technique

En 1950, le mathématicien britannique Alan Turing publie dans la revue Mind un article intitulé « Computing Machinery and Intelligence »¹. Il y propose une épreuve, l’Imitation Game : un humain converse par écrit avec deux interlocuteurs invisibles, l’un humain, l’autre machine ; s’il ne parvient pas à les distinguer, la machine est réputée intelligente. Le test de Turing ne définit pas l’intelligence. C’est un critère opérationnel, pragmatique, qui déplace la question métaphysique vers une épreuve comportementale — et ce déplacement, posé bien avant les modèles conversationnels, fixe déjà les termes dans lesquels leur succès sera jugé en 2022 : non pas « la machine comprend-elle ? » mais « peut-on la distinguer de quelqu’un qui comprend ? ».

Toute technologie a une histoire, et cette histoire conditionne sa forme présente. Les architectures contemporaines de l’IA portent la marque de choix opérés il y a cinquante ou soixante ans, d’impasses explorées puis abandonnées, de renversements de paradigme qui ont redistribué les cartes. Retracer cette généalogie n’est pas affaire d’érudition : les concepts qui structurent le champ — réseau de neurones, descente de gradient, attention — ne se comprennent qu’à la lumière des problèmes qu’ils étaient censés résoudre, et des échecs qui les ont précédés.

[Un tableau figure ici dans le livre ; il n’est pas reproduit dans cet extrait.]

Perceptron, hivers et symboles : 1950-2005

Huit ans après l’article de Turing, en 1958, le psychologue américain Frank Rosenblatt invente le perceptron, premier modèle opérationnel d’un neurone artificiel. L’algorithme tient en une ligne. Soit un vecteur d’entrée x = (x₁, …, xₙ) et un vecteur de poids w = (w₁, …, wₙ) ; la sortie vaut 1 si la somme pondérée Σwᵢxᵢ dépasse un seuil θ, et 0 sinon. La nouveauté n’est pas dans cette arithmétique mais dans la procédure d’apprentissage : on présente au perceptron des exemples étiquetés et l’on ajuste ses poids de façon itérative jusqu’à ce qu’il classe correctement les entrées. Rosenblatt, optimiste, annonce que le perceptron reconnaîtra bientôt des images, traduira des langues et conduira des véhicules. Cette exubérance, typique des premières années, sera payée cher.

La facture arrive en 1969. Marvin Minsky et Seymour Papert publient Perceptrons, où ils démontrent mathématiquement les limites du modèle : un perceptron monocouche ne peut pas apprendre la fonction XOR (ou-exclusif), ni aucune fonction qui n’est pas linéairement séparable. L’effet est dévastateur. Les financements de la recherche en réseaux de neurones s’effondrent et le domaine entre dans ce qui sera rétrospectivement appelé le premier « hiver de l’IA ». La leçon est dure mais féconde : les modèles simples ont des limites intrinsèques, et il faudra l’architecture multicouche et la rétropropagation pour les dépasser.

L’expression hiver de l’IA désigne ces périodes de reflux des financements et de l’intérêt, qui suivent les promesses non tenues des phases d’enthousiasme. On en compte deux majeures. La première, dans les années 1970, suit l’échec des programmes de traduction automatique et des systèmes experts ; la seconde, à la fin des années 1980, sanctionne l’impuissance des approches symboliques à grande échelle. Le scénario se répète à l’identique — promesses excessives, attentes déçues, désengagement des bailleurs, fuite des talents vers d’autres horizons. Pourquoi, alors, le domaine n’est-il pas mort ? Parce que pendant ces hivers des chercheurs persistent, dans l’ombre, sur des idées jugées marginales. La plus importante est l’algorithme de rétropropagation du gradient — backpropagation —, formalisé en 1986 par David Rumelhart, Geoffrey Hinton et Ronald Williams : empiler plusieurs couches de neurones, d’où le terme de réseau profond, et propager l’erreur de la sortie vers l’entrée pour ajuster les poids de toutes les couches.

L’invention lève l’objection de Minsky et Papert, et le contraste se lit sur une même tâche de classification. Un perceptron à une seule couche trace une frontière linéaire dans l’espace des entrées : dès que les deux classes ne se séparent pas par une droite — le cas de XOR —, aucun ajustement des poids, aussi long soit-il, ne produira la bonne réponse ; l’échec est structurel, il ne tient pas à la durée de l’entraînement. Un réseau à plusieurs couches entraîné par rétropropagation, lui, peut approximer n’importe quelle fonction continue, résultat établi par le théorème d’approximation universelle de Hornik en 1989. La différence n’est pas de degré ; elle sépare ce qu’un modèle ne pourra jamais apprendre de ce qu’il pourra apprendre pourvu qu’on lui donne assez de données et de calcul.

Or, précisément, on ne les lui donne pas. Dans les années 1990, les réseaux profonds fonctionnent mal en pratique, et trois obstacles bloquent leur développement : la quantité de données disponibles est insuffisante, la puissance de calcul est trop faible, et les algorithmes d’optimisation souffrent du gradient évanescent — les signaux d’erreur s’atténuent en traversant de nombreuses couches. Pendant ce temps, l’IA symbolique, qui modélise la pensée par des règles explicites, domine le champ, et l’historiographie qui présentera plus tard le triomphe du deep learning comme une victoire de la connexion, inspirée du cerveau, sur le symbole, inspiré de la logique, simplifie ce qui s’est joué.

Pendant les années 1970 et 1980, l’IA symbolique — GOFAI, Good Old-Fashioned AI — fut le paradigme dominant. Ses fondateurs, John McCarthy, Marvin Minsky, Allan Newell et Herbert Simon, partaient d’une hypothèse philosophique forte : l’intelligence humaine est essentiellement un traitement de symboles, et toute intelligence suffisamment avancée peut être reproduite par un système de manipulation formelle de symboles. Les réalisations furent remarquables pour l’époque. MYCIN, conçu à Stanford en 1974 pour le diagnostic des infections bactériennes, et DENDRAL, qui identifiait des composés chimiques dès 1969, atteignaient des performances compétitives avec les experts humains sur des domaines étroits ; Shakey, le robot du SRI, raisonnait en 1969 sur son environnement pour naviguer et manipuler des objets ; le langage LISP, inventé par McCarthy en 1958, reste l’un des plus influents de l’histoire informatique, et les fondements théoriques du paradigme — représentation des connaissances, inférence logique, recherche heuristique — structurent encore une bonne partie de l’informatique. Deep Blue bat Kasparov aux échecs en 1997.

Pourtant le paradigme bute sur trois obstacles qui se révèlent rédhibitoires. La connaissance commune d’abord : un système expert diagnostique une méningite mais ignore qu’un verre tombe s’il n’est pas tenu, ou que l’eau mouille — cette banalité du monde est infiniment plus difficile à formaliser que les raisonnements spécialisés. Le problème du cadre ensuite, le frame problem : dans un monde qui change, comment déterminer ce qui reste constant ? La réponse formelle explose en complexité. La perception enfin. Reconnaître un chat dans une image est trivial pour un humain et exigerait des millions de règles si l’on procédait par symboles. Là où la régularité statistique prime sur la logique formelle — perception, langage naturel —, la règle explicite ne suit pas. Ces obstacles n’ont pas été surmontés par l’IA symbolique. Ils l’ont été, partiellement, par une approche qui contourne la formalisation en apprenant directement des données — à condition que les données, le calcul et l’algorithme d’optimisation arrivent enfin ensemble.

[L’extrait s’arrête ici ; le chapitre continue dans le livre.]