1947 –
Geoffrey Hinton
Il a tenu bon pendant les hivers
Empiler des neurones, on savait faire. Les corriger, non : quand un réseau profond se trompe, à qui la faute ? Hinton contribue à répondre — l'erreur remonte les couches, et chacune y prend sa part. Puis il attend vingt ans que le monde s'en aperçoive.
En 1969, Minsky et Papert avaient démontré qu'un perceptron à une couche ne peut pas apprendre le « ou exclusif ». La limite était réelle, et elle avait une issue connue : empiler des couches. Mais on ne savait pas les entraîner.
La difficulté porte un nom, l'attribution du mérite. Un réseau profond se trompe à la sortie ; l'erreur, elle, vient de partout à la fois. Comment savoir lequel des dix mille poids intermédiaires a mal fait son travail, et de combien le corriger ?
Faire remonter l'erreur
La réponse est un jeu d'écriture, et c'est la règle de dérivation des fonctions composées. Puisque chaque couche est une fonction de la précédente, la sensibilité de l'erreur finale à un poids enfoui se calcule de proche en proche, en remontant. Chaque couche reçoit la part d'erreur qui lui revient, et sait de quel côté bouger.
L'article de 1986 signé avec David Rumelhart et Ronald Williams n'invente pas la méthode — d'autres l'avaient écrite avant, sans qu'on la remarque. Il fait mieux : il montre qu'elle marche, et que les couches cachées apprennent d'elles-mêmes des représentations qu'on ne leur a pas dictées.
Deux hivers
Cela ne suffit pas. La méthode restera marginale vingt ans, faute de données et de calcul, pendant que la discipline lui préfère des approches statistiques mieux comprises. Hinton continue — à Carnegie Mellon, puis à Toronto, où il s'installe en partie pour ne pas travailler sous financement militaire.
Le basculement a une date : octobre 2012. Son équipe remporte le concours ImageNet avec un écart tel que la vision par ordinateur change de méthode en une année. Rien de neuf dans la théorie — des cartes graphiques, beaucoup d'images, et une idée de trente ans qui attendait son heure.
Prix Turing en 2018 avec Yann LeCun et Yoshua Bengio, prix Nobel de physique en 2024. Il quitte Google en 2023 pour parler librement des risques de ce qu'il a contribué à bâtir — une inquiétude qu'il dit avoir mis toute sa vie à concevoir, et quelques mois à prendre au sérieux.