La naissance du « Deep Learning » : Hinton relance les réseaux profonds
En 2006, Geoffrey Hinton publie un article qui montre comment entraîner des réseaux neuronaux profonds. Il invente au passage le terme qui va dominer l’IA pendant 20 ans : deep learning.
Le contexte : 20 ans dans le désert
Entre 1986 (backpropagation) et 2006, les réseaux neuronaux ont connu des hauts et surtout des bas. Le second AI Winter (fin des années 1980 – années 1990) a coupé les financements. Les SVM de Vapnik et les random forests de Breiman dominent le machine learning académique. Les réseaux profonds sont considérés comme un cul-de-sac.
Seule une poignée de chercheurs persévère : Geoffrey Hinton à Toronto, Yann LeCun à NYU, Yoshua Bengio à Montréal. Ils s’entraident, survivent grâce à des petits financements (notamment canadiens via le CIFAR), et attendent leur heure.
L’événement : un trio d’articles qui change le nom du domaine
En 2006, Hinton et ses étudiants publient trois articles coup sur coup. Le plus célèbre est A Fast Learning Algorithm for Deep Belief Nets, dans Neural Computation. Il y présente les Deep Belief Networks (DBN) et une technique d’apprentissage par couche (greedy layer-wise pretraining).
L’astuce : plutôt que d’essayer d’entraîner toutes les couches d’un coup (ce qui échouait systématiquement), Hinton entraîne chaque couche individuellement sur les représentations produites par la couche précédente. Une fois toutes les couches pré-entraînées, on applique la backpropagation classique pour affiner le tout.
Pour rebrander son domaine et lui donner un coup de jeune, Hinton invente le terme « deep learning ». Le mot « deep » insiste sur la multiplicité des couches ; « learning » sur l’auto-apprentissage. Le marketing est brillant.
« On peut apprendre efficacement des représentations distribuées profondes si les couches supérieures sont initialisées intelligemment. »
— Geoffrey Hinton, 2006
L’impact : une décennie de patience récompensée
Les résultats de Hinton sont impressionnants : sur MNIST et d’autres benchmarks, les DBN dépassent les SVM. Le bouche-à-oreille se répand dans la communauté. Google, Microsoft et Facebook commencent à embaucher les rares spécialistes des réseaux neuronaux.
En parallèle, deux évolutions exogènes vont booster le deep learning : l’essor des GPU (qui parallélisent massivement les calculs matriciels) et la constitution de grands jeux de données (ImageNet par Fei-Fei Li en 2009).
Hinton devient professeur à Toronto, consultant Google, et en 2013 crée DNNResearch — start-up rachetée par Google quelques mois plus tard. Son laboratoire forme la prochaine génération : Ilya Sutskever (futur co-fondateur d’OpenAI), Alex Krizhevsky (AlexNet 2012).
Résonance 2026 : le mot est devenu l’ère
« Deep learning » est devenu le terme générique pour désigner l’IA moderne. En 2026, tout le monde — du grand public aux DSI — connaît l’expression. Hinton a reçu le prix Turing (2018) et le Nobel de physique (2024). À 78 ans, il est la figure la plus respectée du domaine.
Ironie : les Deep Belief Networks spécifiquement ne sont presque plus utilisés aujourd’hui. C’est la méthodologie générale — entraîner des réseaux très profonds avec beaucoup de données et de GPU — qui a survécu, pas l’architecture précise de 2006.
Chez CMEDIA, chaque fois que nous prononçons « deep learning » — et nous le prononçons souvent — nous utilisons le vocabulaire inventé par Hinton en 2006. L’histoire enseigne que 20 ans de persévérance dans un domaine marginal peuvent redéfinir l’informatique mondiale. Les bons paris sont souvent longs.