Loading AI tools
De Wikipédia, l'encyclopédie libre
Le réseau de neurones de Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul neurone est mis à jour à chaque unité de temps). Il a été popularisé par le physicien John Hopfield en 1982[1]. Sa découverte a permis de relancer l'intérêt dans les réseaux de neurones, qui s'était essoufflé durant les années 1970 à la suite d'un article de Marvin Minsky et Seymour Papert. Les réseaux de Hopfield entrent dans le cadre des modèles à base d'énergie[2].
Type | |
---|---|
Date d'invention | |
Nommé en référence à |
Un réseau de Hopfield est une mémoire adressable par son contenu : une forme mémorisée est retrouvée par une stabilisation du réseau, s'il a été stimulé par une partie adéquate de cette forme.
Ce modèle de réseau est constitué de N neurones à états binaires (–1, 1 ou 0, 1 suivant les versions) tous interconnectés. L'entrée totale d'un neurone i est donc :
où :
L'état du réseau peut être caractérisé par un mot de N bits correspondant à l'état de chaque neurone.
Le fonctionnement du réseau est séquencé par une horloge. On notera :
Il existe plusieurs alternatives assez équivalentes pour la mise à jour de l'état des neurones :
Le calcul du nouvel état du neurone i se fait ainsi :
L'apprentissage dans un réseau d'Hopfield consiste à faire en sorte que chacun des prototypes à mémoriser soit :
Pour estimer les poids, on peut utiliser un apprentissage hebbien, inspiré de la règle de Hebb. Qui donne pour retenir motif d'entraînement :
où est le poids de la connexion entre le neurone et le neurone , est la dimension du vecteur d'entrée, et et sont respectivement la ième entrée des neurones et .
Si les bits correspondant aux neurones et sont égaux dans le motif , alors le produit sera positif. Cela aurait, à son tour, un effet positif sur le poids et les valeurs de et auront tendance à devenir égales. L'inverse se produit si les bits correspondant aux neurones et sont différents.
L'apprentissage hebbien minimise la fonction d'énergie, c'est-à-dire que si deux unités sont actives simultanément, le poids de leurs connexions est augmenté ou diminué.
Cette règle a été introduite par Amos Storkey en 1997 et est à la fois locale et incrémentielle. Storkey a également montré qu'un réseau Hopfield entraîné à l'aide de cette règle a une plus grande capacité qu'un réseau correspondant entraîné à l'aide de la règle de Hebb[3]. Le réseaux suit la règle d'apprentissage de Storkey si il obéit :
où est une forme de champ local[4] au niveau du neurone i.
Cette règle d'apprentissage est locale, puisque les synapses ne prennent en compte que les neurones à leurs côtés. La règle utilise plus d'informations provenant des modèles et des poids que la règle de Hebb généralisée, en raison de l'effet du champ local.
Le réseau de Hopfield a cependant des limites bien connues : il ne peut stocker qu'environ 0,14 motifs avec le nombre de neurones. Des modèles ultérieurs, s'inspirant du réseau de Hopfield mais en modifiant les règles de stockage et d'accès, permettent d'agrandir cette limite de stockage[5].
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.