Un exemple de mémoire associative

L'exemple le plus simple de mémoire associative est fourni par la règle d'apprentissage de Hebb. Le cadre est le suivant : on dispose d'un perceptron à deux couches () de neurones chacune. Chaque neurone peut se trouver dans deux états possibles, symbolisés par . L'espace des configurations est donc où pour . On dispose de configurations fixées de , notées , avec qui seront les configurations mémorisées. Il s'agit de construire un système qui lorsqu'on lui présente une clé, c'est-à-dire une configuration vaguement réminiscente d'une des configurations mémorisées, soit capable de choisir la configuration mémorisée qui est la plus proche de la clé. Le problème pratique qui se pose donc est le choix des efficacités synaptiques qui permettent de réaliser cet exploit.

Il n'est pas nécessaire de commenter ici les innombrables applications pratiques qu'aurait potentiellement un tel dispositif et qui vont de la reconnaissance de l'écriture manuscrite à la prédiction de la structure tertiaire dans une séquence protéinique de l'ADN. Les nouvelles applications qui sont explorées chaque année remplissent plusieurs volumes des publications scientifique spécialisées (comme, par exemple, les revues Neural Networks, IEEE Neural Networks, Neural Computing, etc).

La règle de Hebb propose une solution simple pour les valeurs des efficacités synaptiques. Le choix (règle de Hebb)

correspond à la mémorisation de configurations , pour .

Il est évident que la configuration est un point fixe de l'évolution ; en effet, pour tout , on a :

Donc, .

Supposons maintenant que la configuration initiale diffère de sur sites, c'est-à-dire

Alors, est partitionné en deux parties, et , où avec . Pour tout , on a

Donc, tant que , alors et la dynamique ``corrige'' les erreurs commises.

L'analyse du comportement du perceptron de Hebb quand se complique et uniquement des résultats partiels, asymptotiques, à grand , [GAYRARD, KOMLOS ET AL., NEWMAN, VERMET (1993)] sont connus. Les résultats mathématiques indiquent que le perceptron de Hebb fonctionne comme une mémoire associative, dans la limite , quand le nombre de configurations mémorisées est fini ou croît moins rapidement que de manière que

Par contre, les résultats numériques semblent indiquer que le perceptron ``oublie'' tout si un seuil de saturation, de l'ordre de , est dépassé.