Le réseau neuronal de McCulloch et Pitts

Ce modèle fut introduit en 1943 [MCCULLOCH ET AL.] dans le but de mimer certaines fonctions cérébrales. Le graphe sur lequel repose le modèle est composé de la répétition semi-infinie d'une couche de neurones, c'est-à-dire . La structure particulière de ce graphe fait que chaque sommet peut être indexé par un entier de , interprété comme le site, et par un entier de , interprété comme le temps. Les graphe orienté contient toutes les arêtes qui émanent d'un site arbitraire d'une couche temporelle pour arriver à un site de la couche temporelle suivante. L'arête , avec et , appartient au graphe si, et seulement si, . Les efficacités synaptiques dépendent du site mais ne dépendent pas du temps. L'espace des états à chaque site est et le potentiel post-synaptique du neurone (pré-synaptique pour le neurone ) est donné par la formule

tandis que la dynamique est engendrée par

On constate alors qu'une manière équivalente de décrire le modèle est à l'aide d'un système dynamique discret sur

c'est-à-dire d'une application définie par

Puisque l'espace a deux éléments, toute configuration est équivalente au développement binaire à digits d'un réel de . Dans la limite , l'évolution dynamique décrite par l'application n'est, en définitive, qu'une application de l'intervalle . L'évolution temporelle est l'itération successive de cette application. On ne développera pas cette direction, d'une part parce que l'étude des applications itérées de l'intervalle unité est un vaste domaine à propos duquel plusieurs livres sont écrits (pour une initiation au sujet, on peut consulter [COLLET ET AL., ECKMANN ET AL.]) et d'autre part parce que l'étude du sujet nous ferait sortir du cadre fixé pour ce manuel.

Partant d'une configuration initiale (à ) arbitraire, , le système évolue selon et converge asymptotiquement, sous certaines conditions, à une configuration . Le réseau implante alors le calcul d'une application qui est donné point par point par son graphe où . Quoique l'évolution soit purement déterministe, rien n'empêche d'introduire une chaîne de Markov sur de matrice de transition triviale (puisqu'elle correspond à une évolution déterministe) pour la décrire. La matrice de transition est donnée par la formule

pour et appartenant à .

Cette description markovienne, qui est triviale dans le cas présent de dynamique déterministe, prendra toute son importance quand on étudiera les réseaux stochastiques.

Il faut cependant garder à l'esprit que la problématique est différente de la problématique habituelle des chaînes de Markov : on cherche à imposer une brisure d'ergodicité qui permettrait de coder des fonctions non triviales par le réseau.

McCulloch et Pitts ont montré que ce réseau est équivalent, de point de vue calculatoire, à une machine de Turing et de ce fait peut servir de calculateur universel. Il n'est néanmoins pas évident qu'il se comporte de manière plus efficace qu'un ordinateur digital conventionnel. L'implémentation de la fonction se fait asymptotiquement, à grand , c'est-à-dire, dans la pratique, au prix d'un très grand nombre d'itérations de l'application .