Le procédé d'apprentissage

La donnée d'une fonction est équivalente à la donnée de son graphe . Cette définition exhaustive est la seule possible en informatique lorsque la formule définissant la fonction n'est pas explicitement connue. Néanmoins, s'il fallait décrire la fonction à un être humain une telle quantité d'information serait superflue. Nul besoin de donner le graphe complet d'une fonction si l'on sait que

C'est cette faculté de généralisation du cerveau humain que l'on voudrait mimer avec un réseau neuronal.

On présente au réseau signaux d'entrée , , avec , pour lesquels les signaux de sortie où pour sont explicitement connus.

On voudrait que le réseau adapte les paramètres et de manière que pour . On dit que le réseau subit un apprentissage supervisé et l'ensemble des couples , est appelé ensemble d'exercices résolus.

Pour ce faire, on pose ce problème comme un problème de minimisation sur l'ensemble de tous les paramètres et comme suit : chaque choix de définit une application . On calcule, pour chaque , la valeur . Sur l'espace on introduit une distance, par exemple la distance de Hamming, , et on définit sur l'espace des paramètres , l'hamiltonien

Maintenant, le problème d'apprentissage est devenu un problème de minimisation sur un grand espace (de paramètres ) qui peut être traité^11.2par la méthode du recuit simulé !