Les premiers chercheurs qui ont essayé de définir mathématiquement la notion d'information contenue dans un message ont dressé une liste des propriétés que devrait vérifier la quantité d'information à partir d'une définition plausible. Ils ont ainsi procédé sans s'en rendre compte comme les thermodynamiciens du siècle dernier. L'anecdote veut que Claude Shannon, un des pionniers de l'information, en discutant un jour avec John von Neuman sur la définition qu'il avait proposée pour l'information, s'est rendu compte que ce qu'il venait de définir comme information n'etait que l'inverse de l'entropie de Boltzmann. En effet, on a tendance à considérer comme du bruit impertinent un message totalement aléatoire tandis qu'un message structuré est sensé contenir beaucoup d'information. Ainsi pour un espace fini avec un vecteur de probabilité , Shannon définit l'information . Aujourd'hui la théorie de l'information est mathématiquement bien établie [#!Sha!#] et [#!Khi!#]. Comme l'information est l'inverse de l'entropie, on ne répète les arguments donnés au paragraphe précédent mais on donne juste la définition dans un cadre un peu plus général.
Sachant que les fonctions positives intégrables sur ont une interpétation comme densités, la notion d'information est définie pour toute mesure positive sur . Elle nous renseigne sur la « quantité d'information » véhiculée par une mesure de densité . Parmi toutes les mesures sur , avec , la probabilité uniforme minimise la fonction information.
On peut étudier l'information contenue dans le système dynamique dans un stade ultérieure de son évolution, en examinant la quantité , où est l'opérateur de l'evolution markovienne ou l'opérateur de Perron et Frobenius du système. Intuititevment, une suite aléatoire contient une quantité d'information proportionnelle à la longueur de la suite. Voyons pourquoi sur un exemple.
Soit muni de sa tribu borélienne. Soit définie par . Pour , l'application est le décalage à gauche avec amputation du bit de poids .
Supposons que pour observer l'évolution nous disposons d'un instrument imparfait
qui donne pour tout ,
On voit que d'après la définition de Obs, on a . Donc avec l'instrument imparfait de détection que nous disposons, nous pouvons le déterminer avec une précision arbitraire (un nombre arbitraire de digits) si on l'oberve suffisamment longtemps. Comme l'information moyenne produite par unité de temps est de 1 bit, l'information contenue dans la suite de longueur est bits.
On peut calculer facilement l'exposant de Lyapunov de cette suite qui entraîne une sensibilité aux conditions initiales. Comme en observant l'évolution pour des temps de plus en plus longs, on arrive à déterminer la condition initiale de plus en plus précisemment, des différences qui restent inaperçues à petit temps peuvent se distinguer à des stades ultérieurs de l'évolution.