Notions d'erreur systématique et de reproductibilité statistique

On a vu que la qualité d'estimation d'une expérience est gouvernée par la longueur des intervalles de confiance et que cette grandeur peut diminuer en augmentant la taille de l'échantillon statistique. Cependant, d'autres erreurs peuvent s'ajouter à l'erreur statistique. Il s'agit de diverses erreurs dues aux simplifications apportées au problème initial dans des buts de modélisation ou des erreurs purement numériques dues à la précision finie des ordinateurs que l'on appelle, collectivement, erreur systématique. Contrairement aux erreurs statistiques que le théorème de la limite centrale permet de traiter rigoureusement et d'estimer a priori, il n'y a pas de théorie permettant d'estimer les erreurs systématiques ; dans la plupart de cas, il s'agit d'une estimation subjective. Ainsi, quand une estimation de l'erreur systématique est effectuée pour le problème, les résultats numériques sont présentés sous la forme

Une autre notion importante, empruntée aussi aux sciences expérimentales, est celle de la reproductibilité statistique.

Dans la pratique, une expérience numérique est « homologuée » comme reproductible, si deux chercheurs différents, travaillant dans des laboratoires différents sur des ordinateurs différents et ayant écrit leurs programmes de manière indépendante trouvent

Il est utile de noter à ce propos que les exigences de reproductibilité statistique et de précision sont antagonistes. Ceci constitue un excellent garde-fou contre les tricheries et les malhonnêtetés intellectuelles.