7 Étude d’une chaîne de Markov

On génère une suite de variables aléatoires Y = (Y _n)_n à valeurs dans {0, 1} de la manière suivante : on associe 0 à pile et 1 à face et on dispose de deux pièces de monnaie, une honnête et une truquée qui donne face avec probabilité 3/4 ;

1. Montrer que Y CM(E = {0, 1}, ₀, N) avec un noyau markovien N défini en termes d’une matrice stochastique P que vous spécifierez.
2. Dessinez le graphe associé à la matrice stochastique de Y .
3. La chaîne Y est-elle transiente ou récurrente?
4. Quels sont les états essentiels de Y et les classes communiquantes ?
5. Écrire un programme qui simule la suite Y .
6. Estimer

7. En se servant des valeurs de pi(x), pour x {0, 1}, estimées ci-dessus, calculer _xE(x)P(x, y). Qu’observez-vous ?
8. Estimer _xx, pour x E.
9. Calculer _xx.
10. Calculer les vecteurs propres gauches u_i et droits v_i normalisés de la matrice P ainsi que les valeurs propres _i corresposndantes. Écrire la décomposition spectrale de P.
11. Exprimer Pⁿ, pour n entier positif arbitraire, en termes de v_i u_i et des valeurs propres.
12. Calculer _n(x) = ₀(Y _n = x) pour x = 0, 1.
13. La limite lim _{n n}(x) = (x) est-elle compatible avec l’observation expérimentale ?
14. Comment se compare avec (x) ?

L’animation en ligne permet de simuler une chaîne de Markov avec un nombre arbitraire d’états.