Cours M2: Chaînes de Markov

Pré-requis (P)

Un premier cours sur les martingales en temps discret comme ou les chapitres 10-14 de Williams

Programme du cours

Cours du 16.09.2008
Cours du 23.09.2008
Cours (séance exceptionnelle) du 26.09.2008
Cours du 30.09.2008
Cours du 07.10.2008
Cours du 14.10.2008
Cours du 21.10.2008
Cours du 04.11.2008
Cours (séance exceptionnelle) du 05.11.2008
Cours du 18.11.2008
Cours du 25.11.2008
Cours du 02.12.2008

Cours du 16.09.2008

1. INTRODUCTION
- Précisions sur l'organisation du cours - Bibliographie
- Un exemple simple non trivial de motivation
2. NOYAUX
- Définition
- Noyaux positifs, $\sigma$-finis, propres, bornés
- Action d'un noyau positif à droite sur des fonctions positives, à gauche sur des mesures positives

Cours du 23.09.2008

2. NOYAUX (suite et fin)

Exemples: noyaux intégraux, noyaux de convolution, noyaux ponctuels
Composition des noyaux
Noyaux sous-markoviens, extension de l'espace des états, noyaux markoviens
Noyaux markoviens comme contractions positives

3. ESPACE DES TRAJECTOIRES
- Motivation, espace minimal de probabilités
- Espace des trajectoires
- Énoncé du théorème d'Ionescu-Tulcea
Cours (séance exceptionnelle) du 26.09.2008
3. ESPACE DES TRAJECTOIRES (document partiel)

Rappels sur les systèmes d'ensembles, les mesures et leurs extensions et sur le théorème des classes monotones
Démonstration du théorème d'Ionescu-Tulcea
Définition d'un processus stochastique
Réalisation canonique d'un processus stochastique à l'aide des applications coordonnées

Cours du 30.09.2008

3. ESPACE DES TRAJECTOIRES (document complet)

Chaînes de Markov, chaînes de Markov temporellement homogènes
Rappel (d'une formulation) du théorème des classes monotones
Propriété faible de Markov
Formulations équivalentes de la propriété faible de Markov
Exemples de chaînes de Markov
Propriété forte de Markov

Cours du 07.10.2008

4. CHAÎNES SUR DES ESPACES FINIS

Rappels d'algèbre linéaire: multiplicités d'une valeur propre (algébrique, géométrique, généralisée)
Matrices positives, théorème de Perron-Frobenius
Décomposition spectrale de la matrices stochastique dans le cas général, spectre périphérique
Convergence exponentielle des $P^n$ en cas d'absence de spectre périphérique, convergence polynômiale des moyennes de Cesàro des $P^n$
Quelques remarques sur l'extension dans le cas d'espace généraux et opérateurs quasi-compacts

Cours du 14.10.2008

5. CHAÎNES SUR DES ESPACES DÉNOMBRABLES (rappels)
- Temps de retour, d'entrée; mesure d'occupation; noyau potentiel
- Classification des états: irréductibilité; récurrence, transience
- Mesures invariantes
- Si $P$ irréductible et récurrente, il existe une mesure invariante (construite explicitement)
- Récurrence positive, nulle
- Périodicité
Cours du 21.10.2008
5. CHAÎNES SUR DES ESPACES DÉNOMBRABLES (fin des rappels)

Convergence vers l'équilibre pour une chaîne irréductible, apériodique, admettant une probalité invrariante
Décomposition en classes cycliques
Théorème de convergence pour chaîne périodique
Théorème ergodique pour chaîne irréductible, récurrente positive

6. THÉORIE DU POTENTIEL
- Noyau potentiel, fonctions (mesures) harmoniques, surharmoniques
- Potentiel et charge correspondante
- Équation de Poisson
- Le potentiel d'une fonction mesurable positive est la plus petite fonction positive solution de l'équation de Poisson
Cours du 04.11.2008
6. THÉORIE DU POTENTIEL (suite)
- Principe du maximum
- Décomposition de l'ensemble $a=\{x: \mathbb{P}_x(\tau_B<\infty)>0\}$ en une réunion dénombrable d'ensembles sur lesquels le noyau est borné.
- Solution probabiliste du problème de Dirichlet
- Décomposition de Riesz d'une fonction sur-harmonique
- Décomposition de Riesz d'une mesure sur-harmonique
- Rappel sur les matringales équi-intégrables
- Pour tout mesurable $B$, $L_B$ est sur-harmonique; sa partie harmonique est $H_B$. En outre la surmartingale $(L_B(X_n))$ et la martingale $(H_B(X_n))$ convergent presque sûrement vers l'indicatrice de l'événement $\{\eta(B)=+\infty\}$
Cours (exceptionnel) du 05.11.2008
6. THÉORIE DU POTENTIEL (suite et fin)
- Variables aléatoires asymptotiques, événements asymptotiques, tribu asymptotique, tribu $\matbb{P}$-asymptotique; invariants
- Chaînes spatio-temporelles
- Il y une bijection entre les variables aléatoires bornées invariantes et les fonctions harmoniques bornées
- On équivalence entre les affirmations: toute fonction harmonique bornée est constante et la tribu de invariantes est triviale
- Rappel sur les martingales renversées
- La chaîne de Markov vérifie la propriété de découplage asymptotique si et seulement si la tribu asymptotique est invariante
- Équivalence entre i) trivialité de la tribu des invariants de la chaîne spatio-temporelle, ii) trivialité de la tribu asymptotique de la chaîne spatiale, iii) oubli de la condition initiale, iv) constance des fonctions spatio-temporelles harmoniques bornées.
7. $\phi$-IRRÉDUCTIBILITÉ
- Définition de $\phi$-irréductibilité et $\phi$-réccurence
- Décomposition du noyau markovien en une partie absolument continue et une partie singulière par rapport à $\phi$
Cours du 18.11.2008
7. $\phi$-IRRÉDUCTIBILITÉ (suite)
- Définition de $\phi$-irréductibilité et $\phi$-réccurence
- Décomposition du noyau markovien en une partie absolument continue et une partie singulière par rapport à $\phi$
- Les densités de Radon-Nikodym de la partie absolument continue des $P^n(x, \cdot)$ sont conjointement mesurables
- Il existe de versions conjointement mesurables des densités $p_n$ qui vérifient la minoration de Chapman-Kolmogorov
- Si $A$ est tel que $\phi(A)>0$ et pour tout mesurable $B\subseteq A, avec $\phi(B)>0 on a $L_B(x)>0$ pour tout $x\in A$ alors $A$ contient un $C$-ensemble
Cours du 25.11.2008
7. $\phi$-IRRÉDUCTIBILITÉ (suite)
- Décomposition cyclique
- Ensembles essentiels
8. TRIBU ASYMPTOTIQUE POUR CHAÎNES $\phi$-RÉCURRENTES
- Si la chaîne est $\phi$-récurrente, alors tout mesurable $B$ avec $\phi(B)>0$ est visité infiniment souvent, avec probabilité 1
- Si la chaîne est $\phi$-récurrente et apériodique alors la tribu asymptotique est triviale
Cours du 02.12.2008
9. $\phi$-RÉCURRENCE UNIFORME
- Probabilité tabou
- Si une chaîne est uniformément $\phi$-récurrente et apériodique alors elle oublie la condition initiale exponentiellement rapidement
- Chaîne plongée dans une partie de l'espace.
- Condition d'uniforme $\phi$-récurrence
9. MESURES INVARIANTES POUR DES CHAÎNES $\phi$-RÉCURRENTES
- Toute chaîne $\phi$-récurrente adment une mesure invariante $\pi$, toute autre mesure invariante est un multiple de $\pi$ et $\phi$ est absolument continu par rapport à $\pi$
- Supposons une chaîne $\phi$-récurrente admettant une mesure invariante $\pi$. Alors la chaîne est $\pi$-récurrente
- Exemple d'application des théorèmes
- Énoncé du théorème du rapport des sommes ergodiques
- Fin du programme
Notes de cours d'un seul tenant avec table des matières, bibliographie et index.

Retour à ma page personnelle