Le modèle de régression linéaire simple

• Présentation du modèle
• Méthode d'estimation des Moindres Carrés Ordinaires (MCO)
• Propriétés des estimateurs MCO
• Equation d'analyse de la variance et qualité de l'ajustement
• Inférence statistique
• Prévision

• Présentation du modèle  

Problème : estimer les paramètres du modèle     y_i=a+bx_i+e_i
            
avec:
i = 1,...N,  N étant le nombre d'observations
y_i : la variables expliquée  (variable endogène)
x_i : la variable explicative (variable exogène)
e_i : un aléa

Hypothèses :
        - x_i est supposée non aléatoire
        -  la limite de la variance de la variable x_i est strictement positive
        - e_i est une variable aléatoire
        - E(e_i)=0 ce qui implique que : E(y_i)=a+bx_i
        - Var(e_i)=s²  , les aléas sont homoscédastiques (la variance est constante) d'où Var(y_i)=s²
        - Cov(e_i,e_j)=0 avec i différent de j, les aléas ne sont pas autocorrélés d'où Cov(y_i,y_j)=0

• Méthode d'estimation des Moindres Carrés Ordinaires (MCO)           

La méthode des MCO consiste à minimiser la somme des carrés des aléas

A partir des conditions du premier ordre on obtient les paramètres estimés :

• Propriétés des estimateurs MCO                                               

Les estimateurs des MCO sont BLUE (Best Linear Unbiaised Estimator) et convergents :

C Ils peuvent s'écrire sous la forme d'une combinaison linéaire des observations y_i

C Ils sont non biaisé :  

C Parmi les estimateurs non biaisés, leur variance est  la plus faible (ils sont efficaces)

C L'estimateur des MCO converge en probabilité vers la  valeur des paramètres a et b

Sous l'hypothèse de normalité des aléas, les estimateurs des MCO sont des estimateurs du maximum de vraisemblance.

Soit f la fonction de densité de la loi normale, le logarithme de la fonction de vraisemblance s’écrit :

Méthode du maximum de vraisemblance conduit à choisir les estimateurs de a et b tels que la fonction LogL est maximale ou bien tels que la somme des carrés des aléas est minimisée.

• Equation d'analyse de la variance et qualité de l'ajustement   

La droite de régression de l’échantillon est donnée par et l’écart entre les valeurs observées et les valeurs estimées de y est appelé le résidu. La série des résidus (notée e) a une moyenne nulle et on montre que la variance de y est la somme de la variance de  et de la variance des résidus :

La qualité de l’ajustement est mesurée par le coefficient de corrélation (r² _x,y)entre la variable expliquée et la variable explicative. Il est identique au coefficient de détermination (R²) donné par le rapport entre la variance de  et la variance de y. Ce coefficient est compris entre 0 et 1. Une valeur proche de 1 indique que la qualité de l’ajustement est bonne.

Un R² égal à 0,9 signifie que 90% des variations de la variable endogène sont expliquées par le modèle.

• Inférence statistique                                                                

Les estimateurs des MCO sont distribués selon un loi normale. Cependant, afin d’effectuer des tests statistiques il faut estimer la variance des aléas. Un estimateur non biaisé de  est donné par la somme des carrés des résidus divisée par le nombre d’observations moins le nombre de paramètres estimés :

et la distribution statistique de la variance estimée des aléas est une loi du Chi-deux :