td inference

« 1/4 2/4 3/4 4/4 10.

Estimation MTH2302D S.

Le Digabel, École Polytechnique de Montréal A2017 (v2) MTH2302D: estimation 1/50 1/4 2/4 3/4 4/4 Plan 1.

Introduction 2.

Estimation ponctuelle 3.

Estimation par intervalles de confiance 4.

Autres problèmes d’estimation par intervalle de confiance MTH2302D: estimation 2/50 1/4 2/4 3/4 4/4 1.

Introduction 2.

Estimation ponctuelle 3.

Estimation par intervalles de confiance 4.

Autres problèmes d’estimation par intervalle de confiance MTH2302D: estimation 3/50 1/4 2/4 3/4 4/4 Introduction L’inférence statistique consiste à tirer des conclusions sur une population à partir d’un échantillon. Deux parties : I Estimation de paramètres. I Tests d’hypothèses. Estimation de paramètres : deux méthodes : I Estimation ponctuelle. I Estimation par intervalles de confiance. MTH2302D: estimation 4/50 1/4 2/4 3/4 4/4 1.

Introduction 2.

Estimation ponctuelle 3.

Estimation par intervalles de confiance 4.

Autres problèmes d’estimation par intervalle de confiance MTH2302D: estimation 5/50 1/4 2/4 3/4 4/4 Estimation ponctuelle But : estimer un paramètre d’une population à l’aide d’une statistique. Définition Soit X une variable aléatoire dont la distribution dépend d’un paramètre θ.

Soit X1 , .

.

.

, Xn un échantillon aléatoire de X de taille n. Un estimateur ponctuel de θ est une statistique θ̂ de la forme θ̂ = h(X1 , .

.

.

, Xn ) et vérifiant certains critères. MTH2302D: estimation 6/50 1/4 2/4 3/4 4/4 Exemple 1 Soit X une variable aléatoire et X1 , .

.

.

, Xn un échantillon de taille n.

Alors n 1X I θ̂1 = X = Xi n i=1 I θ̂2 = Xi (une valeur individuelle) sont des estimateurs de la moyenne θ = µ = E(X). MTH2302D: estimation 7/50 1/4 2/4 3/4 4/4 Exemple 2 Soit X une variable aléatoire et X1 , .

.

.

, Xn un échantillon de taille n.

Alors n 1 X I θ̂1 = S 2 = (Xi − X)2 n−1 i=1 I n 1X 2 (Xi − X)2 θ̂2 = Sn = n i=1 sont des estimateurs de la variance θ = σ 2 = V(X). MTH2302D: estimation 8/50 1/4 2/4 3/4 4/4 Trois critères pour la qualité d’un estimateur Critère 1 : le biais Le biais d’un estimateur θ̂ du paramètre θ est Biais(θ̂) = E(θ̂) − θ. On dit que θ̂ est sans biais ou non-biaisé si Biais(θ̂) = 0. Le biais est une mesure de l’erreur systématique faite en approximant θ par θ̂. Exemple 3 Prouver que E(X) = µ et E(S 2 ) = σ 2 et donc que X et S 2 sont des estimateurs sans biais de µ et σ 2 . MTH2302D: estimation 9/50 1/4 2/4 3/4 4/4 Trois critères pour la qualité d’un estimateur (suite) Critère 2 : Erreur quadratique moyenne Définition L’erreur quadratique moyenne (EQM) d’un estimateur θ̂ du paramètre θ est h i EQM(θ̂) = E (θ̂ − θ)2 . L’EQM est une mesure de la précision d’un estimateur. Théorème Si θ̂ est un estimateur du paramètre θ alors h i2 EQM(θ̂) = V(θ̂) + Biais(θ̂) . MTH2302D: estimation 10/50 1/4 2/4 3/4 4/4 Trois critères pour la qualité d’un estimateur (suite) Critère 2 : Erreur quadratique moyenne (suite) Le meilleur de deux estimateur θ̂1 et θ̂2 , c’est-à-dire le plus efficace, est celui qui a la plus petite EQM : θ̂1 est plus efficace que θ̂2 si EQM(θ̂1 ) < EQM(θ̂2 ) ⇔ EQM(θ̂1 ) EQM(θ̂2 ) < 1. Lorsque deux estimateurs son non biaisés, ceci revient à dire que le plus efficace est celui dont la variance est la plus petite. MTH2302D: estimation 11/50 1/4 2/4 3/4 4/4 Exemple 4 Soit X1 , X2 , .

.

.

, X5 un échantillon aléatoire d’une v.a.

X telle que E(X) = µ et V(X) = σ 2 .

Pour estimer µ, on considère X1 + .

.

.

+ X5 2X1 − X2 + X4 θˆ1 = et θˆ2 = . 5 2 1.

Ces deux estimateurs sont-ils non-biaisés ? 2.

Quel est le meilleur des deux ? MTH2302D: estimation 12/50 1/4 2/4 3/4 4/4 Trois critères pour la qualité d’un estimateur (suite) Critère 3 : Convergence Dénotons par θ̂n un estimateur du paramètre θ calculé à partir d’un échantillon de taille n. Définition Un estimateur θ̂n est convergent si pour tout ε > 0   lim P |θ̂n − θ| < ε = 1. n→∞ Ceci signifie : si la taille de l’échantillon est assez grande alors on est (presque) certain que l’estimateur θ̂n est très proche de θ. Théorème Si EQM(θ̂n ) converge vers 0 lorsque n → ∞ alors θ̂n est convergent. MTH2302D: estimation 13/50 1/4 2/4 3/4 4/4 Méthode des moments I La plupart des lois que nous avons vues sont déterminées par un ou deux paramètres généralement liés aux deux premiers moments de la v.a., µ01 = µ et µ02 = σ 2 . I Soit X ∼ Loi(θ1 , θ2 ) avec θ1 et θ2 inconnus mais dépendants des deux premiers moments.

Si X1 , X2 , .

.

.

, Xn est un échantillon de taille n des valeurs de X, on peut définir les deux premiers moments de l’échantillon par rapport à l’origine : n 1X k 0 Xi avec k ∈ {1, 2} . mk = n i=1 Ainsi on peut estimer µ par µ̂ = m01 et σ 2 par σ̂ 2 = m02 − (m01 )2 , et donc θ1 et θ2 . MTH2302D: estimation 14/50 1/4 2/4 3/4 4/4 Exemple 5 Soit X ∼ Unif(0, a).

Quel est l’estimateur â du paramètre a par la méthode des moments ? MTH2302D: estimation 15/50 1/4 2/4 3/4 4/4 Méthode du maximum de vraisemblance Soit X une variable aléatoire dont la distribution est donnée par f (x, θ), où θ est un paramètre inconnu. Soit x1 , .

.

.

, xn une réalisation (valeurs observées) d’un échantillon aléatoire de taille n de X. Définition La fonction de vraisemblance de cet échantillon est L(θ) = f (x1 , θ)f (x2 , θ) · · · f (xn , θ). Intuitivement, L(θ) est la probabilité d’observer les x1 , x2 , .

.

.

, xn : P (X1 = x1 ∩ X2 = x2 ∩ .

.

.

∩ Xn = xn ). Définition L’estimateur de vraisemblance maximale de θ est la valeur θ̂ pour laquelle L(θ) atteint son maximum. MTH2302D: estimation 16/50 1/4 2/4 3/4 4/4 Exemple 6 Soit X ∼ Bern(p).

Quel est l’estimateur p̂ du paramètre p par la méthode du maximum de vraisemblance ? Voir exemple 10.5 page 235 (2ème édition) / exemple 9.5 page 248 (3ème édition) pour la loi normale. MTH2302D: estimation 17/50 1/4 2/4 3/4 4/4 1.

Introduction 2.

Estimation ponctuelle 3.

Estimation par intervalles de confiance 4.

Autres problèmes d’estimation par intervalle de confiance MTH2302D: estimation 18/50 1/4 2/4 3/4 4/4 Intervalles de confiance (IC) Idée : Soit θ un paramètre de la distribution d’une variable aléatoire X. À partir d’un échantillon, on cherche à déterminer un intervalle [L, U ] qui contient θ avec une probabilité donnée. Sur ce dessin, par ex.

: P (L ≤ µ ≤ U ) ' 87%. MTH2302D: estimation µ 19/50 1/4 2/4 3/4 4/4 Intervalles de confiance (suite) Définition Soit X une variable aléatoire et θ un paramètre de sa distribution. Soit X1 , .

.

.

, Xn un échantillon de taille n de X. Si L ≡ L(X1 , .

.

.

, Xn ) et U ≡ U (X1 , .

.

.

, Xn ) sont deux statistiques telles que P (L ≤ θ ≤ U ) = 1 − α alors on dit que [L, U ] est un intervalle de confiance pour θ de niveau de confiance 1 − α. MTH2302D: estimation 20/50 1/4 2/4 3/4 4/4 IC pour la moyenne µ : cas où σ 2 est connue Rappel : si X ∼ N(µ, σ 2 ) ou si la taille n de l’échantillon est grand alors X −µ √ ∼ N(0, 1). σ/ n Théorème Dans ce cas, l’intervalle de confiance à 100(1 − α)% pour µ est σ σ X − zα/2 √ ≤ µ ≤ X + zα/2 √ n n où zα/2 est un nombre tel que Φ(zα/2 ) = 1 − α/2. Exemple 7 Prouver le théorème. MTH2302D: estimation 21/50 1/4 2/4 3/4 4/4 IC pour la moyenne µ : cas où σ 2 est connue (suite) Remarques : 1.

La valeur de zα/2 dépend du niveau de confiance voulu : par exemple, avec la table du site du cours, on a : I I I Si 1 − α = 0.90, alors zα/2 ' 1.645. Si 1 − α = 0.95, alors zα/2 ' 1.960. Si 1 − α = 0.99, alors zα/2 ' 2.576. 2.

On peut aussi considérer un intervalle unilatéral, de la forme [L, ∞[ ou ] − ∞, U ] correspondant à P (µ ≥ L) = 1 − α ou P (µ ≤ U ) = 1 − α. Dans ce.... »