5 Inférence dans le modèle gaussien

Exercice 1 (Questions de cours) A, C, A, B, B.

Exercice 2 (Théorème 5.1) L’IC (i) découle de la propriété (i) de la proposition 5.3. La propriété (ii) donnant un IC pour ${\sigma }^2$ découle de la loi de ${\hat{\sigma }}^2$. Enfin, la propriété (iii) est une conséquence de la loi obtenue propriété (ii) de la proposition 5.3.

Exercice 3 (Test et $R^2$) En utilisant l’orthogonalité des sous-espaces (figure 5.3 page 99) et le théorème de Pythagore, nous avons $$\begin{array}{rcl}\parallel {\hat{Y}}_0-\hat{Y}{\parallel }^2& =& \parallel {\hat{\epsilon }}_0{\parallel }^2-\parallel \hat{\epsilon }{\parallel }^2.\end{array}$$ Nous pouvons le démontrer de la manière suivante : $$\begin{array}{rcl}\parallel {\hat{Y}}_0-\hat{Y}{\parallel }^2& =& \parallel {\hat{Y}}_0-Y+Y-\hat{Y}{\parallel }^2\\ & =& \parallel {\hat{\epsilon }}_0{\parallel }^2+\parallel \hat{\epsilon }{\parallel }^2+2⟨{\hat{Y}}_0-Y,Y-\hat{Y}⟩\\ & =& \parallel {\hat{\epsilon }}_0{\parallel }^2+\parallel \hat{\epsilon }{\parallel }^2-2⟨Y-{\hat{Y}}_0,Y-\hat{Y}⟩\\ & =& \parallel {\hat{\epsilon }}_0{\parallel }^2+\parallel \hat{\epsilon }{\parallel }^2-2⟨P_{X_0^{\perp }}Y,P_{X^{\perp }}Y⟩\\ & =& \parallel {\hat{\epsilon }}_0{\parallel }^2+\parallel \hat{\epsilon }{\parallel }^2-2⟨(P_{X^{\perp }}+P_X)P_{X_0^{\perp }}Y,P_{X^{\perp }}Y⟩.\end{array}$$ Or $\mathrm{\Im }(X_0)\subset \mathrm{\Im }(X)$, nous avons donc $P_{X^{\perp }}{P}_{X_0^{\perp }}=P_{X^{\perp }}$. De plus, $\hat{\epsilon }=P_{X^{\perp }}Y$, cela donne $$\begin{array}{rcl}⟨(P_{X^{\perp }}+P_X)P_{X_0^{\perp }}Y,P_{X^{\perp }}Y⟩& =& ⟨P_{X^{\perp }}Y,P_{X^{\perp }}Y⟩+⟨P_X{P}_{X_0^{\perp }}Y,P_{X^{\perp }}Y⟩\\ & =& \parallel \hat{\epsilon }{\parallel }^2+0.\end{array}$$ Le résultat est démontré, revenons à la statistique de test. Introduisons les différentes écritures du ${\mathrm{R}}^2$ $$\begin{array}{r}{\mathrm{R}}^{2}2=\frac{\parallel \hat{Y}-\overline{Y}{\parallel }^2}{\parallel Y-\overline{Y}{\parallel }^2}=1-\frac{\parallel \hat{\epsilon }{\parallel }^2}{\parallel Y-\overline{Y}{\parallel }^2}.\end{array}$$ La statistique de test vaut $$\begin{array}{rcl}F& =& \frac{\parallel {\hat{\epsilon }}_0{\parallel }^2-\parallel \hat{\epsilon }{\parallel }^2}{\parallel Y-\hat{Y}{\parallel }^2}\frac{n-p}{p-p_0}\\ & =& \frac{\parallel {\hat{\epsilon }}_0{\parallel }^2/\parallel Y-\overline{Y}{\parallel }^2-\parallel \hat{\epsilon }{\parallel }^2/\parallel Y-\overline{Y}{\parallel }^2}{\parallel Y-\hat{Y}{\parallel }^2/\parallel Y-\overline{Y}{\parallel }^2}\frac{n-p}{p-p_0},\end{array}$$ nous obtenons $$\begin{array}{rcl}F& =& \frac{{\mathrm{R}}^2-{\mathrm{R}}_0^2}{1-{\mathrm{R}}^2}\frac{n-p}{p-p_0},\end{array}$$ soit le résultat annoncé. Cette dernière quantité est toujours positive car ${\mathrm{R}}_0^2\le {\mathrm{R}}^2$ et nous avons là un moyen de tester des modèles emboîtés via le coefficient de détermination.

Exercice 4 (Test et $R^2$ et constante dans le modèle) à corriger ;).

Exercice 5 (Ozone)  

1. Les résultats sont dans l’ordre $$\begin{array}{r}6.2,0.8,6.66,-1.5,-1,50,5,124.\end{array}$$

2. La statistique de test de nullité du paramètre se trouve dans la troisième colonne, nous conservons ${\mathrm{H}}_0$ pour les paramètres associés à Ne9 et Ne12, et la rejetons pour les autres.

3. La statistique de test de nullité simultanée des paramètres autres que la constante vaut 50. Nous rejetons ${\mathrm{H}}_0$.

4. Nous connaissons $$\begin{array}{rl}{\hat{y}}_{n+1}^p& =x_{n+1}^{\prime }\hat{\beta },\\ x_{n+1}^{\prime }& =(1,10,20,0,0,1)\\ \hat{\beta }& =(62,-4,5,-1.5,-0.5,0.8{)}^{\prime }\end{array}$$ et donc la prévision est ${\hat{y}}_{n+1}^p=122.8$. Pour l’intervalle de confiance il nous faut $\hat{\sigma }=16$ mais aussi la matrice $X^{\prime }X$ (donc toutes les données) ce que nous n’avons pas ici. On ne peut donc faire d’intervalle de confiance.

5. Nous sommes en présence de modèles emboîtés, nous pouvons appliquer la formule adaptée (voir l’exercice précédent) : $$\begin{array}{rcl}F& =& \frac{{\mathrm{R}}^{2}2-{\mathrm{R}}_0^{2}2}{1-{\mathrm{R}}^{2}2}\frac{n-p}{p-p_0}\\ & =& \frac{0.66-0.5}{1-0.66}\frac{124}{2}=29.\end{array}$$ Nous conservons ${\mathrm{H}}_0$, c’est-à-dire le modèle le plus simple.

Exercice 6 (Équivalence du test T et du test F) Récrivons la statistique de test $F$, en se rappelant que $X_0$ est la matrice $X$ privée de sa $j^e$ colonne, celle correspondant au coefficient que l’on teste : $$\begin{array}{rcl}F& =& \frac{\parallel X\hat{\beta }-P_{X_0}X\hat{\beta }{\parallel }^2}{{\hat{\sigma }}^2}=\frac{\parallel X_j{\hat{\beta }}_j-{\hat{\beta }}_j{P}_{X_0}{X}_j{\parallel }^2}{{\hat{\sigma }}^2}=\frac{{\hat{\beta }}_j^2}{{\hat{\sigma }}^2}{X}_j^{\prime }(I-P_{X_0})X_j.\end{array}$$ Récrivons maintenant le carré de la statistique $T$ en explicitant ${\hat{\sigma }}_{{\hat{\beta }}_j}^2$ : $$\begin{array}{rcl}{T}^2& =& \frac{{\hat{\beta }}_j^2}{{\hat{\sigma }}^2[(X^{\prime }X{)}^{-1}{]}_{jj}},\end{array}$$ où $[(X^{\prime }X{)}^{-1}{]}_{jj}$ est le $j^e$ élément diagonal de la matrice $(X^{\prime }X{)}^{-1}$. Afin de calculer ce terme, nous utilisons la formule permettant d’obtenir l’inverse d’une matrice bloc, formule donnée en annexe A.2 page 416. Pour appliquer facilement cette formule, en changeant l’ordre des variables, la matrice $X$ devient $(X_0|X_j)$ et $X^{\prime }X$ s’écrit alors $$\begin{array}{rcl}{X}^{\prime }X& =& \left(\begin{array}{cc}{X}_0^{\prime }{X}_0& X_0^{\prime }{X}_j\\ X_j^{\prime }{X}_0& X_j^{\prime }{X}_j\end{array}\right).\end{array}$$ Son inverse, en utilisant la formule d’inverse de matrice bloc, est $$\begin{array}{rcl}[(X^{\prime }X{)}^{-1}{]}_{jj}& =& {(X_j^{\prime }{X}_j-X_j^{\prime }{X}_0(X_0^{\prime }{X}_0{)}^{-1}{X}_0^{\prime }{X}_j)}^{-1}={(X_j^{\prime }(I-P_{X_0})X_j)}^{-1}.\end{array}$$ Nous avons donc $T^2=F$. Au niveau des lois, l’égalité est aussi valable et nous avons que le carré d’un Student à $(n-p)$ ddl est une loi de Fisher à $(1,n-p)$ ddl. Bien entendu, le quantile $(1-\alpha )$ d’une loi de Fisher correspond au quantile $1-\alpha /2$ d’une loi de Student. La loi $\mathcal{T}$ est symétrique autour de 0 et donc, lorsqu’elle est élevée au carré, les valeurs plus faibles que $t_{n-p}(\alpha /2)$, qui ont une probabilité sous ${\mathrm{H}}_0$ de $\alpha /2$ d’apparaître, et celles plus fortes que $t_{n-p}(1-\alpha /2)$, qui ont une probabilité sous ${\mathrm{H}}_0$ de $\alpha /2$ d’apparaître, deviennent toutes plus grandes que $t_{n-p}^2(1-\alpha /2)$. La probabilité que ces valeurs dépassent ce seuil sous ${\mathrm{H}}_0$ est de $\alpha$ et correspond donc bien par définition à $f_{1,n-p}(1-\alpha )$.

Exercice 7 (Équivalence du test F et du test de VM) Nous avons noté la vraisemblance en début du chapitre par $$\begin{array}{rcl}\mathcal{L}(Y,\beta ,{\sigma }^2)& =& \prod _{i=1}^n{f}_Y(y_i)={\left(\frac{1}{2\pi {\sigma }^2}\right)}^{n/2}\exp [-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(y_i-\sum _{j=1}^p{\beta }_j{x}_{ij})}^2]\\ & =& {\left(\frac{1}{2\pi {\sigma }^2}\right)}^{n/2}\exp [-\frac{1}{2{\sigma }^2}\parallel Y-X\beta {\parallel }^2].\end{array}$$ Cette vraisemblance est maximale lorsque $\hat{\beta }$ est l’estimateur des MC et que ${\hat{\sigma }}^2=\parallel Y-X\hat{\beta }{\parallel }^2/n$. Nous avons alors $$\begin{array}{rcl}\underset{\beta ,{\sigma }^2}{max}\mathcal{L}(Y,\beta ,{\sigma }^2)& =& {\left(\frac{n}{2\pi \parallel Y-X\hat{\beta }{\parallel }^2}\right)}^{n/2}\exp (-\frac{n}{2})\\ & =& {\left(\frac{n}{2\pi \mathrm{SCR}}\right)}^{n/2}\exp (-\frac{n}{2})=\mathcal{L}(Y,\hat{\beta },{\hat{\sigma }}^2),\end{array}$$ où $\mathrm{SCR}=\parallel Y-X\hat{\beta }{\parallel }^2$.

Sous l’hypothèse ${\mathrm{H}}_0$ nous obtenons de façon évidente le résultat suivant : $$\begin{array}{r}\underset{\beta ,{\sigma }^2}{max}{\mathcal{L}}_0(Y,{\beta }_0,{\sigma }^2)={\left(\frac{n}{2\pi {\mathrm{SCR}}_0}\right)}^{n/2}\exp (-\frac{n}{2})={\mathcal{L}}_0(Y,{\hat{\beta }}_0,{\hat{\sigma }}_0^2),\end{array}$$ où ${\mathrm{SCR}}_0$ correspond à la somme des carrés résiduels sous ${\mathrm{H}}_0$, c’est-à-dire ${\mathrm{SCR}}_0=\parallel Y-X_0{\hat{\beta }}_0{\parallel }^2$. On définit le test du rapport de vraisemblance maximale (VM) par la région critique suivante : $$\begin{array}{r}{\mathcal{D}}_{\alpha }=\{Y\in {\mathbb{R}}^n:\lambda =\frac{{\mathcal{L}}_0(Y,{\hat{\beta }}_0,{\hat{\sigma }}^2)}{\mathcal{L}(Y,\hat{\beta },{\hat{\sigma }}^2)}<{\lambda }_0\}.\end{array}$$ La statistique du rapport de vraisemblance maximale vaut ici $$\begin{array}{r}\lambda ={\left(\frac{\mathrm{SCR}}{{\mathrm{SCR}}_0}\right)}^{n/2}={\left(\frac{{\mathrm{SCR}}_0}{\mathrm{SCR}}\right)}^{-n/2}.\end{array}$$ Le test du rapport de VM rejette ${\mathrm{H}}_0$ lorsque la statistique $\lambda$ est inférieure à une valeur ${\lambda }_0$ définie de façon à avoir le niveau du test égal à $\alpha$. Le problème qui reste à étudier est de connaître la distribution (au moins sous ${\mathrm{H}}_0$) de $\lambda$. Définissons, pour $\lambda$ positif, la fonction bijective $g$ suivante : $$\begin{array}{r}g(\lambda )={\lambda }^{-2/n}-1.\end{array}$$ La fonction $g$ est décroissante (sa dérivée est toujours négative), donc $\lambda <{\lambda }_0$ si et seulement si $g(\lambda )>g({\lambda }_0)$. Cette fonction $g$ va nous permettre de nous ramener à des statistiques dont la loi est connue. Nous avons alors $$\begin{array}{rcl}g(\lambda )& >& g({\lambda }_0)\\ \frac{{\mathrm{SCR}}_0-\mathrm{SCR}}{\mathrm{SCR}}& >& g({\lambda }_0)\\ \frac{n-p}{p-p_0}\frac{{\mathrm{SCR}}_0-\mathrm{SCR}}{\mathrm{SCR}}& >& f_0\end{array}$$ où $f_0$ est déterminée par $$\begin{array}{r}{P}_{{\mathrm{H}}_0}(\frac{n-p}{p-p_0}\frac{{\mathrm{SCR}}_0-\mathrm{SCR}}{\mathrm{SCR}}>f_0)=\alpha ,\end{array}$$ avec la loi de cette statistique qui est une loi ${\mathcal{F}}_{p-p_0,n-p}$ (cf.~section précédente). Le test du rapport de VM est donc équivalent au test qui rejette ${\mathrm{H}}_0$ lorsque la statistique $$\begin{array}{r}F=\frac{n-p}{p-p_0}\frac{{\mathrm{SCR}}_0-\mathrm{SCR}}{\mathrm{SCR}}\end{array}$$ est supérieure à $f_0$, où $f_0$ est la valeur du fractile $\alpha$ de la loi de Fisher à $(p-p_0,n-p)$ degrés de liberté.

Exercice 8 (Test de Fisher pour une hypothèse linéaire quelconque) Nous pouvons toujours traduire l’hypothèse ${\mathrm{H}}_0$ : $R\beta =r$ en terme de sous-espace de ${\mathcal{M}}_X$. Lorsque $r=0$, nous avons un sous-espace vectoriel de ${\mathcal{M}}_X$ et lorsque $r\ne 0$ nous avons un sous-espace affine de ${\mathcal{M}}_X$. Dans les deux cas, nous noterons ce sous-espace ${\mathcal{M}}_0$ et ${\mathcal{M}}_0\subset {\mathcal{M}}_X$. Cependant nous ne pourrons plus le visualiser facilement comme nous l’avons fait précédemment avec ${\mathcal{M}}_{X_0}$ où nous avions enlevé des colonnes à la matrice $X$. Nous allons décomposer l’espace ${\mathcal{M}}_X$ en deux sous-espaces orthogonaux $$\begin{array}{r}{\mathcal{M}}_X={\mathcal{M}}_0\stackrel{\perp }{\oplus }({\mathcal{M}}_0^{\perp }\cap {\mathcal{M}}_X).\end{array}$$ Sous ${\mathrm{H}}_0$, l’estimation des moindres carrés donne ${\hat{Y}}_0$ projection orthogonale de $Y$ sur ${\mathcal{M}}_0$ et nous appliquons la même démarche pour construire la statistique de test. La démonstration est donc la même que celle du théorème 5.2. C’est-à-dire que nous regardons si ${\hat{Y}}_0$ est proche de $\hat{Y}$ et nous avons donc $$\begin{array}{rcl}F& =& \frac{\parallel \hat{Y}-{\hat{Y}}_0{\parallel }^2/\dim ({\mathcal{M}}_0^{\perp }\cap {\mathcal{M}}_X)}{\parallel Y-\hat{Y}{\parallel }^2/\dim ({\mathcal{M}}_{X^{\perp }})}\\ & =& \frac{n-p}{q}\frac{\parallel Y-{\hat{Y}}_0{\parallel }^2-\parallel Y-\hat{Y}{\parallel }^2}{\parallel Y-\hat{Y}{\parallel }^2}\\ & =& \frac{n-p}{q}\frac{{\mathrm{SCR}}_0-\mathrm{SCR}}{\mathrm{SCR}}\sim {\mathcal{F}}_{q,n-p}.\end{array}$$ Le problème du test réside dans le calcul de ${\hat{Y}}_0$. Dans la partie précédente, il était facile de calculer ${\hat{Y}}_0$ car nous avions la forme explicite du projecteur sur ${\mathcal{M}}_0$. Une première façon de procéder revient à trouver la forme du projecteur sur ${\mathcal{M}}_0$. Une autre façon de faire est de récrire le problème de minimisation sous la contrainte $R\beta =r$. Ces deux manières d’opérer sont présentées en détail dans la correction de l’exercice 2.13. Dans tous les cas l’estimateur des MC contraints par $R\beta =r$ est défini par $$\begin{array}{rcl}{\hat{\beta }}_0& =& \hat{\beta }+(X^{\prime }X{)}^{-1}{R}^{\prime }[R(X^{\prime }X{)}^{-1}{R}^{\prime }{]}^{-1}(r-R\hat{\beta }).\end{array}$$

Exercice 9 (Généralisation de la régression ridge) Soit la fonction à minimiser $$\begin{array}{rl}R(\beta )& =\parallel Y-X\beta {\parallel }^2-\sum _{j=1}^p{\delta }_j({\beta }_j^2)\\ & =(Y-X\beta {)}^{\prime }(Y-X\beta )-{\beta }^{\prime }\mathrm{\Delta }\beta \end{array}$$ avec ${\delta }_1,\dots ,{\delta }_p$ des réels positifs ou nuls.

Sachant que $\frac{\partial {\beta }^{\prime }A\beta }{\partial \beta }=2A\beta$ (avec $A$ symétrique) et que $\frac{\partial X\beta }{\partial \beta }=X^{\prime }$ nous avons la dérivée partielle suivante $$\begin{array}{rl}\frac{\partial R}{\partial \beta }& =-2X^{\prime }(Y-X\beta )+2\mathrm{\Delta }\beta \end{array}$$ En annulant cette dérivée nous avons $$\begin{array}{rl}-2X^{\prime }(Y-X{\hat{\beta }}_{\mathrm{RG}})+2\mathrm{\Delta }{\hat{\beta }}_{\mathrm{RG}}& =0\\ (X^{\prime }X+\mathrm{\Delta }){\hat{\beta }}_{\mathrm{RG}}& =X^{\prime }Y\end{array}$$ donc en prémultipliant par $(X^{\prime }X-\mathrm{\Delta }{)}^{-1}$ nous obtenons $$\begin{array}{r}{\hat{\beta }}_{\mathrm{RG}}=(X^{\prime }X-\mathrm{\Delta }{)}^{-1}{X}^{\prime }Y.\end{array}$$ En régression multiple le nombre de paramètres est $p=\text{tr}(P_X)$ avec $P_X$ la matrice de l’endomorphisme qui permet d’obtenir $\hat{Y}$ à partir de $Y$. Dans cette régression ridge, nous avons que $$\begin{array}{rl}{\hat{Y}}_{\mathrm{RG}}& =X{\hat{\beta }}_{\mathrm{RG}}=X(X^{\prime }X-\mathrm{\Delta }{)}^{-1}{X}^{\prime }Y\end{array}$$ donc la matrice de l’endomorphisme est ici $X(X^{\prime }X-\mathrm{\Delta }{)}^{-1}{X}^{\prime }$ et le nombre équivalent de paramètres est $\text{tr}(X(X^{\prime }X-\mathrm{\Delta }{)}^{-1}{X}^{\prime })$.

Exercice 10 (IC pour la régression ridge)  

1. Loi de $\hat{\beta }$ : $\text{NO}(\beta ,{\sigma }^2(X^{\prime }X{)}^{-1})$ grâce au modèle et à ${\mathcal{H}}_3$.

2. Loi de $_{}() $. Comme ${\hat{\beta }}_{\mathrm{ridge}}(\tilde{\kappa })=(X^{\prime }X-\tilde{\kappa }I{)}^{-1}{X}^{\prime }Y$ avec $A=(X^{\prime }X-\tilde{\kappa }I{)}^{-1}{X}^{\prime }$ qui est une matrice fixe. Avec ${\mathcal{H}}_3$ et le modèle de régression multiple on a que $Y\sim \text{NO}(X\beta ,{\sigma }^{2}I)$.

   Puisque $Y$ est un vecteur gaussien, il en est de même de ${\hat{\beta }}_{\mathrm{ridge}}(\tilde{\kappa })=AY$. Calculons son espérance $$\begin{array}{rl}\mathbf{E}({\hat{\beta }}_{\mathrm{ridge}}(\tilde{\kappa }))& =\mathbf{E}(AY)=A\mathbf{E}(Y)=AX\beta \\ & =(X^{\prime }X-\tilde{\kappa }I{)}^{-1}{X}^{\prime }X\beta \end{array}$$ et sa variance $$\begin{array}{rl}\mathrm{V}({\hat{\beta }}_{\mathrm{ridge}}(\tilde{\kappa }))& =\mathrm{V}(AY)=A\mathrm{V}(Y)A^{\prime }=A{\sigma }^{2}I{A}^{\prime }={\sigma }^{2}A{A}^{\prime }\\ & ={\sigma }^2(X^{\prime }X-\tilde{\kappa }I{)}^{-1}{X}^{\prime }X(X^{\prime }X-\tilde{\kappa }I{)}^{-1}.\end{array}$$

3. Calculons le produit scalaire de $Y-{\hat{Y}}_{\mathrm{ridge}}$ et ${\hat{Y}}_{MC}:$ $$\begin{array}{rl}<Y-{\hat{Y}}_{\mathrm{ridge}};{\hat{Y}}_{MC}>& =<Y-{\hat{Y}}_{MC}+{\hat{Y}}_{MC}-{\hat{Y}}_{\mathrm{ridge}};{\hat{Y}}_{MC}>\\ & =<Y-{\hat{Y}}_{MC};{\hat{Y}}_{MC}>+<{\hat{Y}}_{MC}-{\hat{Y}}_{\mathrm{ridge}};{\hat{Y}}_{MC}>\\ & =0+<{\hat{Y}}_{MC}-{\hat{Y}}_{\mathrm{ridge}};{\hat{Y}}_{MC}>\end{array}$$ Or ${\hat{Y}}_{\mathrm{ridge}}=X{\beta }_{\mathrm{ridge}}(\tilde{\kappa })$ donc il appartient au sous espace vectoriel $\mathrm{\Im }(X)$, de même que ${\hat{Y}}_{MC}=P_{X}Y$. Sauf si $\tilde{\kappa }=0$ on a que ${\hat{Y}}_{\mathrm{ridge}}\ne {\hat{Y}}_{MC}$ donc ${\hat{Y}}_{MC}-{\hat{Y}}_{\mathrm{ridge}}$ est un vecteur non nul de $\mathrm{\Im }(X)$ et donc son produit scalaire avec ${\hat{Y}}_{MC}\in \mathrm{\Im }(X)$ est non nul.

4. Il faut pouvoir démontrer l’indépendance de ${\hat{\sigma }}_{\mathrm{ridge}}$ et ${\hat{\beta }}_{\mathrm{ridge}}$. Pour le théorème 5.1, on montre l’indépendance entre$\hat{\beta }$ et $\hat{\sigma }$ en considérant les 2 vecteurs $\hat{\beta }$ et $\hat{\epsilon }=(Y-\hat{Y})$. Comme nous pouvons écrire $\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }{P}_{X}Y$, $\hat{\beta }$ est donc une fonction fixe (dépendante uniquement des $X$) de $P_{X}Y$. De plus, $\hat{\epsilon }=P_{X^{\perp }}Y$ est orthogonal à $P_{X}Y$. Ces 2 vecteurs suivent des lois normales et sont donc indépendants. Il en résulte que $\hat{\beta }$ et $Y-\hat{Y}$ sont indépendants et de même pour $\hat{\beta }$ et $\hat{\sigma }$.

   Ici, ${\hat{\sigma }}_{\mathrm{ridge}}$ est une fonction de $Y-{\hat{Y}}_{\mathrm{ridge}}$. Le vecteur ${\hat{\beta }}_{\mathrm{ridge}}=(X^{\prime }X+\tilde{\kappa }{I}_p{)}^{-1}{X}^{\prime }Y=(X^{\prime }X+\tilde{\kappa }{I}_p{)}^{-1}{X}^{\prime }{P}_{X}Y$ est une fonction fixe ($\tilde{\kappa }$ est considéré comme fixé) de $P_{X}Y$. Par contre, $P_{X}Y$ n’est pas orthogonal à $(Y-{\hat{Y}}_{\mathrm{ridge}})$, comme nous l’avons montré, nous ne pouvons donc montrer l’indépendance de ${\hat{\beta }}_{\mathrm{ridge}}$ et ${\hat{\sigma }}_{\mathrm{ridge}}$.

   Une autre idée serait d’utiliser $\hat{\sigma }$ mais en général si l’on utilise la régression ridge c’est que l’on se doute que $\hat{Y}$ n’est pas un bon estimateur de $X\beta$ et donc $\hat{\sigma }$ qui est une fonction de $Y-\hat{Y}$ risque de ne pas être un bon estimateur de $\sigma$. L’estimateur $\hat{\sigma }$ peut même être nul, ce qui pratiquement peut arriver quand $p>n$.

5. En général quand $X$ est fixe pour un bootstrap en régression on estime $\hat{\beta }$ puis on déduit les $\{{\widehat{ϵ}}_i\}$. De cet ensemble sont tirés de manière équiprobable avec remise $n$ résidus $\{{\widehat{ϵ}}_i^{\ast }\}$. Ces nouveaux résidus sont additionnés à $X\beta$ pour faire un nouveau vecteur $Y^{\ast }$ et avoir un échantillon bootstap $Y^{\ast },X$.

   Ici l’estimation de $\hat{\beta }$ sera mauvaise (et c’est pour cela que l’on utilise la régression ridge) et plutôt que d’estimer de mauvais résidus nous allons retirer avec remise parmi les $Y_i,X_{i.}$ ce qui est la procédure adaptée au $X$ aléatoire mais ici nous avons peu de choix

   Entrées : $\tilde{\kappa }$ fixé, $\alpha$ fixé, $B$ choisi.
   Sorties : IC, au niveau $\alpha$, coordonnée par coordonnée de $\beta$.

   1. Estimer ${\beta }_{\mathrm{ridge}}(\tilde{\kappa })$ .
   2. En déduire ${\hat{\epsilon }}_{\mathrm{ridge}}=Y-X{\hat{\beta }}_{\mathrm{ridge}}$.
   3. Pour $k=1$ à $B$
      • tirer avec remise $n$ résidus estimés parmi les $n$ coordonnées de ${\hat{\epsilon }}_{\mathrm{ridge}}$ ;
      • on note ces résidus (réunis dans 1 vecteur) ${\hat{\epsilon }}_{\mathrm{ridge}}^{(k)}$ ;
      • construire 1 échantillon $Y^{(k)}=X{\beta }_{\mathrm{ridge}}(\tilde{\kappa })+{\hat{\epsilon }}_{\mathrm{ridge}}^{(k)}$ ;
      • ${\tilde{\kappa }}^{(k)}\leftarrow \tilde{\kappa }$ ;
      • estimer le vecteur de paramètre ${\beta }_{\mathrm{ridge}}^{(k)}({\tilde{\kappa }}^{(k)})=(X^{\prime }X+{\tilde{\kappa }}^{(k)}{I}_p{)}^{-1}{X}^{\prime }{Y}^{(k)}$ ;
   4. Pour $j=1$ à $p$
      • calculer les quantiles empiriques de niveau $\alpha /2$ et $1-\alpha /2$ pour la coordonnée $j$, sur tous les vecteurs $\{{\beta }_{\mathrm{ridge}}^{(k)}(\tilde{\kappa })\}$ ;

6. L’algorithme est presque le même. Cependant comme $\tilde{\kappa }$ n’est pas fixé, pour estimer ${\beta }_{\mathrm{ridge}}(\tilde{\kappa })$ il faut déterminer $\tilde{\kappa }$ par une méthode choisie. Ensuite, à chaque estimation de ${\beta }_{\mathrm{ridge}}^{(k)}({\tilde{\kappa }}^{(k)})$, il est nécessaire au préalable de déterminer ${\tilde{\kappa }}^{(k)}$ par la même méthode que celle utilisée pour déterminer $\tilde{\kappa }$.