17 Estimateurs à noyau et $k$ plus proches voisins

Exercice 1 (Questions de cours)  

1. A
2. B
3. A

Exercice 2 (Estimateur de Nadaraya-Watson) Il suffit de dériver la quantité à minimiser par rapport à ${\beta }_1$ et la valeur de ${\beta }_1$ qui annule cette dérivée : $$-2\sum _{i=1}^n(y_i-{\beta }_1)p_i(x)=0⟺{\hat{\beta }}_1(x)=\frac{\sum _{i=1}^n{y}_i{p}_i(x)}{\sum _{i=1}^n{p}_i(x)}.$$

Exercice 3 (Polynômes locaux)  

Exercice 4 (Estimateur à noyau uniforme dans ${\mathbb{R}}^p$)  

1. En annulant la dérivée par rapport à $a$, on obtient $$\hat{m}(x)=\frac{\sum _{i=1}^n{y}_{i}K\left(\frac{\parallel x_i-x\parallel }{h}\right)}{\sum _{i=1}^{n}K\left(\frac{\parallel x_i-x\parallel }{h}\right)}.$$

2. On a $$\mathrm{V}[\hat{m}(x)]=\frac{{\sigma }^2}{\sum _{i=1}^{n}K\left(\frac{\parallel x_i-x\parallel }{h}\right)}$$ et $$\mathbf{E}[\hat{m}(x)]-m(x)=\frac{\sum _{i=1}^n(m(x_i)-m(x))K\left(\frac{\parallel x_i-x\parallel }{h}\right)}{\sum _{i=1}^{n}K\left(\frac{\parallel x_i-x\parallel }{h}\right)}.$$

3. On a maintenant $|m(x_i)-m(x)|\le L\parallel x_i-x\parallel$. Or $$K\left(\frac{\parallel x_i-x\parallel }{h}\right)$$ est non nul si et seulement si $\parallel x_i-x\parallel \le h$. Donc pour tout $i=1,\dots ,n$ $$L\parallel x_i-x\parallel K\left(\frac{\parallel x_i-x\parallel }{h}\right)\le LhK\left(\frac{\parallel x_i-x\parallel }{h}\right).$$ D’où le résultat.

4. On a $$\mathrm{V}[\hat{m}(x)]=\frac{{\sigma }^2}{\sum _{i=1}^{n}K\left(\frac{\parallel x_i-x\parallel }{h}\right)}=\frac{{\sigma }^2}{\sum _{i=1}^n{\mathbf{1}}_{B_h}(x_i-x)}.$$ Or $$\sum _{i=1}^n{\mathbf{1}}_{B_h}(x_i-x)\ge C_{1}n\text{Vol}(B_h)\ge C_1{\gamma }_{d}n{h}^d$$ où ${\gamma }_d={\pi }^{d/2}/\mathrm{\Gamma }(d/2+1)$. On a donc $$\mathrm{V}[\hat{m}(x)]\le \frac{{\sigma }^2}{C_1{\gamma }_{d}n{h}^d}=\frac{C_2{\sigma }^2}{n{h}^d}$$ avec $C_2=1/(C_1{\gamma }_d)$.

5. On déduit $$\mathbf{E}[(\hat{m}(x)-m(x){)}^2]\le L^2{h}^2+\frac{C_2{\sigma }^2}{n{h}^d}.$$

6. Soit $M(h)$ le majorant ci-dessus. On a $$M(h{)}^{\prime }=2h{L}^2-\frac{C_2{\sigma }^{2}d}{n}{h}^{-d-1}.$$ La dérivée s’annule pour $$h_{opt}=\frac{2L^2}{C_2{\sigma }^{2}d}{n}^{-\frac{1}{d+2}}.$$ Lorsque $h=h_{opt}$ l’erreur quadratique vérifie $$\mathbf{E}[(\hat{m}(x)-m(x){)}^2]=\mathrm{O}\left(n^{-\frac{2}{d+2}}\right).$$ La vitesse diminue lorsque la dimension $d$ augmente, c’est le fléau de la dimension.

Exercice 5 (Vitesse de la régression univariée en design equi-espacé)  

1. $\hat{\beta }$ minimise $\sum _{i=1}^n(Y_i-\beta x_i{)}^2$. On a donc $$\hat{\beta }=\frac{\sum _{i=1}^n{x}_i{Y}_i}{\sum _{i=1}^n{x}_i^2}.$$

2. On déduit $$\mathbf{E}[\hat{\beta }]=\beta \text{et}\mathrm{V}(\hat{\beta })=\frac{{\sigma }^2}{\sum _{i=1}^n{x}_i^2}.$$

3. Comme $$\sum _{i=1}^n{x}_i^2=\frac{(n+1)(2n+1)}{6n},$$ on obtient le résultat demandé.

Exercice 6 (Critère LOO)  

1. On désigne par ${\hat{F}}_h$ le vecteur $({\hat{f}}_h(x_i),i=1,\dots ,n)$, ${\hat{F}}_k$ le vecteur $({\hat{f}}_k(x_i),i=1,\dots ,n)$ et $\mathbb{Y}=(y_1,\dots ,y_n)$. On voit facilement que $${\hat{F}}_h=S_h\mathbb{Y}\text{et}{\hat{F}}_k=S_k\mathbb{Y}$$ où $S_h$ et $S_k$ sont des matrices $n\times n$ dont le terme général est défini par $$S_{ij,h}=\frac{K((x_i-x_j)/h)}{\sum _{l}K((x_i-x_l)/h)}\text{et}{S}_{ij,k}=\{\begin{array}{ll}1/k& \text{ si }{x}_j\text{ est parmi les }k\text{-ppv de }{x}_i\\ 0& \text{ sinon}.\end{array}$$

2. Pour simplifier on note $K_{ij}=K((x_i-x_j)/h)$ On a $${\hat{f}}_h^i(x_i)=\frac{\sum _{j\ne i}{K}_{ij}{y}_j}{\sum _{j\ne i}{K}_{ij}}.$$ Par conséquent $${\hat{f}}_h^i(x_i)[\sum _{j=1}^n{K}_{ij}-K_{ii}]=\sum _{j\ne i}{K}_{ij}{y}_j.$$ On obtient le résultat demandé en divisant tout $\sum _{j=1}^n{K}_{ij}$. Pour l’estimateur de plus proches voisins, on remarque que, si on enlève la $i$ème observation alors l’estimateur des $k$ plus proches voisins de $x_i$ s’obtient à partir ce celui des $k+1$ plus proches voisins avec la $i$ème observation de la façon suivante : $${\hat{f}}_k^i(x_i)=\frac{k+1}{k}\sum _{j\ne i}{S}_{ij,k+1}{y}_j.$$ On obtient le résultat demandé on observant que $S_{ii,k+1}=1/(k+1)$ et donc $$\frac{1}{1-S_{ii,k+1}}=\frac{k+1}{k}.$$

3. On obtient pour l’estimateur à noyau $$\begin{array}{rl}LOO({\hat{f}}_h)=& \frac{1}{n}\sum _{i=1}^n{(y_i-{\hat{f}}_h^i(x_i))}^2\\ =& \frac{1}{n}\sum _{i=1}^n{\left(\frac{y_i-S_{ii,h}{y}_i-\sum _{j\ne i}{S}_{ij,h}{y}_j}{1-S_{ii,h}}\right)}^2\\ =& \frac{1}{n}\sum _{i=1}^n{\left(\frac{y_i-{\hat{f}}_h(x_i)}{1-S_{ii,h}}\right)}^2.\end{array}$$ Le calcul est similaire pour l’estimateur des plus proches voisins.

Exercice 7 (Caret et kppv) On importe les données et on ne garde que les deux variables demandées :

ozone <- read.table("../donnees/ozone.txt",header=TRUE,sep=";")
df <- ozone[,c("O3","T12")]

On construit la grille de plus proches voisins candidats :

grille <- data.frame(k=1:40)

On indique à caret qu’on veut faire de la validation croisée 10 blocs :

library(caret)
ctrl <- trainControl(method="cv")

On lance la validation croisée avec la fonction train :

set.seed(1234)
sel.k <- train(O3~.,data=df,method="knn",trControl=ctrl,tuneGrid=grille)
sel.k

k-Nearest Neighbors 

50 samples
 1 predictor

No pre-processing
Resampling: Cross-Validated (10 fold) 
Summary of sample sizes: 44, 46, 45, 44, 45, 45, ... 
Resampling results across tuning parameters:

  k   RMSE      Rsquared   MAE     
   1  25.39941  0.2777479  21.83800
   2  20.89184  0.3784027  17.05972
   3  17.81455  0.5039548  14.88541
   4  16.49216  0.5636676  14.01838
   5  16.75867  0.5579746  14.33716
   6  16.76845  0.5384320  13.92737
   7  16.11270  0.5792998  13.77474
   8  15.96855  0.5992164  13.64931
   9  16.48290  0.5679445  14.13226
  10  16.89146  0.5572318  14.62217
  11  17.14669  0.5541549  14.68934
  12  17.69184  0.5469553  15.27732
  13  17.41791  0.5668045  15.10278
  14  17.53775  0.5484378  15.17445
  15  17.61846  0.5669393  15.35179
  16  17.89693  0.5550383  15.60799
  17  18.08559  0.5579067  15.72184
  18  18.25932  0.5655324  15.89826
  19  18.84244  0.5402343  16.27675
  20  19.08747  0.5429639  16.30312
  21  19.44070  0.5266746  16.57676
  22  19.66410  0.5196443  16.65315
  23  19.69539  0.5339187  16.60436
  24  19.94851  0.5245251  16.73931
  25  20.04650  0.5072557  16.78093
  26  20.14871  0.5013264  16.78305
  27  20.28257  0.5036138  16.89089
  28  20.45060  0.4988594  16.89900
  29  20.54389  0.5105147  16.92002
  30  20.79567  0.5080200  17.12472
  31  20.96099  0.5014461  17.25705
  32  21.14524  0.4891512  17.23304
  33  21.38173  0.4875148  17.38980
  34  21.59260  0.4810615  17.43883
  35  21.83266  0.4707654  17.67392
  36  22.06004  0.4448406  17.74640
  37  22.34462  0.4236828  17.95419
  38  22.54304  0.3999950  18.11507
  39  22.61034  0.4147744  18.15091
  40  22.68049  0.4296545  18.23871

RMSE was used to select the optimal model using the smallest value.
The final value used for the model was k = 8.

On sélectionnera

sel.k$bestTune

  k
8 8

plus proches voisins.