Regresja jądra

W statystyce regresja jądra jest nieparametryczną techniką szacowania warunkowej wartości oczekiwanej zmiennej losowej . Celem jest znalezienie nieliniowej zależności między parą zmiennych losowych X i Y .

W dowolnej regresji nieparametrycznej warunkowe oczekiwanie zmiennej względem zmiennej można zapisać: $Y$ $}$

{\ Displaystyle \ operatorname {E} (Y \ mid X) = m (X)}

gdzie jest $funkcją$ .

Regresja jądra Nadarai – Watsona

Nadaraya i Watson , obaj w 1964 roku, zaproponowali oszacowanie $jądra$ lokalnie średniej ważonej, używając jako funkcji ważącej. Estymator Nadarai – Watsona to:

{\ Displaystyle {\ widehat {m}} _ {h} ( x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_ {h}(x-x_{i})}}}

gdzie $jest$ jądrem $_$ _

Pochodzenie

{\ Displaystyle \ operatorname {E} (Y \ mid X = x )=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy}

Korzystając z oszacowania gęstości jądra dla wspólnego rozkładu f ( x , y ) i f ( x ) z jądrem K ,

{\ Displaystyle {\ kapelusz {f}} (x, y) = {\ frac {1}{n}}\suma _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),}

{\ Displaystyle {\ kapelusz {f}} (x) = {\ Frac {1} {n}} \ suma _ {i = 1} ^ {n} K_ {h} (x -x_{i}),}

dostajemy

{\ Displaystyle {\ rozpocząć {wyrównane} \ nazwa operatora {\ kapelusz {E}} (Y \ mid X = x) & = \ int {\ Frac {y \ suma _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\suma _{j=1}^{n}K_ {h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i })\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}} ,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1} ^{n}K_{h}(x-x_{j})}},\end{wyrównane}}}

który jest estymatorem Nadarayi – Watsona.

Estymator jądra Priestleya-Chao

{\ Displaystyle {\ widehat {m}} _ {PC} ( x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{ h}}\right)y_{i}}

gdzie $jest$ (lub parametr wygładzania).

Estymator jądra Gassera-Müllera

{\ Displaystyle {\ widehat {m}} _ {GM} (x)=h^{-1}\suma _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {xu}{h}}\right)\,du\right]y_{i}}

gdzie ${\ Displaystyle s_ {i} = {\ Frac {x_ {i-1} + x_ {i}} {2}}.}$

Przykład

Szacowana funkcja regresji.

Ten przykład jest oparty na kanadyjskich przekrojowych danych płacowych, składających się z losowej próby pobranej z taśm kanadyjskiego spisu powszechnego z 1971 r. dla mężczyzn posiadających wspólne wykształcenie (klasa 13). W sumie jest 205 obserwacji.

Rysunek po prawej stronie przedstawia oszacowaną funkcję regresji przy użyciu jądra Gaussa drugiego rzędu wraz z asymptotycznymi granicami zmienności.

Skrypt np

Następujące polecenia języka programowania R wykorzystują funkcję npreg() w celu zapewnienia optymalnego wygładzenia i utworzenia figury podanej powyżej. Polecenia te można wprowadzić w wierszu polecenia za pomocą funkcji wycinania i wklejania.


 



  

 
     
      install.packages  (  "np"  )  biblioteka  (  np  )  # nieparametryczne  dane biblioteki   (  cps71  )  dołącz  (  cps71  )  m  <-  npreg  (  logwage  ~  wiek  )  plot  (  m  ,  plot.errors.method  =  "asymptotic"  ,  plot.errors .style  =  "zespół"  ,  ylim  =  c  (  

   11  ,  15,2  ))  punkty  (  wiek  ,  logwaage  ,  cex  =  .  25  )

Powiązany

Według Davida Salsburga algorytmy stosowane w regresji jądra zostały niezależnie opracowane i użyte w systemach rozmytych : „Wymyślając prawie dokładnie ten sam algorytm komputerowy, wydaje się, że systemy rozmyte i regresje oparte na gęstości jądra zostały opracowane całkowicie niezależnie od siebie. "

Implementacja statystyczna

Pakiet programów matematycznych GNU Octave
Julia : KernelEstimator.jl
MATLAB : Bezpłatny zestaw narzędzi MATLAB z implementacją regresji jądra, szacowania gęstości jądra, szacowania funkcji hazardu jądra i wielu innych jest dostępny na tych stronach (ten zestaw narzędzi jest częścią książki).
Python : klasa KernelReg dla mieszanych typów danych w podpakiecie statsmodels.nonparametric (zawiera inne klasy związane z gęstością jądra), pakiet kernel_regression jako rozszerzenie scikit-learn (nieefektywne pod względem pamięci, przydatne tylko dla małych zbiorów danych)
R : funkcja npreg pakietu np może wykonać regresję jądra.
Stan : npregress , kernreg2

Zobacz też

Dalsza lektura

Henderson, Daniel J.; Parmeter, Christopher F. (2015). Stosowana ekonometria nieparametryczna . Wydawnictwo Uniwersytetu Cambridge. ISBN 978-1-107-01025-3 .
Li, Qi; Racine, Jeffrey S. (2007). Ekonometria nieparametryczna: teoria i praktyka . Wydawnictwo Uniwersytetu Princeton. ISBN 978-0-691-12161-1 .
Pagan, A.; Ullah, A. (1999). Ekonometria nieparametryczna . Wydawnictwo Uniwersytetu Cambridge. ISBN 0-521-35564-8 .
Simonoff, Jeffrey S. (1996). Metody wygładzania w statystyce . Skoczek. ISBN 0-387-94716-7 .

Linki zewnętrzne

Dostosowana do skali regresja jądra (z oprogramowaniem Matlab).
Samouczek regresji jądra przy użyciu arkusza kalkulacyjnego (z Microsoft Excel ).
Demonstracja regresji jądra online Wymaga platformy .NET 3.0 lub nowszej.
Regresja jądra z automatycznym wyborem przepustowości (z Pythonem)