Pozostała suma kwadratów

W statystyce resztowa suma kwadratów ( RSS ), znana również jako suma kwadratów reszt ( SSR ) lub suma kwadratów oszacowań błędów ( SSE ), jest sumą kwadratów reszt (przewidywanych odchyleń od rzeczywistych wartości empirycznych danych). Jest miarą rozbieżności między danymi a modelem estymacji, takim jak regresja liniowa . Mały RSS wskazuje na ścisłe dopasowanie modelu do danych. Stosowany jest jako kryterium optymalności w doborze parametrów i wyborze modelu .

Ogólnie rzecz biorąc, całkowita suma kwadratów = wyjaśniona suma kwadratów + resztkowa suma kwadratów. Aby to udowodnić w wielowymiarowym zwykłych najmniejszych kwadratów (OLS), zobacz partycjonowanie w ogólnym modelu OLS .

Jedna zmienna objaśniająca

W modelu z pojedynczą zmienną objaśniającą RSS wyraża się wzorem:

{\ Displaystyle \ nazwa operatora {RSS} = \ suma _ {i = 1} ^ {n} (y_ {i} -f (x_ {i }))^{2}}

gdzie y _i jest i- ^tą wartością przewidywanej zmiennej, x _i jest i ^-tą wartością zmiennej objaśniającej, a jest przewidywaną wartością y ${\ Displaystyle f (x_ {i})}$ _ja (nazywany również ${\ Displaystyle {\ kapelusz {y_ {i}}}})$ . W standardowym modelu prostej regresji liniowej ${\ Displaystyle y_ {i} = \ alfa + \ beta x_ {i} + \ varepsilon _ {i} \,} , gdzie α$ { $Displaystyle \ alfa}$ i ${\ Displaystyle \ beta}$ są współczynnikami , y i x są odpowiednio regressandem i regresorem , a ε jest wyrazem błędu . Suma kwadratów reszt jest sumą kwadratów ${\ Displaystyle {\ widehat {\ varepsilon \,}} _ {i}}$ ; to jest

{\ Displaystyle \ nazwa operatora {RSS} = \ suma _ {i = 1 }^{n}({\widehat {\varepsilon \,}}_{i})^{2}=\sum _{i=1}^{n}(y_{i}-({\widehat {\ alpha \,}}+{\widehat {\beta \,}}x_{i}})^{2}}

gdzie $alfa \,}}}$ $\$ jest szacowaną wartością stałego składnika jest β $\ Displaystyle {\ widehat {\ beta \,}}}$ szacunkowa wartość współczynnika nachylenia ${\ displaystyle \ beta}$ .

Wyrażenie macierzowe dla resztkowej sumy kwadratów OLS

Ogólny model regresji z $n$ obserwacjami i $k$ objaśnieniami, z których pierwszy jest stałym wektorem jednostkowym, którego współczynnikiem jest punkt przecięcia regresji, to

{\ Displaystyle y = X \ beta + e}

gdzie $y$ jest wektorem obserwacji zmiennej zależnej n × 1, każda kolumna macierzy n × k X $jest$ wektorem obserwacji na jednym z k objaśniaczy $,$ jest wektorem k × 1 prawdziwych współczynników , a $e$ jest wektorem n × 1 rzeczywistych błędów bazowych. Zwykły najmniejszych kwadratów dla wynosi ${\ displaystyle \ beta}$

{\ Displaystyle X {\ kapelusz {\ beta}} = y \ iff}

{\ Displaystyle X ^ {\ nazwa operatora {T}} X {\ kapelusz { \beta }}=X^{\nazwa operatora {T}}y\iff}

{\ Displaystyle {\ kapelusz {\ beta}} = (X ^ {\ nazwa operatora {T}} X) ^ {-1} X ^ {\ nazwa operatora {T}} y.}

mi $yX (X ^ {\operatorname {T}}X)^{-1}X^{\operatorname{T}}y}$ ; więc pozostała suma kwadratów wynosi:

{\ Displaystyle \ nazwa operatora {RSS} = {\ kapelusz {e}} ^ {\ nazwa operatora {T}} {\ kapelusz {e}} = \ | {\ kapelusz {e}}\|^{2}}

,

(odpowiednik kwadratu normy reszt ). W pełni:

{\ Displaystyle \ nazwa operatora {RSS} = y ^ {\ nazwa operatora {T}} yy ^ {\ nazwa operatora {T}} X (X ^ {\ nazwa operatora {T}} X) ^ {-1} X ^ {\ nazwa operatora {T} }y=y^{\nazwa_operatora {T}}[IX(X^{\nazwa_operatora {T}}X)^{-1}X^{\nazwa_operatora {T}}]y=y^{\ nazwa operatora {T} }[IH]y}

,

gdzie $H$ jest macierzą kapelusza lub macierzą projekcji w regresji liniowej.

Relacja z korelacją momentu iloczynu Pearsona

Linia regresji metodą najmniejszych kwadratów jest dana przez

{\ Displaystyle y = topór + b}

,

gdzie $}}$ i ${\ Displaystyle a = {\ Frac {S_ {xy}}{S_{xx}}}}$ , gdzie ${\ Displaystyle S_ {xy} = \ suma _ {i = 1} ^ {n} ({\ bar {x}} -x_ {i}) ({\ bar {y}} -y_ {i})}$ i ${\ Displaystyle S_ {xx} = \ suma _ {i = 1} ^ {n} ({\ bar {x}} -x_ {i}) ^ {2}.}$

Dlatego,

{\ Displaystyle {\ rozpocząć {wyrównane} \ nazwa operatora {RSS} & = \ suma _ {i = 1} ^ {n} ( y_{i}-f(x_{i}))^{2}=\suma _{i=1}^{n}(y_{i}-(ax_{i}+b))^{2}= \sum _{i=1}^{n}(y_{i}-ax_{i}-{\bar {y}}+a{\bar {x}})^{2}\\[5pt]& =\suma _{i=1}^{n}(a({\bar {x}}-x_{i})-({\bar {y}}-y_{i}))^{2}= a^{2}S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy}\left(1-{\frac {S_{xy}^{2 }}{S_{xx}S_{yy}}}\right)\end{aligned}}}

gdzie ${\ Displaystyle S_ {yy} = \ suma _ {i = 1} ^ {n} ({\ bar {y}} -y_ {i}) ^ {2}.}$

Korelacja momentu iloczynu Pearsona jest dana przez ${\ Displaystyle r = {\ Frac {S_ {xy}} {\ sqrt {S_ {xx} S_ {yy}}}};$ więc ${\ Displaystyle \ nazwa operatora {RSS} = S_ {yy} (1-r ^ {2}).}$

Zobacz też

Draper, NR; Smith, H. (1998). Stosowana analiza regresji (wyd. 3). Johna Wileya. ISBN 0-471-17082-8 .