Stopnie swobody (statystyka)

W przypadku innych zastosowań zobacz Stopnie swobody .

W statystyce liczba stopni swobody to liczba wartości w ostatecznym obliczeniu statystyki , które mogą się zmieniać.

Szacunki parametrów statystycznych mogą opierać się na różnych ilościach informacji lub danych. Liczba niezależnych informacji, które wchodzą w skład oszacowania parametru, nazywana jest stopniami swobody. Ogólnie rzecz biorąc, stopnie swobody oszacowania parametru są równe liczbie niezależnych wyników , które wchodzą w oszacowanie, pomniejszonej o liczbę parametrów użytych jako etapy pośrednie w oszacowaniu samego parametru. Na przykład, jeśli wariancja ma być oszacowana na podstawie losowej próby N niezależnych wyników, to stopnie swobody są równe liczbie niezależnych wyników ( N ) minus liczba parametrów oszacowanych jako etapy pośrednie (jeden, a mianowicie średnia próbki) i dlatego jest równa N - 1.

Matematycznie stopnie swobody to liczba wymiarów domeny losowego wektora lub zasadniczo liczba „swobodnych” składników (ile składników należy poznać, zanim wektor zostanie w pełni określony).

Termin ten jest najczęściej używany w kontekście modeli liniowych ( regresja liniowa , analiza wariancji ), w których pewne wektory losowe są ograniczone do leżenia w podprzestrzeniach liniowych , a liczba stopni swobody jest wymiarem podprzestrzeni . Stopnie swobody są również powszechnie kojarzone z kwadratami długości (lub „sumą kwadratów” współrzędnych) takich wektorów oraz parametrami chi-kwadrat i innymi rozkładami, które pojawiają się w powiązanych problemach z testami statystycznymi.

Podczas gdy podręczniki wprowadzające mogą wprowadzać stopnie swobody jako parametry rozkładu lub poprzez testowanie hipotez, to podstawowa geometria definiuje stopnie swobody i ma kluczowe znaczenie dla właściwego zrozumienia tej koncepcji.

Historia

Chociaż podstawowa koncepcja stopni swobody została rozpoznana już w 1821 roku w pracy niemieckiego astronoma i matematyka Carla Friedricha Gaussa , jej współczesna definicja i zastosowanie zostały po raz pierwszy opracowane przez angielskiego statystyka Williama Sealy'ego Gosseta w jego artykule Biometrika z 1908 roku "The Probable Error of a Mean”, wydawany pod pseudonimem „Student”. Chociaż Gosset w rzeczywistości nie użył terminu „stopnie swobody”, wyjaśnił tę koncepcję w trakcie opracowywania tego, co stało się znane jako rozkład t-Studenta . Sam termin został spopularyzowany przez angielskiego statystyka i biologa Ronalda Fishera , począwszy od jego pracy z 1922 r. na temat chi-kwadratów.

Notacja

W równaniach typowym symbolem stopni swobody jest ν (mała grecka litera nu ). W tekście i tabelach powszechnie używany jest skrót „df”. RA Fisher używał n do symbolizowania stopni swobody, ale współczesne użycie zazwyczaj rezerwuje n dla wielkości próbki.

Losowych wektorów

Z geometrycznego punktu widzenia stopnie swobody można interpretować jako wymiar pewnych podprzestrzeni wektorowych. Na początek załóżmy, że mamy próbkę niezależnych obserwacji o rozkładzie normalnym,

${\ Displaystyle X_ {1}, \ kropki, X_ {n}. \,}$

Można to przedstawić jako n -wymiarowy wektor losowy :

${\ Displaystyle {\ rozpocząć {pmatrix} X_ {1} \\\ vdots \\ X_ {n} \ koniec {pmatrix}}.}$

Ponieważ ten losowy wektor może leżeć w dowolnym miejscu n -wymiarowej przestrzeni, ma on n stopni swobody.

$_$ teraz średnią próbki . Wektor losowy można rozłożyć jako sumę średniej z próby plus wektor reszt:

${\ Displaystyle {\ rozpocząć {pmatrix} X_ {1} \\\ vdots \\ X_ {n} \ koniec {pmatrix}} = {\ bar {X}} {\ rozpocząć {pmatrix} 1 \\\ vdots \\ 1\end{pmatrix}}+{\begin{pmatrix}X_{1}-{\bar {X}}\\\vdots \\X_{n}-{\bar {X}}\end{pmatrix}} .}$

Pierwszy wektor po prawej stronie jest ograniczony do wielokrotności wektora 1, a jedyną wolną ilością jest ${\ displaystyle {\ bar {X}}}$ . Ma więc 1 stopień swobody.

Drugi wektor jest ograniczony relacją ${\ textstyle \ suma _ {i = 1} ^ {n} (X_ {i} - {\ bar {X}}) =0}$ . Pierwsze n − 1 składowe tego wektora mogą być dowolne. Jednak gdy już znasz pierwsze n − 1 składowe, ograniczenie mówi ci o wartości n -tego składnika. Zatem wektor ten ma n − 1 stopni swobody.

Matematycznie pierwszy wektor jest ukośnym rzutem wektora danych na podprzestrzeń rozpiętą przez wektor jedynek. 1 stopień swobody jest wymiarem tej podprzestrzeni. Drugi wektor resztkowy jest rzutem metodą najmniejszych kwadratów na ( n - 1) wymiarowe dopełnienie ortogonalne tej podprzestrzeni i ma n - 1 stopni swobody.

W aplikacjach do testowania statystycznego często nie interesują nas bezpośrednio wektory składowe, ale raczej ich kwadraty długości. W powyższym przykładzie pozostała suma kwadratów wynosi

${\ Displaystyle \ suma _ {i = 1} ^ {n} (X_ {i} - {\ bar {X}}) ^ {2} = {\ rozpocząć {Vmatrix} X_ {1} - {\ bar {X }}\\\vdots \\X_{n}-{\bar {X}}\end{Vmatrix}}^{2}.}$

Jeśli punkty danych mają rozkład normalny ze średnią 0 i wariancją $,$$-$ ma skalowany rozkład chi kwadrat (skalowany przez współczynnik $.$ z n - 1 stopniami swobody Stopnie swobody, tutaj parametr rozkładu, nadal można interpretować jako wymiar podstawowej podprzestrzeni wektorowej.

testu t dla jednej próby ,

${\ Displaystyle {\ Frac {{\ sqrt {n}} ({\ bar {X}} - \ mu _{0})}{\sqrt {\sum \limits _{i=1}^{n}(X_{i}-{\bar {X}})^{2}/(n-1)} }}}$

jest zgodne z rozkładem t Studenta z n - 1 stopniami swobody $,$ gdy hipotetyczna średnia poprawna. Ponownie, stopnie swobody wynikają z wektora resztkowego w mianowniku.

W modelach równań strukturalnych

Gdy prezentowane są wyniki modeli równań strukturalnych (SEM), zazwyczaj obejmują one jeden lub więcej wskaźników ogólnego dopasowania modelu, z których najczęstszym jest statystyka χ ² . Stanowi to podstawę dla innych powszechnie zgłaszanych wskaźników. Chociaż to właśnie te inne statystyki są najczęściej interpretowane, stopnie swobody χ ² są niezbędne do zrozumienia dopasowania modelu, jak również natury samego modelu.

Stopnie swobody w SEM są obliczane jako różnica między liczbą unikalnych informacji, które są wykorzystywane jako dane wejściowe do analizy, czasami nazywane znanymi, a liczbą parametrów, które są jednoznacznie oszacowane, czasami nazywane niewiadomymi. Na przykład w jednoczynnikowej konfirmacyjnej analizie czynnikowej z 4 pozycjami jest 10 znanych (sześć unikalnych kowariancji wśród czterech pozycji i cztery wariancje pozycji) i 8 niewiadomych (4 ładunki czynnikowe i 4 wariancje błędów) dla 2 stopni wolność. ^są ważne dla zrozumienia dopasowania modelu choćby z tego powodu, że im mniej stopni swobody, tym lepsze będą wskaźniki, takie jak χ2 .

Wykazano, że czytelnicy artykułów zawierających SEM mogą wykorzystywać stopnie swobody do ustalenia, czy autorzy tych artykułów faktycznie podają prawidłowe statystyki dopasowania modelu. Na przykład w naukach o organizacji prawie połowa artykułów opublikowanych w czołowych czasopismach podaje stopnie swobody, które są niezgodne z modelami opisanymi w tych artykułach, pozostawiając czytelnika do zastanowienia się, które modele zostały faktycznie przetestowane.

Pozostałości

Dalsze informacje: Resztki (statystyki)

Powszechnym sposobem myślenia o stopniach swobody jest liczba niezależnych informacji dostępnych do oszacowania innej informacji. Mówiąc dokładniej, liczba stopni swobody to liczba niezależnych obserwacji w próbce danych, które są dostępne do oszacowania parametru populacji, z której ta próbka została pobrana. Na przykład, jeśli mamy dwie obserwacje, przy obliczaniu średniej mamy dwie niezależne obserwacje; jednakże przy obliczaniu wariancji mamy tylko jedną niezależną obserwację, ponieważ obie obserwacje są jednakowo odległe od średniej próbki.

Podczas dopasowywania modeli statystycznych do danych wektory reszt są ograniczone tak, aby leżały w przestrzeni o mniejszym wymiarze niż liczba składników w wektorze. Ten mniejszy wymiar to liczba stopni swobody dla błędu , zwanych także resztkowymi stopniami swobody .

Przykład

Być może najprostszym przykładem jest to. Przypuszczać

${\ Displaystyle X_ {1}, \ kropki, X_ {n}}$

są zmiennymi losowymi , z których każda ma wartość oczekiwaną μ i niech

${\ Displaystyle {\ overline {X}} _ {n} = {\ Frac {X_ {1} + \ cdots + X_ {n}} {n}}}$

być „średnią z próby”. Następnie ilości

${\ Displaystyle X_ {i} - {\ overline {X}} _ {n}}$

to reszty, które można uznać za oszacowania błędów X _i − μ . Suma reszt (w przeciwieństwie do sumy błędów) musi być równa 0. Znając wartości dowolnych n - 1 reszt, można w ten sposób znaleźć ostatnią. Oznacza to, że są one ograniczone do leżenia w przestrzeni o wymiarze n - 1. Mówi się, że istnieje n - 1 stopni swobody dla błędów.

Przykładem, który jest tylko trochę mniej prosty, jest estymacja aib w modelu metodą najmniejszych kwadratów

${\ Displaystyle Y_ {i} = a + bx_ {i} + e_ {i} {\ tekst {dla}} i = 1, \ kropki ,n}$

gdzie x _i jest dane, ale e _i, a zatem Y _i są losowe. Niech i ${\ Displaystyle$$\ widehat {b}}}$ będą oszacowaniami najmniejszych a i b . Potem pozostałości

${\ Displaystyle {\ widehat {e}} _ {i} = y_ {i} - ({\ widehat {a}} + {\ widehat {b }}x_{i})}$

są ograniczone do leżenia w przestrzeni określonej przez dwa równania

${\ Displaystyle {\ widehat {e}} _ {1} + \ cdots + {\ widehat {e}} _ {n} = 0,}$

${\ Displaystyle x_ {1} {\ widehat {e}} _ {1} + \ cdots + x_ {n} {\ widehat {e}} _ {n} = 0. }$

Mówi się, że istnieje n − 2 stopni swobody błędu.

Notacyjnie wielka litera Y jest używana przy określaniu modelu, a mała litera y przy definicji reszt; to dlatego, że te pierwsze są hipotetycznymi zmiennymi losowymi, a te drugie są danymi rzeczywistymi.

Możemy to uogólnić na regresję wieloraką obejmującą p parametrów i współzmienne (np. p − 1 predyktory i jedną średnią (= wyraz wolny w regresji)), w którym to przypadku koszt w stopniach swobody dopasowania wynosi p , pozostawiając n - p stopni wolności za błędy

W modelach liniowych

Demonstracja rozkładów t i chi-kwadrat dla problemów z jedną próbką powyżej jest najprostszym przykładem, w którym powstają stopnie swobody. Jednak podobne dekompozycje geometrii i wektorów leżą u podstaw większości teorii modeli liniowych , w tym regresji liniowej i analizy wariancji . Wyraźny przykład oparty na porównaniu trzech średnich przedstawiono tutaj; geometrię modeli liniowych omówił bardziej szczegółowo Christensen (2002).

Załóżmy, że dokonano niezależnych obserwacji dla trzech populacji, ${\ Displaystyle X_ {1}, \ ldots, X_ {n}}$ , ${\ Displaystyle Y_ {1}, \ ldots Y_ {n}}$ i ${\ Displaystyle Z_ {1}, \ ldots, Z_ {n}}$ . Ograniczenie do trzech grup i równych rozmiarów próbek upraszcza notację, ale idee można łatwo uogólnić.

Obserwacje można rozłożyć jako

${\ Displaystyle {\ rozpocząć {wyrównane} X_ {i} & = {\ bar {M}} + ({\ bar {X}} - {\ bar {M }})+(X_{i}-{\bar {X}})\\Y_{i}&={\bar {M}}+({\bar {Y}}-{\bar {M}} )+(Y_{i}-{\bar {Y}})\\Z_{i}&={\bar {M}}+({\bar {Z}}-{\bar {M}})+ (Z_{i}-{\bar {Z}})\end{wyrównane}}}$

gdzie ${\ Displaystyle {\ bar {X}}, {\ bar {Y}}, {\ bar {Z}}} są$ średnimi poszczególnych próbek, a ${\ Displaystyle {\ bar {M}} = ({\ bar {X}} + {\ bar {Y}} + {\ bar {Z}})/3}$ jest średnia wszystkich 3 n obserwacji. W notacji wektorowej ten rozkład można zapisać jako

${\ Displaystyle {\ rozpocząć {pmatrix} X_ {1} \\\ vdots \\ X_ {n} \\ Y_ {1} \\\ vdots \\ Y_ {n} \\ Z_ {1} \\\ vdots \ \Z_{n}\end{pmatrix}}={\bar {M}}{\begin{pmatrix}1\\\vdots \\1\\1\\\vdots \\1\\1\\\vdots \\1\end{pmatrix}}+{\begin{pmatrix}{\bar {X}}-{\bar {M}}\\\vdots \\{\bar {X}}-{\bar {M }}\\{\bar {Y}}-{\bar {M}}\\\vdots \\{\bar {Y}}-{\bar {M}}\\{\bar {Z}}- {\bar {M}}\\\vdots \\{\bar {Z}}-{\bar {M}}\end{pmatrix}}+{\begin{pmatrix}X_{1}-{\bar { X}}\\\vdots \\X_{n}-{\bar {X}}\\Y_{1}-{\bar {Y}}\\\vdots \\Y_{n}-{\bar { Y}}\\Z_{1}-{\bar {Z}}\\\vdots \\Z_{n}-{\bar {Z}}\end{pmatrix}}.}$

Wektor obserwacji po lewej stronie ma 3 n stopni swobody. Po prawej stronie pierwszy wektor ma jeden stopień swobody (lub wymiar) dla ogólnej średniej. Drugi wektor zależy od trzech zmiennych losowych, ${\ Displaystyle {\ bar {X}} - {\ bar {M}}}$ , ${\ Displaystyle {\ bar {Y}} - {\ bar {M}}}$ i ${\ Displaystyle {\ overline {Z}} - {\ overline {M}}}$ . Jednak muszą one sumować się do 0, a więc są ograniczone; zatem wektor musi leżeć w dwuwymiarowej podprzestrzeni i ma 2 stopnie swobody. Pozostałe 3 n - 3 stopnie swobody znajdują się w wektorze resztkowym (składającym się z n - 1 stopnia swobody w obrębie każdej populacji).

W analizie wariancji (ANOVA)

W problemach z testowaniem statystycznym zwykle nie interesują się same wektory składowe, ale raczej ich kwadraty długości lub suma kwadratów. Stopnie swobody związane z sumą kwadratów to stopnie swobody odpowiednich wektorów składowych.

Powyższy przykład z trzema populacjami jest przykładem jednoczynnikowej analizy wariancji . Model lub leczenie sumą kwadratów to kwadrat długości drugiego wektora,

${\ Displaystyle {\ tekst {SST}} = n ({\ bar {X} }-{\bar {M}})^{2}+n({\bar {Y}}-{\bar {M}})^{2}+n({\bar {Z}}-{\ słupek {M}})^{2}}$

z 2 stopniami swobody. Reszta lub błąd sumy kwadratów wynosi

${\ Displaystyle {\ tekst { SSE}}=\suma _{i=1}^{n}(X_{i}-{\bar {X}})^{2}+\suma _{i=1}^{n}(Y_{ i}-{\bar {Y}})^{2}+\suma _{i=1}^{n}(Z_{i}-{\bar {Z}})^{2}}$

z 3 ( n −1) stopniami swobody. Oczywiście, książki wprowadzające do ANOVA zwykle podają wzory bez pokazywania wektorów, ale to właśnie ta podstawowa geometria daje początek formułom SS i pokazuje, jak jednoznacznie określić stopnie swobody w dowolnej sytuacji.

Przy hipotezie zerowej o braku różnic między średnimi populacji (i przy założeniu, że standardowe założenia regularności ANOVA są spełnione) sumy kwadratów mają przeskalowane rozkłady chi-kwadrat z odpowiadającymi im stopniami swobody. Statystyka testu F to stosunek po przeskalowaniu według stopni swobody. Jeśli nie ma różnicy między średnimi populacji, ten stosunek ma rozkład F z 2 i 3 n - 3 stopniami swobody.

W niektórych skomplikowanych ustawieniach, takich jak niezrównoważone projekty z podziałem na wykresy , sumy kwadratów nie mają już skalowanych rozkładów chi-kwadrat. Porównanie sumy kwadratów ze stopniami swobody nie ma już sensu, a oprogramowanie może w takich przypadkach zgłaszać pewne ułamkowe „stopnie swobody”. Takie liczby nie mają prawdziwej interpretacji stopni swobody, ale po prostu zapewniają przybliżony rozkład chi-kwadrat dla odpowiedniej sumy kwadratów. Szczegóły takich przybliżeń wykraczają poza zakres tej strony.

W rozkładzie prawdopodobieństwa

Kilka powszechnie spotykanych rozkładów statystycznych ( t Studenta , chi-kwadrat , F ) ma parametry, które są powszechnie określane jako stopnie swobody . Ta terminologia po prostu odzwierciedla to, że w wielu zastosowaniach, w których występują takie rozkłady, parametr odpowiada stopniom swobody bazowego wektora losowego, jak w poprzednim przykładzie ANOVA. Innym prostym przykładem jest: if ${\ Displaystyle X_ {i}; i = 1, \ ldots, n}$ są niezależnymi normalnymi $sigma ^ {2})}$ \ , statystyka

${\ Displaystyle {\ Frac {\ suma _ {i = 1} ^ {n} (X_ {i} - {\ bar {X}}) ^ { 2}}{\sigma^{2}}}}$

ma rozkład chi-kwadrat z n - 1 stopniami swobody. Tutaj stopnie swobody wynikają z resztkowej sumy kwadratów w liczniku, a z kolei n - 1 stopni swobody podstawowego wektora resztkowego ${\ Displaystyle \ {X_ {i} -{\bar {X}}\}}$ .

W zastosowaniu tych rozkładów do modeli liniowych parametry stopni swobody mogą przyjmować tylko wartości całkowite . Podstawowe rodziny rozkładów dopuszczają wartości ułamkowe dla parametrów stopni swobody, które mogą wystąpić w bardziej wyrafinowanych zastosowaniach. Jednym z zestawów przykładów są problemy, w których stosuje się przybliżenia chi-kwadrat oparte na efektywnych stopniach swobody . W innych zastosowaniach, takich jak modelowanie danych z dużymi ogonami , jako model empiryczny można zastosować dystrybucję at lub F. W takich przypadkach nie ma określonej interpretacji stopni swobody parametrów rozkładu, mimo że terminologia może być nadal używana.

W regresji niestandardowej

Wiele niestandardowych metod regresji, w tym uregulowane metodą najmniejszych kwadratów (np. regresja grzbietowa ), wygładzanie liniowe , wygładzanie splajnów i regresja semiparametryczna , nie opiera się na zwykłych projekcjach najmniejszych kwadratów , ale raczej na uregulowanych ( uogólnionych i/lub penalizowanych) najmniejszych kwadratach , a więc stopnie swobody zdefiniowane w kategoriach wymiarowości generalnie nie są przydatne w tych procedurach. Jednak te procedury są nadal liniowe w obserwacjach, a dopasowane wartości regresji można wyrazić w postaci

${\ Displaystyle {\ kapelusz {y}} = Hej,}$

gdzie jest $,$ dopasowanych wartości dla każdej z oryginalnych wartości współzmiennych z dopasowanego modelu, y oryginalnym wektorem odpowiedzi, a H jest macierzą kapelusza lub, bardziej ogólnie , gładsza matryca.

Dla wnioskowania statystycznego nadal można utworzyć sumy kwadratów: modelowa suma kwadratów to ${\ Displaystyle \| Hy \|^ {2}}$ ; pozostała suma kwadratów wynosi ${\ Displaystyle \|y-Hy \|^ {2}}$ . Ponieważ jednak H nie odpowiada zwykłemu dopasowaniu metodą najmniejszych kwadratów (tj. nie jest odwzorowaniem ortogonalnym), te sumy kwadratów nie mają już (skalowanych, niecentralnych) rozkładów chi-kwadrat i wymiarowo zdefiniowanych stopni -wolność nie jest użyteczna.

Efektywne stopnie swobody dopasowania można zdefiniować na różne sposoby, aby wdrożyć testy dobroci dopasowania , walidację krzyżową i inne procedury wnioskowania statystycznego . Tutaj można rozróżnić efektywne stopnie swobody regresji i resztkowe efektywne stopnie swobody .

Efektywne stopnie swobody regresji

Dla regresji efektywnych stopni swobody odpowiednie definicje mogą zawierać ślad macierzy kapelusza, tr( H ), ślad formy kwadratowej macierzy kapelusza, tr( H'H ), postać tr(2 H – H H' ) lub przybliżenie Satterthwaite'a , tr( H'H ) ² /tr( H'HH'H ) . W przypadku regresji liniowej macierz kapelusza H to X ( X ' X ) ⁻¹ X ' , a wszystkie te definicje sprowadzają się do zwykłych stopni swobody. Zauważ, że

${\ Displaystyle \ operatorname {tr} (H) = \ suma _ {i} h_ {ii} = \ suma _ {i }{\frac {\częściowy {\kapelusz {y}}_{i}}{\częściowy y_{i}}},}$

regresyjne (nie resztkowe) stopnie swobody w modelach liniowych są „sumą wrażliwości dopasowanych wartości w odniesieniu do obserwowanych wartości odpowiedzi”, tj. sumą wyników dźwigni .

Jednym ze sposobów ułatwienia konceptualizacji jest rozważenie prostej macierzy wygładzania, takiej jak rozmycie gaussowskie , używanej do łagodzenia szumu danych. W przeciwieństwie do prostego dopasowania liniowego lub wielomianowego, obliczenie efektywnych stopni swobody funkcji wygładzającej nie jest proste. W takich przypadkach ważne jest oszacowanie stopni swobody dozwolonych przez $χ$ , tak aby pozostałe stopnie swobody można było następnie wykorzystać do oszacowania testów statystycznych, takich jak $\ displaystyle \ chi ^ {2} }}$ .

Resztkowe efektywne stopnie swobody

Istnieją odpowiednie definicje resztkowych efektywnych stopni swobody (redf), gdzie H zastąpiono przez I - H . Na przykład, jeśli celem jest oszacowanie wariancji błędu, redf byłoby zdefiniowane jako tr (( ja - H ) '( ja - H )), a nieobciążone oszacowanie to (gdzie ${\ displaystyle {\kapelusz {r}}=y-Hy}$ ),

${\ Displaystyle {\ kapelusz {\ sigma}} ^ {2} = {\ Frac {\ | {\ kapelusz {r}}\|^{2}}{\nazwa operatora {tr} \left((IH)'(IH)\right)}},}$

Lub:

${\ Displaystyle {\ kapelusz { \sigma }}^{2}={\frac {\|{\hat {r}}\|^{2}}{n-\operatorname {tr} (2H-HH')}}={\frac { \|{\kapelusz {r}}\|^{2}}{n-2\nazwa_operatora {tr} (H)+\nazwa_operatora {tr} (HH')}}}$

${\ Displaystyle {\ kapelusz {\ sigma}} ^ {2} \ około {\ Frac {\| {\ kapelusz {r}} \|^ {2}} {n-1,25 \ operatorname {tr} (H) + 0,5}}.}$

Ostatnie przybliżenie powyżej zmniejsza koszt obliczeniowy z O ( n ² ) do samego O ( n ). Ogólnie licznik byłby minimalizowaną funkcją celu; $} displaystyle {\kapelusz {r}}'\Sigma ^{-1}{\kapelusz {r}}}$ . jeśli macierz kapelusza zawiera macierz kowariancji obserwacji, Σ, to r $kapelusz {r}} \|^$ .

Ogólny

Zauważ, że w przeciwieństwie do pierwotnego przypadku dozwolone są niecałkowite stopnie swobody, chociaż wartość musi zwykle nadal być ograniczona między 0 a n .

Rozważmy jako przykład k - najbliższy sąsiad wygładzający, który jest średnią z k najbliższych zmierzonych wartości do danego punktu. Wtedy w każdym z n zmierzonych punktów waga pierwotnej wartości na kombinacji liniowej, która tworzy przewidywaną wartość, wynosi zaledwie 1/ k . Zatem ślad macierzy kapelusza wynosi n/k . Zatem gładkie koszty n/k efektywnych stopni swobody.

Jako inny przykład rozważ istnienie prawie zduplikowanych obserwacji. Naiwne zastosowanie klasycznego wzoru n − p , prowadziłoby do przeszacowania resztowego stopnia swobody, tak jakby każda obserwacja była niezależna. Jednak bardziej realistycznie, macierz kapelusza H = X ( X ' Σ ^-1 X ) ^-1 X ' Σ ^-1 obejmowałaby macierz kowariancji obserwacji Σ wskazującą niezerową korelację między obserwacjami.

Bardziej ogólne sformułowanie efektywnego stopnia swobody dałoby bardziej realistyczne oszacowanie np. wariancji błędu σ ² , która z kolei skaluje odchylenie standardowe a posteriori nieznanych parametrów; stopień swobody wpłynie również na współczynnik rozszerzenia niezbędny do wytworzenia elipsy błędu dla danego poziomu ufności .

Inne preparaty

Podobne pojęcia to równoważne stopnie swobody w regresji nieparametrycznej , stopień swobody sygnału w badaniach atmosfery oraz niecałkowity stopień swobody w geodezji.

$a$ suma kwadratów uogólniony rozkład chi-kwadrat alternatywną drogę odpowiedzi podane powyżej.

Zobacz też

• poprawka Bessela
• Chi-kwadrat na stopień swobody
• Połączone stopnie swobody
• Replikacja (statystyki)
• Wielkość próbki
• Model statystyczny
• Zmienność

Dalsza lektura

•   Bowers, David (1982). Statystyka dla ekonomistów . Londyn: Macmillan. s. 175–178. ISBN 0-333-30110-2 .
•   Eisenhauera, JG (2008). "Stopnie swobody". Statystyka nauczania . 30 (3): 75–78. doi : 10.1111/j.1467-9639.2008.00324.x . S2CID 121982952 .
•   Dobry, IJ (1973). „Jakie są stopnie swobody?”. Amerykański statystyk . 27 (5): 227–228. doi : 10.1080/00031305.1973.10479042 . JSTOR 3087407 .
• Walker, HW (1940). "Stopnie swobody". Dziennik psychologii edukacyjnej . 31 (4): 253–269. doi : 10.1037/h0054588 . Transkrypcja C. Olsena z erratą

Linki zewnętrzne

• Yu, Chong-ho (1997) Ilustrowanie stopni swobody pod względem wielkości próbki i wymiarowości
• Dallal, GE. (2003) Stopnie swobody