Uogólniony funkcjonalny model liniowy

Uogólniony funkcjonalny model liniowy ( GFLM ) jest rozszerzeniem uogólnionego liniowego modelu (GLM), który pozwala na regresję jednowymiarowych odpowiedzi różnych typów (ciągłych lub dyskretnych) na predyktory funkcjonalne, które są w większości losowymi trajektoriami generowanymi przez całkowalny kwadratowo stochastyczny procesy . Podobnie jak w przypadku GLM, funkcja łączenia wiąże oczekiwaną wartość zmiennej odpowiedzi z predyktorem liniowym, który w przypadku GFLM uzyskuje się przez utworzenie iloczynu skalarnego funkcji predyktora losowego $.$ $gładką$ funkcją $\displaystyle\beta}$ . Funkcjonalna regresja liniowa, funkcjonalna regresja Poissona i funkcjonalna regresja dwumianowa, w tym ważna funkcjonalna regresja logistyczna, to szczególne przypadki GFLM. Zastosowania GFLM obejmują klasyfikację i dyskryminację procesów stochastycznych oraz danych funkcjonalnych .

Przegląd

Kluczowym aspektem GFLM jest oszacowanie i wnioskowanie dla gładkiej funkcji parametru, $redukcję$ zwykle uzyskuje się przez wymiarów nieskończonego wymiarowego predyktora funkcyjnego. Powszechną 2 ^, metodą jest rozwinięcie funkcji predykcyjnej $przestrzeni$ bazie ortonormalnej L przestrzeni Hilberta funkcji całkowalnych do kwadratu z jednoczesnym rozwinięciem funkcji parametru na tej samej podstawie . Ta reprezentacja jest następnie łączona z krokiem obcinania, aby zmniejszyć udział funkcji parametru $predyktorze$ liniowym do skończonej liczby współczynników regresji. Funkcjonalna analiza głównych składowych (FPCA), która wykorzystuje rozwinięcie Karhunena-Loève'a, jest powszechnym i oszczędnym podejściem do osiągnięcia tego celu. Inne rozwinięcia ortogonalne, takie jak rozwinięcia Fouriera i rozwinięcia B-sklejane, mogą być również zastosowane w etapie redukcji wymiarów. Kryterium informacyjne Akaike (AIC) może być wykorzystane do wyboru liczby uwzględnionych komponentów. Minimalizacja walidacji krzyżowej to kolejne kryterium często stosowane w aplikacjach klasyfikacyjnych. Po zmniejszeniu wymiaru procesu predyktora uproszczony predyktor liniowy pozwala na wykorzystanie GLM i quasi-wiarygodności w celu uzyskania oszacowań współczynników regresji skończenie wymiarowej, które z kolei zapewniają oszacowanie funkcji $. }$ w GFLM.

Elementy modelu

Predyktor liniowy

Funkcje predykcyjne $do kwadratu procesami stochastycznymi w$ $}$ rzeczywistym funkcją gładkiego parametru ${\ Displaystyle \ beta (t), t \ in T}$ , zakłada się, że jest całkowalny do kwadratu na ${\ displaystyle T}$ . Biorąc $Displaystyle \ eta$ uwagę rzeczywistą miarę $t$ predyktor liniowy jest dany przez $η$ { X $t))}$ $\ Displaystyle X ^ {$ $($ to wyśrodkowany proces predykcyjny, a to skalar, który służy jako punkt przecięcia.

Zmienna odpowiedzi i funkcja wariancji

Wynik jest zazwyczaj zmienną losową o wartości rzeczywistej, która może być ciągła lub $dyskretna$ Często rozkład warunkowy, $rodzinie$ pod uwagę proces predykcyjny, jest określony w wykładniczej . Jednak wystarczy również rozważyć układ funkcjonalnej quasi-wiarygodności, w którym zamiast rozkładu odpowiedzi określa się warunkową funkcję wariancji , ${\ Displaystyle {\ rm {{Var} (Y \ mid X) = \ sigma ^ {2} (\ mu)}}}$ jako funkcja średniej warunkowej ${\ Displaystyle {\ rm {{E }(Y\mid X)=\mu }}}$ .

Funkcja łącza

Funkcja łączenia $płynną$ funkcją odwracalną, która odnosi średnią warunkową odpowiedzi ${\ Displaystyle {\ rm {{E} (Y \ mid X) = \ mu }}}$ z predyktorem liniowym ${\ Displaystyle \ eta = \ alfa + \ int X ^ {c} (t) \ beta (t) \,dw(t)}$ . Zależność jest określona przez ${\ Displaystyle \ mu = g (\ eta)}$ .

Sformułowanie

Aby zaimplementować niezbędną redukcję wymiarów, wyśrodkowany proces predykcyjny $t)}$ parametru rozszerzane jako $X ^ {c}$ ,

\ Displaystyle X ^ {c} (t) = \ suma _{j=1}^{\infty}\xi _{j}\rho _{j}(t){\text{ i }}\beta (t)=\suma _{j=1}^{ \infty }\beta _{j}\rho _{j}(t),}

gdzie ${\ Displaystyle \ rho _ {j}, j = 1,2, \ ldots}$ jest bazą ortonormalną przestrzeni funkcyjnej ${\ Displaystyle L ^ {2} (dw)}$ takie, że ${\ Displaystyle \ int _ {T} \ rho _ {j} (t) \ rho _ {k} (t) \, dw (t) = \ delta _ {jk}}$ gdzie ${\ Displaystyle \ delta _ {jk} = 1}$ jeśli ${\ Displaystyle j = k }$ i ${\ displaystyle 0}$ inaczej.

${\ Displaystyle \ xi _ {j}}$ jot są podane przez $= \ int X ^ {c} (t) \ rho _ {j} (t) \, dw (t)}$ i współczynniki ${\ Displaystyle \ beta _ {j}}$ jak ${\ Displaystyle \ beta _ {j} = \ int \ beta (t) \ rho _ {j} (t) \, dw (t)}$ dla ${\ styl wyświetlania j=1,2,\lddotki }$ .

${\ Displaystyle {\ tekst {E}} (\ xi _ {j}) = 0}$ i ${\ Displaystyle \ suma _ {j = 1} ^ {\ infty} \ beta _ {j} ^ {2}<\ infty}$ i oznaczające ${\ Displaystyle \ sigma _ {j} ^ {2} = {\text{Var}}(\xi _{j})={\text{E}}(\xi _{j}^{2})} ,$ więc ${\ Displaystyle \ suma _ {j = 1} ^ {\ infty} \ sigma _ {j} ^ {2} = \ int {\ tekst {E}} (X^{c}(t))^{2}\,dw(t)<\infty}$ .

${ \ Displaystyle \ int X ^ {c} (t) \ beta (t) \, dw (t) = \ suma _ {j = 1} ^ {\ infty} \ beta _ {j} \ xi _ {j}}$ ortonormalności funkcji bazowych od razu, $=$ .

${\ Displaystyle \ eta = \ alfa + \ int X$ do przez ${\ Displaystyle \ eta \ około \ alfa + \ suma _ {j = 1} ^ {p} \ beta _ {j} \ xi _ {j}} dla odpowiednio$ dobranego punkt obcięcia ${\ displaystyle p}$ .

FPCA daje najbardziej oszczędne przybliżenie predyktora liniowego dla danej liczby funkcji bazowych, ponieważ podstawa funkcji własnej wyjaśnia więcej zmienności niż jakikolwiek inny zestaw funkcji bazowych.

$sumowania$ pierwszą pochodną błąd aproksymacji modelu -obciętego, $. predyktora liniowego obciętego do$ pierwszych składników, jest stałą wielokrotnością ${\ Displaystyle {\ tekst { Var}}(\sum _{j=p+1}^{\infty}\beta _{j}\xi _{j})={\text{E}}\left(\left(\sum _{ j=p+1}^{\infty }\beta _{j}\xi _{j}\right)^{2}\right)=\suma _{j=p+1}^{\infty }\ beta _{j}\sigma _{j}^{2}}$ .

Heurystyczna motywacja dla strategii obcinania wywodzi się z faktu, że ${\ Displaystyle {\ tekst {E}} \ lewo (\ lewo (\ suma _ {j = p + 1} ^ {\ infty} \ beta _ {j} \xi _{j}\right)^{2}\right)=\suma _{j=p+1}^{\infty}\beta _{j}\sigma _{j}^{2}\leq \sum _{j=p+1}^{\infty}\beta _{j}^{2}\ \sum _{j=p+1}^{\infty}\sigma _{j}^{2 }},$ co jest konsekwencją nierówności Cauchy'ego-Schwarza i zauważając, że prawa strona ostatniej nierówności zbiega się do 0, ponieważ ${\ Displaystyle p \ rightarrow \ infty},$ ponieważ oba ${\ Displaystyle \ suma _ {j = 1} ^ {\ infty} \ beta _ {j} ^ {2}}$ i ${\ Displaystyle \ suma _ {j = 1} ^ {\ infty }\sigma _{j}^{2}}$ są skończone.

W szczególnym przypadku podstawy funkcji własnej sekwencja odpowiada sekwencji ${\ Displaystyle \ sigma _ {j} ^ {2}, j = 1,2, \ ldots}$ sol $Displaystyle G (s, t) = {\ tekst {Cov}} (X (s),X(t)),\ s, t\in T}$ .

Dla danych z $obserwacjami iid$ ustawienie ${\ Displaystyle \ xi _ {j} ^ {0} = 1}$ , $beta _ {0} = \ alfa}$ \ i ${\ Displaystyle \ xi _ {j} ^ {i} = \ int X_ {i} (t) \ rho _ {j} (t) \, dw (t)}$ , przybliżone predyktory liniowe można przedstawić jako ${\ Displaystyle \ eta _ {i} =\sum _{j=0}^{p}\beta _{j}\xi _{j}^{i},i=1,2,\ldots ,n} które są powiązane ze średnimi$ przez ${\ Displaystyle \ mu _ {i} = g (\ eta _ {i})}$ .

Oszacowanie

Głównym celem jest oszacowanie funkcji parametru ${\ displaystyle \ beta}$ .

Po $displaystyle p$ , standardowe metody GLM i metody quasi-wiarygodności mogą być użyte dla modelu $}$ w celu oszacowania $displaystyle {\boldsymbol {\beta}}^{T}=(\beta _{0},\beta _{1},\ldots,\beta _{p})} rozwiązując równanie$ ${\ p {\$ szacowania lub równanie wyniku ${\ Displaystyle U (\ beta) = 0.}$

U ${\ Displaystyle U (\ beta)$ , który zależy od ${\ boldsymbol {\ beta}}}$ $\ eta}$ przez $displaystyle$ η {\ .

Podobnie jak w GLM, równanie $NR$ przy użyciu metod iteracyjnych, takich jak Newton-Raphson ( ) lub punktacja Fishera (FS) lub ponownie ważonych metodą najmniejszych kwadratów ) do ${\ Displaystyle {\ kapelusz {\ beta}} (t) = {\ kapelusz {\ beta}} _ {o} + \ suma _ {j = 1} ^ {p} {\ kapelusz {\beta}}_{j}\rho _{j}(t)}$ oszacowanie współczynników regresji do oszacowania funkcji parametru $)$ . W przypadku korzystania z łącza kanonicznego te metody są równoważne.

Wyniki są dostępne w literaturze $modeli$ -obciętych jako ${\displaystyle p\rightarrow \infty} , które zapewniają asymptotyczne wnioskowanie o odchyleniu oszacowanej funkcji parametrycznej od prawdziwej funkcji parametrycznej$ a także testy asymptotyczne p {\ displaystyle p} dla efektów regresji i asymptotycznych regionów ufności .

Wykładnicza odpowiedź rodziny

Jeśli zmienna odpowiedzi , biorąc pod uwagę $T$ ${\ Displaystyle X_ {i} \ in L ^ {2} (T)},$ rodziną jednego parametru, to jego funkcja gęstości prawdopodobieństwa lub funkcja masy prawdopodobieństwa (w zależności od przypadku) jest

{\ Displaystyle f (y_ {i} \ mid X_ {i}) = \ exp \left({\frac {y_{i}\theta _{i}-b(\theta _{i})}{\phi}}+c(y_{i},\phi )\right)}

${\ displaystyle b}$ i do {\ displaystyle $}$ , gdzie jest parametrem kanonicznym, a jest parametrem dyspersji, który jest zazwyczaj $_ {i} }$ $\ displaystyle \ theta$ przyjmuje się, że jest dodatni.

$Displaystyle \ eta _ {i} = \ alfa + \ int X_ {i} ^ {c}(t)\beta (t)\,dw(t)=\theta _{i}}$ do oraz z własności rodziny wykładniczej,

{\ Displaystyle \ mu _ {i} = b '(\ theta _ {i}), {\ tekst {i tak}} \ mu _ {i} = b' (\ eta _ {i}).}

Stąd służy jako funkcja $łączenia i jest$ kanoniczną funkcją łączenia

${\ Displaystyle {\ tekst { Var}}(y_{i})=\phi b''(\theta _{i})=\phi b''(\eta _{i})=\phi g'(\eta _{i}) =\phi g'(g^{-1}(\mu _{i}}})}$ jest odpowiednią funkcją wariancji i $.$ dyspersji

Przypadki specjalne

Funkcjonalna regresja liniowa (FLR)

Funkcjonalna regresja liniowa, jedno z najbardziej użytecznych narzędzi funkcjonalnej analizy danych, jest przykładem GFLM, w którym zmienna odpowiedzi jest ciągła i często zakłada się, że ma rozkład normalny . Funkcja wariancji jest funkcją stałą, a funkcją łączenia jest tożsamość. Przy tych założeniach GFLM redukuje się do FLR,

{\ Displaystyle \ mu = \ operatorname {E} (Y \ mid X) = \ eta = \alpha +\int X^{c}(t)\beta (t)\,dw(t)}

Bez założenia o normalności funkcja stałej wariancji motywuje do stosowania technik quasi-normalnych.

Funkcjonalna regresja binarna

Gdy zmienna odpowiedzi ma wyniki binarne, tj. 0 lub 1, rozkład jest zwykle wybierany jako Bernoulliego , a następnie ${\ Displaystyle \ mu _ {i} = P (Y_ {i}=1\mid X_{i})}$ . Popularnymi funkcjami łączącymi są funkcja expit, która jest odwrotnością funkcji logit (funkcjonalna regresja logistyczna) i funkcji probit (funkcjonalna regresja probit). Każda skumulowana funkcja dystrybucji F ma zakres [0,1] , który jest zakresem średniej dwumianowej, a zatem może być wybrana jako funkcja łącząca. Inną funkcją łączenia w tym kontekście jest komplementarna funkcja log-log , która jest łączem asymetrycznym. Funkcja wariancji dla danych binarnych jest dana przez ${\ Displaystyle \ nazwa operatora {Var} (Y_ {i}) = \ phi \ mu _ {i} (1 -\ mu _ {i}}}$ $,$ gdzie parametr dyspersji się jako 1 lub alternatywnie stosuje się podejście quasi-wiarygodności.

Funkcjonalna regresja Poissona

Inny szczególny przypadek GFLM występuje, gdy liczy się wyniki, więc zakłada się, że rozkład odpowiedzi to Poissona . Średnia $jest$ zwykle połączona z predyktorem liniowym za pośrednictwem łącza logarytmicznego, które $również$ Funkcja wariancji to ${\ Displaystyle \ operatorname {Var} (Y_ {i}) = \ phi \ mu _ {i}}$ , gdzie parametr dyspersji ${\ Displaystyle \ phi}$ wynosi 1, z wyjątkiem sytuacji, gdy dane mogą być nadmiernie rozproszone, czyli gdy stosuje się podejście quasi-Poissona.

Rozszerzenia

Zaproponowano rozszerzenia GFLM dla przypadków, w których istnieje wiele funkcji predykcyjnych. Inne uogólnienie nosi nazwę półparametrycznej regresji quasi-wiarygodności (SPQR), która uwzględnia sytuację, w której związek i funkcje wariancji są nieznane i są szacowane nieparametrycznie na podstawie danych. Sytuację tę można również obsłużyć za pomocą modeli z jednym lub wieloma indeksami, stosując na przykład regresję odwrotną Sliced Inverse Regression (SIR).

Innym rozszerzeniem w tej domenie jest Functional Generalized Additive Model (FGAM)), który jest uogólnieniem uogólnionego modelu addytywnego (GAM), gdzie

{\ Displaystyle g ^ {- 1} (\ operatorname {E} (Y \ mid X)) = \alpha +\sum _{j=1}^{p}f_{j}(\xi _{j}),}

gdzie $xi _ {j}}$ $Displaystyle$ są współczynnikami rozszerzenia losowej funkcji predyktora i każda $X}$ nieznaną gładką funkcją, którą należy oszacować X { i gdzie ${\ Displaystyle {\ tekst {E}} (f_ {j} (\ xi _ {j})) = 0.$ }

Ogólnie rzecz biorąc, oszacowanie w FGAM wymaga połączenia IWLS z dopasowaniem wstecznym . Jeśli jednak współczynniki ekspansji zostaną uzyskane jako główne składowe funkcjonalne, to w niektórych przypadkach (np. funkcja predyktora Gaussa $X {\ displaystyle X}$ będą one niezależne, w którym to przypadku dopasowanie wsteczne nie jest potrzebne i można użyć popularnych metod wygładzania dla oszacowanie nieznanych funkcji parametrów ${\ displaystyle f_ {j}}$ .

Aplikacja

Trajektorie składania jaj przez wąsówki przez pierwsze 25 dni

Popularny zestaw danych, który był używany do wielu analiz w dziedzinie analizy danych funkcjonalnych, obejmuje liczbę jaj złożonych dziennie aż do śmierci 1000 śródziemnomorskich muszek owocówek (lub w skrócie meszków) [1] [ 2 ] . Poniższy wykres pokazuje trajektorie składania jaj w ciągu pierwszych 25 dni życia około 600 samic meszkówek (tych, które mają co najmniej 20 pozostałych jaj w swoim życiu). Krzywe w kolorze czerwonym należą do much, które złożą mniej niż mediana liczby pozostałych jaj, podczas gdy krzywe w kolorze niebieskim dotyczą much, które złożą więcej niż mediana liczby pozostałych jaj po 25 roku życia. Powiązany problem z klasyfikacją meszkówek jako długowieczne lub krótkotrwałe na podstawie początkowych trajektorii składania jaj jako predyktorów i późniejszej długowieczności much jako odpowiedzi badano za pomocą GFLM

Zobacz też