FastICA

FastICA jest wydajnym i popularnym algorytmem do niezależnej analizy komponentów, opracowanym przez Aapo Hyvärinena z Politechniki Helsińskiej . Podobnie jak większość algorytmów ICA, FastICA poszukuje ortogonalnej rotacji wstępnie wybielonych danych poprzez schemat iteracji punktu stałego , który maksymalizuje miarę niegaussowskości obróconych komponentów. Niegaussowość służy jako wskaźnik niezależności statystycznej , która jest bardzo silnym warunkiem i wymaga nieskończonej liczby danych do weryfikacji. FastICA może być również alternatywnie wyprowadzona jako przybliżona iteracja Newtona.

Algorytm

Wstępne wybielanie danych

Niech ${\ Displaystyle \ mathbf {X} : = (x_ {ij}) \ in \ mathbb {R} ^ {N \ razy M}}$ oznacza dane wejściowe $liczba kolumn$ , $odpowiadająca$ liczbie próbek sygnałów mieszanych i liczba wierszy odpowiadająca liczbie niezależnych sygnałów źródłowych Macierz danych wejściowych musi zostać wstępnie wybielona lub wyśrodkowana i wybielona przed zastosowaniem do niej algorytmu $FastICA$

Wyśrodkowanie danych pociąga za sobą poniżanie każdego składnika danych wejściowych , to znaczy ${\ displaystyle \ mathbf {X}}$

{\ Displaystyle x_ {ij} \ lewa strzałka x_ {ij} - {\ Frac {1} {M}} \ suma _ {j ^ {\ pierwsza }}x_{ij^{\pierwsza}}}

dla każdego

{\ Displaystyle i = 1, \ ldots, N}

i

{\ Displaystyle j = 1, \ ldots, M}

. Po wyśrodkowaniu każdy wiersz ma oczekiwaną wartość X

\ mathbf {X}}

displaystyle

.

Wybielanie danych wymaga transformacji liniowej $}} wyśrodkowanych danych$ ${\ Displaystyle \ mathbf {L}: \ mathbb {R} ^ {N \ razy M} \ do \ mathbb {R} ^ {N \ razy$ $,$ tak że składniki mają wariancję jeden. Dokładniej, jeśli jest wyśrodkowaną macierzą danych, kowariancja $)$ ${\ Displaystyle \ mathbf {L} _ {\ mathbf {x}}:$ to dwuwymiarowa macierz tożsamości, czyli ${\ Displaystyle (N \ razy N)}$

{\ Displaystyle \ operatorname {E} \ lewo \ {\ mathbf {L} _ {\ mathbf {x}} \ mathbf {L} _ {\ mathbf {x}} ^ {T}\right\}=\mathbf {I} _{N}}

Powszechną metodą wybielania jest wykonanie rozkładu wartości własnych na macierzy kowariancji

{\ displaystyle E \ lewo \ {

danych ,

}

E

}

gdzie

jest macierzą wektorów własnych, a macierzą diagonalną wartości własnych. Wybielona macierz danych jest zdefiniowana w ten sposób przez

{\ Displaystyle \ mathbf {X} \ leftarrow \ mathbf {D} ^ {-1/2} \ mathbf {E} ^ {T} \ mathbf {X}.}

Ekstrakcja pojedynczych składników

Algorytm iteracyjny znajduje kierunek dla wektora wagi $który$ niegaussowskiej projekcji $displaystyle \ mathbf {w} ^ {T} \ mathbf {X}}$ ${$ , gdzie ${\ Displaystyle \ mathbf {X} \ in \ mathbb {R} ^ {N \ razy M}}$ oznaczający wstępnie wybielony macierz danych, jak opisano powyżej. Zauważ, że $jest$ kolumnowym. Aby zmierzyć nie-Gaussa, FastICA opiera się na niekwadratowej funkcji nieliniowej ${\ Displaystyle g ^ {\ pierwsza} (u)}$ jej pierwszej pochodnej i drugiej pochodnej ${\ Displaystyle$ $g (u)} fa ( u ) {$ . Hyvärinen twierdzi, że funkcje

{\ Displaystyle f (u) = \

są przydatne do celów ogólnych, podczas gdy

{\ Displaystyle f

może być bardzo wytrzymały. Kroki wyodrębniania wektora wagi dla pojedynczego składnika w FastICA są następujące: ${\ displaystyle \ mathbf {w}}$

Losuj początkowy wektor wagi ${\ displaystyle \ mathbf {w}}$
Niech ${\ Displaystyle \ mathbf {w} ^ {+} \ leftarrow E \ lewo \ {\ mathbf {X } g(\mathbf {w} ^{T}\mathbf {X} )^{T}\right\}-E\left\{g'(\mathbf {w} ^{T}\mathbf {X} ) \right\}\mathbf {w} }$ , gdzie ${\ Displaystyle E \ lewo \ {... \ prawo \}}$ oznacza uśrednianie wszystkich wektorów kolumnowych macierzy ${\ Displaystyle \ mathbf {X}}$
niech ${\ Displaystyle \ mathbf {w} \ strzałka w lewo \ mathbf {w} ^ {+}/\|\ mathbf {w} ^ {+} \ |}$
Jeśli nie jest zbieżny, wróć do 2

Ekstrakcja wielu składników

Algorytm iteracyjny pojedynczej jednostki szacuje tylko jeden wektor wagi, który wyodrębnia pojedynczy składnik. Oszacowanie dodatkowych składowych, które są wzajemnie „niezależne”, wymaga powtórzenia algorytmu w celu uzyskania liniowo niezależnych wektorów projekcji – zauważ, że pojęcie niezależności odnosi się tutaj do maksymalizacji niegaussowskiej nie-gaussowskiej wartości estymowanych składowych. Hyvärinen zapewnia kilka sposobów wyodrębniania wielu komponentów, z których najprostszy jest następujący. Tutaj jest wektorem kolumnowym o wymiarze 1 $}$ $\ displaystyle \ mathbf {1_ {M}$ .

algorytm FastICA

{\ displaystyle C}

: do Liczba pożądanych składników

Wejście:

{\ Displaystyle \ mathbf {X} \ in \ mathbb {R} ^ {N \ razy M}}

Wstępnie wybielona macierz, w której każda kolumna reprezentuje an -wymiarowa próbka, gdzie do

{\ Displaystyle C <= N}

Wyjście

:

{N \times C}}

Macierz niemieszająca, w której każda kolumna rzutuje

niezależny

komponent.

Wyjście:

{\ Displaystyle \ mathbf {S} \ in \ mathbb {R} ^ {C \ razy M}}

Macierz niezależnych składników, z kolumnami reprezentującymi próbkę z do

styl wyświetlania C}

\

displaystyle M

wymiary.

 
     
        
        

  

   dla  p  w  1 do C:  ${\ Displaystyle \ mathbf {w_ {p}} \ strzałka w lewo}$  Losowy wektor o długości N  podczas gdy  ${\ Displaystyle \ mathbf {w_ {p}}}$  zmienia się  ${\ Displaystyle \ mathbf {w_ {p}} \ leftarrow {\ Frac {1} {M}} \ mathbf { X} g(\mathbf {w_{p}} ^{T}\mathbf {X} )^{T}-{\frac {1}{M}}g'(\mathbf {w_{p}} ^{ T} \ mathbf {X} ) \ mathbf {1_ {M}} \ mathbf {w_ {p}}}$  ${\ Displaystyle \mathbf {w_{p}} \leftarrow \mathbf {w_{p}} -\sum _{j=1}^{p-1}(\mathbf {w_{p}} ^{T}\mathbf {w_ {j}} ) \ mathbf {w_ {j}}}$  ${\ Displaystyle \ mathbf {w_ {p}} \ leftarrow {\ Frac {\ mathbf {w_ {p}}}} \|\ mathbf {w_ {p}} \|}}}$  wyjście  ${\ Displaystyle \ mathbf {W} \ leftarrow {\ rozpocząć {bmatrix} \ mathbf {w_ {1} } \ kropki \ mathbf {w_ {C}} \ koniec {bmatrix}}}$  wyjście  ${\ Displaystyle \ mathbf {S} \ lewostrzałka \ mathbf {W ^ {T}} \ mathbf {X} }$

Zobacz też

Uczenie się bez nadzoru
Nauczanie maszynowe
Biblioteka IT++ zawiera implementację FastICA w C++
Infomaks

Linki zewnętrzne