Regularyzacja macierzy

W dziedzinie teorii statystycznego uczenia się , regularyzacja macierzy uogólnia pojęcia regularyzacji wektorowej na przypadki, w których obiektem do nauczenia jest macierz. Celem regularyzacji jest wymuszenie warunków, na przykład rzadkości lub gładkości, które mogą generować stabilne funkcje predykcyjne. Na przykład w bardziej powszechnym schemacie wektorowym regularyzacja Tichonowa optymalizuje ponad

${\ Displaystyle \ min _ {x} \| Ax-y \|^ {2} + \ lambda \|x\|^ {2}}$

znaleźć wektor $który$ jest stabilnym rozwiązaniem problemu regresji. Gdy system jest opisany macierzą, a nie wektorem, problem ten można zapisać jako

${\ Displaystyle \ min _ {X} \|AX-Y \|^ {2} + \ lambda \|X\|^ {2},}$

gdzie norma wektorowa wymuszająca karę regularyzacyjną na została rozszerzona na normę macierzową na $displaystyle$$X}$ .

Regularyzacja macierzy ma zastosowanie w uzupełnianiu macierzy , regresji wielowymiarowej i uczeniu się wielozadaniowym . Idee wyboru cech i grup można również rozszerzyć na macierze, które można uogólnić na nieparametryczny przypadek uczenia się wielu jąder .

Podstawowa definicja

Rozważ macierz, której można się nauczyć z zestawu przykładów, $)}$${ t},$${i} ^ { t$$1}$ , gdzie przechodzi od ${\ Displaystyle 1}$$do$ n $\ Displaystyle n}$ przechodzi od $Displaystyle$ do ${\ Displaystyle T}$ . Niech każda macierz wejściowa będzie ${\ Displaystyle \ in \ mathbb {R} ^ {$$DT$$\displaystyle D\razy T}$$}$ niech będzie $rozmiaru$ . $jako$ model wyjścia można przedstawić

${\ Displaystyle y_ {i} ^ {t} = \ langle W, X_ {i} ^ {t} \ rangle _ {F},}$

gdzie iloczyn wewnętrzny jest iloczynem wewnętrznym Frobeniusa . Dla różnych zastosowań macierze będą miały różne formy, ale dla każdego z nich problem optymalizacji do wywnioskowania można zapisać jako $\ displaystyle X_ {$$}$

${\ Displaystyle \ min _ {W \ w {\ mathcal {H}}} E (W) + R (W)}$

gdzie $macierzy$ błąd $jest$ i karą $regularyzację$ Funkcja jest zwykle wybierana jako wypukła i często jest wybierana w celu wymuszenia rzadkości (przy użyciu -norm) i / lub gładkości (przy użyciu $)$ { $ell ^ {1}$${\ Displaystyle \ ell ^ {2}}$ -normy). Wreszcie, $jest$ przestrzeni macierzy z iloczynem wewnętrznym Frobeniusa $⟨$$langle \ kropki \ rangle _ {F}}$ .

Zastosowania ogólne

Uzupełnienie matrycy

W problemie uzupełniania macierzy macierz przyjmuje postać ${\ displaystyle X_ {i} ^ {t}}$

${\ Displaystyle X_ {i} ^ {t} = e_ {t} \ czasami e_ {i} ',}$

gdzie ${\ Displaystyle (e_ {t}) _ {t}}$ i ${\ Displaystyle (e_ {i} ') _ {i}}$ są podstawą kanoniczną w ${ \ Displaystyle \ mathbb {R} ^ {T}}$ i ${\ Displaystyle \ mathbb {R} ^ {D}}$ . W tym przypadku rolą iloczynu wewnętrznego Frobeniusa jest wybranie poszczególnych elementów $\ Displaystyle w_ {i} ^ {t}}$ macierzy W ${\ displaystyle W}$ . Zatem wyjście $próbką$ wpisów z $.$

Problem rekonstrukcji $próbkowanych$ wpisów jest możliwy tylko przy pewnych ograniczeniach na macierzy, a ograniczenia te można wymusić za pomocą funkcji regularyzacji. Na przykład można założyć, że $przybrać$ formę normy nuklearnej.

$\ Displaystyle R (W) = \ lambda \| W \ | _ {*} = \ lambda \ suma | \ sigma _ {i} |,}$

gdzie ${\ Displaystyle \ sigma _ {i}}$ , gdzie $do$ 1 $\ Displaystyle 1}$ min $\ Displaystyle \ min D, T}$ , są wartościami osobliwymi ${ \displaystyle W}$ .

Regresja wielowymiarowa

Modele stosowane w regresji wielowymiarowej są parametryzowane przez macierz współczynników. W powyższym produkcie wewnętrznym Frobeniusa każda macierz jest ${\ displaystyle X}$

${\ Displaystyle X_ {i} ^ {t} = e_ {t} \ czasami x_ {i} \,}$

tak, że wynik iloczynu wewnętrznego jest iloczynem skalarnym jednego wiersza danych wejściowych z jedną kolumną macierzy współczynników. Znana forma takich modeli to

${\ Displaystyle Y = XW + b \,}$

Wiele norm wektorowych stosowanych w regresji z pojedynczą zmienną można rozszerzyć na przypadek wielowymiarowy. Jednym z przykładów jest kwadratowa norma Frobeniusa, którą można postrzegać jako -normę działającą albo po wejściu, albo na wartościach osobliwych macierzy: ${\ displaystyle \ ell ^ {2} }$

${\ Displaystyle R (W) = \ lambda \|W \|_ {F} ^ {2} = \ lambda \ suma \ suma | w_ {ij} | ^ {2} = \ lambda \ operatorname {Tr} (W ^{*}W)=\lambda \suma \sigma _{i}^{2}.}$

W przypadku wielowymiarowym efekt uregulowania normą Frobeniusa jest taki sam jak w przypadku wektora; bardzo złożone modele będą miały większe normy, a zatem będą bardziej karane.

Uczenie się wielozadaniowe

Konfiguracja uczenia się wielozadaniowego jest prawie taka sama jak konfiguracja regresji wielowymiarowej. Podstawowa różnica polega na tym, że zmienne wejściowe są również indeksowane według zadania (kolumny ${\ displaystyle Y}$ ). Reprezentacja z iloczynem wewnętrznym Frobeniusa jest wtedy

${\ Displaystyle X_ {i} ^ {t} = e_ {t} \ czasami x_ {i} ^ {t}.}$

Rola regularyzacji macierzy w tym ustawieniu może być taka sama, jak w regresji wielowymiarowej, ale normy macierzowe mogą być również wykorzystywane do łączenia problemów z uczeniem się między zadaniami. W szczególności zwróć uwagę na problem optymalizacji

${\ Displaystyle \ min _ {W} \| XW-Y \|_ {2} ^ {2} + \ lambda \| W \ |_ {2}^{2}}$

rozwiązania odpowiadające każdej kolumnie $oddzielone$ . Oznacza to, że to samo rozwiązanie można znaleźć, rozwiązując wspólny problem lub rozwiązując izolowany problem regresji dla każdej kolumny. Problemy można połączyć, dodając dodatkową karę regularyzacyjną za kowariancję rozwiązań

${\ Displaystyle \ min _ {W, \ Omega} \| XW-Y \|_{2}^{2}+\lambda _{1}\|W\|_{2}^{2}+\lambda _{2}\nazwa_operatora {Tr} (W^{T}\Omega ^{-1}W)}$

gdzie $modeluje$ relacje między zadaniami $Omega}$${$ \ displaystyle . Kiedy wiadomo, że związek między zadaniami leży na wykresie, macierzy Laplace'a wykresu.

Regularyzacja widmowa

Regularyzacja przez filtrowanie widmowe została wykorzystana do znalezienia stabilnych rozwiązań problemów, takich jak te omówione powyżej, poprzez zajęcie się źle ustawionymi inwersjami macierzy (patrz na przykład Funkcja filtra dla regularyzacji Tichonowa ). W wielu przypadkach funkcja regularyzacji działa na wejście (lub jądro), aby zapewnić ograniczoną odwrotność poprzez eliminację małych wartości osobliwych, ale przydatne może być również posiadanie norm widmowych, które działają na macierz, której należy się nauczyć.

Istnieje wiele norm macierzowych, które działają na wartości osobliwe macierzy. Często używane przykłady obejmują p-normy Schattena , z p = 1 lub 2. Na przykład regularyzacja macierzy z normą Schattena 1, zwaną również normą jądrową, może być wykorzystana do wymuszenia rzadkości w widmie macierzy. Zostało to użyte w kontekście uzupełniania macierzy, gdy uważa się, że dana macierz ma ograniczoną rangę. W tym przypadku problem optymalizacyjny staje się:

${\ Displaystyle \ min \|W \||_ {*}}$ z zastrzeżeniem ${\ Displaystyle W_ {i, j} = Y_ {ij}.}$

Spektralna regularyzacja jest również używana do wymuszenia zredukowanej macierzy współczynników rang w regresji wielowymiarowej. W tym ustawieniu zmniejszoną macierz współczynników rang można znaleźć, zachowując tylko górne $,$ aby zachować dowolny zredukowany zestaw wartości osobliwych i wektorów.

Strukturalna rzadkość

Optymalizacja rzadka stała się przedmiotem zainteresowania wielu badaczy jako sposób na znalezienie rozwiązań zależnych od niewielkiej liczby zmiennych (patrz np. metoda Lasso ). W zasadzie rzadkość przy wejściu można wymusić, nakładając karę na -normę matrycy pod względem wejścia, ale norma nie jest ${0}}$$displaystyle \ ell$ wypukły. $W$ praktyce można to zaimplementować przez wypukłą relaksację . Podczas gdy regularyzacja wejściowa z ${\ displaystyle \ ell ^ {1}}$ -norm znajdzie rozwiązania z niewielką liczbą niezerowych elementów, zastosowanie $do$ grup zmiennych może wymusić strukturę w rzadkości rozwiązań.

Najprostszy przykład uporządkowanej rzadkości wykorzystuje $displaystyle$ z $p = 2}$ i $displaystyle q =$ }

${\ Displaystyle \|W \|_ {2,1} = \ suma \|w_ {i}\|_ {2}.}$

Na przykład $norma$ jest używana w uczeniu się wielozadaniowym do grupowania funkcji w zadaniach, tak że można wymusić wszystkie elementy w do zera jako grupa. Efekt grupowania uzyskuje się, przyjmując -normę każdego rzędu, a następnie przyjmując, że całkowita kara jest sumą tych norm $rzędów$ Ta regularyzacja skutkuje wierszami, które będą miały tendencję do samych zer lub gęstych. Ten sam typ regularyzacji może być użyty do wymuszenia rzadkości w kolumnach, biorąc ${\ displaystyle \ ell ^ {2}}$ -normy każdej kolumny.

Bardziej ogólnie, normę można zastosować do dowolnych grup zmiennych: ${\ displaystyle \ ell _ {2,1}}$

$\ Displaystyle R (W) = \ lambda \ suma _ {g} ^ {G} {\ sqrt {\ suma _ {j} ^ {| G_ {g} |} |w_{g}^{j}|^{2}}}=\lambda \sum _{g}^{G}\|w_{g}\|_{g}}$

gdzie indeks $obejmuje$ grupy zmiennych ${\ Displaystyle | G_ {g} |}$ wskazuje liczność grupy ${\ displaystyle g}$ .

Algorytmy rozwiązywania tych problemów z rzadkością grup rozszerzają bardziej znane metody Lasso i grupowe Lasso, umożliwiając na przykład nakładanie się grup i zostały zaimplementowane poprzez metody dopasowywania : i proksymalnego gradientu . Zapisując proksymalny gradient w odniesieniu do danego współczynnika, można zauważyć, że norma ta wymusza miękki próg grupowy w sol ja { \ displaystyle $}}$

${\ Displaystyle \ nazwa operatora {prox} _ {\ lambda, R_ {g}} (w_ {g}) ^ {i} = \ lewo (w_ {g} ^ {i} - \ lambda {\ Frac {w_ {g }^{i}}{\|w_{g}\|_{g}}}\right)\mathbf {1} _{\|w_{g}\|_{g}\geq \lambda }.}$

gdzie ${\ Displaystyle \ mathbf {1} _ {\| w_ {g} \|_ {g} \ geq \ lambda}} jest$ funkcją wskaźnika dla norm grupowych ${\ Displaystyle \ geq \lambda }$ .

Tak więc, stosując $, łatwo jest wymusić$ albo w wierszach, kolumnach, albo w dowolnych blokach Na przykład wymuszając normy grupowe na blokach w regresji wielowymiarowej lub wielozadaniowej, można znaleźć grupy zmiennych wejściowych i wyjściowych, tak aby zdefiniowane podzbiory zmiennych wyjściowych (kolumny w macierzy) były zależne od Y {\ displaystyle $}$ na tym samym rzadkim zestawie zmiennych wejściowych.

Wybór wielu jąder

Idee ustrukturyzowanej rzadkości i wyboru funkcji można rozszerzyć na nieparametryczny przypadek uczenia się wielu jąder . Może to być przydatne, gdy istnieje wiele typów danych wejściowych (na przykład kolor i tekstura) z różnymi odpowiednimi jądrami dla każdego lub gdy odpowiednie jądro jest nieznane. Jeśli na przykład istnieją dwa jądra z mapami cech B $,$$\ displaystyle B}$ które leżą w odpowiednich odtwarzających jądrach przestrzeniach Hilberta ${\ Displaystyle {\ mathcal {H_ {A}}}, {\ mathcal {H_ {B}}}}, a$ następnie większa przestrzeń, może być ${\ Displaystyle {\ mathcal {H_ {D}}}}$ tworzony jako suma dwóch spacji:

${\ Displaystyle {\ mathcal {H_ {D}}}: f = h + h'; h \ in {\ mathcal {H_ {A}}}, h'\ in { \mathcal {H_{B}}}}$

zakładając liniową niezależność w i $displaystyle$$B}$ . W tym przypadku -normą jest znowu suma norm: ${\ Displaystyle \ ell _ {2,1}}}$

${\ Displaystyle \ | f \ | _ {{\ mathcal {H_ {D}}}, 1} = \ | h \ |_ {\mathcal {H_{A}}}+\|h'\|_{\mathcal {H_{B}}}}$

Zatem wybierając macierzową funkcję regularyzacji jako tego typu normę, można znaleźć rozwiązanie, które jest rzadkie pod względem używanych jąder, ale gęste pod względem współczynnika każdego użytego jądra. Uczenie się wielu jąder może być również wykorzystywane jako forma nieliniowej selekcji zmiennych lub jako technika agregacji modeli (np. poprzez sumę kwadratów norm i rozluźnienie ograniczeń rzadkości). Na przykład każde jądro można uznać za jądro Gaussa o innej szerokości.

Zobacz też

• Regularyzacja (matematyka)