Proces Gaussa w sieci neuronowej

Po lewej : Bayesowska sieć neuronowa $z$ trójwymiarowe dane wejściowe (na dole) w dwuwymiarowe góry ). $Po$ prawej : prawdopodobieństwa losowe Wideo : wraz ze wzrostem szerokości sieci rozkład wyjściowy upraszcza się, ostatecznie zbiegając się do wielowymiarowej normalnej w nieskończonej szerokości.

Sieci bayesowskie to narzędzie do modelowania służące do przypisywania prawdopodobieństwa zdarzeniom, a tym samym do charakteryzowania niepewności w przewidywaniach modelu. Głębokie uczenie się i sztuczne sieci neuronowe to podejścia stosowane w uczeniu maszynowym do tworzenia modeli obliczeniowych, które uczą się na przykładach szkoleniowych. Bayesowskie sieci neuronowe łączą te dziedziny. Są rodzajem sztucznej sieci neuronowej, której parametry a przewidywania są zarówno probabilistyczne. Podczas gdy standardowe sztuczne sieci neuronowe często przypisują wysoką pewność nawet błędnym przewidywaniom, sieci neuronowe bayesowskie mogą dokładniej ocenić prawdopodobieństwo poprawności ich przewidywań.

Procesy gaussowskie sieci neuronowych (NNGP) są równoważne z sieciami neuronowymi bayesowskimi w określonym limicie i zapewniają zamkniętą formę oceny sieci neuronowych bayesowskich. Są to rozkład prawdopodobieństwa procesu Gaussa , który opisuje rozkład przewidywań dokonanych przez odpowiednią Bayesowską sieć neuronową. Obliczenia w sztucznych sieciach neuronowych są zwykle zorganizowane w sekwencyjne warstwy sztucznych neuronów . Liczba neuronów w warstwie nazywana jest szerokością warstwy. Równoważność między NNGP a sieciami neuronowymi Bayesa występuje, gdy warstwy w sieci neuronowej Bayesa stają się nieskończenie szerokie (patrz rysunek). Ta duża granica szerokości ma znaczenie praktyczne, ponieważ sieci neuronowe o skończonej szerokości zwykle działają znacznie lepiej wraz ze wzrostem szerokości warstwy.

NNGP pojawia się również w kilku innych kontekstach: opisuje rozkład przewidywań dokonywanych przez szerokie nie-bayesowskie sztuczne sieci neuronowe po losowej inicjalizacji ich parametrów, ale przed szkoleniem; pojawia się jako termin w neuronowych równaniach przewidywania jądra stycznego; jest używany w głębokiej propagacji informacji do scharakteryzowania, czy hiperparametry i architektury będą możliwe do szkolenia. Jest to związane z innymi dużymi ograniczeniami szerokości sieci neuronowych .

Ilustracja kreskówka

Kiedy parametry $nieskończonej szerokości$$Gaussa$ próbkowane z ich wcześniejszych , wynikowy rozkład na wyjściach sieci jest opisywany przez proces

$.$ sieci neuronowej odpowiada określonej funkcji obliczanej przez sieć neuronową Wcześniejszy rozkład po parametrach sieci neuronowej odpowiada zatem wcześniejszemu rozkładowi po $.$ Ponieważ sieci neuronowe są nieskończenie szerokie, ten rozkład funkcji zbiega się do procesu Gaussa dla wielu architektur.

Rysunek po prawej przedstawia jednowymiarowe wyjścia sieci neuronowej dla dwóch wejść i $x }$${\ Displaystyle$ i ${\ displaystyle x ^ {*}}$ przeciwko sobie. Czarne kropki pokazują funkcję obliczoną przez sieć neuronową na tych wejściach dla losowych losowań parametrów z ${\ Displaystyle p (\ theta)}$ . Czerwone linie to kontury izo-prawdopodobieństwa dla wspólnego rozkładu na wyjściach sieci ${\ Displaystyle z ^ {L} (x; \ theta)}$ i ${\ Displaystyle z ^ {L} (x ^ {*}; \ teta)}$ wywołane przez ${\ Displaystyle p (\ teta)}$ . Jest to rozkład w przestrzeni funkcyjnej odpowiadający rozkładowi ${\ displaystyle p (\ theta)}$ w przestrzeni parametrów, a czarne kropki to próbki z tego rozkładu. W przypadku nieskończenie szerokich sieci neuronowych, ponieważ rozkład na funkcje obliczane przez sieć neuronową jest procesem Gaussa, wspólny rozkład na wyjściach sieci jest wielowymiarowym Gaussem dla dowolnego skończonego zestawu wejść sieciowych.

Notacja użyta w tej sekcji jest taka sama, jak notacja użyta poniżej w celu uzyskania zgodności między NNGP a w pełni połączonymi sieciami, i można tam znaleźć więcej szczegółów.

Architektury, które odpowiadają NNGP

Wykazano, że równoważność między nieskończenie szerokimi Bayesowskimi sieciami neuronowymi a NNGP zachodzi dla: pojedynczej warstwy ukrytej i głębokich, w pełni połączonych sieci , gdy liczba jednostek na warstwę jest doprowadzona do nieskończoności; konwolucyjne sieci neuronowe , gdy liczba kanałów jest doprowadzona do nieskończoności; sieci transformatorowe, ponieważ liczba głów uwagi jest doprowadzona do nieskończoności; powtarzające się sieci gdy liczba jednostek zostanie doprowadzona do nieskończoności. W rzeczywistości ta zgodność NNGP dotyczy prawie każdej architektury: ogólnie, jeśli architektura może być wyrażona wyłącznie poprzez mnożenie macierzy i nieliniowości współrzędnych (tj. program tensorowy), to ma GP o nieskończonej szerokości. Obejmuje to w szczególności wszystkie wyprzedzające lub rekurencyjne sieci neuronowe złożone z wielowarstwowego perceptronu, rekurencyjne sieci neuronowe (np. LSTM , GRU ), splot (nD lub graf) , łączenie w pule, pomijanie połączeń, uwagę, normalizację wsadową i/lub normalizację warstw.

Zgodność między nieskończenie szeroką, w pełni połączoną siecią a procesem Gaussa

Ta sekcja rozwija zgodność między nieskończenie szerokimi sieciami neuronowymi a procesami Gaussa dla konkretnego przypadku w pełni połączonej architektury. Zawiera szkic dowodowy wyjaśniający, dlaczego korespondencja się utrzymuje, i wprowadza specyficzną formę funkcjonalną NNGP dla w pełni połączonych sieci. Szkic dowodowy jest ściśle zgodny z podejściem przedstawionym w Novak i in., 2018 .

Specyfikacja architektury sieci

Wyprowadzany jest NNGP, który jest odpowiednikiem sieci neuronowej Bayesa z tą w pełni połączoną architekturą.

Rozważmy w pełni połączoną sztuczną sieć neuronową z wejściami ${\ displaystyle$ parametrami składającymi się z wag i odchyleń $} }$$displaystyle b ^ {l}}$$\$ dla każdej warstwy $\$ sieci, aktywacje wstępne (nieliniowość) $Displaystyle z ^ {l}}$ , aktywacje (post-nieliniowość) ${\ Displaystyle y ^ {l} }$${\ Displaystyle \ phi (\ cdot)}$ i szerokości warstw $\ Displaystyle n ^ {l}}$ { . $L + 1}}$ uproszczenia przyjmuje się, że szerokość ${\ displaystyle n ^ {$ odczytu wynosi 1. Parametry tej sieci mają wcześniejszy rozkład ${\ Displaystyle p (\ teta)}$ , który składa się z izotropowego Gaussa dla każdej wagi i odchylenia, z wariancją wag skalowaną odwrotnie do szerokości warstwy. Ta sieć jest zilustrowana na rysunku po prawej stronie i opisana przez następujący zestaw równań:

${\ Displaystyle {\ rozpocząć {wyrównane} x & \ równoważnik {\ tekst {wejście}} \\ y ^ {l} (x) & = \ lewo \ {{\ rozpocząć {tablica} {lcl} x i & l = 0 \\\ phi \left(z^{l-1}(x)\right)&&l>0\end{array}}\right.\\z_{i}^{l}(x)&=\suma _{j} W_{ij}^{l}y_{j}^{l}(x)+b_{i}^{l}\\W_{ij}^{l}&\sim {\mathcal {N}}\left (0,{\frac {\sigma _{w}^{2}}{n^{l}}}\right)\\b_{i}^{l}&\sim {\mathcal {N}}\ left(0,\sigma _{b}^{2}\right)\\\phi (\cdot )&\equiv {\text{nieliniowość}}\\y^{l}(x),z^{l -1}(x)&\in \mathbb {R} ^{n^{l}\times 1}\\n^{L+1}&=1\\\theta &=\left\{W^{ 0},b^{0},\kropki ,W^{L},b^{L}\right\}\end{wyrównane}}}$

${\ displaystyle z ^ {l} | y ^ {l}}$ jest procesem Gaussa

$.$ , że preaktywacje $są opisane$ przez proces Gaussa Wynik ten utrzymuje się nawet przy skończonej szerokości. $.$ wstępna aktywacja $ważoną$ sumą zmiennych losowych , ${\ displaystyle b_ {i} ^ {l}}$ , gdzie współczynniki dla każdej z tych zmiennych Gaussa to poprzednie aktywacje ${\ displaystyle y_ {j} ^ {l}}$ . Ponieważ są ważoną sumą Gaussów o zerowej średniej, $są Gaussami o zerowej$ uwarunkowane współczynnikami $\ Displaystyle y_ {j} ^ {l}}$ ). Ponieważ ${\ displaystyle z ^ {l}}$ są łącznie gaussowskie dla dowolnego zestawu ${\ displaystyle y ^ {l}}$ , są one opisane przez proces Gaussa uwarunkowany poprzednimi aktywacjami ${\ displaystyle y ^ {l}}$ . Kowariancja lub jądro tego procesu Gaussa zależy od wariancji wagi i odchylenia ${\ Displaystyle \ sigma _ {w} ^ {2}}$ i ${\ Displaystyle \ sigma _ {b} ^ {2}}$ , jak również macierz drugiego momentu $y$ poprzednich aktywacji $\ displaystyle y ^ {l}$ ,

${\ Displaystyle {\ rozpocząć {wyrównane} z_ {i} ^ {l} \ mid y ^ {l} i \ sim {\ mathcal {GP}} \ lewo (0, \ sigma _ {w} ^ {2} K ^{l}+\sigma _{b}^{2}\right)\\K^{l}(x,x')&={\frac {1}{n^{l}}}\sum _ {i}y_{i}^{l}(x)y_{i}^{l}(x')\end{wyrównane}}}$

Efektem skali wagi $\ Displaystyle$ przeskalowanie wkładu do macierzy kowariancji z $\ sigma _ {w} ^ {2}}$ podczas gdy odchylenie jest wspólne σ dla wszystkich danych wejściowych, a więc sprawia, że $}$ jest bardziej podobny i sprawia, że ​​macierz kowariancji jest $\ Displaystyle \ sigma _ {b} ^ {2}$ bardziej jak stała macierz.

${\ displaystyle z ^ {l} | K ^ {l}}$ jest procesem Gaussa

Wstępne aktywacje zależą tylko od $}}$$displaystyle$ momentu . z ${$ . Z tego powodu możemy powiedzieć, że $}}$$raczej$ Gaussa uwarunkowanym $} .$ uwarunkowanym $\ displaystyle y ^ {l$ ,

${\ Displaystyle {\ rozpocząć {wyrównane} z_ {i} ^ {l} \ środkowy K ^ {l} i \ sim {\ mathcal {GP}} \ lewo (0, \ sigma _ {w} ^ {2} K ^{l}+\sigma _{b}^{2}\right).\end{aligned}}}$

Gdy szerokość warstwy staje się deterministyczna ${\ Displaystyle n ^ {l} \ rightarrow \ infty}$ , ${\ Displaystyle K ^ {l} \ mid K ^ {l-1}}$

$\ displaystyle y ^ {l}$ wcześniej, jest macierzą drugiego momentu $}$ . Ponieważ $,$${l-1} \ prawej)}$ aktywacji po zastosowaniu nieliniowości można go zastąpić $Displaystyle$$\ phi \ lewo (z$ , co skutkuje zmodyfikowanym równaniem wyrażającym ${\ displaystyle K ^ {l}}$ dla ${\ Displaystyle l> 0}$ w zakresie ${\ Displaystyle z ^ {l-1}}$ ,

${\ Displaystyle {\ rozpocząć {wyrównane} K ^ {l} (x, x ') & = {\ Frac {1} {n ^ {l}}} \ suma _ {i} \ phi \ lewo (z_ {i }^{l-1}(x)\right)\phi \left(z_{i}^{l-1}(x')\right).\end{wyrównane}}}$

Ustaliliśmy już, że ${\ Displaystyle z ^ {l-1} | K ^ {l-1}}$ jest procesem Gaussa. Oznacza to, że suma definiująca jest średnią z $l}$$displaystyle K$ procesu Gaussa, który jest funkcją $\$ ,

${\ Displaystyle {\ rozpocząć {wyrównane} \ lewo \ {z_ {i} ^ {l-1} (x), z_ {i} ^ {l-1} (x') \ prawo \} i \ sim {\ mathcal {GP}}\left(0,\sigma _{w}^{2}K^{l-1}+\sigma _{b}^{2}\right).\end{wyrównane}}}$

Gdy szerokość warstwy $}$ do nieskończoności, tę średnią z próbek z procesu Gaussa można zastąpić całką po procesie Gaussa: $displaystyle n ^ {l}$

${\ Displaystyle {\ rozpocząć {wyrównane} \ lim _ {n ^ {l} \ rightarrow \ infty} K ^ {l} (x, x ') & = \ int dzdz '\ phi (z) \ phi (z' ){\mathcal {N}}\left(\left[{\begin{tablica}{c}z\\z'\end{tablica}}\right];0,\sigma _{w}^{2} \left[{\begin{array}{cc}K^{l-1}(x,x)&K^{l-1}(x,x')\\K^{l-1}(x', x)&K^{l-1}(x',x')\end{array}}\right]+\sigma _{b}^{2}\right)\end{aligned}}}$

$\ displaystyle x'}$ nieskończonej szerokości, macierz drugiego momentu $dla$ każdej pary wejść $i$ x wyrazić jako całkę po a $\ phi (z)}$ Displaystyle i ${\ Displaystyle \ phi (z')}$ . Istnieje wiele sytuacji, w których zostało to rozwiązane analitycznie, na przykład gdy ${\ Displaystyle \ phi (\ cdot)}$ jest ReLU , ELU, GELU lub nieliniowością funkcji błędu . Nawet jeśli nie można tego rozwiązać analitycznie, ponieważ jest to całka 2d, można ją ogólnie skutecznie obliczyć numerycznie. Ta całka jest deterministyczna, więc ${\ Displaystyle K ^ {l} | K ^ {l-1}}$ jest deterministyczny.

W skrócie definiujemy funkcjonał $\ displaystyle F$ który odpowiada obliczeniu tej całki 2d dla wszystkich par danych wejściowych i który odwzorowuje ${\ displaystyle K ^ {l-1}}$ na $} styl wyświetlania K^{l}}$ ,

${\ Displaystyle {\ rozpocząć {wyrównane} \ lim _ {n ^ {l} \ rightarrow \ infty} K ^ {l} & = F \ lewo (K ^ {l-1} \ prawo). \ koniec {wyrównane} }}$

${\ Displaystyle z ^ {L} \ mid x}$ jest NNGP

Stosując rekurencyjnie obserwację, że $jest$$}$ ∞ $} \ rightarrow$ , można zapisać jako deterministyczną funkcję ${\ Displaystyle K ^ {0}}$ , $L {\ Displaystyle K ^ {0}}$

${\ Displaystyle {\ rozpocząć {wyrównane} \ lim _ {\ min \ lewo (n ^ {1},\dots ,n^{L}\right)\rightarrow \infty }K^{L}&=F\circ F\cdots \left(K^{0}\right)=F^{L} \left(K^{0}\right),\end{wyrównane}}}$

gdzie wskazuje na sekwencyjne stosowanie funkcjonalności $razy$$L$$\ displaystyle$ . Łącząc to wyrażenie z dalszymi obserwacjami, że macierz drugiego momentu warstwy wejściowej ${\ Displaystyle K ^ {0} (x, x ') = {\ frac {1}{n^{0}}}\suma _{i}x_{i}x'_{i}}$$jest$ deterministyczną funkcją wejścia że ${\ Displaystyle z ^ {L} | K ^ {L}}$ jest procesem Gaussa, wyjście sieci neuronowej można wyrazić jako proces Gaussa pod względem jego danych wejściowych,

${\ Displaystyle {\ rozpocząć {wyrównane} z_ {i} ^ {L} (x) i \ sim {\ mathcal {GP}} \ lewo (0, \ sigma _ {w} ^ {2} F ^ {L} \left(K^{0}\right)+\sigma _{b}^{2}\right).\end{aligned}}}$

Biblioteki oprogramowania

Neural Tangents to bezpłatna biblioteka Pythona o otwartym kodzie źródłowym, używana do obliczeń i wnioskowania z jądrem NNGP i neuronowym stycznym odpowiadającym różnym popularnym architekturom SSN.