Sieć autostrad
W uczeniu maszynowym Highway Network była pierwszą działającą bardzo głęboką, sprzężoną z wyprzedzeniem siecią neuronową z setkami warstw, znacznie głębszych niż poprzednie sztuczne sieci neuronowe . Wykorzystuje pomijane połączenia modulowane przez wyuczone mechanizmy bramkowania do regulowania przepływu informacji, inspirowane powtarzającymi się sieciami neuronowymi Long Short-Term Memory (LSTM) . Przewagą sieci autostradowej nad powszechnymi głębokimi sieciami neuronowymi jest to, że rozwiązuje ona lub częściowo zapobiega problemowi zanikającego gradientu , co prowadzi do łatwiejszej optymalizacji sieci neuronowych. Mechanizmy bramkowania ułatwiają przepływ informacji przez wiele warstw („autostrady informacyjne”).
Sieci autostrad były wykorzystywane jako część zadań związanych z etykietowaniem sekwencji tekstu i rozpoznawaniem mowy . Do wygrania konkursu ImageNet 2015 wykorzystano wariant sieci autostradowej z otwartą bramką lub bez bramek o nazwie Residual neural network . Jest to najczęściej cytowana sieć neuronowa XXI wieku.
Model
Model ma dwie bramki oprócz bramki H(W H , x) : bramkę transformującą T(W T , x ) i bramkę przenoszącą C(W C , x) . Te dwie ostatnie bramki to nieliniowe funkcje przenoszenia (zgodnie z konwencją funkcji sigmoidalnej ). Funkcja H(W H , x) może być dowolną pożądaną funkcją przenoszenia.
Bramka przenoszenia jest zdefiniowana jako C(W C , x) = 1 - T(W T , x) . Podczas gdy bramka transformująca jest tylko bramką z funkcją przenoszenia sigmoidalnego.
Struktura
Struktura warstwy ukrytej jest zgodna z równaniem:
