Seria Volterry
Szereg Volterry jest modelem zachowania nieliniowego, podobnym do szeregu Taylora . Różni się od serii Taylora zdolnością do wychwytywania efektów „pamięci”. Szereg Taylora może być użyty do aproksymacji odpowiedzi układu nieliniowego na dane wejście, jeśli wyjście systemu zależy ściśle od wejścia w tym konkretnym czasie. W szeregu Volterry wyjście systemu nieliniowego zależy od wejścia do systemu we wszystkich innych momentach. Zapewnia to możliwość uchwycenia efektu „pamięci” urządzeń, takich jak kondensatory i cewki indukcyjne .
Została zastosowana w dziedzinie medycyny ( inżynieria biomedyczna ) i biologii, zwłaszcza neuronauki . Jest również używany w elektrotechnice do modelowania intermodulacyjnych w wielu urządzeniach, w tym we wzmacniaczach mocy i mikserach częstotliwości . Jego główną zaletą jest możliwość uogólnienia: może reprezentować szeroką gamę systemów. Dlatego czasami jest uważany za nieparametryczny .
W matematyce szereg Volterry oznacza funkcjonalne rozwinięcie dynamicznego, nieliniowego , niezmiennego w czasie funkcjonału . Seria Volterra jest często wykorzystywana do identyfikacji systemów . Szereg Volterry, który jest używany do udowodnienia twierdzenia Volterry, jest nieskończoną sumą wielowymiarowych całek splotowych.
Historia
Seria Volterry to unowocześniona wersja teorii funkcjonałów analitycznych włoskiego matematyka Vito Volterry , w jego pracy z 1887 roku. Norbert Wiener zainteresował się tą teorią w latach dwudziestych XX wieku dzięki kontaktowi z uczniem Volterry, Paulem Lévym . Wiener zastosował swoją teorię ruchów Browna do integracji funkcjonałów analitycznych Volterry. Wykorzystanie serii Volterry do analizy systemowej wywodzi się z ograniczonego raportu wojennego z 1942 r. Wienera, który był wówczas profesorem matematyki na MIT . Użył serii do przybliżonej analizy wpływu szumu radarowego na nieliniowy obwód odbiornika. Raport został upubliczniony po wojnie. Jako ogólna metoda analizy systemów nieliniowych, seria Volterry weszła do użytku po około 1957 roku w wyniku serii raportów, początkowo rozpowszechnianych prywatnie, z MIT i innych źródeł. Sama nazwa „ seria Volterra ” weszła do użytku kilka lat później.
Teoria matematyczna
Na teorię serii Volterry można spojrzeć z dwóch różnych perspektyw:
- ( Odwzorowanie operatora między dwiema przestrzeniami funkcyjnymi rzeczywistymi lub zespolonymi)
- Rzeczywiste lub złożone odwzorowanie funkcjonalne z przestrzeni funkcji na liczby rzeczywiste lub zespolone
Ta druga perspektywa mapowania funkcjonalnego jest częściej stosowana ze względu na zakładaną niezmienność czasową systemu.
Czas ciągły
Ciągły niezmienny w czasie system z x ( t ) jako wejściem i y ( t ) jako wyjściem można rozszerzyć w szeregu Volterry jako
Tutaj stały składnik prawej stronie jest zwykle przyjmowany jako zero przez odpowiedni . Funkcja _ _ _ _ _ _ Można to uznać za odpowiedź impulsową wyższego rzędu systemu. Aby reprezentacja była unikalna, jądra muszą być symetryczne w n zmiennych . Jeśli nie jest symetryczny, można go zastąpić jądrem symetrycznym, które jest średnią z n ! permutacje tych n zmiennych .
Jeżeli N jest skończone, to szereg nazywamy obciętym . Jeśli a , b i N są skończone, to szereg nazywamy podwójnie skończonym .
Czasami wyraz n -tego rzędu jest dzielony przez n !, konwencja, która jest wygodna, gdy dane wyjściowe jednego systemu Volterry traktuje się jako dane wejściowe innego („kaskadowanie”).
Warunek przyczynowości : ponieważ w każdym fizycznie możliwym do zrealizowania systemie wynik może zależeć tylko od poprzednich wartości danych wejściowych, jądra będzie równe zero, jeśli którakolwiek ze zmiennych są negatywne. Całki można następnie zapisać w połowie zakresu od zera do nieskończoności. Więc jeśli operator jest przyczynowy, .
Twierdzenie Frécheta o przybliżeniu : użycie szeregu Volterry do przedstawienia niezmiennej w czasie relacji funkcjonalnej jest często uzasadnione odwołaniem się do twierdzenia Frécheta . Twierdzenie to stwierdza, że niezmienna w czasie relacja funkcyjna (spełniająca pewne bardzo ogólne warunki) może być aproksymowana równomiernie iz dowolnym stopniem precyzji przez wystarczająco wysoki szereg Volterry skończonego rzędu. Między innymi zestaw dopuszczalnych funkcji wejściowych, dla których będzie obowiązywać przybliżenie, musi być zwarty . Zwykle przyjmuje się, że jest to równociągły , jednostajnie ograniczony zbiór funkcji, który jest zwarty twierdzeniem Arzelà – Ascoli . W wielu sytuacjach fizycznych to założenie dotyczące zbioru wejściowego jest rozsądne. Twierdzenie to jednak nie wskazuje, ile terminów jest potrzebnych do dobrego przybliżenia, co jest istotną kwestią w zastosowaniach.
Czas dyskretny
Jest to podobne do przypadku w czasie ciągłym:
- nazywane są czasem dyskretnym Jądra Volterry.
Jeśli P jest skończone, mówi się, że operator szeregowy jest obcięty. Jeśli a , b i P są skończone, operator szeregowy nazywamy podwójnie skończonym szeregiem Volterry. Jeśli za mówi się, że operator jest przyczynowy .
Zawsze możemy rozważyć, bez utraty ogólności, jądro jako symetryczne. W rzeczywistości dla przemienności mnożenia zawsze można ją usymetryzować, tworząc nowe jądro wzięte jako średnią jąder dla wszystkich permutacji zmiennych τ 1 , … , τ .
Dla układu przyczynowego z symetrycznymi jądrami możemy przepisać n -ty wyraz w przybliżeniu w postaci trójkąta
Metody szacowania współczynników jądra
Indywidualne oszacowanie współczynników Volterry jest skomplikowane, ponieważ podstawowe funkcjonały szeregu Volterry są skorelowane. Prowadzi to do problemu jednoczesnego rozwiązania zestawu równań całkowych dla współczynników. Dlatego estymacja współczynników Volterry jest generalnie przeprowadzana przez estymację współczynników szeregu ortogonalnego, np. szeregu Wienera , a następnie ponowne obliczenie współczynników oryginalnego szeregu Volterry. Główna zaleta szeregów Volterry w porównaniu z szeregami ortogonalnymi polega na ich intuicyjnej, kanonicznej strukturze, tj. wszystkie interakcje danych wejściowych mają jeden stały stopień. Ortogonalizowane funkcjonały bazowe będą na ogół dość skomplikowane.
Ważnym aspektem, w odniesieniu do którego różnią się poniższe metody, jest to, czy ortogonalizacja funkcjonałów bazowych ma być przeprowadzona na wyidealizowanej specyfikacji sygnału wejściowego ( np . pseudolosowa, ograniczona, prawie biała wersja gaussowskiego białego szumu lub jakikolwiek inny bodziec). Te ostatnie metody, pomimo braku matematycznej elegancji, okazały się bardziej elastyczne (ponieważ można łatwo dostosować dowolne dane wejściowe) i precyzyjne (ze względu na efekt, że wyidealizowana wersja sygnału wejściowego nie zawsze jest możliwa do zrealizowania).
Metoda korelacji krzyżowej
Metoda ta, opracowana przez Lee i Schetzena, ortogonalizuje względem rzeczywistego opisu matematycznego sygnału, tzn. rzutowanie na nowe funkcjonały bazowe opiera się na znajomości momentów sygnału losowego.
Możemy zapisać szereg Volterry w kategoriach operatorów jednorodnych , as
Gdzie
Aby umożliwić ortogonalizację identyfikacji, szeregi Volterry należy uporządkować pod względem ortogonalnych niejednorodnych operatorów G ( szereg Wienera ):
Operatory G można zdefiniować w następujący sposób:
ilekroć jest dowolną jednorodną Volterrą, ) jest stacjonarnym białym szumem (SWN wariancją A .
Przypominając, że każdy funkcjonał Volterry jest ortogonalny do wszystkich funkcjonałów Wienera wyższego rzędu i biorąc pod uwagę następujący funkcjonał Volterry:
możemy pisać
Jeśli x to SWN, i pozwalając mamy
wykluczymy _
Jeśli chcemy wziąć pod uwagę elementy ukośne, rozwiązaniem zaproponowanym przez Lee i Schetzena jest
Główną wadą tej techniki jest to, że błędy oszacowania popełnione na wszystkich elementach jąder niższego rzędu wpłyną na każdy diagonalny element rzędu p za pomocą sumowania . , pomyślane jako rozwiązanie do estymacji samych elementów diagonalnych. Istnieją wydajne formuły pozwalające uniknąć tej wady i odniesienia do szacowania diagonalnych elementów jądra
Po zidentyfikowaniu jąder Wienera, jądra Volterry można uzyskać za pomocą wzorów Wiener-to-Volterra, jak podano poniżej dla serii Volterry piątego rzędu:
Metoda wielu wariancji
W tradycyjnym algorytmie ortogonalnym użycie danych wejściowych o wysokiej że stymuluje nieliniowość wysokiego rzędu, aby uzyskać dokładniejszą identyfikację jądra wysokiego rzędu. Wadą jest to, że użycie wysokich danych wejściowych i błędów obcięcia.
Wręcz przeciwnie, użycie niższego w procesie identyfikacji może prowadzić do lepszego oszacowania jądra niższego rzędu, ale może być niewystarczające do stymulowania nieliniowości wyższego
Zjawisko to, które można nazwać lokalnością ściętego szeregu Volterry, można ujawnić, obliczając błąd wyjściowy szeregu jako funkcję różnych wariancji danych wejściowych. Ten test można powtórzyć z szeregami identyfikowanymi z różnymi wariancjami wejściowymi, uzyskując różne krzywe, z których każda ma minimum odpowiadające wariancji użytej do identyfikacji.
Aby przezwyciężyć to ograniczenie, dla jądra niższego zastosować niską wartość i stopniowo ją zwiększać dla jąder wyższego rzędu Nie jest to problem teoretyczny w identyfikacji jądra Wienera, ponieważ funkcjonały Wienera są względem siebie ortogonalne, ale potrzebna jest odpowiednia normalizacja we wzorach konwersji Wienera na Volterrę, aby uwzględnić użycie różnych wariancji. Ponadto potrzebne są nowe formuły konwersji Wienera na Volterrę.
Tradycyjna identyfikacja jądra Wienera powinna zostać zmieniona w następujący sposób:
W powyższych wzorach wprowadzono funkcje impulsowe do identyfikacji diagonalnych punktów jądra. Jeśli jądra Wienera są wyodrębniane za pomocą nowych formuł, potrzebne są następujące formuły Wiener-to-Volterra (wyrażone do piątego rzędu):
Jak widać, wadą poprzedniego wzoru jest to, że w celu identyfikacji jądra n -tego rzędu wszystkie jądra niższego rzędu muszą zostać ponownie zidentyfikowane z wyższą wariancją. Jednak znakomita poprawa wyjściowego MSE zostanie uzyskana, jeśli ziarna Wienera i Volterry zostaną otrzymane z nowymi formułami.
Sieć zwrotna
Metoda ta została opracowana przez Wraya i Greena (1994) i wykorzystuje fakt, że prosta dwuwarstwowa, w pełni połączona sieć neuronowa (tj. perceptron wielowarstwowy ) jest obliczeniowo równoważna szeregowi Volterry i dlatego zawiera jądra ukryte w swojej architekturze. Po przeszkoleniu takiej sieci w celu pomyślnego przewidywania danych wyjściowych na podstawie bieżącego stanu i pamięci systemu, jądra można następnie obliczyć na podstawie wag i odchyleń tej sieci.
Ogólny zapis jądra Volterry n -tego rzędu jest podany przez
gdzie to kolejność, wagi do liniowego węzła wyjściowego, współczynniki rozwinięcia wielomianu funkcji wyjściowej ukrytych węzłów i są wagami od warstwy wejściowej do nieliniowej warstwy ukrytej. Należy zauważyć, że ta metoda umożliwia ekstrakcję jądra aż do liczby opóźnień wejściowych w architekturze sieci. Ponadto istotne jest staranne skonstruowanie rozmiaru sieciowej warstwy wejściowej, tak aby reprezentowała efektywną pamięć systemu.
Dokładny algorytm ortogonalny
Metoda ta i jej wydajniejsza wersja (szybki algorytm ortogonalny) zostały wynalezione przez Korenberga. W tej metodzie ortogonalizacja jest wykonywana empirycznie na rzeczywistych danych wejściowych. Wykazano, że działa dokładniej niż metoda korelacji krzyżowej. Kolejną zaletą jest to, że do ortogonalizacji można użyć dowolnych danych wejściowych oraz że do osiągnięcia pożądanego poziomu dokładności wystarczy mniej punktów danych. Ponadto estymację można przeprowadzać przyrostowo, aż do spełnienia pewnego kryterium.
Regresja liniowa
Regresja liniowa jest standardowym narzędziem analizy liniowej. Stąd jedną z jego głównych zalet jest powszechne istnienie standardowych narzędzi do wydajnego rozwiązywania regresji liniowych. Ma pewną wartość edukacyjną, ponieważ podkreśla podstawową właściwość szeregu Volterry: liniową kombinację nieliniowych funkcjonałów bazowych. Do oszacowania należy znać kolejność oryginału, ponieważ funkcjonały bazowe Volterry nie są ortogonalne, a zatem oszacowanie nie może być wykonywane przyrostowo.
Metoda jądra
Metoda ta została wymyślona przez Franza i Schölkopfa i opiera się na teorii statystycznego uczenia się . W związku z tym podejście to również opiera się na minimalizacji błędu empirycznego (często nazywanej minimalizacją ryzyka empirycznego ). Franz i Schölkopf zaproponowali, że metoda jądra mogłaby zasadniczo zastąpić reprezentację szeregów Volterry, chociaż zauważyli, że ta druga jest bardziej intuicyjna.
Próbkowanie różnicowe
Ta metoda została opracowana przez van Hemmena i współpracowników i wykorzystuje funkcje delta Diraca do próbkowania współczynników Volterry.
Zobacz też
Dalsza lektura
- Barrett JF: Bibliografia serii Volterra, rozszerzenia funkcjonalne Hermite i tematy pokrewne . Dział Elektr. inż., Univ.Tech. Eindhoven, Holandia 1977, raport TH 77-E-71. (Chronologiczny wykaz wczesnych prac do 1977 r.) URL: http://alexandria.tue.nl/extra1/erap/publichtml/7704263.pdf
- Bussgang, JJ; Ehrman, L.; Graham, JW: Analiza systemów nieliniowych z wieloma wejściami, Proc. IEEE, tom 62, nr 8, s. 1088–1119, sierpień 1974
- Giannakis GB i Serpendin E: Bibliografia dotycząca identyfikacji systemów nieliniowych. Przetwarzanie sygnału, 81 2001 533–580. (Lista alfabetyczna do 2001 r.) www.elsevier.nl/locate/sigpro
- Korenberg MJ Hunter IW: Identyfikacja nieliniowych systemów biologicznych: Volterra Kernel Approaches , Annals Biomedical Engineering (1996), tom 24, numer 2.
- Kuo YL: Analiza w dziedzinie częstotliwości słabo nieliniowych sieci , IEEE Trans. Circuits & Systems, tom CS-11 (4) sierpień 1977; tom CS-11 (5) październik 1977 2–6.
- Rugh WJ: Teoria systemów nieliniowych: podejście Volterry – Wienera. Baltimore 1981 (Johns Hopkins Univ Press) http://rfic.eecs.berkeley.edu/~niknejad/ee242/pdf/volterra_book.pdf
- Schetzen M: The Volterra i Wiener Theories of Nonlinear Systems , New York: Wiley, 1980.