Wykrywanie zmian

Roczna objętość Nilu w Asuanie , przykład danych szeregów czasowych powszechnie używanych do wykrywania zmian. Linia przerywana oznacza wykryty punkt zmiany.

W analizie statystycznej wykrywanie zmian lub wykrywanie punktów zmian próbuje zidentyfikować czasy, w których zmienia się rozkład prawdopodobieństwa procesu stochastycznego lub szeregów czasowych . Ogólnie rzecz biorąc, problem dotyczy zarówno wykrycia, czy nastąpiła zmiana, czy też mogło wystąpić kilka zmian, jak i określenia czasu wystąpienia takich zmian.

Konkretne zastosowania, takie jak wykrywanie kroków i wykrywanie krawędzi , mogą dotyczyć zmian średniej , wariancji , korelacji lub gęstości widmowej procesu. Mówiąc bardziej ogólnie, wykrywanie zmian obejmuje również wykrywanie nietypowych zachowań: wykrywanie anomalii .

Wstęp

Szeregi czasowe mierzą postęp jednej lub więcej wielkości w czasie. Na przykład powyższy rysunek przedstawia poziom wody w Nil w latach 1870–1970. Wykrywanie punktu zmiany dotyczy określenia, czy i kiedy zachowanie szeregu zmienia się znacząco. Na przykładzie Nilu objętość wody znacznie się zmienia po wybudowaniu tamy na rzece. Co ważne, anomalne obserwacje, które różnią się od trwającego zachowania szeregów czasowych, nie są generalnie uważane za punkty zmiany, o ile później szereg powraca do swojego poprzedniego zachowania.

Matematycznie możemy opisać szereg czasowy jako uporządkowaną sekwencję obserwacji ${\ Displaystyle (x_ {1}, x_ {2}, \ ldots)}$ . Możemy napisać wspólny rozkład podzbioru ${\ Displaystyle x_ {a: b} = (x_ {a}, x_ {a + 1} , \ ldots, x_ {b})}$ szeregów czasowych jako ${\ Displaystyle p (x_ {a: b})}$ . Jeśli celem jest ustalenie, czy punkt zmiany wystąpił w czasie $\ displaystyle p (x_ {1: \ tau})}$ skończonym szeregu czasowym o długości $,$ $)$ naprawdę pytamy, czy równa się ${\ Displaystyle p (x_ {\ tau + 1: T})}$ . Problem ten można uogólnić na przypadek więcej niż jednego punktu zmiany.

Problem wykrywania punktu zmiany można zawęzić do bardziej szczegółowych problemów. W w trybie offline zakłada się, że dostępna jest sekwencja o długości, $celem$ jest określenie, czy w serii wystąpiły jakiekolwiek punkty zmiany. Jest to przykład analizy post hoc i często stosuje się do niej metody testowania hipotez . Z kolei w trybie online dotyczy wykrywania punktów zmian w przychodzącym strumieniu danych.

Algorytmy

Wykrywanie zmian online

Korzystając z podejścia analizy sekwencyjnej („online”), każdy test zmiany musi zawierać kompromis między tymi powszechnymi metrykami:

W problemie wykrywania zmian Bayesa dla czasu zmiany dostępna jest wcześniejsza dystrybucja.

Wykrywanie zmian online odbywa się również za pomocą algorytmów przesyłania strumieniowego .

Wykrywanie zmian w trybie offline

Basseville (1993, sekcja 2.6) omawia wykrywanie zmiany średniej w trybie offline z testowaniem hipotez opartym na pracach Page'a i Picarda oraz oszacowanie czasu zmiany z maksymalną wiarygodnością, związane z regresją dwufazową . Inne podejścia wykorzystują grupowanie w oparciu o oszacowanie maksymalnego prawdopodobieństwa ^{[ potrzebne źródło ]} , wykorzystują optymalizację do wnioskowania o liczbie i czasach zmian, poprzez analizę widmową lub analizę widma pojedynczego .

Podejścia „offline” nie można stosować w przypadku przesyłania strumieniowego danych, ponieważ muszą one porównywać ze statystykami pełnych szeregów czasowych i nie mogą reagować na zmiany w czasie rzeczywistym, ale często zapewniają dokładniejsze oszacowanie czasu i wielkości zmiany.

Zastosowania wykrywania zmian

Testy wykrywania zmian są często stosowane w produkcji ( kontrola jakości ), wykrywaniu włamań , filtrowaniu spamu , śledzeniu stron internetowych i diagnostyce medycznej.

Wykrywanie zmian językowych

językowych odnosi się do możliwości wykrywania zmian na poziomie słów w wielu prezentacjach tego samego zdania. Badacze odkryli, że stopień semantycznego nakładania się (tj. pokrewieństwa) między zmienionym słowem a nowym słowem wpływa na łatwość, z jaką dokonuje się takiego wykrycia (Sturt, Sanford, Stewart i Dawydiak, 2004). Dodatkowe badania wykazały, że skupienie uwagi na słowie, które zostanie zmienione podczas pierwszego czytania oryginalnego zdania, może poprawić wykrywanie. Zostało to pokazane za pomocą pisanego kursywą w celu skupienia uwagi, przy czym słowo, które będzie się zmieniać, jest pisane kursywą w zdaniu oryginalnym (Sanford, Sanford, Molle i Emmott, 2006), a także za pomocą konstrukcji rozszczepiających, takich jak „ To drzewo , które potrzebna woda". (Kennette, Wurm i Van Havermaet, 2010). Te zjawiska wykrywania zmian wydają się silne i występują nawet międzyjęzykowo, gdy osoby dwujęzyczne czytają oryginalne zdanie w swoim ojczystym języku i zmienione zdanie w swoim drugim języku (Kennette, Wurm i Van Havermaet, 2010). Niedawno badacze wykryli zmiany semantyki na poziomie słów w czasie, analizując obliczeniowo korpusy czasowe (na przykład słowo „ gej” nabrało z czasem nowego znaczenia ) przy użyciu wykrywania punktów zmiany.

Zobacz też

Pęknięcie strukturalne — zmiana w strukturze modelu
Teoria wykrywania
Testowanie hipotez
Szybkość przypominania
Charakterystyka pracy odbiornika

Bibliografia _ Williams, Christopher KI (26 maja 2020). „Ocena algorytmów wykrywania punktów zmiany”. arXiv : 2003.06222 [ stat.ML ].
^ Strona, ES (czerwiec 1957). „O problemach, w których następuje zmiana parametru w nieznanym punkcie”. Biometria . 44 (1/2): 248–252. doi : 10.1093/biomet/44.1-2.248 . JSTOR 2333258 .
^ Picard, Dominik (1985). „Testowanie i szacowanie punktów zmian w szeregach czasowych”. Postępy w stosowanym prawdopodobieństwie . 17 (4): 841–867. doi : 10.2307/1427090 . JSTOR 1427090 . S2CID 123026208 .
^ Yao, Yi-Ching (1988-02-01). „Szacowanie liczby punktów zmiany za pomocą kryterium Schwarza”. Statystyka i prawdopodobieństwo . 6 (3): 181–189. doi : 10.1016/0167-7152(88)90118-6 . ISSN 0167-7152 .
Bibliografia _ Vujadinovic, T. (2020). „Wykrywanie zmian w szeregach czasowych zdalnie wykrywanych obrazów satelitarnych za pomocą analizy spektralnej” . Teledetekcja . 12 (23): 4001. doi : 10.3390/rs12234001 .
^ Alanqary, Arwa (2021). „Wykrywanie punktu zmiany za pomocą wielowymiarowej analizy widma osobliwego”. Postępy w systemach przetwarzania informacji neuronowych . 34 : 23218-23230.
Bibliografia _ Rfu Rami; Perozzi Bryan; Skiena Steven (2015). „Statystycznie istotne wykrywanie zmian językowych” . WWW '15 Materiały z 24. Międzynarodowej Konferencji na temat WWW : 625–635. ar Xiv : 1411.3315 . doi : 10.1145/2736277.2741627 . ISBN 9781450334693 . S2CID 9298083 .

Dalsza lektura

Michele Basseville; Igor V. Nikiforow (kwiecień 1993). Wykrywanie nagłych zmian: teoria i zastosowanie . Prentice-Hall , Englewood Cliffs , NJ ISBN 0-13-126780-9 .
H. Vincent Ubogi; Olympia Hadjiliadis (2009). Najszybsze wykrywanie . Wydawnictwo Uniwersytetu Cambridge . ISBN 978-0-521-62104-5 .

[1] Bibliografia _ Williams, Christopher KI (26 maja 2020). „Ocena algorytmów wykrywania punktów zmiany”. arXiv : 2003.06222 [ stat.ML ].

[2] Strona, ES (czerwiec 1957). „O problemach, w których następuje zmiana parametru w nieznanym punkcie”. Biometria . 44 (1/2): 248–252. doi : 10.1093/biomet/44.1-2.248 . JSTOR 2333258 .

[3] Picard, Dominik (1985). „Testowanie i szacowanie punktów zmian w szeregach czasowych”. Postępy w stosowanym prawdopodobieństwie . 17 (4): 841–867. doi : 10.2307/1427090 . JSTOR 1427090 . S2CID 123026208 .

[4] Yao, Yi-Ching (1988-02-01). „Szacowanie liczby punktów zmiany za pomocą kryterium Schwarza”. Statystyka i prawdopodobieństwo . 6 (3): 181–189. doi : 10.1016/0167-7152(88)90118-6 . ISSN 0167-7152 .

[5] Bibliografia _ Vujadinovic, T. (2020). „Wykrywanie zmian w szeregach czasowych zdalnie wykrywanych obrazów satelitarnych za pomocą analizy spektralnej” . Teledetekcja . 12 (23): 4001. doi : 10.3390/rs12234001 .

[6] Alanqary, Arwa (2021). „Wykrywanie punktu zmiany za pomocą wielowymiarowej analizy widma osobliwego”. Postępy w systemach przetwarzania informacji neuronowych . 34 : 23218-23230.

[7] Bibliografia _ Rfu Rami; Perozzi Bryan; Skiena Steven (2015). „Statystycznie istotne wykrywanie zmian językowych” . WWW '15 Materiały z 24. Międzynarodowej Konferencji na temat WWW : 625–635. ar Xiv : 1411.3315 . doi : 10.1145/2736277.2741627 . ISBN 9781450334693 . S2CID 9298083 .