Asymilacja danych
Asymilacja danych to dyscyplina matematyczna, która dąży do optymalnego połączenia teorii (zwykle w postaci modelu numerycznego) z obserwacjami. Poszukiwanych może być wiele różnych celów – np. wyznaczenie optymalnego oszacowania stanu systemu, określenie warunków początkowych numerycznego modelu prognostycznego, interpolacja rzadkich danych obserwacyjnych z wykorzystaniem (np. fizycznej) wiedzy o obserwowanym systemie, do ustawiania parametrów numerycznych na podstawie uczenia modelu z obserwowanych danych. W zależności od celu można zastosować różne metody rozwiązania. Asymilacja danych różni się od innych form uczenia maszynowego, analizy obrazu i metod statystycznych tym, że wykorzystuje dynamiczny model analizowanego systemu.
Asymilacja danych początkowo rozwinęła się w dziedzinie numerycznych prognoz pogody . Numeryczne modele prognozowania pogody to równania opisujące dynamiczne zachowanie atmosfery, zwykle zakodowane w programie komputerowym. Aby wykorzystać te modele do prognozowania, potrzebne są warunki początkowe dla modelu, które bardzo przypominają aktualny stan atmosfery. Samo wstawienie pomiarów punktowych do modeli numerycznych nie zapewniło zadowalającego rozwiązania. Pomiary w świecie rzeczywistym zawierają błędy zarówno ze względu na jakość instrumentu, jak i to, jak dokładnie znana jest pozycja pomiaru. Błędy te mogą powodować niestabilności w modelach, które eliminują każdy poziom umiejętności w prognozie. W związku z tym potrzebne były bardziej wyrafinowane metody, aby zainicjować model przy użyciu wszystkich dostępnych danych, przy jednoczesnym zachowaniu stabilności modelu numerycznego. Takie dane zazwyczaj obejmują pomiary, jak również poprzednią prognozę obowiązującą w momencie wykonywania pomiarów. Zastosowany iteracyjnie proces ten zaczyna gromadzić informacje z wcześniejszych obserwacji we wszystkich kolejnych prognozach.
Ponieważ asymilacja danych wyrosła z dziedziny numerycznej prognozy pogody, początkowo zyskała popularność wśród nauk o Ziemi. W rzeczywistości jedną z najczęściej cytowanych publikacji we wszystkich naukach o Ziemi jest zastosowanie asymilacji danych do rekonstrukcji obserwowanej historii atmosfery.
Szczegóły procesu asymilacji danych
Klasycznie asymilację danych stosowano do chaotycznych układów dynamicznych, które są zbyt trudne do przewidzenia przy użyciu prostych metod ekstrapolacji. Przyczyną tej trudności jest to, że niewielkie zmiany warunków początkowych mogą prowadzić do dużych zmian w dokładności predykcji. Nazywa się to czasem efektem motyla — wrażliwą zależnością od warunków początkowych, w której niewielka zmiana w jednym stanie deterministycznego układu nieliniowego może skutkować dużymi różnicami w późniejszym stanie.
W dowolnym momencie aktualizacji asymilacja danych zwykle wykorzystuje prognozę (znaną również jako pierwsze przypuszczenie lub informacje tła ) i stosuje korektę prognozy na podstawie zestawu obserwowanych danych i szacowanych błędów, które są obecne zarówno w obserwacjach, jak i prognozie samo. Różnica między prognozą a obserwacjami w tym czasie nazywana jest odejściem lub innowacją ( ponieważ dostarcza nowych informacji do procesu asymilacji danych). Współczynnik ważenia jest stosowany do innowacji w celu określenia, jak duża korekta powinna zostać wprowadzona do prognozy na podstawie nowych informacji z obserwacji. Najlepsze oszacowanie stanu systemu na podstawie poprawki do prognozy określonej przez współczynnik wagowy pomnożony przez innowację nazywa się analizą . W jednym wymiarze obliczenie analizy może być tak proste, jak utworzenie średniej ważonej prognozowanej i zaobserwowanej wartości. W wielu wymiarach problem staje się trudniejszy. Wiele prac związanych z asymilacją danych koncentruje się na odpowiednim oszacowaniu odpowiedniego współczynnika ważenia w oparciu o zawiłą wiedzę o błędach w systemie.
Pomiary są zwykle wykonywane na systemie świata rzeczywistego, a nie na niepełnej reprezentacji tego systemu w modelu, dlatego specjalna funkcja zwana operatorem obserwacji ( zwykle przedstawiana przez h () dla operatora nieliniowego lub H dla jego linearyzacji) to potrzebne do odwzorowania modelowanej zmiennej do postaci, którą można bezpośrednio porównać z obserwacją.
Asymilacja danych jako estymacja statystyczna
Jedną z powszechnych matematycznych perspektyw filozoficznych jest postrzeganie asymilacji danych jako problemu estymacji bayesowskiej. Z tej perspektywy etap analizy jest zastosowaniem twierdzenia Bayesa , a ogólna procedura asymilacji jest przykładem rekurencyjnej estymacji bayesowskiej . Jednak analiza probabilistyczna jest zwykle upraszczana do postaci wykonalnej obliczeniowo. Przyspieszenie rozkładu prawdopodobieństwa w czasie byłoby wykonane dokładnie w ogólnym przypadku za pomocą równania Fokkera-Plancka , ale nie jest to wykonalne w przypadku systemów wielowymiarowych; dlatego zamiast tego stosuje się różne przybliżenia działające na uproszczonych reprezentacjach rozkładów prawdopodobieństwa. Często zakłada się, że rozkłady prawdopodobieństwa są gaussowskie , aby można je było przedstawić za pomocą ich średniej i kowariancji, co daje początek filtrowi Kalmana .
Wiele metod przedstawia rozkłady prawdopodobieństwa tylko za pomocą średniej i wprowadza wstępnie obliczoną kowariancję. Przykład bezpośredniej ( lub sekwencyjnej ) metody obliczania tego jest nazywany optymalną interpolacją statystyczną lub po prostu optymalną interpolacją ( OI ). Alternatywnym podejściem jest iteracyjne rozwiązanie funkcji kosztu, która rozwiązuje identyczny problem. Są to tak zwane wariacyjne , takie jak 3D-Var i 4D-Var. Typowymi algorytmami minimalizacji są metoda gradientu sprzężonego lub metoda uogólnionej minimalnej reszty . Zespołowy filtr Kalmana to metoda sekwencyjna, która wykorzystuje podejście Monte Carlo do oszacowania zarówno średniej, jak i kowariancji rozkładu prawdopodobieństwa Gaussa za pomocą zespołu symulacji. Ostatnio bardziej popularne stały się hybrydowe kombinacje podejść zespołowych i metod wariacyjnych (np. są one wykorzystywane do prognoz operacyjnych zarówno w Europejskim Centrum Prognoz Średnioterminowych (ECMWF), jak i w Narodowych Centrach Prognoz Środowiskowych NOAA (NCEP)) .
Aplikacje do prognozowania pogody
W aplikacjach do numerycznego prognozowania pogody asymilacja danych jest najbardziej znana jako metoda łączenia obserwacji zmiennych meteorologicznych, takich jak temperatura i ciśnienie atmosferyczne , z wcześniejszymi prognozami w celu zainicjowania numerycznych modeli prognostycznych.
Dlaczego jest to konieczne
Atmosfera jest płynem . _ Ideą numerycznej prognozy pogody jest próbkowanie stanu płynu w danym czasie i wykorzystanie równań dynamiki płynów i termodynamiki do oszacowania stanu płynu w pewnym momencie w przyszłości. Proces wprowadzania danych obserwacyjnych do modelu w celu wygenerowania warunków początkowych nazywany jest inicjalizacją . Na lądzie mapy terenu dostępne na całym świecie w rozdzielczości do 1 kilometra (0,6 mil) są wykorzystywane do modelowania cyrkulacji atmosferycznych w regionach o nierównej topografii, aby lepiej zobrazować takie cechy, jak wiatry opadające ze zboczy, fale górskie i związane z nimi zachmurzenie, które wpływa na napływ energii słonecznej promieniowanie. Głównymi danymi wejściowymi krajowych służb meteorologicznych są obserwacje z urządzeń (zwanych radiosondami ) w balonach meteorologicznych, które mierzą różne parametry atmosfery i przesyłają je do stałego odbiornika, a także z satelitów pogodowych . Światowa Organizacja Meteorologiczna działa na rzecz standaryzacji oprzyrządowania, praktyk obserwacyjnych i czasu tych obserwacji na całym świecie. Stacje raportują co godzinę w METAR lub co sześć godzin w raportach SYNOP . Obserwacje te są rozmieszczone w nieregularnych odstępach czasu, więc są przetwarzane metodami asymilacji danych i obiektywnej analizy, które przeprowadzają kontrolę jakości i uzyskują wartości w lokalizacjach możliwych do wykorzystania przez algorytmy matematyczne modelu. Niektóre modele globalne wykorzystują różnice skończone , w których świat jest reprezentowany jako dyskretne punkty na regularnie rozmieszczonej siatce szerokości i długości geograficznej; inne modele wykorzystują metody spektralne , które rozwiązują zakres długości fal. Dane są następnie wykorzystywane w modelu jako punkt wyjścia dla prognozy.
Do gromadzenia danych obserwacyjnych do wykorzystania w modelach numerycznych stosuje się różne metody. Lokalizacje wystrzeliwują radiosondy w balonach meteorologicznych, które wznoszą się przez troposferę do stratosfery . Tam, gdzie tradycyjne źródła danych nie są dostępne, wykorzystuje się informacje z satelitów pogodowych. Commerce zapewnia raporty pilotażowe wzdłuż tras samolotów i raporty statków wzdłuż tras żeglugowych. Projekty badawcze wykorzystują samoloty zwiadowcze do latania w interesujących systemach pogodowych, takich jak cyklony tropikalne , i wokół nich . Samoloty zwiadowcze są również przelatywane nad otwartymi oceanami w zimnych porach roku do systemów, które powodują znaczną niepewność w prognozach lub oczekuje się, że będą miały duży wpływ od trzech do siedmiu dni w przyszłości na kontynencie w dole rzeki. Lód morski zaczął być inicjowany w modelach prognostycznych w 1971 r. Wysiłki mające na celu włączenie temperatury powierzchni morza do inicjalizacji modelu rozpoczęły się w 1972 r. Ze względu na jego rolę w modulowaniu pogody na wyższych szerokościach geograficznych Pacyfiku.
Historia
W 1922 roku Lewis Fry Richardson opublikował pierwszą próbę numerycznego prognozowania pogody. Korzystając z hydrostatycznej wariacji prymitywnych równań Bjerknesa , Richardson stworzył ręcznie 6-godzinną prognozę stanu atmosfery dla dwóch punktów w Europie Środkowej, co zajęło co najmniej sześć tygodni. Jego prognoza obliczył, że zmiana ciśnienia powierzchniowego wyniesie 145 milibarów (4,3 inHg ), co jest nierealistyczną wartością błędną o dwa rzędy wielkości. Duży błąd był spowodowany nierównowagą pól ciśnienia i prędkości wiatru użytych jako warunki początkowe w jego analizie, co wskazuje na potrzebę schematu asymilacji danych.
Pierwotnie stosowano „analizę subiektywną”, w której prognozy numeryczne prognozy pogody (NWP) były korygowane przez meteorologów przy użyciu ich wiedzy operacyjnej. Następnie wprowadzono „analizę obiektywną” (np. algorytm Cressmana) w celu zautomatyzowanej asymilacji danych. Te obiektywne metody wykorzystywały proste podejścia interpolacyjne, a zatem [ dlaczego? ] były metody 3DDA (trójwymiarowa asymilacja danych).
Później opracowano metody 4DDA (czterowymiarowej asymilacji danych), zwane „nudging”, takie jak w modelu MM5 . Opierają się one na prostej idei relaksacji newtonowskiej (drugi aksjomat Newtona). Wprowadzają one do prawej części równań dynamicznych modelu człon proporcjonalny do różnicy obliczonej zmiennej meteorologicznej i wartości obserwowanej. Ten termin, który ma znak ujemny, utrzymuje obliczony wektor stanu bliżej obserwacji. Podsuwanie można interpretować jako wariant filtra Kalmana-Bucy'ego (wersja filtra Kalmana w czasie ciągłym ) z określoną macierzą wzmocnienia, a nie uzyskaną z kowariancji. [ potrzebne źródło ]
Znacznego rozwoju dokonał L. Gandin (1963), który wprowadził metodę „interpolacji statystycznej” (lub „interpolacji optymalnej”), która rozwinęła wcześniejsze pomysły Kołmogorowa. Jest to metoda 3DDA i jest rodzajem analizy regresji , która wykorzystuje informacje o przestrzennych rozkładach funkcji kowariancji błędów pola „pierwszego przypuszczenia” (poprzednia prognoza) i „pola prawdziwego”. Te funkcje nigdy nie są znane. Przyjęto jednak różne przybliżenia. [ potrzebne źródło ]
Optymalny algorytm interpolacji jest zredukowaną wersją algorytmu filtrowania Kalmana (KF), w którym macierze kowariancji nie są obliczane z równań dynamicznych, ale są z góry określone.
Próby wprowadzenia algorytmów KF jako narzędzia 4DDA dla modeli NWP pojawiły się później. Było to jednak (i pozostaje) trudnym zadaniem, ponieważ pełna wersja wymaga rozwiązania ogromnej liczby dodatkowych równań (~N*N~10**12, gdzie N=Nx*Ny*Nz jest wielkością wektora stanu , Nx~100, Ny~100, Nz~100 – wymiary siatki obliczeniowej). Aby przezwyciężyć tę trudność, opracowano przybliżone lub suboptymalne filtry Kalmana. Należą do nich filtr Ensemble Kalmana i filtry Kalmana o zredukowanej randze (RRSQRT).
Innym znaczącym postępem w rozwoju metod 4DDA było wykorzystanie teorii sterowania optymalnego (podejście wariacyjne) w pracach Le Dimeta i Talagranda (1986), opartej na wcześniejszych pracach J.-L. Lions i G. Marchuk, który jako pierwszy zastosował tę teorię w modelowaniu środowiskowym. Istotną zaletą podejść wariacyjnych jest to, że pola meteorologiczne spełniają równania dynamiczne modelu NWP i jednocześnie minimalizują funkcjonał, charakteryzujący ich odmienność od obserwacji. W ten sposób problem ograniczonej minimalizacji został rozwiązany. Metody wariacyjne 3DDA zostały opracowane po raz pierwszy przez Sasaki (1958).
Jak wykazał Lorenc (1986), wszystkie wyżej wymienione metody 4DDA są w pewnym równoważniku granicznym, tj. przy pewnych założeniach minimalizują tę samą funkcję kosztu . Jednak w praktycznych zastosowaniach założenia te nigdy nie są spełnione, różne metody działają inaczej i generalnie nie jest jasne, które podejście (filtrowanie Kalmana czy wariacyjne) jest lepsze. Podstawowe pytania pojawiają się również przy stosowaniu zaawansowanych technik DA, takich jak zbieżność metody obliczeniowej do globalnego minimum minimalizowanego funkcjonału. Na przykład funkcja kosztu lub zbiór, w którym szuka się rozwiązania, nie może być wypukły. Metodą 4DDA, która jest obecnie najbardziej skuteczna, jest hybrydowa przyrostowa 4D-Var, w której zespół jest używany do zwiększania klimatologicznych kowariancji błędu tła na początku okna czasowego asymilacji danych, ale kowariancje błędu tła ewoluują w oknie czasowym o uproszczona wersja modelu prognostycznego NWP. Ta metoda asymilacji danych jest wykorzystywana operacyjnie w ośrodkach prognozowania, takich jak Met Office .
Funkcja kosztów
Proces tworzenia analizy w asymilacji danych często wiąże się z minimalizacją funkcji kosztu . Typowa funkcja kosztu byłaby sumą kwadratów odchyleń analizowanych wartości z obserwacji ważonych dokładnością obserwacji plus suma kwadratów odchyleń pól prognozy i analizowanych pól ważonych dokładnością prognozy. Ma to na celu upewnienie się, że analiza nie odbiega zbytnio od obserwacji i prognoz, o których wiadomo, że są zwykle wiarygodne. [ potrzebne źródło ]
3D-Var
gdzie kowariancję błędu tła, obserwacji
4D-Var
pod warunkiem, że jest operatorem liniowym (macierzą
Przyszły rozwój
Czynniki napędzające szybki rozwój metod asymilacji danych dla modeli NWP obejmują:
- Wykorzystanie obserwacji oferuje obecnie obiecującą poprawę umiejętności prognozowania w różnych skalach przestrzennych (od globalnych do wysoce lokalnych) i skalach czasowych.
- Liczba różnych rodzajów dostępnych obserwacji ( sodary , radary , satelity ) szybko rośnie.
Inne aplikacje
Monitorowanie przepływu wody i energii
Asymilacja danych została wykorzystana w latach 80. i 90. w kilku projektach HAPEX (eksperyment pilotażowy hydrologiczny i atmosferyczny) do monitorowania transferów energii między glebą, roślinnością i atmosferą. Na przykład:
- HAPEX-MobilHy , HAPEX-Sahel,
- eksperyment "Alpilles-ReSeDA" (Remote Sensing Data Assimilation), europejski projekt w ramach programu FP4-ENV , który miał miejsce w regionie Alpilles , w południowo-wschodniej Francji (1996–1997). Schemat blokowy (po prawej), zaczerpnięty z raportu końcowego tego projektu, pokazuje, jak wywnioskować interesujące zmienne, takie jak stan korony, strumienie promieniowania, budżet środowiskowy, produkcja w ilości i jakości, z danych teledetekcyjnych i informacji pomocniczych. Na tym diagramie małe niebiesko-zielone strzałki wskazują bezpośredni sposób działania modeli. [ potrzebne źródło ]
Inne aplikacje prognostyczne
Metody asymilacji danych są obecnie stosowane również w innych problemach prognostycznych środowiskowych, np. w prognozowaniu hydrologicznym . [ potrzebne źródło ] Sieci bayesowskie mogą być również wykorzystywane w metodzie asymilacji danych do oceny zagrożeń naturalnych, takich jak osunięcia ziemi.
Biorąc pod uwagę obfitość danych ze statków kosmicznych dotyczących innych planet Układu Słonecznego, asymilacja danych jest obecnie stosowana również poza Ziemią w celu uzyskania powtórnych analiz stanu atmosferycznego planet pozaziemskich. Mars jest jedyną planetą pozaziemską, na której do tej pory zastosowano asymilację danych. Dostępne dane ze statków kosmicznych obejmują w szczególności odczyty temperatury i grubości optycznych pyłu/wody/lodu ze spektrometru emisji termicznej na pokładzie sondy Mars Global Surveyor oraz sondy Mars Climate Sounder na pokładzie sondy Mars Reconnaissance Orbiter . Do tych zbiorów danych zastosowano dwie metody asymilacji danych: schemat korekcji analizy i dwa schematy filtru Ensemble Kalmana, oba wykorzystujące model globalnej cyrkulacji marsjańskiej atmosfery jako model naprzód. Zbiór danych Mars Analysis Correction Data Assimilation (MACDA) jest publicznie dostępny w British Atmospheric Data Center.
Asymilacja danych jest częścią wyzwania dla każdego problemu prognozowania.
Radzenie sobie z tendencyjnymi danymi jest poważnym wyzwaniem w asymilacji danych. Szczególnie przydatny będzie dalszy rozwój metod radzenia sobie z uprzedzeniami. Jeśli istnieje kilka instrumentów obserwujących tę samą zmienną, pouczające może być ich wzajemne porównanie za pomocą funkcji rozkładu prawdopodobieństwa . [ potrzebne źródło ]
mocy obliczeniowej numeryczne modele prognostyczne mają coraz wyższą rozdzielczość , przy czym operacyjne modele atmosferyczne działają obecnie z rozdzielczością poziomą rzędu 1 km (np. w niemieckiej Narodowej Służbie Meteorologicznej, Deutscher Wetterdienst ( DWD ) Wielka Brytania). Ten wzrost rozdzielczości poziomych zaczyna pozwalać na rozwiązywanie bardziej chaotycznych cech modeli nieliniowych, np. rozwiązywanie konwekcji w skali siatki, czy chmur w modelach atmosferycznych. Ta rosnąca nieliniowość w modelach i operatorach obserwacji stwarza nowy problem w asymilacji danych. Istniejące metody asymilacji danych, takie jak wiele wariantów zespolonych filtrów Kalmana i metody wariacyjne, dobrze ugruntowane w modelach liniowych lub prawie liniowych, są oceniane na modelach nieliniowych.
Opracowywanych jest wiele nowych metod, np. filtry cząstek dla problemów wielowymiarowych oraz hybrydowe metody asymilacji danych.
Inne zastosowania obejmują szacowanie trajektorii dla programu Apollo , GPS i chemię atmosfery .
Zobacz też
Dalsza lektura
- Daley, R. (1991). Analiza danych atmosferycznych . Wydawnictwo Uniwersytetu Cambridge. ISBN 978-0-521-38215-1 .
- „Strona główna modelu społeczności MM5” .
- „Notatki z wykładu dotyczące asymilacji danych ECMWF” .
- Ide, Kayo; Dworzanin, Filip; Gil, Michał ; Lorenc, Andrew C (1997). „Ujednolicona notacja asymilacji danych: operacyjna, sekwencyjna i wariacyjna (gtSpecial IssueltData Asymilacja w meteorologii i oceanografii: teoria i praktyka)” . Dziennik Towarzystwa Meteorologicznego Japonii . Ser. II. 75 (1B): 181–9. Bibcode : 1997JMeSJ..75B.181I . doi : 10.2151/jmsj1965.75.1B_181 .
- „Zrozumienie asymilacji danych” . Moduł COMET .
- Evensen, Geir (2009). Asymilacja danych. Filtr zespołu Kalmana (wyd. Drugie). Skoczek. ISBN 978-3-642-03710-8 .
- Lewis, John M.; Lakshmivarahan, S.; Dhall, Sudarshan (2006). „Dynamiczna asymilacja danych: metoda najmniejszych kwadratów” . Encyklopedia matematyki i jej zastosowań . Tom. 104. Cambridge University Press. ISBN 978-0-521-85155-8 .
- Asch, Marek; Bocquet, Marc; Nodet, Maëlle (2016). Asymilacja danych: metody, algorytmy i aplikacje . Towarzystwo Matematyki Przemysłowej i Stosowanej. ISBN 978-1-61197-453-9 .
- Kalnay, Eugenia (2002). Modelowanie atmosferyczne, asymilacja danych i przewidywalność . Modelowanie atmosferyczne . Wydawnictwo Uniwersytetu Cambridge. P. 364. Bibcode : 2002amda.book.....K . ISBN 978-0-521-79179-3 .
- Vetra-Carvalho, S.; van Leeuwen, PJ; Nerger L.; Barth, A.; Umer Altat, M.; Brasseur, P.; Kirchgessner, P.; Beckers, JM. (2018). „Najnowocześniejsze metody asymilacji danych stochastycznych dla wielowymiarowych problemów niegaussowskich” . Tellus A: Dynamiczna meteorologia i oceanografia . 70 (1): 1445364. Bibcode : 2018TellA..7045364V . doi : 10.1080/16000870.2018.1445364 .
Linki zewnętrzne
Przykłady wdrażania asymilacji wariacyjnej w prognozowaniu pogody w:
- Asymilacja danych . ECMWF . Dokumentacja IFS. ECMWF. 2010.
- „Asymilacja danych” . Biuro Met .
Inne przykłady asymilacji: