Kostka danych australijskiej nauki o Ziemi

Australian Geoscience Data Cube ( AGDC ) to podejście do przechowywania, przetwarzania i analizowania dużych zbiorów danych z obserwacji Ziemi. Technologia została zaprojektowana tak, aby sprostać wyzwaniom leżącym w interesie narodowym, będąc zwinnym i elastycznym w przypadku ogromnych ilości warstwowych danych gridowych.

AGDC skraca czas przetwarzania tradycyjnej analizy obrazu poprzez kalibrację, wstępne obliczenie znanych zakresów, wyrównanie pikseli i przechowywanie metadanych w strukturze siatki komórkowej. Dane wyrównane czasowo-pikselowo można często analizować szybciej w wymiarach przestrzennych i czasowych niż poprzednie techniki oparte na scenach. Dzięki temu AGDC może być elastyczny w stawianiu czoła przyszłym wyzwaniom i skróceniu czasu analizy w coraz większych repozytoriach danych z obserwacji Ziemi.

AGDC był również używany na arenie międzynarodowej, aby umożliwić krajom utrzymanie programów zrównoważonych ekologicznie i zmniejszyć krzywą trudności w wykorzystaniu danych teledetekcji .

Tło

AGDC został pierwotnie stworzony przez Geoscience Australia , ale obecnie jest utrzymywany w ramach partnerstwa między Geoscience Australia , Commonwealth Scientific and Industrial Research Organisation (CSIRO) oraz National Computational Infrastructure National Facility (Australia) (NCI). Jest to możliwe dzięki finansowaniu z partnerstwa i wielu organizacji, takich jak National Collaborative Research Infrastructure Strategy (NCRIS).

Dane gotowe do analizy, pozyskiwanie i indeksowanie

Dane przetwarzane w kostce są przygotowywane do analizy przed pobraniem i zindeksowaniem w AGDC. Dane gotowe do analizy to wstępnie przetworzone dane, w których zastosowano poprawki do kalibracji instrumentu (wzmocnienia i przesunięcia), geolokalizacji (wyrównanie przestrzenne) i radiometrii (oświetlenie słoneczne, kąt padania, topografia, zakłócenia atmosferyczne). Proces pozyskiwania zarządza translacją zestawów danych na jednostki pamięci masowej przy zachowaniu indeksu bazy danych. Dostęp do danych w magazynie i indeksie można uzyskać za pośrednictwem wywołań API, często skompilowanych w kodzie, takim jak Python (język programowania) .

Przykład:

s2a_l1c = dc.load(product='s2a_level1c_granule',x=(147,36, 147,41), y=(-35,1, -35,15), pomiary=['04','03','02'], output_crs='EPSG :4326', rozdzielczość=(-0.00025,0.00025))

Aktualnie przechowywane zestawy danych

Zbiory danych, które zostały poddane pilotażowi

Otwarte źródło

Baza kodu AGDC znajduje się w GitHub jako otwarte repozytorium. Podstawowa baza kodu została przeniesiona do Open Data Cube na początku 2017 roku w ramach międzynarodowej współpracy. Podczas gdy podstawą kodu jest Open Data Cube , poszczególne kostki istnieją jako własne prawa, takie jak AGDC w National Computational Infrastructure National Facility (Australia) (NCI) przy użyciu High-Performance Computing Cluster HPCC . Podstawowy kod można zainstalować na komputerach osobistych lub komputerach publicznych (przy użyciu git) i zawiera wiele testów jednostkowych.

Dokumentacja bazy kodu znajduje się w Read the Docs.

Wyzwania AGDC

AGDC ma na celu sprostanie wyzwaniom o znaczeniu krajowym, takim jak poniższe.

Nagrody międzynarodowe

AGDC zdobyło nagrodę Content Platform of the Year 2016 od Geospatial World Forum.

Pobrano z „ https://en.wikipedia.org/w/index.php?title=Australian_Geoscience_Data_Cube&oldid=1105996627 ”