Eksplorator danych platformy Azure
 | |
| Deweloperzy | Microsoftu |
|---|---|
| Pierwsze wydanie | 2018 |
| Platforma | Microsoft Azure |
| Typ | Magazyn w chmurze |
| Licencja | Prawnie zastrzeżony |
| Strona internetowa | |
Azure Data Explorer to w pełni zarządzana platforma chmurowa do analizy dużych zbiorów danych i usługa eksploracji danych , opracowana przez firmę Microsoft , która pozyskuje ustrukturyzowane , częściowo ustrukturyzowane (takie jak JSON ) i nieustrukturyzowane dane (takie jak wolny tekst). Następnie usługa przechowuje te dane i odpowiada na zapytania analityczne ad hoc z kilkusekundowym opóźnieniem. Jest to pełnotekstowa baza danych indeksowania i wyszukiwania, w tym możliwości analizy szeregów czasowych oraz oceny wyrażeń regularnych i analizowania tekstu.
Jest oferowany jako Platform as a Service (PaaS) w ramach platformy Microsoft Azure . Produkt został zapowiedziany przez Microsoft w 2018 roku.
Historia
Rozwój produktu rozpoczął się w 2014 roku jako oddolny projekt inkubacyjny w izraelskim centrum badawczo - rozwojowym firmy Microsoft, o wewnętrznej kryptonimie „Kusto” (nazwany na cześć Jacquesa Cousteau , jako odniesienie do „eksploracji oceanu danych”). Celem projektu było zaspokojenie potrzeb usług platformy Azure w zakresie szybkiej i skalowalnej analizy dzienników i telemetrii.
W 2016 roku stała się backendową usługą big data i analityczną dla Application Insights Analytics.
Produkt został ogłoszony jako produkt Public Preview na konferencji Microsoft Ignite 2018, a jako ogólnie dostępny na konferencji Microsoft Ignite w lutym 2019 r.
W marcu 2021 r. ogólnie udostępniono „Kusto EngineV3”, aparat nowej generacji usługi Azure Data Explorer i mechanizm zapytań. Został zaprojektowany w celu zapewnienia niezrównanej wydajności pozyskiwania i wykonywania zapytań dotyczących danych telemetrycznych, dzienników i danych szeregów czasowych.
Cechy
Usługa Azure Data Explorer oferuje zoptymalizowany język zapytań i opcje wizualizacji swoich danych za pomocą języka podobnego do języka SQL o nazwie KQL (Kusto Query Language).
Usługa Azure Data Explorer może pozyskiwać 200 MB na sekundę na węzeł. Metody pozyskiwania danych to potoki i łączniki do typowych usług, takich jak Azure Event Grid lub Azure Event Hub, lub programowe pozyskiwanie przy użyciu zestawów SDK .
Wizualizacja danych może być osiągnięta przy użyciu ich natywnej oferty pulpitów nawigacyjnych lub narzędzi takich jak PowerBI lub Grafana .
Projekt
Azure Data Explorer to rozproszona baza danych działająca w klastrze węzłów obliczeniowych w Microsoft Azure . Opiera się na systemach zarządzania relacyjnymi bazami danych (RDBMS) , obsługującymi jednostki takie jak bazy danych, tabele , funkcje i kolumny. Obsługuje złożone operatory zapytań analitycznych, takie jak kolumny obliczeniowe, wyszukiwanie i filtrowanie wierszy, grupowanie według agregatów i łączenie .
Usługa silnika udostępnia relacyjny model danych : Na najwyższym poziomie ( klaster ) znajduje się zbiór baz danych, każda baza danych zawiera zbiór tabel i przechowywanych funkcji. Każda tabela definiuje schemat (uporządkowaną listę wpisywanych pól).
W Azure Data Explorer, w przeciwieństwie do typowych systemów zarządzania relacyjnymi bazami danych (RDBMS) , nie ma ograniczeń takich jak unikalność klucza, klucz podstawowy i obcy . Niezbędne relacje są ustanawiane w czasie zapytania. Dane w usłudze Azure Eksplorator danych są ogólnie zgodne z tym wzorcem: tworzenie bazy danych, pozyskiwanie danych, wykonywanie zapytań w bazie danych.