Nirwana (oprogramowanie)
 | |
| Deweloperzy | Atomika ogólna |
|---|---|
| Pierwsze wydanie | 8 sierpnia 2003 |
| Wersja stabilna | 5.0 / 15 września 2016
|
| Wersja podglądu | 5.1 / 15 września 2016
|
| Napisane w | C |
| System operacyjny | Linux , Microsoft Windows , OS X , Solaris (system operacyjny) |
| Platforma | X86-64 , POWER8 , SPARC |
| Typ | Oprogramowanie do zarządzania metadanymi i danymi |
| Licencja | Własne oprogramowanie komercyjne |
| Strona internetowa | |
Nirvana była wirtualnym oprogramowaniem do przechowywania obiektów opracowanym i utrzymywanym przez General Atomics.
Można go również opisać jako oprogramowanie do metadanych , rozmieszczania danych i zarządzania danymi , które umożliwia organizacjom zarządzanie nieustrukturyzowanymi danymi na wielu urządzeniach pamięci masowej znajdujących się w dowolnym miejscu na świecie w celu zorganizowania globalnych przepływów pracy intensywnie przetwarzających dane oraz wyszukiwania i lokalizowania danych bez względu na to, gdzie się znajdują. lub kiedy powstał. Nirvana robi to poprzez przechwytywanie metadanych systemowych i zdefiniowanych przez użytkownika w celu umożliwienia szczegółowego wyszukiwania i uchwalenia zasad kontroli przepływu i ochrony danych. Nirvana zajmuje się także kontrolą pochodzenia danych , audytem , bezpieczeństwem i kontrola dostępu .
Nirvana może obniżyć koszty przechowywania, identyfikując dane, które mają zostać przeniesione do pamięci o niższych kosztach oraz dane, których nie trzeba już przechowywać.
Historia
Nirvana jest wynikiem badań rozpoczętych w 1995 roku w San Diego Supercomputer Center (SDSC) (które zostało założone i prowadzone w tym czasie przez General Atomics), w odpowiedzi na sponsorowany przez DARPA projekt systemu analizy danych masowych. Prace kierowane przez fizyka plazmy obliczeniowej General Atomics, dr Reagana Moore'a, były kontynuowane dzięki wspólnym wysiłkom General Atomics i SDSC w ramach Storage Resource Broker (SRB), przy wsparciu National Science Foundation (NSF). SRB 1.1 został dostarczony w 1998 roku, demonstrując logiczny rozproszony system plików z jednym Globalna przestrzeń nazw w rozproszonych geograficznie systemach pamięci masowej.
W 2003 roku firma General Atomics przekazała obsługę SDSC Uniwersytetowi Kalifornijskiemu w San Diego (UCSD), a dr Moore został tam pełnoetatowym profesorem, zakładając Centrum Data Intensive Computing Environments (DICE), kontynuując rozwój SRB. W tym samym roku General Atomics uzyskał wyłączną licencję na opracowanie komercyjnej wersji SRB, nazywając ją Nirvana. Zespół DICE zakończył rozwój SRB w 2006 roku i rozpoczął zorientowany na zasady projekt zarządzania danymi o nazwie iRODS do open source . Dr Moore i jego zespół DICE przenieśli się na Uniwersytet Północnej Karoliny w Chapel Hill gdzie iRODS jest teraz obsługiwany przez konsorcjum iRODS. General Atomics kontynuowało rozwój Nirvany w swojej centrali w San Diego, koncentrując się na możliwościach służenia użytkownikom rządowym i komercyjnym, w tym wysokiej skalowalności, przełączania awaryjnego, wydajności, wdrażania, konserwacji i wsparcia.
W 2009 roku firma General Atomics wygrała kontrakt na zarządzanie danymi z Programem Modernizacji Komputerów Wysokowydajnych Departamentu Obrony Stanów Zjednoczonych (DOD). Wymagania tego kontraktu skupiły się na General Atomics w celu zwiększenia wydajności, skalowalności, bezpieczeństwa i łatwości użytkowania Nirvany. Głównym rezultatem była integracja Nirvany z systemem plików SAM-QFS firmy Oracle Corporation w celu zapewnienia hierarchicznego zarządzania pamięcią masową opartego na zasadach (HSM) z synchronizacją zdarzeń w czasie zbliżonym do rzeczywistego. Firma General Atomics ogłosiła również, że firma infoGROUP zajmująca się marketingiem cyfrowym wdrożyła Nirvanę w celu stworzenia Globalnej Przestrzeni Nazw w trzech komputerowych centrach operacyjnych infoGROUP w rejonie Omaha.
W 2012 roku General Atomics wydał Nirvanę w wersji 4.3.
W 2014 roku General Atomics zmienił model biznesowy Nirvany z dużego kontraktu rządowego, modelu opłaty za usługę, na standardowy model oprogramowania komercyjnego.
W 2015 roku General Atomics nawiązał strategiczną współpracę z pixitmedia / arcastream w Wielkiej Brytanii, integrując Nirvanę z produktami pixitmedia i arcastream.
W 2016 roku General Atomics wypuścił Nirvanę w wersji 5.0.
W maju 2018 r. sondowano marketingowe i pomocnicze adresy URL Nirvany pod parasolem korporacyjnym General Atomics (www.Nirvanastorage.com, www.ga.com/nirvana i https://www.nirvanaware.com), a ostatnio markowe oferty integracyjne, takie jak „Nirvana EasyHSM” (www.ga.com/easyhsm (wspomniane w udostępnionym slajdzie marketingowym ze stycznia 2017 r. pod adresem )) zwraca komunikat „nie można znaleźć” z witryny www.ga.com lub upłynął limit czasu połączenia. Wyszukiwanie słowa kluczowego „Nirvana” na stronie www.ga.com zwraca tylko strony ze zarchiwizowanymi wskazaniami. Strony Nirvany i komunikaty prasowe zarchiwizowane przez General Atomics są dostępne pod adresem http://www.ga.com/?Key=Search&q=nirvana
Architektura i działanie
Nirvana to oprogramowanie klient-serwer składające się z agentów lokalizacji , które znajdują się w zasobach pamięci masowej lub uzyskują do nich dostęp. Zasobem pamięci masowej może być pamięci masowej podłączonej do sieci (NAS), obiektowy system pamięci masowej lub usługa pamięci masowej w chmurze . Nirvana kataloguje lokalizację plików i obiektów w tych zasobach pamięci do swojego katalogu metadanych (MCAT) i oznacza pliki metadanymi systemu przechowywania (właściciel, nazwa pliku, rozmiar i tworzenie pliku, znaczniki czasu zmiany, modyfikacji i dostępu ) ) oraz dodatkowe zdefiniowane przez użytkownika metadane specyficzne dla domeny. Metadane systemowe i zdefiniowane przez użytkownika mogą służyć do wyszukiwania pliku lub obiektu (lub grup plików i obiektów), a także do kontrolowania dostępu do tych plików i obiektów oraz przenoszenia tych plików i obiektów z jednego zasobu pamięci masowej do innego. MCAT tworzy pojedynczą globalną przestrzeń nazw we wszystkich podłączonych do niej zasobach pamięci masowej, dzięki czemu użytkownicy i administratorzy mogą wyszukiwać, uzyskiwać dostęp i przenosić dane między wieloma heterogenicznymi systemami pamięci masowej od wielu dostawców w rozproszonych geograficznie centrach danych. MCAT jest podłączony do relacyjnego systemu zarządzania bazą danych i współdziała z nim aby wesprzeć jego działanie. Można wdrożyć wiele MCAT w celu skalowania w poziomie i przełączania awaryjnego . Różni klienci mogą wchodzić w interakcje z Nirvaną, w tym dostarczoną przeglądarkę internetową i klientów GUI opartych na Javie , interfejs wiersza poleceń , natywny interfejs dysku sieci wirtualnej Windows oraz aplikacje opracowane przez użytkownika za pośrednictwem dostarczonych interfejsów API.
Działaniem Nirvany sterują trzy demony ; Metadane, synchronizacja i ILM. Demon metadanych może automatycznie wydobywać metadane z instrumentu tworzącego dane, z rzeczywistych danych pliku przy użyciu predefiniowanych i konfigurowalnych szablonów oraz zasad analizowania metadanych lub przechwytywania danych wprowadzanych przez użytkownika za pośrednictwem GUI lub interfejsu wiersza poleceń. Demon synchronizacji działający w tle wykrywa, kiedy pliki są dodawane lub usuwane z bazowych systemów plików zasobów pamięci masowej. Kiedy demon synchronizacji obserwuje zmiany w systemie plików, zmiany te są rejestrowane i aktualizowane w MCAT. Demon ILM rutynowo wysyła zapytania do MCAT i wykonuje akcje, w tym migrację , replikację lub kopię zapasową według określonego harmonogramu. Na przykład administrator może ustawić zasady zwalniania miejsca w kosztownym podstawowym systemie pamięci masowej poprzez migrację tych danych do rozproszonych przechowywania w oparciu o takie kryteria, jak: zużycie pamięci znaki wodne (procent zapełnienia), wszystkie dane powiązane z określonym projektem lub dane, które nie były dostępne od ponad roku. Zasady są niezwykle elastyczne. Zdefiniowane przez użytkownika atrybuty metadanych (np. Projekt, Główny badacz , Źródło danych, Lokalizacja, Temperatura itp.) mogą być również używane do przenoszenia danych. Wykonywanie polityki Nirvana ILM odbywa się za kulisami, niewidoczne dla użytkowników końcowych lub aplikacji.
Przypadków użycia
Brama do przechowywania danych w chmurze
Funkcjonalność ILM Nirvany może być używana jako brama do przechowywania w chmurze , gdzie dane przechowywane lokalnie, lokalnie, mogą być przenoszone do popularnych usług przechowywania w chmurze w oparciu o różne atrybuty i zasady metadanych Nirvany. W 2015 roku General Atomics i ArcaStream ogłosiły urządzenie do przechowywania w chmurze , które wykorzystuje IBM Spectrum Scale do lokalnego przechowywania i integruje się z dostawcami przechowywania w chmurze Amazon S3 i Google Cloud Storage .
Zaawansowane wyszukiwanie
Nirvana może być używana do przeprowadzania zapytań w celu znalezienia interesujących danych przy użyciu zarówno metadanych systemowych, jak i zdefiniowanych przez użytkownika. Zapytania są wprowadzane w interfejsie wiersza poleceń lub za pośrednictwem pokazanego poniżej klienta przeglądarki internetowej.
Wirtualne kolekcje
Nirvana może zautomatyzować grupowanie i dystrybucję plików danych w wirtualną kolekcję - w oparciu o przyjazne dla użytkownika reguły logiczne. Na przykład metadane zdefiniowane przez użytkownika mogą służyć do identyfikowania plików danych, które mają być przesyłane między współpracownikami z atrybutami specyficznymi dla domeny (eksperyment, badanie, projekt itp.).
Pochodzenie danych
W wielu dziedzinach pomocna jest znajomość potoku pochodzenia i przetwarzania wykorzystywanego do uzyskiwania wyników pochodnych. Nirvana śledzi dane w przepływach pracy, poprzez wszystkie transformacje, analizy i interpretacje. Dzięki Nirvana dane mogą być udostępniane i wykorzystywane ze zweryfikowanym pochodzeniem warunków, w których zostały wygenerowane – dzięki czemu wyniki są odtwarzalne i możliwe do analizy pod kątem defektów.
Rewizja
Nirvana może służyć do audytu każdej transakcji na pliku danych w ramach przepływu pracy. Ścieżka audytu może być przechowywana zawierająca informacje takie jak data transakcji, kod powodzenia lub błędu, użytkownik wykonujący transakcję, rodzaj transakcji i notatki itp. Ścieżki audytu, podobnie jak wszystko inne w Nirvanie, można łatwo przeszukiwać i filtrować.
Bezpieczeństwo i kontrola dostępu
Nirvana może być używana do kontrolowania dostępu do danych poprzez tworzenie określonych list kontroli dostępu według użytkowników, grup itp. przy użyciu atrybutów metadanych zdefiniowanych przez użytkownika (Projekt, Studium itp.) informacji niż inni, którym przypisano niższe poziomy. Nirvana obsługuje pojedyncze logowanie i dostęp poprzez integrację z protokołem LDAP (Lightweight Directory Access Protocol ) i Active Directory , przy użyciu uwierzytelniania typu wyzwanie-odpowiedź , Grid Security Infrastructure (GSI) i Kerberos . Dane mogą być przeglądane i modyfikowane wyłącznie przez użytkowników do tego upoważnionych.
Analiza systemu plików
Nirvana może być wykorzystana do analizy składu współdzielonego systemu plików w celu określenia, jaki typ danych jest przechowywany, ile zajmuje miejsca, kiedy był ostatni dostęp i kto je przechowywał. Dzięki tym informacjom administratorzy pamięci masowej mogą określić najbardziej odpowiedni typ systemu pamięci masowej i kiedy przenieść nieużywane dane do tańszej pamięci archiwalnej. W poniższym przykładzie analiza danych przechowywanych w drogim korporacyjnym systemie NAS firmy Nirvana wykazała, że większość danych nie była dostępna od ponad 2 lat. Analiza wykazała ponadto, że większość plików była bardzo mała, a ponad połowa pamięci zajmowana była przez zaledwie dwóch użytkowników. Korzystając z tych danych, organizacja wymieniła swój korporacyjny system pamięci masowej na tańszą obiektową pamięć masową, aby lepiej zarządzać wieloma małymi, rzadko używanymi plikami.
