Rozproszony system plików OneFS

OneFS
Deweloperzy Systemy Isilon
Pełne imię i nazwisko OneFS
wprowadzony 2003 ; 20 lat temu ( 2003 ) z OneFS 1.0 — opartym na FreeBSD
Struktury
Zawartość katalogu Drzewa B+
Alokacja plików Drzewa B+
Granice
Maks. rozmiar woluminu 66PB+ (144+ węzłów po 470TB+ każdy); Teoretyczny limit 65535 węzłów
Maks. rozmiar pliku 16 TB
Maks. liczba plików Zależne od wielkości klastra
Maks. długość nazwy pliku 255 bajtów
Maks. głębokość katalogu 509 (sugerowane, aby zmieścić się w PATH_MAX 1023)
Dozwolone znaki w nazwach plików Wiele (UTF-8, EUC-JP, CP932, CP1252, ISO-8859-*, EUC-KR, CP949). Kodowanie dotyczy wpisu w katalogu, a nie w systemie plików. Tak więc w jednym tomie można użyć wielu kodowań. UTF-8 jest zalecany jako normatywny. NUL i / nie są dozwolone w poszczególnych pozycjach katalogu w żadnym kodowaniu.
Cechy
Zapisane daty Utwórz czas, zmień nazwę czasu, mtime, ctime, atime
Zakres dat 1970 do 2038
Rozdzielczość daty Nanosekunda
widelce Tak (rozszerzone atrybuty i alternatywne strumienie danych )
Uprawnienia systemu plików Tak ( uprawnienia POSIX i listy ACL NTFS )
Przezroczysta kompresja Tak
Przejrzyste szyfrowanie Zintegrowany z dyskami samoszyfrującymi do szyfrowania „ danych w spoczynku ”
Deduplikacja danych Tylko w trybie offline
Kopiowanie przy zapisie Tak (dla migawek)
Inny
Obsługiwane systemy operacyjne OneFS

System plików OneFS to równoległy rozproszony sieciowy system plików zaprojektowany przez firmę Isilon Systems i stanowiący podstawę platformy pamięci masowych Isilon Scale-out Storage Platform . System plików OneFS jest kontrolowany i zarządzany przez system operacyjny OneFS , wariant FreeBSD .

Struktura na dysku

Wszystkie struktury danych w systemie plików OneFS zachowują własne informacje o ochronie. Oznacza to, że w tym samym systemie plików jeden plik może być chroniony na poziomie +1 (podstawowa ochrona przez parzystość), podczas gdy inny może być chroniony na poziomie +4 (odporność na cztery awarie), podczas gdy jeszcze inny plik może być chroniony na poziomie 2x (dublowanie ) ; ta funkcja nosi nazwę FlexProtect. FlexProtect odpowiada również za automatyczną odbudowę danych w przypadku awarii. Dostępne poziomy ochrony są oparte na liczbie węzłów w klastrze i są zgodne z algorytmem Reeda Solomona . Bloki dla pojedynczego pliku są rozłożone na węzły. Pozwala to na awarię całych węzłów bez utraty dostępu do jakichkolwiek danych. Metadane plików , katalogi, struktury migawek , struktury przydziałów i logiczna struktura mapowania i-węzłów są oparte na lustrzanych drzewach B+ . Adresy bloków to uogólnione 64-bitowe wskaźniki , które odwołują się do krotek (node, drive, blknum) . Natywny rozmiar bloku to 8192 bajty; i-węzły to 512 bajtów na dysku (dla dysków z sektorami 512 bajtów) lub 8 KB (dla dysków z sektorami 4 KB).

Charakterystyczną cechą OneFS jest to, że metadane są rozmieszczone w węzłach w jednorodny sposób. Nie ma dedykowanych serwerów metadanych. Jedynym fragmentem metadanych, który jest replikowany w każdym węźle, jest lista adresów głównych bloków btree struktury mapowania i-węzłów. Wszystko inne można znaleźć od tego punktu początkowego, postępując zgodnie z uogólnionymi wskaźnikami 64-bitowymi.

Grupowanie

Zbiór hostów komputerowych składających się na system OneFS jest określany jako „ klaster ”. Host komputera, który jest członkiem klastra OneFS, jest określany jako „ węzeł ” (liczba mnoga „ węzły ”).

Aby uzyskać optymalną wydajność, węzły składające się na system OneFS muszą być połączone przez wysokowydajną sieć zaplecza o małych opóźnieniach. OneFS 1.0-3.0 wykorzystywał Gigabit Ethernet jako sieć zaplecza. Począwszy od OneFS 3.5, Isilon oferował modele InfiniBand . Od około 2007 do połowy 2018 roku wszystkie sprzedawane węzły korzystały z zaplecza InfiniBand. Począwszy od modeli OneFS 8.1.0 i Gen6, Isilon ponownie oferuje sieć zaplecza Ethernet (10, 25, 40 lub 100 Gigabit).

Dane, metadane, blokowanie, transakcje, zarządzanie grupami, alokacja i ruch zdarzeń są przesyłane za pomocą mechanizmu RPC przemieszczającego się przez sieć zaplecza klastra OneFS. Wszystkie transfery danych i metadanych odbywają się bez kopiowania . Wszystkie operacje modyfikacji struktur na dysku są transakcyjne i księgowane .

Protokoły

OneFS obsługuje dostęp do przechowywanych plików przy użyciu popularnych protokołów sieci komputerowych, w tym NFS , CIFS/SMB , FTP , HTTP i HDFS . Może wykorzystywać uwierzytelnianie nielokalne, takie jak Active Directory , LDAP i NIS . Może współpracować z zewnętrznymi urządzeniami do tworzenia kopii zapasowych i aplikacjami korzystającymi z protokołu NDMP .

System operacyjny OneFS

System plików OneFS to zastrzeżony system plików, którym można zarządzać i kontrolować tylko za pomocą systemu operacyjnego OneFS pochodzącego z FreeBSD .

zsh to domyślna powłoka logowania systemu operacyjnego OneFS. OneFS przedstawia wyspecjalizowany zestaw poleceń do administrowania systemem plików OneFS. Większość wyspecjalizowanych programów powłoki zaczyna się od liter isi . Godnymi uwagi wyjątkami są rozszerzenia Isilon do programów FreeBSD ls i chmod .

Wersje

  • 1,0 „Bell”, 2,0 „Jalapeno”, 3,0 „Serrano”, 3,5 „Tabasco”
  • 4,0 „Poblano”, 4,1 „Anaheim”, 4,5 „tajski”, 4,6 „Ancho”
  • 4.7 „Chiltepin”
    • 4.7.1 do .11
  • 5.0 „jamajski”
    • 5.0.0 do .8
  • 5.5 „Scotch Bonnet” (oparty na FreeBSD 6.1)
    • 5.5.1 do .2
    • 5.5.3 - Aktualizacje systemu operacyjnego z cyklicznymi restartami poszczególnych węzłów.
    • 5.5.4 — Dodaje iSCSI
    • 5,5,5 do 0,7
  • 6.0 „Habanero” — do 10,4 PB w jednym systemie plików
    • 6.0.1 do .4
  • 6.5 „Chopu” (oparty na FreeBSD 7.3)
    • 6.5.1 do .5
  • 7.0 „Mavericks” - wydany w listopadzie 2012; (w oparciu o FreeBSD 7.4-STABLE)
    • 7.0.1 do .2
  • 7.1 „Waikiki” - wydany w październiku 2013 r.
    • 7.1.1 „Szczęki” - wydany w lipcu 2014 r.
  • 7.2 „Moby” - wydany w listopadzie 2014 r.
    • 7.2.0, 7.2.1
  • 8.0 „Riptide” (oparty na FreeBSD 10) - wydany w lutym 2016 r. - iSCSI wycofany z użycia
    • 8.0.1 „Halfpipe” - wydany w październiku 2016 r.
  • 8.1 „Pociągi towarowe” - wydany w czerwcu 2017 r
    • 8.1.1 „Niijima” - wydany w styczniu 2018 r
    • 8.1.2 „Kanagawa” - wydany w sierpniu 2018 r
    • 8.1.3 „Sejsmiczny” — wydany w styczniu 2019 r
  • 8.2.0 „Pipeline” (oparta na FreeBSD 11) — wydana w maju 2019 r.
    • 8.2.1 „Acela” — wydana we wrześniu 2019 r
    • 8.2.2 „Beachcomber” — wydany w styczniu 2020 r
  • 9.0.0.0 „Kaskady” — wydany w czerwcu 2020 r
    • 9.1.0.0 — wydana w październiku 2020 r
    • 9.2 — wydany w kwietniu 2021 r
    • 9.3 — Wydany w październiku 2021 r
    • 9.4 — wydany w kwietniu 2022 r
    • 9.5 — wydany w styczniu 2023 r

Zobacz też

Linki zewnętrzne

Pobrano z „ https://en.wikipedia.org/w/index.php?title=OneFS_distributed_file_system&oldid=1142637307 ”