Zaawansowany łącznik zasobów

ŁUK
Deweloperzy NorduGrid , NeIC, projekty unijne
Pierwsze wydanie 13 kwietnia 2004 ; 18 lat temu ( 13.04.2004 )
Wersja stabilna
6.17 / 24 listopada 2022 ; 2 miesiące temu ( 2022-11-24 )
Magazyn github.com/nordugrid/arc _ _ _
Napisane w C++ , PHP , Perl , Python , Shell
System operacyjny Linux , Microsoft Windows , Mac OS X
Dostępne w angielski, rosyjski, szwedzki
Typ Obliczenia siatkowe
Licencja Licencja Apache 2.0
Strona internetowa www.nordugrid.org _ _

Advanced Resource Connector ( ARC ) to oprogramowanie pośredniczące do przetwarzania sieciowego wprowadzone przez firmę NorduGrid . Zapewnia wspólny interfejs do przesyłania zadań obliczeniowych do różnych rozproszonych systemów obliczeniowych, dzięki czemu może tworzyć infrastruktury sieciowe o różnej wielkości i złożoności. Zestaw usług i narzędzi udostępniających interfejs jest znany jako ARC Computing Element (ARC-CE). Funkcjonalność ARC-CE obejmuje przemieszczanie i buforowanie danych, opracowane w celu obsługi przetwarzania rozproszonego intensywnie korzystającego z danych. ARC jest open source oprogramowanie dystrybuowane na licencji Apache 2.0.

Historia

ARC pojawił się (i nadal jest często określany) jako oprogramowanie pośrednie NorduGrid , pierwotnie zaproponowane jako architektura na szczycie zestawu narzędzi Globus zoptymalizowanego na potrzeby obliczeń fizyki wysokich energii dla eksperymentów Wielkiego Zderzacza Hadronów . Pierwsze wdrożenie ARC na stanowisku testowym NorduGrid miało miejsce latem 2002 roku, a do 2003 roku było używane do obsługi złożonych obliczeń.

Pierwsze stabilne wydanie ARC (wersja 0.4) ukazało się w kwietniu 2004 na licencji GNU General Public License . W tej wersji wprowadzono nazwę „Advanced Resource Connector”, aby odróżnić oprogramowanie pośredniczące od infrastruktury. W tym samym roku szwedzki narodowy projekt Grid Swegrid stał się pierwszą dużą interdyscyplinarną infrastrukturą opartą na ARC.

W 2005 NorduGrid została formalnie ustanowiona jako współpraca wspierająca i koordynująca rozwój ARC. W 2006 roku rozpoczęto dwa ściśle powiązane projekty: Nordic Data Grid Facility , wdrażający pannordycką infrastrukturę e-nauki opartą na ARC, oraz KnowARC, skupiający się na przekształceniu ARC w oprogramowanie pośrednie Grid nowej generacji.

ARC v0.6 został wydany w maju 2007 roku, stając się drugim stabilnym wydaniem. Jego kluczową cechą było wprowadzenie biblioteki klienckiej umożliwiającej łatwe tworzenie aplikacji wyższego poziomu. Było to również pierwsze wydanie ARC wykorzystujące otwarte standardy, ponieważ zawierało wsparcie dla JSDL . Później w tym samym roku udostępniono pierwszą wersję zapoznawczą technologii oprogramowania pośredniego ARC nowej generacji, chociaż nie była ona dystrybuowana z samym ARC. Nowe podejście obejmowało przejście na na usługach sieciowych i ogólnie bardzo znaczną refaktoryzację podstawowego kodu.

W 2008 roku konsorcjum NorduGrid przyjęło licencję Apache dla wszystkich komponentów ARC.

Ostatnią stabilną wersją z linii 0 był ARC v0.8, wydany we wrześniu 2009. Ostatecznie zawierał wersję zapoznawczą nowej usługi wykonawczej - A -REX' - oraz kilka innych komponentów, takich jak Chelonia , ISIS , Charon' oraz graficzny interfejs użytkownika arcjobtool .

Równolegle z ARC v0.8, projekt EU KnowARC wydał w listopadzie 2009 r. koncepcyjny pakiet ARC NOX , który był kompletnym rozwiązaniem Grid, w pełni opartym na technologiach usług sieciowych . Nazwa NOX faktycznie wskazuje datę premiery: Listopad Roku Wołu .

W maju 2011 NorduGrid wypuścił ARC v11.05 (tym razem przyjmując schemat wersjonowania Ubuntu). Ta wersja oznaczała całkowite przejście ze starej usługi wykonawczej do A-REX i usług towarzyszących. Dla zachowania kompatybilności wstecznej z istniejącą infrastrukturą, zachowano stare interfejsy dla usługi wykonawczej i systemu informatycznego.

ARC 6 został wydany w maju 2019 roku i chociaż ma te same interfejsy, oferuje całkowicie przeprojektowaną konfigurację i nowe narzędzie do zarządzania.

składniki

  • Środowisko hostingowe:
  • Usługi wykonawcze:
    • Grid Manager - serwer zapewniający możliwości obliczeniowe
    • A-REX - następna generacja Grid Manager, oparta na WS
  • Usługi informacyjne:
    • Klasyczny serwer informacyjny - lokalne publikowanie informacji serwisowych
    • Klasyczny indeks informacji - indeksowanie informacji rozproszonych
  • Księgowość:
    • JURA - wydawca kart pracy dla A-REX
  • Klienci:
    • arc* CLI zadań i danych — interfejs wiersza poleceń nowej generacji do zarządzania zadaniami i danymi, współpracujący z innymi oprogramowaniami pośrednimi, takimi jak gLite i UNICORE
    • arcproxy - uniwersalne narzędzie do generowania proxy sieci
    • Grid Monitor - graficzny interfejs do klasycznych serwisów informacyjnych
  • Biblioteki i API:
    • libarcclient - zarządzanie zleceniami i informacje
    • libarcdata2 - zarządzanie danymi
    • Interfejs API bezpieczeństwa HED

Dostępność

ARC to darmowe oprogramowanie dostępne z publicznego repozytorium NorduGrid, zarówno jako pakiety binarne dla różnych systemów Linux , jak i źródła. Kod źródłowy jest również dostępny w repozytorium GitHub .

Rozwój

Rozwój open source oprogramowania pośredniego ARC jest koordynowany przez współpracę NorduGrid . Wkład w oprogramowanie, dokumentację i działania związane z rozpowszechnianiem pochodzi od społeczności oraz z różnych projektów, takich jak EU KnowARC i EMI, NDGF , NeIC oraz różne krajowe projekty infrastrukturalne i badawcze.

Wersjonowanie

W latach 2011-2018 ARC stosowało schemat wersjonowania podobny do Ubuntu dla wydań pakietowych składających się z poszczególnych komponentów. Poszczególne komponenty posiadają własne wersjonowanie, odpowiadające tagom code. Wersja podstawowych pakietów ARC jest często używana zamiast oficjalnego numeru wydania w codziennej komunikacji.

Począwszy od ARC6 (2019) numer wersji wydania pokrywa się z numerem tagu.

Standardy i interoperacyjność

ARC wdraża kilka standardów Open Grid Forum , w szczególności JSDL , Glue2, BES, UR/RUS i StAR.

ARC w różnych projektach i inicjatywach

Europejska inicjatywa oprogramowania pośredniczącego

W latach 2010-2013 kilka kluczowych komponentów ARC - w szczególności HED, A-REX, klienci i biblioteki - zostało włączonych do stosu oprogramowania European Middleware Initiative (EMI). Dzięki EMI ARC stało się częścią Unified Middleware Distribution (UMD) europejskiej infrastruktury sieciowej (EGI).

Nordic DataGrid Facility i NeIC

ARC jest podstawą infrastruktury obliczeniowej Nordic Data Grid Facility (NDGF). W latach 2006-2010 NDGF aktywnie uczestniczyło w rozwoju ARC, a od 2010 roku zapewnia ekspertyzę wdrożeniową ARC w ramach EGI . Od 2012 roku NDGF jest częścią Nordic e-Infrastructure Collaboration.

Projekt KnowARC

Sieciowa technologia udostępniania know-how oparta na usługach ARC i otwartych standardach (KnowARC) była ukierunkowanym projektem badawczym szóstego programu ramowego , finansowanym w ramach priorytetu IST-2005-2.5.4 „Zaawansowane technologie, systemy i usługi sieciowe” od czerwca 2006 r. do listopada 2009. Pod wieloma względami był to projekt, który ukształtował ARC. Głównym celem było stworzenie ARC w oparciu o otwarte standardy społeczności, a jednym z kluczowych rezultatów było stworzenie ustandaryzowanego środowiska hostingowego dla usług ARC (HED).

Oprócz głównego celu, jakim jest dalszy rozwój ARC, przyczynił się on do rozwoju standardów oraz zwiększenia wykorzystania Grid i ARC w medycynie i bioinformatyce.

W lipcu 2009 KnowARC ogłosił, że przyczynił się do integracji technologii Grid z oficjalnymi repozytoriami Linuksa, dodając komponenty Globus Toolkit do repozytoriów Fedory i Debiana .

Zobacz też

  1. ^ a b Pobieranie NorduGrid
  2. ^ „Przewodnik administratora systemu ARC Computing Element” (PDF) . NorduGrid. 25 czerwca 2015 . Źródło 26 czerwca 2015 r .
  3. ^ Ellert, Mattias; i in. (luty 2007). „Oprogramowanie pośrednie Advanced Resource Connector dla lekkich siatek obliczeniowych” . Systemy komputerowe przyszłej generacji . 23 (2): 219–240. doi : 10.1016/j.future.2006.05.008 .
  4. ^ Ellert, Mattias; Konstantinow Aleksandr; Konya, Balázs; Smirnova, Oksana; Wäänänen, Anders (2003). „Projekt NorduGrid: wykorzystanie zestawu narzędzi Globus do budowy infrastruktury GRID”. Instrumenty i metody jądrowe w badaniach fizyki A . 502 (2–3): 407–410. Bibcode : 2003NIMPA.502..407E . doi : 10.1016/S0168-9002(03)00453-4 .
  5. ^   Wäänänen, Anders; Ellert, Mattias; Konstantinow Aleksandr; Konya, Balázs (2002). „Przegląd propozycji architektury sieci fizyki wysokich energii”. W Fagerholm, Juha; Haataja, Juha; Järvinen, Jari; Lyly, Mikko; Raback, Peter; Savolainen, Ville (red.). Notatki z wykładów z informatyki . Tom. 2367. Zygmunt. s. 76–86. doi : 10.1007/3-540-48051-X_9 . ISBN 978-3-540-43786-4 .
  6. Bibliografia _ i in. (2003). „Atlas danych-wyzwanie 1 na NorduGrid” . Proceedings of 2003 Conference for Computing in High Energy and Nuclear Physics . arXiv : fizyka/0306013 . Bibcode : 2003fizyka...6013E .
  7. ^ ARC 0.4 Informacje o wydaniu
  8. ^ „SweGrid jest przygotowany na przyszłe wyzwania” . Kurier CERN . 2004.
  9. ^ Witryna internetowa NorduGrid
  10. ^ ARC 0.6 Informacje o wydaniu
  11. ^ „Raport KnowARC D5.1-2_07” (PDF) . Zarchiwizowane od oryginału (PDF) w dniu 08.11.2010 . Źródło 2009-08-22 .
  12. ^ ARC 0.8 Informacje o wydaniu
  13. ^ Informacje o wersji ARC NOX
  14. ^ Informacje o wydaniu ARC 6
  15. ^ Tabela wydań ARC
  16. ^ W. Qiang (31 października 2012). Przejrzyste wykorzystanie otwartych standardów w ekosystemie komponentów EMI (raport). CERN.
  17. ^ Witryna internetowa NeIC
  18. ^ Arkusz informacyjny KnowARC , baza danych UE IST
  19. ^ Hämmerle, Hannelore; Cremel, Nicole (listopad 2006). „Projekt KnowARC rusza” . Kurier CERN . Genewa, Szwajcaria. 46 (11): 12.
  20. ^ Smirnova, Oksana; i in. (2009). „Oprogramowanie pośrednie ARC: ewolucja w kierunku interoperacyjności opartej na standardach” (PDF) . Materiały z 17. Międzynarodowej Konferencji Informatyki w Fizyce Wysokich Energii i Fizyki Jądrowej .
  21. ^    Pole, Laurence; Andreozzi, Sergio; Konya, Balázs (2008). Interoperacyjność systemu informacyjnego sieci: potrzeba wspólnego modelu informacyjnego . Materiały z IV Międzynarodowej Konferencji IEEE na temat EScience . s. 501–507. doi : 10.1109/eScience.2008.159 . ISBN 978-1-4244-3380-3 . S2CID 11545984 .
  22. ^   Zhou, Xin; i in. (2009). „Łatwa konfiguracja do równoległego przetwarzania obrazów medycznych: korzystanie z Taverna i ARC” . Studia w zakresie technologii medycznych i informatyki . 147 (Healthgrid Research, Innovation and Business Case): 41–50. doi : 10.3233/978-1-60750-027-8-41 . PMID 19593043 .
  23. Bibliografia   _ Möller, Steffen; Bayer, Daniel (2008). „Integracja oprogramowania pośredniego grid ARC z przepływami pracy Taverna” . Bioinformatyka . 24 (9): 1221–1222. doi : 10.1093/bioinformatyka/btn095 . PMID 18353787 .
  24. ^ „Projekt KnowARC wprowadza siatki do Debiana” . Drut HPC. 9 lipca 2009 r. Zarchiwizowane od oryginału w dniu 5 września 2009 r.

Dalsza lektura

  •   Qiang, Weizhong; Konstantinow, Aleksandr (czerwiec 2009). „W kierunku uwierzytelniania między oprogramowaniem pośredniczącym i jednokrotnego logowania do oprogramowania pośredniego ARC Grid”. Informatyka — badania i rozwój . 23 (3–4): 267–274. doi : 10.1007/s00450-009-0084-6 . S2CID 14837386 .
  • Anderlik, Csaba; Gregersen, Anders Rhod; Kleist, Josva; Peters, Anders; Saiz, Pablo (2008). „Integracja ALICE-ARC” . Journal of Physics: seria konferencji . 119 (62006): 6 pp. Bibcode : 2008JPhCS.119f2006A . doi : 10.1088/1742-6596/119/6/062006 .
  •   Jensen, Henrik Thostrup; Kleist, Josva; Leth, Jesper Ryge (2005). Ramy zarządzania zadaniami w oprogramowaniu pośrednim NorduGrid ARC . Notatki z wykładów z informatyki . Tom. 3470. Berlin/Heidelberg: Springer. s. 861–871. doi : 10.1007/11508380_88 . ISBN 978-3-540-26918-2 .

Linki zewnętrzne