QPACE2

Prototyp QPACE 2 na Uniwersytecie w Regensburgu

QPACE 2 ( QCD Parallel Computing Engine) to masowo równoległy i skalowalny superkomputer . Został zaprojektowany do zastosowań w chromodynamice kwantowej krat , ale nadaje się również do szerszego zakresu zastosowań.

Przegląd

QPACE 2 jest kontynuacją superkomputera QPACE i projektu chłodzenia gorącą wodą iDataCool . Jest to wspólny wysiłek grupy fizyki cząstek elementarnych na Uniwersytecie w Regensburgu i włoskiej firmy Eurotech . Akademicki zespół projektowy składał się z około 10 młodszych i starszych fizyków. Szczegóły projektu opisane są m.in.

QPACE 2 wykorzystuje procesory Intel Xeon Phi (znane również jako KNC), połączone za pomocą kombinacji PCI Express (w skrócie PCIe) i FDR InfiniBand . Główne cechy prototypu QPACE 2 zainstalowanego na Uniwersytecie w Regensburgu to:

  • skalowalność
  • wysoka gęstość upakowania
  • chłodzenie ciepłą wodą (nie są potrzebne agregaty chłodnicze)
  • wysoka efektywność energetyczna
  • opłacalny projekt

Prototyp to jednorackowa instalacja składająca się z 64 węzłów z łącznie 15 872 rdzeniami fizycznymi i szczytową wydajnością 310 TFlop/s. Został wdrożony latem 2015 roku i jest używany do symulacji chromodynamiki kwantowej sieci . W listopadzie 2015 r. QPACE 2 zajął 500. miejsce na Top500 najpotężniejszych superkomputerów i 15. miejsce na liście Green 500 najbardziej energooszczędnych superkomputerów świata.

QPACE 2 został sfinansowany przez Niemiecką Fundację Badawczą (DFG) w ramach SFB/TRR-55 oraz przez Eurotech .

Architektura

Wiele obecnych superkomputerów to architektury hybrydowe, które wykorzystują karty akceleracyjne z interfejsem PCIe w celu zwiększenia wydajności obliczeniowej. Ogólnie rzecz biorąc, procesory serwerowe obsługują tylko ograniczoną liczbę akceleratorów ze względu na ograniczoną liczbę linii PCIe (zazwyczaj 40 w architekturze Intel Haswell ). Typowym podejściem do integracji wielu kart akceleratorów z systemem hosta jest rozmieszczenie wielu procesorów serwera, zwykle dwóch lub czterech, jako rozproszonej pamięci współdzielonej systemy. Takie podejście pozwala na większą liczbę akceleratorów na węzeł obliczeniowy ze względu na większą liczbę pasów PCIe. Jednak wiąże się to również z kilkoma wadami:

  • Procesory serwerowe, ich połączenia ( QPI w przypadku procesorów Intel) i układy pamięci znacznie zwiększają rozmiar systemu hosta.
  • Wydatki na projekt wieloprocesorowy są zazwyczaj wysokie.
  • Procesory serwerowe znacząco wpływają na ogólną sygnaturę mocy hybrydowych architektur komputerów i wymagają odpowiedniej wydajności chłodzenia.
  • Połączenia między procesorami serwera mogą utrudniać wydajną komunikację wewnątrz węzła i nakładać ograniczenia na wydajność komunikacji między węzłami za pośrednictwem sieci zewnętrznej.
  • Wydajność obliczeniowa procesorów serwerowych jest zazwyczaj o rząd wielkości niższa niż w przypadku kart akceleratorowych, dlatego ich wkład w ogólną wydajność może być raczej niewielki.
  • Architektury zestawów instrukcji i zasoby sprzętowe procesorów serwerowych i akceleratorów znacznie się różnią. Dlatego nie zawsze jest możliwe, aby kod był tworzony i wykonywany na obu architekturach.

Architektura QPACE 2 rozwiązuje te wady poprzez projekt węzła, w którym pojedynczy procesor hosta Intel Haswell E3 o niskim poborze mocy obsługuje cztery karty akceleracyjne Xeon Phi 7120X zapewniające moc obliczeniową i jedną dwuportową kartę interfejsu sieciowego FDR InfiniBand do komunikacji zewnętrznej. Aby to osiągnąć, komponenty w węźle są połączone ze sobą za pomocą przełącznika PCIe z 96 liniami.

Szafa QPACE 2 zawiera 64 węzły obliczeniowe (a więc łącznie 256 akceleratorów Xeon Phi ). Każdy z 32 węzłów znajduje się z przodu iz tyłu szafy. Podsystem zasilania składa się z 48 zasilaczy, które zapewniają łączną moc szczytową 96 kW. QPACE 2 opiera się na rozwiązaniu chłodzenia ciepłą wodą, aby osiągnąć tę gęstość upakowania i mocy.

Węzeł obliczeniowy

Schematyczny projekt węzła QPACE 2

Węzeł QPACE 2 składa się ze standardowego sprzętu połączonego za pomocą PCIe . Płyta środkowa zawiera 96-liniowy przełącznik PCIe (PEX8796 firmy Avago, wcześniej PLX Technology), zapewnia sześć 16-liniowych gniazd PCIe Gen3 i dostarcza zasilanie do wszystkich gniazd. Jedno gniazdo jest używane dla karty procesora , która jest kartą w formacie PCIe zawierającą jeden procesor serwerowy Intel Haswell E3-1230L v3 z 16 GB pamięci DDR3 oraz mikrokontroler do monitorowania i sterowania węzłem. Cztery gniazda są używane dla Xeon Phi Karty 7120X z 16 GB GDDR5 każda i jednym gniazdem na dwuportową kartę interfejsu sieciowego FDR InfiniBand (Connect-IB firmy Mellanox).

Płyta pośrednia i karta procesora zostały zaprojektowane na potrzeby projektu QPACE 2, ale można je ponownie wykorzystać w innych projektach lub produktach.

Serwerowy procesor Intel E3-1230L v3 o niskim zużyciu energii jest energooszczędny, ale ma słabą moc obliczeniową w porównaniu z innymi procesorami serwerowymi dostępnymi około 2015 r. (w szczególności jest słabszy niż większość kart akceleracyjnych). Procesor udziału w mocy obliczeniowej węzła. Po prostu działa system operacyjny i sterowniki istotne dla systemu. Z technicznego punktu widzenia procesor służy jako kompleks główny dla struktury PCIe. Przełącznik PCIe rozszerza ograniczoną liczbę linii PCIe procesora hosta do łącznej liczby 80 linii, umożliwiając w ten sposób podłączenie wielu komponentów (4x Xeon Phi i 1x InfiniBand, każdy x16 PCIe) do procesora, jak Punkty końcowe PCIe . Ta architektura umożliwia również Xeon Phis komunikację peer-to-peer przez PCIe i bezpośredni dostęp do sieci zewnętrznej bez konieczności przechodzenia przez procesor hosta.

Każdy węzeł QPACE 2 składa się z 248 rdzeni fizycznych (procesor hosta: 4, Xeon Phi: 61 każdy). Procesor hosta i akceleratory obsługują wielowątkowość . Liczba rdzeni logicznych na węzeł wynosi 984.

można używać dowolnych kart obsługujących PCIe, np. akceleratorów, takich jak GPU i inne technologie sieciowe niż InfiniBand, o ile spełnione są wymagania dotyczące współczynnika kształtu i mocy .

Sieci

Hiperpoprzeczka 8x8. Każdy z 64 węzłów (po 2 porty każdy) jest podłączony do jednego przełącznika w kierunku x (czerwony) i jednego przełącznika w kierunku y (niebieski). Przełączniki (oznaczone prostokątami) są rozmieszczone w siatce 2x2.

Komunikacja wewnątrz węzła odbywa się za pośrednictwem przełącznika PCIe bez udziału procesora hosta. Komunikacja międzywęzłowa oparta jest na FDR InfiniBand. Topologia sieci InfiniBand to dwuwymiarowa hiperpoprzeczka. Oznacza to, że budowana jest dwuwymiarowa siatka przełączników InfiniBand, a dwa porty InfiniBand węzła są podłączone do jednego przełącznika w każdym z wymiarów. Topologia hiper-poprzeczki została po raz pierwszy wprowadzona przez japońską współpracę fizyków cząstek elementarnych w ramach CP-PACS.

Sieć InfiniBand jest również używana do operacji wejścia/wyjścia do systemu plików Lustre .

Karta procesora zapewnia dwa interfejsy Gigabit Ethernet , które służą do sterowania węzłami i uruchamiania systemu operacyjnego.

Chłodzenie

Samolot pośredni z pojedynczym procesorem Xeon Phi chłodzonym wodą i 5 pustymi gniazdami.

Węzły superkomputera QPACE 2 są chłodzone wodą przy użyciu innowacyjnej koncepcji opartej na technologii roll-bond . Woda przepływa przez płytkę walcowaną wykonaną z aluminium, która jest termicznie połączona z gorącymi elementami za pomocą aluminiowych lub miedzianych przekładek i pasty termoprzewodzącej lub materiału termoprzewodzącego. W ten sposób chłodzone są wszystkie elementy węzła. Wydajność koncepcji chłodzenia pozwala na swobodne chłodzenie przez cały rok.

W syntetycznych testach porównawczych zużycie energii przez węzeł wyniosło do 1400 W. Do typowych obliczeń w chromodynamice kwantowej sieci potrzeba około 1000 watów.

Oprogramowanie systemowe

Bezdyskowe węzły są obsługiwane przy użyciu standardowej dystrybucji Linuksa ( CentOS 7 ), która jest uruchamiana przez sieć Ethernet. Na procesorach Xeon Phis działa bezpłatnie dostępne oprogramowanie Intel Manycore Platform Software Stack (MPSS). Komunikacja InfiniBand oparta jest na OFED , który również jest ogólnodostępny.

Zobacz też

  1. ^ H. Baier i in., PoS LAT2009 (2009) 001 , ( arXiv : 0911.2174 )
  2. ^ N. Meyer i in., Notatki z wykładów z informatyki 7905 (2013) 383 , ( arXiv : 1309,4887 )
  3. ^ P. Arts i in., PoS LAT2014 (2014) 021 , ( arXiv : 1502.04025 )
  4. ^ Komunikat prasowy Eurotechu
  5. ^ Lista Top500, listopad 2015, http://top500.org/system/178607
  6. ^ Lista Green500, listopad 2015, http://green500.org/lists/green201511&green500from=1&green500to=100
  7. ^ Y. Iwasaki, Nucl. fizyka proc. Dodatek 34 (1994) 78 , ( arXiv : hep-lat/9401030 )
  8. ^ J. Beddoes i M. Bibby, Zasady procesów produkcji metali , Elsevier Science (1999)
Pobrano z „ https://en.wikipedia.org/w/index.php?title=QPACE2&oldid=1114248005 ”