QPACE

QPACE ( QCD Parallel Computing on the Cell Broadband Engine ) to masowo równoległy i skalowalny superkomputer przeznaczony do zastosowań w kratowej chromodynamice kwantowej .

Przegląd

Superkomputer QPACE to projekt badawczy realizowany przez kilka instytucji akademickich we współpracy z IBM Research and Development Laboratory w Böblingen w Niemczech oraz innymi partnerami przemysłowymi, takimi jak Eurotech , Knürr i Xilinx . Akademicki zespół projektowy składający się z około 20 młodszych i starszych naukowców, głównie fizyków, pochodził z Uniwersytetu w Regensburgu (kierownik projektu), Uniwersytetu w Wuppertalu , DESY Zeuthen, Centrum Badawczego Jülich oraz Uniwersytet w Ferrarze . Głównym celem było zaprojektowanie skalowalnej architektury zoptymalizowanej pod kątem aplikacji, która przewyższa produkty przemysłowe pod względem wydajności obliczeniowej, stosunku ceny do wydajności i efektywności energetycznej. Projekt oficjalnie rozpoczął się w 2008 roku. Latem 2009 roku uruchomiono dwie instalacje. Ostateczny projekt ukończono na początku 2010 roku. Od tego czasu QPACE jest używany do obliczeń sieci QCD . Architektura systemu nadaje się również do innych zastosowań, które opierają się głównie na komunikacji z najbliższym sąsiadem, np. metody Boltzmanna .

W listopadzie 2009 QPACE była wiodącą architekturą na liście Green500 najbardziej energooszczędnych superkomputerów na świecie. Tytuł został obroniony w czerwcu 2010 r., kiedy architektura osiągnęła sygnaturę energetyczną 773 MFLOPS na wat w teście porównawczym Linpack . Na Top500 najpotężniejszych superkomputerów QPACE zajął 110-112 miejsce w listopadzie 2009 i 131-133 w czerwcu 2010.

QPACE został sfinansowany przez Niemiecką Fundację Badawczą (DFG) w ramach SFB/TRR-55 oraz przez IBM . Dodatkowe wkłady wniosły firmy Eurotech , Knürr i Xilinx .

Architektura

W 2008 roku IBM wypuścił wielordzeniowy procesor PowerXCell 8i , udoskonaloną wersję silnika IBM Cell Broadband Engine używanego np. w konsoli PlayStation 3 . Procesor wzbudził duże zainteresowanie społeczności naukowej ze względu na jego wyjątkową wydajność zmiennoprzecinkową. Jest to jeden z elementów składowych klastra IBM Roadrunner , który był pierwszą architekturą superkomputera, która przełamała barierę PFLOPS. Architektury klastrowe oparte na PowerXCell 8i zwykle opierają się na serwerach kasetowych IBM BladeCenter połączone za pomocą sieci zgodnych ze standardami branżowymi, takich jak Infiniband . W przypadku QPACE wybrano zupełnie inne podejście. Do łączenia węzłów obliczeniowych używany jest specjalnie zaprojektowany koprocesor sieciowy zaimplementowany na układach FPGA Xilinx Virtex-5 . Układy FPGA to programowalne układy półprzewodnikowe, które umożliwiają indywidualną specyfikację zachowania funkcjonalnego. Procesor sieciowy QPACE jest ściśle połączony z PowerXCell 8i poprzez zastrzeżony interfejs I/O firmy Rambus.

Najmniejszym elementem składowym QPACE jest karta węzła, na której znajduje się PowerXCell 8i i układ FPGA. Karty węzłów są montowane na płytach montażowych, z których każda może pomieścić do 32 kart węzłów. Jeden stojak QPACE mieści do ośmiu płyt tylnych , z których każda jest zamontowana z przodu iz tyłu po cztery. Maksymalna liczba kart węzłów na szafę wynosi 256. Aby osiągnąć tę gęstość upakowania, firma QPACE polega na rozwiązaniu z chłodzeniem wodnym.

Szesnaście kart węzłów jest monitorowanych i kontrolowanych przez oddzielną kartę administracyjną, zwaną kartą główną. Dodatkowa karta administracyjna na szafę, zwana kartą superroot, służy do monitorowania i sterowania zasilaczami. Karty root i superroot są również używane do synchronizacji węzłów obliczeniowych.

Karta węzła

Sercem QPACE jest wielordzeniowy procesor IBM PowerXCell 8i . Każda karta węzła zawiera jeden PowerXCell 8i, 4 GB pamięci DDR2 SDRAM z ECC , jeden układ FPGA Xilinx Virtex-5 i siedem sieciowych transceiverów . Pojedynczy 1 Gigabit Ethernet łączy kartę węzła z siecią I/O. Sześć 10-gigabitowych transceiverów służy do przekazywania wiadomości między sąsiednimi węzłami w trójwymiarowej toroidalnej siatce .

Koprocesor sieciowy QPACE jest zaimplementowany na układzie FPGA Xilinx Virtex-5, który jest bezpośrednio podłączony do interfejsu I/O PowerXCell 8i. Funkcjonalne zachowanie FPGA jest definiowane przez język opisu sprzętu i może być zmienione w dowolnym momencie kosztem ponownego uruchomienia karty węzła. Większość jednostek koprocesora sieciowego QPACE jest zakodowana w języku VHDL .

Sieci

Koprocesor sieciowy QPACE łączy PowerXCell 8i z trzema sieciami komunikacyjnymi:

• Sieć torusowa to szybka ścieżka komunikacyjna, która umożliwia komunikację z najbliższym sąsiadem w trójwymiarowej siatce toroidalnej . Sieć torusowa opiera się na warstwie fizycznej 10 Gigabit Ethernet , podczas gdy do przekazywania wiadomości używany jest specjalnie zaprojektowany protokół komunikacyjny zoptymalizowany pod kątem małych rozmiarów wiadomości. Unikalną cechą projektu sieci torus jest obsługa bez kopiowania między prywatnymi obszarami pamięci, zwanymi magazynami lokalnymi, elementów przetwarzania synergicznego (SPE) poprzez bezpośredni dostęp do pamięci . Opóźnienie komunikacji między dwoma SPE na sąsiednich węzłach wynosi 3 μs. Szczytowa przepustowość łącza i kierunku wynosi około 1 GB/s.
• Switched 1 Gigabit Ethernet jest używany do operacji we/wy plików i konserwacji.
• Globalna sieć sygnałów jest prostym systemem 2-przewodowym zorganizowanym jako sieć drzewiasta. Ta sieć służy do oceny warunków globalnych i synchronizacji węzłów.

Chłodzenie

Węzły obliczeniowe superkomputera QPACE są chłodzone wodą. Około 115 watów musi zostać rozproszone z każdej karty węzła. Rozwiązanie chłodzące oparte jest na konstrukcji dwukomponentowej. Każda karta węzła jest zamontowana w skrzynce termicznej, która działa jak duży radiator dla komponentów o krytycznym znaczeniu dla ciepła. Skrzynka termiczna łączy się z płytą chłodzącą, która jest podłączona do obwodu chłodzenia wodą. Wydajność płyty chłodzącej pozwala na odprowadzenie ciepła nawet z 32 węzłów. Karty węzłowe są montowane po obu stronach zimnej płyty, tj. każdy po 16 węzłów jest montowanych na górze i na dole zimnej płyty. Wydajność rozwiązania chłodzącego pozwala na chłodzenie węzłów obliczeniowych ciepłą wodą. Rozwiązanie chłodzące QPACE wpłynęło również na inne projekty superkomputerów, takie jak SuperMUC .

Instalacje

Od 2009 roku działają dwie identyczne instalacje QPACE z czterema szafami:

• Centrum Badawcze Jülich
• Uniwersytet w Wuppertalu

Łączna wydajność szczytowa wynosi około 200 TFLOPS w trybie podwójnej precyzji i 400 TFLOPS w trybie pojedynczej precyzji. Instalacje są obsługiwane przez Uniwersytet w Regensburgu , Centrum Badawcze Jülich i Uniwersytet w Wuppertalu .

Zobacz też

• QPACE2 , kontynuacja projektu QPACE
• Superkomputer
• Komórka (mikroprocesor)
• Interkonekt Torus
• FPGA
• Krata QCD