Komputery

Do głównych zadań ACK CYFRONET AGH należy udostępnianie środowisku naukowemu coraz to większych mocy obliczeniowych, zasobów dyskowych i taśmowych oraz specjalistycznego oprogramowania. Ze względu na postęp technologiczny w budowie podzespołów i samych komputerów, "park maszynowy" Centrum zmienia się szybko. Każdego roku dokupowane są nowe komputery lub rozbudowywane już istniejące, a niektóre z nich są z oczywistych powodów wycofywane z eksploatacji. Lista aktualnie zainstalowanych komputerów dużej mocy obliczeniowej, wraz z opisem ich parametrów oraz zainstalowanego oprogramowania, znajduje się na stronie Komputerów Dużej Mocy.

ACK CYFRONET AGH, kształtując politykę rozwoju posiadanych zasobów, uwzględnia szeroki zakres potrzeb użytkowników naukowych, związanych nie tylko z ilością mocy obliczeniowej, ale również z architekturą zasobów KDM, optymalnie dostosowaną do specyficznych wymagań danego obszaru badawczego. Takie podejście przełożyło się w praktyce na udostępnienie użytkownikom uniwersalnej platformy obliczeniowej – klastra Zeus, złożonego z kilku głównych grup zasobów obliczeniowych:

• klasycznego klastra obliczeniowego,
• zestawu serwerów wyposażonych w akceleratory graficzne GPGPU,
• klastra złożonego z „grubych" węzłów, wyposażonych w 4 wielordzeniowe procesory i dużą pamięć RAM,
• układów rekonfigurowalnych FPGA Virtex 6.

Zeus przez kilka lat był najmocniejszym komputerem w Polsce i zajmował wysokie miejsce na światowej liście superkomputerów TOP500.

Ale w dniu 27 kwietnia 2015 r. w Cyfronecie został oddany do eksploatacji jeszcze potężniejszy komputer - Prometheus. Ponad czterokrotnie mocniejszy od Zeusa! To model Apollo 8000 firmy HP, pod wieloma względami bardzo nowatorski. Prócz potężnej mocy obliczeniowej - ok. 1.7 PFlops, 216 TB RAM DDR4, dużej przestrzeni dyskowej 10 PB o ogromnej szybkości dostępu 180 GB/s, dużym upakowaniu - 1728 serwerów w 15 szafach o typowych rozmiarach, połączonych szybką siecią InfiniBand, komputer ten wyróżnia się bardzo nowatorskim i oszczędnym systemem chłodzenia wodnego. Wodą chłodzone są zarówno procesory jak i pamięci przy pomocy specjalnego hermetycznego systemu rurek cieplnych (heat pipes) i stykowego przekazu ciepła pomiędzy serwerami i układem, w którym krąży woda. Same serwery pozostają "suche" - można je w każdej chwili wyciągnąć, niegroźny im jest ewentualny wyciek w układzie chłodzenia. Całość waży ponad 30 ton.

W październiku 2015 r. Prometheus powiększył się o dodatkowe 5 szaf. W sumie, po rozszerzeniu, zawiera on 2239 serwerów. Prometheus jest również wyposażony w 144 karty NVIDIA z procesorami graficznymi GPGPU Tesla K40 XL oraz w 32 karty NVIDIA Tesla V100. Całkowita moc obliczeniowa komputera wynosi teraz 2.65 PFlops. Prometheus znalazł się na 39. miejscu w edycji listy TOP500 w listopadzie 2015 r. To najwyższe w historii tej listy miejsce polskiego komputera.

W 2021 roku został uruchomiony superkomputer Ares. Sumaryczna, teoretyczna wydajność części CPU Aresa to ponad 3,5 PetaFlops (3510 TeraFlops), a części GPU to ponad 500 TFlops. Aresa wspomaga również system dyskowy o pojemności ponad 11 PB. Do przesyłania danych używana jest sieć typu InfiniBand EDR. Superkomputer posiada 37 824 rdzenie obliczeniowe oraz 147,7 TB pamięci RAM. Ares jest zbudowany z serwerów obliczeniowych z procesorami firmy Intel (model Xeon Platinum), podzielonych na trzy partycje:

• 532 serwery wyposażone w 192 GB pamięci RAM,
• 256 serwerów wyposażonych w 384 GB pamięci RAM,
• 9 serwerów, każdy posiadający 8 kart NVIDIA Tesla V100.

Ares uzupełnił zasoby obliczeniowe Cyfronetu o procesory nowszej generacji oraz serwery z większą ilością dostępnej pamięci. Jego udostępnienie skróciło czas obliczeń zadań naukowych oraz umożliwiło analizę problemów, które do tej pory nie mogły być uruchamiane w dużej skali ze względu na niewystarczającą ilość pamięci na dostępnych wcześniej zasobach. Dodatkowo, umiejscowienie Aresa w Zapasowym Centrum Danych w innej geograficznie lokalizacji niż Prometheus gwarantuje zachowanie ciągłości świadczenia usług obliczeniowych w przypadku nagłych zdarzeń losowych.

Athena, zainstalowana w 2021 roku w Cyfronecie, osiąga teoretyczną moc obliczeniową ponad 7,7 PetaFlops (7709 TeraFlops), co zapewniło maszynie zajęcie 105 miejsca na liście TOP500 w czerwcu 2022. Athena ma dostarczyć polskiemu środowisku naukowemu i gospodarce najnowocześniejszych zasobów obliczeniowych opartych o procesory i akceleratory GPGPU najnowszej generacji wraz z niezbędnym podsystemem składowania danych opartym o bardzo szybkie pamięci flash. Konfiguracja Atheny obejmuje: 48 serwerów z procesorami AMD EPYC i 1 TB pamięci RAM (w sumie 6144 rdzenie obliczeniowe CPU) oraz 384 karty GPGPU NVIDIA A100.

Aktualne informacje nt. obecności superkomputerów Cyfronetu na liście TOP500 są tutaj.

Do pracy zdalnej w systemie MS Windows przeznaczony jest klaster Platon U3. Pozostałe komputery w Cyfronecie pracują pod kontrolą systemu Linux.

Wszystkie komputery wyposażone są w szybkie łącza InfiniBand lub 10 GigabitEthernet i posiadają szybki dostęp do dużego systemu składowania danych.

Informacje dla osób zainteresowanych wykorzystaniem komputerów dużej mocy zamieszczono w sekcji "Dla użytkowników" (dostępnej w Menu po lewej stronie).

Obecnie całkowita moc obliczeniowa w Cyfronecie wynosi niemal 15 PFlops, wielkość zasobów dyskowych – ok. 43 PB, a taśmowych – ok. 25 PB.

Kontakt:
Patryk Lasoń
Kierownik Sekcji Komputerów Dużej Mocy
e-mail: p.lason at cyfronet.krakow.pl