Cyfronet – po raz pierwszy 3 superkomputery z jednego polskiego centrum obliczeniowego na liście TOP500 najszybszych superkomputerów świata

Athena jest obecnie najszybszym superkomputerem w Polsce i zajmuje 105 pozycję. Ponadto 3 superkomputery Cyfronetu znalazły się na liście Green500 - najbardziej ekologicznych superkomputerów, w tym Athena w pierwszej dziesiątce Green500 na pozycji 9.

Athena - najszybszy superkomputer w Polsce

Athena osiąga teoretyczną moc obliczeniową ponad 7,7 PetaFlopsów (7709 TeraFlopsów), co zapewniło maszynie zajęcie 105 miejsca na czerwcowej liście TOP500 oraz sprawia, że jest to obecnie najszybszy superkomputer w Polsce. Zainstalowany w 2021 roku w Cyfronecie system ma dostarczyć polskiemu środowisku naukowemu i gospodarce najnowocześniejszych zasobów obliczeniowych opartych o procesory i akceleratory GPGPU najnowszej generacji wraz z niezbędnym podsystemem składowania danych opartym o bardzo szybkie pamięci flash. Konfiguracja Atheny obejmuje: 48 serwerów z procesorami AMD EPYC i 1 TB pamięci RAM (w sumie 6144 rdzenie obliczeniowe CPU) oraz 384 karty GPGPU NVIDIA A100.

Niezbędnym elementem umożliwiającym wykorzystanie tak dużej mocy obliczeniowej w efektywny sposób jest zapewnienie wysokowydajnej sieci wewnętrznej superkomputera (Infiniband HDR o przepustowości 4 x 200 Gb/s na serwer) oraz bardzo szybkiego podsystemu dyskowego. Jest on zbudowany w oparciu o otwarte oprogramowanie Lustre, używane również w systemach dyskowych superkomputerów Prometheus i Zeus, oraz dedykowane serwery dyskowe wyposażone w pamięci flash w standardzie NVMe. System został zainstalowany w istniejącym centrum danych Cyfronetu oraz zintegrowany z infrastrukturą PLGrid.

Tego typu infrastruktura wychodzi naprzeciw potrzebom użytkowników superkomputerów Cyfronetu, którzy wykorzystują infrastrukturę obliczeniową zarówno do wykonywania standardowych wysokowydajnych symulacji naukowych (HPC), jak i do aplikowania metod sztucznej inteligencji (AI) i uczenia maszynowego (ML) w badaniach z zakresu medycyny, farmakologii, biologii, chemii, fizyki oraz wielu innych dziedzin nauki. Moc obliczeniowa Atheny dla obliczeń AI to prawie 240 PetaFlopsów!

Spodziewanym efektem dostarczenia specjalizowanych zasobów obliczeniowych Atheny będzie poszerzenie zakresu prowadzonych prac badawczych, możliwość podejmowania zaawansowanych symulacji i analiz oraz zwiększenie możliwości przetwarzania spływających w sposób ciągły danych z laboratoriów z całego świata. Bezpośrednim spodziewanym efektem prowadzonych prac będą artykuły i opracowania naukowe, patenty, a w dalszej perspektywie nowatorskie rozwiązania, które mogą być podstawą dla powstawania nowych rozwiązań w gospodarce.

Superkomputer Athena

Ares – nowa postać na polskiej arenie naukowej

Sumaryczna, teoretyczna wydajność części CPU Aresa to ponad 3,5 PetaFlopsów (3510 TeraFlopsów), a części GPU to ponad 500 TFlops. Aresa wspomaga również system dyskowy o pojemności ponad 11 PB. Do przesyłania danych używana jest sieć typu InfiniBand EDR. Superkomputer posiada 37 824 rdzenie obliczeniowe oraz 147,7 TB pamięci RAM. Na czerwcowej liście TOP500 Ares zajął pozycję nr 290.

Uruchomiony w 2021 roku superkomputer Ares jest zbudowany z serwerów obliczeniowych z procesorami firmy Intel (model Xeon Platinum), podzielonych na trzy partycje:

• 532 serwery wyposażone w 192 GB pamięci RAM,
• 256 serwerów wyposażonych w 384 GB pamięci RAM,
• 9 serwerów, każdy posiadający 8 kart NVIDIA Tesla V100.

Ares uzupełnił zasoby obliczeniowe Cyfronetu o procesory nowszej generacji oraz z wykorzystaniem serwerów z większą ilością dostępnej pamięci. Jego udostępnienie skróciło czas obliczeń zadań naukowych oraz umożliwiło analizę problemów, które do tej pory nie mogły być uruchamiane w dużej skali ze względu na niewystarczającą ilość pamięci na dostępnych wcześniej zasobach. Dodatkowo, umiejscowienie Aresa w Zapasowym Centrum Danych w innej geograficznie lokalizacji niż Prometheus gwarantuje zachowanie ciągłości świadczenia usług obliczeniowych w przypadku nagłych zdarzeń losowych. Zakup Aresa został sfinansowany w ramach projektu PRACE-LAB.

Superkomputer Ares

Prometheus – szybki i energooszczędny

Pracujący w ACK Cyfronet AGH Prometheus od momentu uruchomienia w 2015 roku, jest niezmiennie notowany na liście TOP500 najszybszych superkomputerów świata. W najnowszej edycji zajął 475 lokatę. Pozycję tę zapewnia mu moc obliczeniowa ponad 2,3 PetaFlopsów (2349 TeraFlopsów), której osiągnięcie było możliwe przede wszystkim dzięki użyciu wydajnych serwerów platformy HP Apollo8000 i połączeniu ich superszybką siecią InfiniBand o przepustowości 56 Gb/s. Superkomputer posiada 53 748 rdzeni obliczeniowych (energooszczędnych i wydajnych procesorów Intel Haswell oraz Intel Skylake) oraz 283,5 TB pamięci operacyjnej w technologii DDR4. Serwery obliczeniowe klastra chłodzone są bezpośrednio cieczą co zapewnia wysoką energooszczędność. Do Prometheusa dołączone są dwa systemy plików o łącznej pojemności 10 PB i szybkości dostępu 180 GB/s. Wyposażony jest również w karty NVIDIA Tesla z procesorami graficznymi GPGPU.

Architektura superkomputera Prometheus odpowiada na zróżnicowane potrzeby naukowców dostarczając zasobów zorganizowanych w partycjach:

• klasycznych serwerów obliczeniowych, z wysoko wydajnymi procesorami Intel Xeon Haswell i Intel Xeon Gold,
• zestawu serwerów z procesorami graficznymi NVIDIA K40 XL,
• partycji akceleracyjnej z kartami GPGPU NVIDIA K80 oraz akceleratorami Intel Xeon Phi i Nallatech FPGA,
• partycji dedykowanej dla obliczeń związanych ze sztuczną inteligencją, wyposażonej w akceleratory graficzne GPGPU NVIDIA Tesla V100.

Superkomputer Prometheus, fot. A. Frączek, KSAF AGH

Wszystkie superkomputery zostały zainstalowane w nowoczesnych halach komputerowych Cyfronetu, specjalnie przystosowanych do eksploatacji takich maszyn. Prawidłowe funkcjonowanie superkomputerów zapewniają ważne elementy infrastruktury technicznej, takie jak system gwarantowanego zasilania z dodatkowym agregatem prądotwórczym oraz nowoczesnymi systemami klimatyzacji technologicznej i gaszenia gazem.

Certyfikaty potwierdzające miejsca na TOP500:
-Athena  -Ares  -Prometheus

Czołówka światowej wydajności energetycznej

Równolegle do ogłoszenia listy TOP500 superkomputerów o największej mocy obliczeniowej publikowana jest lista Green500 superkomputerów najbardziej ekologicznych czyli o najwyższej wydajności energetycznej, obliczanej jako współczynnik ilości operacji zmiennoprzecinkowych na sekundę (mocy obliczeniowej superkomputera) do poboru energii: Gflops/W. Szczególnym sukcesem jest zajęcie przez Athenę 9 miejsca na liście Green500 najbardziej efektywnych energetycznie superkomputerów świata. Ta pozycja świadczy o doskonałym stosunku udostępnianej mocy obliczeniowej do poboru energii elektrycznej. Na liście Green500 nie zabrakło też Aresa i Prometheusa. Ares znalazł się w pierwszej setce, na 83 miejscu, natomiast Prometheus zajął 162 miejsce. Oba te systemy chłodzone są bezpośrednio cieczą co ułatwiło uzyskanie tak wysokiej energooszczędności.

Certyfikaty potwierdzające miejsca na liście Green500:
-Athena  -Ares  -Prometheus

Obliczenia naukowe z różnych dziedzin

Naukowcy prowadzący badania z wykorzystaniem infrastruktury Cyfronetu reprezentują wiele dziedzin. Zaawansowane modelowanie i obliczenia numeryczne są wykorzystywane głównie w zakresie: fizyki, chemii, biologii, medycyny i technologii materiałowej, a także astronomii, geologii, ochrony środowiska. Tematy badawcze dotyczą między innymi: analizy dynamicznej ceramicznych materiałów kompozytowych, modelowania i optymalizacji prototypu energooszczędnego pojazdu napędzanego wodorowym ogniwem paliwowym, symulacji dynamiki molekularnej elektrolitów dla ogniw jonowych czy użycia metod kwantowych do analizy obrazów. Naukowcy prowadzą również badania ekspresji genów u dorszy z Morza Bałtyckiego, badania oddziaływania peptydów fuzyjnych wirusa grypy z błonami lipidowymi, analizy wpływu podziemnego zatłaczania płynów na spadki naprężeń indukowanych wstrząsów sejsmicznych oraz badania procesów mikrofizycznych w plazmie kosmicznej. Superkomputery w Cyfronecie dostępne w ramach infrastruktury PLGrid są również wykorzystywane na potrzeby fizyki wysokich energii (projekty ATLAS, LHCb, ALICE i CMS), astrofizyków (CTA, LOFAR), nauk o Ziemi (EPOS), europejskiego źródła spalacyjnego (ESS), biologów (WeNMR) i badaczy z dziedziny nauk humanistycznych i społecznych (CLARIN).

Polska na tle Europy i świata

Najszybszym superkomputerem na świecie został ogłoszony Frontier, zainstalowany w Oak Ridge National Laboratory (ORNL) w USA. Frontier to pierwszy superkomputer, który przekroczył barierę 1 eksaflopa (10¹⁸) operacji zmiennoprzecinkowych na sekundę, a jego teoretyczna moc obliczeniowa to 1685,65 PFlops (1,69 EFlops).

Z kolei najszybszym superkomputerem europejskim został superkomputer LUMI zbudowany dzięki współpracy 10 państw europejskich, w tym Polski. Na czerwcowej liście TOP500 LUMI znalazł się na 3 miejscu i to nawet pomimo tego, że partycja GPU nie została jeszcze w pełni zainstalowana. Obecna teoretyczna moc obliczeniowa superkomputera to 537 PFlops. Polscy naukowcy mogą uzyskać dostęp do superkomputera za pośrednictwem Infrastruktury PLGrid. Działania w tym zakresie są koordynowane przez ACK Cyfronet AGH. Więcej informacji na ten temat na stronie: https://cyfronet.pl/lumi.

Polskie superkomputery na liście TOP500

Oprócz Atheny, Aresa i Prometheusa, w obecnej edycji listy TOP500 znalazły się również 2 inne superkomputery z Polski. Pełne zestawienie zajętych miejsc wraz z wartościami mocy obliczeniowej przedstawia się następująco:

• 105 – Akademickie Centrum Komputerowe Cyfronet AGH, Athena (7709 TFlops),
• 145 – Poznańskie Centrum Superkomputerowo Sieciowe, Altair (5880 TFlops),
• 290 – Akademickie Centrum Komputerowe Cyfronet AGH, Ares (3510 TFlops),
• 462 – Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej PG, Tryton Plus (2824 TFlops),
• 475 - Akademickie Centrum Komputerowe Cyfronet AGH, Prometheus (2349 TFlops).

Wykorzystaj moc superkomputerów w badaniach naukowych

Superkomputery umożliwiają znaczące skrócenie czasu wykonywania obliczeń, które przy użyciu pojedynczych komputerów często zajęłyby wiele lat (w konkretnych rzeczywistych przypadkach ponad 150, 700 czy nawet 1000 lat), a tu mogą być wykonane najczęściej w ciągu zaledwie kilku godzin, a dla wielkich zadań kilku dni. Użytkownicy Cyfronetu korzystają z profesjonalnego wsparcia – od szkoleń aż po indywidualne konsultacje z ekspertami. Informacje dotyczące zasobów Cyfronetu i podejmowanych działaniach są dostępne na stronie https://cyfronet.pl, natomiast spis usług w ramach Infrastruktury PLGrid znajduje się w Katalogu Aplikacji. Serdecznie zapraszamy do rejestracji w Portalu PLGrid i korzystania z wielu unikatowych usług.