Prometheus i Ares na liście TOP500 - najszybszych superkomputerów świata

Prometheus – szybki i energooszczędny

Pracujący w ACK Cyfronet AGH Prometheus od momentu uruchomienia w 2015 pozostaje nadal na liście TOP500 najszybszych superkomputerów świata. Pozycję tę zapewnia mu moc obliczeniowa 2,65 PFlops (PetaFlops), której osiągnięcie było możliwe przede wszystkim dzięki użyciu wydajnych serwerów platformy HP Apollo8000 i połączeniu ich superszybką siecią InfiniBand o przepustowości 56 Gb/s. Superkomputer posiada 53.748 rdzeni obliczeniowych (energooszczędnych i wydajnych procesorów Intel Haswell oraz Intel Skylake) oraz 283,5 TB pamięci operacyjnej w technologii DDR4. Do Prometheusa dołączone są dwa systemy plików o łącznej pojemności 10 PB i szybkości dostępu 180 GB/s. Wyposażony jest również w karty NVIDIA Tesla z procesorami graficznymi GPGPU. Prometheus został zbudowany przez firmę Hewlett-Packard zgodnie z założeniami opracowanymi przez ekspertów Cyfronetu.

Prometheusa wyróżnia nowatorski system chłodzenia cieczą. Dzięki wykorzystanej technologii jest jednym z najbardziej energooszczędnych superkomputerów tej klasy na świecie. Dla utrzymania odpowiedniej temperatury cieczy chłodzącej w naszym klimacie wystarczają tańsze w eksploatacji wymienniki ciepła (ang. dry-cooler), zamiast konsumujących duże ilości energii elektrycznej generatorów wody lodowej oraz klasycznych klimatyzatorów technologicznych. Cieczą chłodzone są zarówno procesory CPU, GPGPU jak i moduły pamięci przy pomocy specjalnego hermetycznego systemu rurek cieplnych (ang. heat pipes) i stykowego przekazu ciepła pomiędzy serwerami i układem, w którym krąży ciecz. Same serwery pozostają „suche" – można je w każdej chwili wyjąć bez niebezpieczeństwa wycieku cieczy w układzie chłodzenia. Chłodzenie cieczą umożliwiło osiągnięcie bardzo wysokiej gęstości instalacji – aż 144. serwerów obliczeniowych w pojedynczej szafie.

Efektywność energetyczna Prometheusa dorównuje systemom największych centrów danych na świecie, takich jak Google, Amazon czy Facebook. Co więcej, chłodzenie cieczą umożliwia ekstremalnie wysoką gęstość instalacji, dzięki czemu ważąca ponad 40 ton część obliczeniowa zajmuje powierzchnię tylko 18 m² i mieści się zaledwie w 20 szafach. By osiągnąć analogiczne moce obliczeniowe, poprzednik Prometheusa, Zeus, musiałby zajmować aż 160 szaf. Poprzednikiem Zeusa był umieszczony w 8 szafach Baribal o mocy obliczeniowej 1,5 TFlops (TeraFlops) – Prometheus zbudowany w tamtej technologii zajmowałby ponad 12 000 szaf! – podkreśla Dyrektor Cyfronetu, prof. Kazimierz Wiatr.

Architektura superkomputera Prometheus odpowiada na zróżnicowane potrzeby naukowców dostarczając zasobów zorganizowanych w partycjach:

• klasycznych serwerów obliczeniowych, z wysoko wydajnymi procesorami Intel Xeon Haswell i Intel Xeon Gold,
• zestawu serwerów z procesorami graficznymi NVIDIA K40 XL,
• partycji akceleracyjnej z kartami GPGPU NVIDIA K80 oraz akceleratorami Intel Xeon Phi i Nallatech FPGA,
• partycji dedykowanej dla obliczeń związanych ze sztuczną inteligencją, wyposażonej w akceleratory graficzne GPGPU NVIDIA Tesla V100.

Prometheus został zainstalowany w nowoczesnej hali komputerowej Cyfronetu, specjalnie przystosowanej do jego eksploatacji. Prawidłowe funkcjonowanie superkomputera zapewniają ważne elementy infrastruktury technicznej, takie jak system gwarantowanego zasilania z dodatkowym agregatem prądotwórczym oraz nowoczesnymi systemami klimatyzacji technologicznej i gaszenia gazem.

Zeus wsparciem dla Prometheusa

Nieprzerwanie od roku 2008 w Cyfronecie pracuje superkomputer Zeus. Od momentu instalacji był on dwunastokrotnie z rzędu notowany na liście TOP500, w tym czterokrotnie z rzędu z lokatą wśród pierwszych 100. najszybszych superkomputerów świata (najwyżej na 81. pozycji) i dziesięciokrotnie jako najszybszy w Polsce. Po raz ostatni Zeus znalazł się na liście TOP500 w listopadzie 2015 r. na 387. miejscu. Wówczas na tej liście znalazły się aż dwa superkomputery z Cyfronetu. Prometheus zajął wtedy 38. miejsce. Heterogeniczna architektura superkomputera zbudowana z czterech dedykowanych partycji sprzętowych udostępnia 25.468 rdzeni obliczeniowych oraz 204 procesory GPGPU o łącznej mocy obliczeniowej 374 TFlops. Użytkownicy mają do dyspozycji 60 TB pamięci operacyjnej RAM oraz pamięć dyskową o pojemności 2,3 PB. Serwery Zeusa połączone są za pomocą szybkiej sieci Infiniband o przepustowości 40 Gb/s.

Warto podkreślić, że nawet najwyższe lokaty w zestawieniu TOP500, czy też najnowocześniejsze technologie wykorzystane do budowy komputerów dużej mocy, nie oddają w pełni znaczenia tego rodzaju zasobów obliczeniowych dla polskiego środowiska naukowego. O użyteczności superkomputerów udostępnianych przez ACK Cyfronet AGH jako narzędzia prowadzenia prac naukowo-badawczych najlepiej świadczą dane statystyczne dotyczące ich wykorzystywania. W 2020 roku dwa najwydajniejsze superkomputery ACK Cyfronet AGH – Zeus i Prometheus, wykonały 5.696.919 zadań obliczeniowych o łącznym czasie trwania 41.761 lat.

Obliczenia naukowe z różnych dziedzin

Prometheus i Zeus są częścią europejskiej chmurowej i gridowej infrastruktury w ramach Europejskiej Infrastruktury Gridowej (EGI). Jednocześnie, Prometheus i Zeus są ważnymi superkomputerami w ogólnopolskiej infrastrukturze obliczeniowej PLGrid – platformie umożliwiającej prowadzenie badań naukowych in silico i wykonywanie obliczeń na komputerach dużej mocy, także w architekturze chmurowej i gridowej.

Dzięki infrastrukturze PLGrid możliwe jest intensywne wykorzystanie mocy obliczeniowych Prometheusa i Zeusa przez naukowców. Dedykowane środowiska obliczeniowe, tzw. gridy dziedzinowe, oraz specjalistyczne platformy informatyczne umożliwiają efektywną realizację coraz bardziej złożonych problemów obliczeniowych.

Naukowcy prowadzący badania z wykorzystaniem infrastruktury Cyfronetu reprezentują wiele dziedzin. Zaawansowane modelowanie i obliczenia numeryczne są wykorzystywane głównie w zakresie: fizyki, chemii, biologii, medycyny i technologii materiałowej, a także astronomii, geologii, ochrony środowiska. Tematy badawcze dotyczą między innymi: analizy dynamicznej ceramicznych materiałów kompozytowych, modelowania i optymalizacji prototypu energooszczędnego pojazdu napędzanego wodorowym ogniwem paliwowym, symulacji dynamiki molekularnej elektrolitów dla ogniw jonowych czy użycia metod kwantowych do analizy obrazów. Naukowcy prowadzą również badania ekspresji genów u dorszy z Morza Bałtyckiego, badania oddziaływania peptydów fuzyjnych wirusa grypy z błonami lipidowymi, analizy wpływu podziemnego zatłaczania płynów na spadki naprężeń indukowanych wstrząsów sejsmicznych oraz badania procesów mikrofizycznych w plazmie kosmicznej. W ramach infrastruktury PLGrid superkomputery w Cyfronecie są również wykorzystywane na potrzeby fizyki wysokich energii (projekty ATLAS, LHCb, ALICE i CMS), astrofizyków (CTA, LOFAR), nauk o Ziemi (EPOS), europejskiego źródła spalacyjnego (ESS), biologów (WeNMR) i badaczy z dziedziny nauk humanistycznych i społecznych (CLARIN).

Jeszcze lepsze wsparcie obliczeń na potrzeby sztucznej inteligencji

W 2019 roku do Prometheusa dołączono najszybszy w Polsce akademicki system dedykowany dla potrzeb sztucznej inteligencji, dzięki czemu możliwe stało się efektywne łączenie symulacji wielkoskalowych z metodami uczenia maszynowego i prowadzenie badań w tym samym środowisku obliczeniowym i na wspólnych zbiorach danych. System zbudowany jest z serwerów HPE Apollo 6500, z których każdy wyposażony jest w dwa procesory Intel Xeon Gold 5220, osiem akceleratorów NVIDIA Tesla V100 oraz 384 GB pamięci operacyjnej. System posiada moc obliczeniową ponad 4 PFlops dla operacji tensorowych i 256 TFlops dla standardowych obliczeń wykonywanych na liczbach podwójnej precyzji. System służy głównie do badań w zakresie chemii, biologii, medycyny oraz rozwoju algorytmów dla autonomicznych pojazdów.

Superkomputer Prometheus wspomaga naukowców w walce z koronawirusem

Od roku 2020 granty obliczeniowe poświęcone badaniom nad koronawirusem SARS-CoV-2 oraz wywoływaną przez niego chorobą COVID-19 mają pierwszeństwo w kolejce dostępu do zasobów Prometheusa i uzyskują najwyższy priorytet w uruchamianiu. Dotychczas zarejestrowane zespoły badają m.in. przeciwciała obecne w czasie zakażenia, cząsteczki wykazujące potencjalne działanie hamujące infekcję oraz możliwości rozwoju szczepionek. Specjaliści z Cyfronetu udzielają pełnego wsparcia przy uruchomieniu programów. Oprócz przyspieszonej procedury grantowej, naukowcy prowadzący badania korzystają także z priorytetu obsługi zgłoszeń helpdesk. Część mocy obliczeniowej Prometheusa jest udostępniona w ramach partnerstwa europejskiego PRACE do przeprowadzenia pan-europejskiego hackatonu mającego na celu wypracowanie nowych rozwiązań w walce z koronawirusem. Do tych zasobów dostęp mają również badacze z Polski. Cyfronet udostępnia także zasoby w ramach federacji EGI – rozproszonej infrastruktury obliczeniowej, która skupia zasoby ponad 250 jednostek z całego świata. Federacja EGI wspólnie z amerykańską organizacją Open Science Grid (OSG) połączyły siły, by wspierać projekty badawcze dotyczące COVID-19. Dodatkowo za pośrednictwem rozwijanego przez Cyfronet portalu EOSC (European Open Science Cloud) dostępne jest stworzone na Uniwersytecie w Utrechcie narzędzie Haddock, które służy modelowaniu biomolekularnemu. ACK CYFRONET AGH uczestniczy również w projekcie EOSC Synergy, w ramach którego udostępniono zasoby chmury obliczeniowej na rzecz walki z wirusem.

Nowy superkomputer w Cyfronecie - Ares

W roku 2021 został uruchomiony w Cyfronecie superkomputer Ares. Jest on zbudowany z zestawu serwerów obliczeniowych o sumarycznej, teoretycznej wydajności ponad 3,5 PFlops oraz niezbędnego podsystemu dyskowego o pojemności ponad 11 PB. Superkomputer posiada 37.824 rdzenie obliczeniowe (procesory Intel Xeon Platinum) oraz 147,7 TB pamięci operacyjnej. Został też wyposażony w system chłodzenia cieczą oraz w karty GPU. Nowy superkomputer posłuży przede wszystkim do realizacji zadań obliczeniowych określonych w ramach projektu PRACE-LAB.

Wykorzystaj moc superkomputerów w badaniach naukowych

Superkomputery umożliwiają znaczące skrócenie czasu wykonywania obliczeń, które przy użyciu pojedynczych komputerów często zajęłyby wiele lat (w konkretnych rzeczywistych przypadkach ponad 150, 700 czy nawet 1000 lat), a tu mogą być wykonane najczęściej w ciągu zaledwie kilku dni. Użytkownicy Cyfronetu mogą korzystać z profesjonalnego wsparcia – od szkoleń aż po indywidualne konsultacje z ekspertami. Informacje dotyczące korzystania przez naukowców z zasobów Prometheusa i Zeusa znajdują się na http://www.cyfronet.pl i http://www.plgrid.pl. Warto zarejestrować się w Portalu PLGrid http://portal.plgrid.pl i korzystać z wielu udostępnianych unikatowych usług.

Polska na tle Europy i świata

Najszybszym superkomputerem na świecie został ogłoszony Fugaku z Japonii, którego teoretyczna moc obliczeniowa wynosi ponad 537 PFlops. Na liście TOP500 wyraźnie dominują superkomputery z Chin (187 jednostek). Drugie miejsce zajmują USA (122 jednostek).

Państwa europejskie, których superkomputery znalazły się na liście (15 krajów wliczając Rosję), zajęły łącznie 113 lokat. Najszybszy europejski superkomputer to obecnie JUWELS działający w Jülich Supercomputing Centre (JSC) w Niemczech, który uplasował się na 8. pozycji. W pierwszej dziesiątce listy znalazł się również superkomputer z Włoch, HPC5, na 9. miejscu. Wiodącą rolę, jeśli chodzi o liczbę superkomputerów z listy TOP500, zajmują w Europie: Niemcy (23 jednostki), Francja (16 jednostek) i Holandia (16 jednostek).

Oprócz Prometheusa i Aresa, w obecnej edycji listy TOP500 znalazły się również 2 inne superkomputery z Polski. Pełne zestawienie, wraz z wartościami mocy obliczeniowej, przedstawia się następująco:

• 116 – Poznańskie Centrum Superkomputerowo Sieciowe, Altair (5880 TFlops),
• 216 – Akademickie Centrum Komputerowe Cyfronet AGH, Ares (3510 TFlops),
• 360 – Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej PG, Tryton Plus (2824 TFlops),
• 373 – Akademickie Centrum Komputerowe Cyfronet AGH, Prometheus (2349 TFlops).

Fot. A. Frączek, KSAF AGH