Prometheus na 324. miejscu listy TOP500 - najszybszych superkomputerów świata

Prometheus – szybki i energooszczędny

Pracujący w ACK Cyfronet AGH Prometheus od momentu uruchomienia w 2015 pozostaje nadal na liście TOP500 najszybszych superkomputerów świata. Pozycję tę zapewnia mu moc obliczeniowa 2,65 PFlops (PetaFlops), której osiągnięcie było możliwe przede wszystkim dzięki użyciu wydajnych serwerów platformy HP Apollo8000 i połączeniu ich superszybką siecią InfiniBand o przepustowości 56 Gb/s. Superkomputer posiada 53.748 rdzeni obliczeniowych (energooszczędnych i wydajnych procesorów Intel Haswell oraz Intel Skylake) oraz 283,5 TB pamięci operacyjnej w technologii DDR4. Do Prometheusa dołączone są dwa systemy plików o łącznej pojemności 10 PB i szybkości dostępu 180 GB/s. Wyposażony jest również w karty NVIDIA Tesla z procesorami graficznymi GPGPU. Prometheus został zbudowany przez firmę Hewlett-Packard zgodnie z założeniami opracowanymi przez ekspertów Cyfronetu.

Prometheusa wyróżnia nowatorski system chłodzenia cieczą. Dzięki wykorzystanej technologii jest jednym z najbardziej energooszczędnych superkomputerów tej klasy na świecie. Dla utrzymania odpowiedniej temperatury cieczy chłodzącej w naszym klimacie wystarczają tańsze w eksploatacji wymienniki ciepła (ang. dry-cooler), zamiast konsumujących duże ilości energii elektrycznej generatorów wody lodowej oraz klasycznych klimatyzatorów technologicznych. Cieczą chłodzone są zarówno procesory CPU, GPGPU jak i moduły pamięci przy pomocy specjalnego hermetycznego systemu rurek cieplnych (ang. heat pipes) i stykowego przekazu ciepła pomiędzy serwerami i układem, w którym krąży ciecz. Same serwery pozostają „suche" – można je w każdej chwili wyjąć bez niebezpieczeństwa wycieku cieczy w układzie chłodzenia. Chłodzenie cieczą umożliwiło osiągnięcie bardzo wysokiej gęstości instalacji – aż 144. serwerów obliczeniowych w pojedynczej szafie.

Efektywność energetyczna Prometheusa dorównuje systemom największych centrów danych na świecie, takich jak Google, Amazon czy Facebook. Co więcej, chłodzenie cieczą umożliwia ekstremalnie wysoką gęstość instalacji, dzięki czemu ważąca ponad 40 ton część obliczeniowa zajmuje powierzchnię tylko 18 m2 i mieści się zaledwie w 20 szafach. By osiągnąć analogiczne moce obliczeniowe, poprzednik Prometheusa, Zeus, musiałby zajmować aż 160 szaf. Poprzednikiem Zeusa był umieszczony w 8 szafach Baribal o mocy obliczeniowej 1,5 TFlops (TeraFlops) – Prometheus zbudowany w tamtej technologii zajmowałby ponad 12 000 szaf! – podkreśla Dyrektor Cyfronetu, prof. Kazimierz Wiatr.

Architektura superkomputera Prometheus odpowiada na zróżnicowane potrzeby naukowców dostarczając zasobów zorganizowanych w partycjach:
• klasycznych serwerów obliczeniowych, z wysoko wydajnymi procesorami Intel Xeon Haswell i Intel Xeon Gold,
• zestawu serwerów z procesorami graficznymi NVIDIA K40 XL,
• partycji akceleracyjnej z kartami GPGPU NVIDIA K80 oraz akceleratorami Intel Xeon Phi i Nallatech FPGA,
• partycji dedykowanej dla obliczeń związanych ze sztuczną inteligencją, wyposażonej w akceleratory graficzne GPGPU NVIDIA Tesla V100. Warto wspomnieć, że partycja ta stanowi system o mocy obliczeniowej ponad 4 PFlops dla operacji tensorowych i 256 TFlops dla standardowych obliczeń wykonywanych na liczbach podwójnej precyzji, co czyni go najszybszym dedykowanym rozwiązaniem dla sztucznej inteligencji dostępnym dla potrzeb nauki w Polsce.

Prometheus został zainstalowany w nowoczesnej hali komputerowej Cyfronetu, specjalnie przystosowanej do jego eksploatacji. Prawidłowe funkcjonowanie superkomputera zapewniają ważne elementy infrastruktury technicznej, takie jak system gwarantowanego zasilania z dodatkowym agregatem prądotwórczym oraz nowoczesnymi systemami klimatyzacji technologicznej i gaszenia gazem.

Zeus wsparciem dla Prometheusa

Nieprzerwanie od roku 2008 w Cyfronecie pracuje superkomputer Zeus. Od momentu instalacji był on dwunastokrotnie z rzędu notowany na liście TOP500, w tym czterokrotnie z rzędu z lokatą wśród pierwszych 100. najszybszych superkomputerów świata (najwyżej na 81. pozycji) i dziesięciokrotnie jako najszybszy w Polsce. Po raz ostatni Zeus znalazł się na liście TOP500 w listopadzie 2015 r. na 387. miejscu. Wówczas na tej liście znalazły się aż dwa superkomputery z Cyfronetu. Prometheus zajął wtedy 38. miejsce. Heterogeniczna architektura superkomputera zbudowana z czterech dedykowanych partycji sprzętowych udostępnia 25.468 rdzeni obliczeniowych oraz 204 procesory GPGPU o łącznej mocy obliczeniowej 374 TFlops. Użytkownicy mają do dyspozycji 60 TB pamięci operacyjnej RAM oraz pamięć dyskową o pojemności 2,3 PB. Serwery Zeusa połączone są za pomocą szybkiej sieci Infiniband o przepustowości 40 Gb/s.
Warto podkreślić, że nawet najwyższe lokaty w zestawieniu TOP500, czy też najnowocześniejsze technologie wykorzystane do budowy komputerów dużej mocy, nie oddają w pełni znaczenia tego rodzaju zasobów obliczeniowych dla polskiego środowiska naukowego. O użyteczności superkomputerów udostępnianych przez ACK Cyfronet AGH jako narzędzia prowadzenia prac naukowo-badawczych najlepiej świadczą dane statystyczne dotyczące ich wykorzystywania. W 2019 roku dwa najwydajniejsze superkomputery ACK Cyfronet AGH – Zeus i Prometheus, wykonały 4.993.639 zadań obliczeniowych o łącznym czasie trwania 44.027 lat.

Obliczenia naukowe z różnych dziedzin

Prometheus i Zeus są częścią europejskiej chmurowej i gridowej infrastruktury w ramach Europejskiej Infrastruktury Gridowej (EGI). Jednocześnie, Prometheus i Zeus są ważnymi superkomputerami w ogólnopolskiej infrastrukturze obliczeniowej PLGrid – platformie umożliwiającej prowadzenie badań naukowych in silico i wykonywanie obliczeń na komputerach dużej mocy, także w architekturze chmurowej i gridowej.

Dzięki infrastrukturze PLGrid możliwe jest intensywne wykorzystanie mocy obliczeniowych Prometheusa i Zeusa przez naukowców. Dedykowane środowiska obliczeniowe, tzw. gridy dziedzinowe, oraz specjalistyczne platformy informatyczne umożliwiają efektywną realizację coraz bardziej złożonych problemów obliczeniowych.
Naukowcy prowadzący badania z wykorzystaniem infrastruktury Cyfronetu reprezentują wiele dziedzin. Zaawansowane modelowanie i obliczenia numeryczne są wykorzystywane głównie w zakresie: fizyki, chemii, biologii, medycyny i technologii materiałowej, a także astronomii, geologii, ochrony środowiska. Tematy badawcze dotyczą między innymi: modelowania dyspersji zanieczyszczenia, opracowania modelu numerycznego rozchodzenia się ciepła w atmosferze ziemskiej, struktury elektronowej i transportu jonów w materiałach tlenkowych czy nadprzewodnictwa w wybranych układach fizycznych. Naukowcy prowadzą również m.in. badania konformacji wybranych enzymów za pomocą symulacji dynamiki molekularnej, analizy połączeń klejonych w konstrukcjach stalowych, badania balistyki wewnętrznej hybrydowych silników rakietowych oraz badania właściwości elektronowych i transportowych nowych materiałów magnetycznych. Dzięki superkomputerom w Cyfronecie polscy uczeni mogą uczestniczyć w ważnych projektach międzynarodowych, w tym w eksperymentach CTA, LOFAR, EPOS, Wielkiego Zderzacza Hadronów w CERNie oraz niedawno odkrytych fal grawitacyjnych w detektorach LIGO i VIRGO.

Jeszcze lepsze wsparcie obliczeń na potrzeby sztucznej inteligencji

W 2019 roku do Prometheusa dołączono najszybszy w Polsce akademicki system dedykowany dla potrzeb sztucznej inteligencji, dzięki czemu możliwe stało się efektywne łączenie symulacji wielkoskalowych z metodami uczenia maszynowego i prowadzenie badań w tym samym środowisku obliczeniowym i na wspólnych zbiorach danych. System zbudowany jest z czterech serwerów HPE Apollo 6500, z których każdy wyposażony jest w dwa procesory Intel Xeon Gold 5220, osiem akceleratorów NVIDIA Tesla V100 oraz 384 GB pamięci operacyjnej. System posiada moc obliczeniową ponad 4 PFlops (petaflopsów) dla operacji tensorowych i 256 TFlops (TeraFlops) dla standardowych obliczeń wykonywanych na liczbach podwójnej precyzji. System służy do badań w zakresie chemii, biologii, medycyny oraz rozwoju algorytmów dla autonomicznych pojazdów.

Superkomputer Prometheus wspomaga naukowców w walce z koronawirusem

Granty obliczeniowe poświęcone badaniom nad koronawirusem SARS-CoV-2 oraz wywoływaną przez niego chorobą COVID-19 mają pierwszeństwo w kolejce dostępu do zasobów Prometheusa i uzyskują najwyższy priorytet w uruchamianiu. Ponad 53 tysiące rdzeni obliczeniowych zespolonych w jednej maszynie oraz infrastruktura towarzysząca pozwalają na szybkie przetwarzanie dużych ilości danych medycznych, biologicznych i chemicznych. Badane są m.in. przeciwciała obecne w czasie zakażenia, cząsteczki wykazujące potencjalne działanie hamujące infekcję oraz możliwości rozwoju szczepionek. Część mocy obliczeniowej Prometheusa jest udostępniona w ramach partnerstwa europejskiego PRACE do przeprowadzenia pan-europejskiego hackatonu mającego na celu wypracowanie nowych rozwiązań w walce z koronawirusem. Cyfronet udostępnia również zasoby w ramach federacji EGI – rozproszonej infrastruktury obliczeniowej, która skupia zasoby ponad 250 jednostek z całego świata. Federacja EGI wspólnie z amerykańską organizacją Open Science Grid (OSG) połączyły siły, by wspierać projekty badawcze dotyczące COVID-19. Dodatkowo za pośrednictwem rozwijanego przez Cyfronet portalu EOSC (European Open Science Cloud) dostępne jest stworzone na Uniwersytecie w Utrechcie narzędzie Haddock, które służy modelowaniu biomolekularnemu. ACK CYFRONET AGH uczestniczy również w projekcie EOSC Synergy, w ramach którego udostępniono zasoby chmury obliczeniowej na rzecz walki z wirusem.

Wykorzystaj moc superkomputerów w badaniach naukowych

Superkomputery umożliwiają znaczące skrócenie czasu wykonywania obliczeń, które przy użyciu pojedynczych komputerów często zajęłyby wiele lat (w konkretnych rzeczywistych przypadkach ponad 150, 700 czy nawet 1000 lat), a tu mogą być wykonane najczęściej w ciągu zaledwie kilku dni. Użytkownicy Cyfronetu mogą korzystać z profesjonalnego wsparcia – od dostępu do pełnej dokumentacji, poprzez szkolenia, aż po indywidualne konsultacje z ekspertami. Informacje dotyczące korzystania przez naukowców z zasobów Prometheusa i Zeusa znajdują się na http://www.cyfronet.pl i http://www.plgrid.pl. Warto zarejestrować się w Portalu PLGrid http://portal.plgrid.pl i korzystać z wielu udostępnianych unikatowych usług.

Polska na tle Europy i świata

Najszybszym superkomputerem na świecie został ogłoszony Fugaku z Japonii, którego teoretyczna moc obliczeniowa wynosi ponad 442 PFlops. Na liście TOP500 wyraźnie dominują superkomputery z Chin (212 jednostek). Drugie miejsce zajmują USA (113 jednostek).
Państwa europejskie, których superkomputery znalazły się na liście (15 krajów wliczając Rosję), zajęły łącznie 101 lokat. Najszybszy europejski superkomputer to obecnie JUWELS działający w Jülich Supercomputing Centre (JSC) w Niemczech, który uplasował się na 7. pozycji. W pierwszej dziesiątce listy znalazł się również superkomputer z Włoch, HPC5, na 8. miejscu. Wiodącą rolę, jeśli chodzi o liczbę superkomputerów z listy TOP500, zajmują w Europie: Niemcy (19 jednostek), Francja (18 jednostek) i Holandia (15 jednostek).

Obok Prometheus'a na listopadowej liście TOP 500 znalazł się superkomputer Eagle II z Poznańskiego Centrum Superkomputerowo-Sieciowego, który zajął 85 pozycję z teoretyczną mocą obliczeniową 5,9 PFlosów.

Fot. A. Frączek, KSAF AGH