Prometheus

Pracujący w ACK Cyfronet AGH Prometheus od momentu uruchomienia w 2015 był 15 razy z rzędu notowany na liście TOP500 najszybszych superkomputerów świata, najwyżej na 38. pozycji. Wysokie lokaty na liście TOP500 zapewniła mu moc obliczeniowa 2,65 PFlops (PetaFlops), której osiągnięcie było możliwe przede wszystkim dzięki użyciu wydajnych serwerów platformy HP Apollo 8000 i połączeniu ich superszybką siecią InfiniBand o przepustowości 56 Gb/s. Superkomputer posiada 53.748 rdzeni obliczeniowych (energooszczędnych i wydajnych procesorów Intel Haswell oraz Intel Skylake) oraz 283,5 TB pamięci operacyjnej w technologii DDR4. Do Prometheusa dołączone są dwa systemy plików o łącznej pojemności 10 PB i szybkości dostępu 180 GB/s. Wyposażony jest również w karty NVIDIA Tesla z procesorami graficznymi GPGPU. Prometheus został zbudowany przez firmę Hewlett-Packard zgodnie z założeniami opracowanymi przez ekspertów Cyfronetu.

Precyzyjnie dobrane komponenty

Architektura superkomputera Prometheus odpowiada na zróżnicowane potrzeby naukowców dostarczając zasobów zorganizowanych w partycjach:

• klasycznej partycji ogólnego przeznaczenia z wydajnymi dwuprocesorowymi węzłami obliczeniowymi (Intel Xeon E5-2680v3 Haswell i Intel Xeon Gold 6128),
• zestawu serwerów wyposażonych w akceleratory graficzne GPGPU NVIDIA Tesla K40 XL,
• partycji akceleracyjnej wyposażonej w zestaw urządzeń uzupełniających konfigurację Prometheusa o kilka rodzajów akceleratorów (m.in.: karty GPGPU – NVIDIA K80, karty Intel Xeon Phi 7120P oraz karty Nallatech z układami FPGA Altera Stratix V: P395-AB2-330A-30 i P395-D8-330A-30),
• partycji dedykowanej dla obliczeń związanych ze sztuczną inteligencją, wyposażonej w akceleratory graficzne GPGPU NVIDIA Tesla V100.

Biorąc pod uwagę rok instalacji, Prometheusa wyróżniał nowatorski system chłodzenia cieczą. Dzięki wykorzystanej technologii Prometheus był wtedy jednym z najbardziej energooszczędnych superkomputerów tej klasy na świecie. Dla utrzymania odpowiedniej temperatury cieczy chłodzącej w naszym klimacie wystarczają tańsze w eksploatacji wymienniki ciepła (ang. dry-cooler), zamiast konsumujących duże ilości energii elektrycznej generatorów wody lodowej oraz klasycznych klimatyzatorów technologicznych. Cieczą chłodzone są zarówno procesory CPU, GPGPU jak i moduły pamięci przy pomocy specjalnego hermetycznego systemu rurek cieplnych (ang. heat pipes) i stykowego przekazu ciepła pomiędzy serwerami i układem, w którym krąży ciecz. Same serwery pozostają „suche" – można je w każdej chwili wyjąć bez niebezpieczeństwa wycieku cieczy w układzie chłodzenia. Chłodzenie cieczą umożliwiło osiągnięcie bardzo wysokiej (porownując do innych maszyn uruchomionych w podobnym czasie) gęstości instalacji – aż 144. serwerów obliczeniowych w pojedynczej szafie.

Prometheus został zainstalowany w nowoczesnej hali komputerowej Cyfronetu, specjalnie przystosowanej do jego eksploatacji. Prawidłowe funkcjonowanie superkomputera zapewniają ważne elementy infrastruktury technicznej, takie jak system gwarantowanego zasilania z dodatkowym agregatem prądotwórczym oraz nowoczesnymi systemami klimatyzacji technologicznej i gaszenia gazem.

Jeszcze lepsze wsparcie obliczeń na potrzeby sztucznej inteligencji

W 2019 roku do Prometheusa dołączono ówcześnie najszybszy w Polsce akademicki system dedykowany dla potrzeb sztucznej inteligencji, dzięki czemu możliwe stało się efektywne łączenie symulacji wielkoskalowych z metodami uczenia maszynowego i prowadzenie badań w tym samym środowisku obliczeniowym i na wspólnych zbiorach danych. System zbudowany jest z czterech serwerów HPE Apollo 6500, z których każdy wyposażony jest w dwa procesory Intel Xeon Gold 5220, osiem akceleratorów NVIDIA Tesla V100 oraz 384 GB pamięci operacyjnej. System posiada moc obliczeniową ponad 4 PFlops (PetaFlopsów) dla operacji tensorowych i 256 TFlops (TeraFlops) dla standardowych obliczeń wykonywanych na liczbach podwójnej precyzji. System służy do badań w zakresie chemii, biologii, medycyny oraz rozwoju algorytmów dla autonomicznych pojazdów

Prometheus jest częścią infrastruktury PLGrid.