Artykuł oparty na wynikach badań na zasobach Cyfronetu został przyjęty na SC’22 w Dallas, USA
W listopadzie, podczas The International Conference for High Performance Computing, Networking, Storage, and Analysis (SC'22) – jednego z kluczowych spotkań środowiska superkomputerowego, zostanie zaprezentowany artykuł zespołu złożonego między innymi z pracowników Cyfronetu
Optymalizacja wykorzystania dużych zasobów obliczeniowych, takich jak pracujący w Cyfronecie Prometheus, wymaga dużego doświadczenia zespołu zarządzającego systemami kolejkowania i wykonywania poszczególnych zadań obliczeniowych. Jednak mimo stałego obciążenia ponad 99% rdzeni maszyny, ułamek ich procenta pozostaje krótkotrwale w trybie bezczynności. Wynika to z dużych, nieelastycznych zadań obliczeniowych, pozostawiających pomiędzy sobą czas na zadania w skali mikro, czyli niezwykle trudny do zagospodarowania, kiedy w rachubę wchodzi równoległe działanie na tysiącach rdzeni.
Jak odzyskać ten czas i dodatkowo jeszcze bardziej zwiększyć efektywność działania superkomputera? To pytanie zadawał sobie zespół, w skład którego weszli: Bartłomiej Przybylski (UW), Maciej Pawlik (AGH, Cyfronet), Paweł Żuk (UW), Bartłomiej Łagosz (AGH), Maciej Malawski (AGH, Cyfronet, Sano), oraz Krzysztof Rządca (UW).
Połączenie naukowej wytrwałości z wysokiej klasy umiejętnościami technicznymi zespołu pozwoliły na opracowanie dynamicznego środowiska FaaS (Function-as-a-Service), łączącego wykorzystanie innowacyjnej chmurowej technologii bezserwerowej, z infrastrukturą klastra HPC. Efektem ponad rocznych badań i testów wykonanych na infrastrukturze działającego w Cyfronecie Prometheusa było odzyskanie niemal 90% czasu obliczeniowego, który w innej sytuacji pozostałby niewykorzystany. Co ważne, efekt jest możliwy do podtrzymania przez satysfakcjonującą ilość czasu, a sam proces ma minimalny wpływ na wykonywanie standardowych zadań.
Wyniki zostaną zaprezentowane na konferencji SC’22 w postaci artykułu "Using Unused: Non-Invasive Dynamic FaaS Infrastructure with HPC-Whisk".
Serdecznie gratulujemy zespołowi, zarówno sukcesu badawczego, jak i przyjęcia na prestiżową konferencję!