Разработка технологии построения бенчмарков на основе реализации алгоритмов в энциклопедии AlgoWiki (Проект математического центра)

Краткое описание проекта

Данный проект посвящен созданию технологии, которая послужит связывающим звеном между описаниями реализаций алгоритмов в энциклопедии AlgoWiki и формируемой системой рейтингов. Для составления рейтинга по реализации алгоритма нужно собрать данные по результатам её прогонов на различных высокопроизводительных вычислительных системах. Для того чтобы эти прогоны могли выполняться разными пользователями, а результаты их оказывались сопоставимы, требуется с реализацией алгоритма сделать ряд стандартизованных действий, в результате чего получится объект, который принято называть бенчмарком.

На первом этапе проекта выполнен обзор существующих бенчмарков, в первую очередь, предназначенных для тестирования высокопроизводительных вычислительных систем. Проанализированы наиболее известные бенчмарки, такие как Linpack, Graph500, HPCG, Stream, NAS Parallel Benchmarks, HPCChallenge и другие. Проведена классификация существующих бенчмарков. Выделены ключевые особенности современных бенчмарков, на основе которых сформулированы требования, которым должна удовлетворить реализация алгоритма, для того, чтобы стать бенчмарком. Подробно рассмотрено, каким образом в наиболее известных бенчмарках для высокопроизводительных вычислительных систем реализованы выделенные ключевые особенности.

На основе проведённого анализа разработана технология построения бенчмарков, базирующихся на произвольных реализациях алгоритмов. Данная технология содержит ряд формальных шагов, которые рекомендовано сделать пользователю для получения нового бенчмарка на базе существующей реализации алгоритма. Полученный в результате бенчмарк должен максимально удовлетворять требованиям, сформулированным на первом этапе.

Апробация разработанной технологии проведена на базе реализаций двух алгоритмов из энциклопедии AlgoWiki. Рассмотрены реализации алгоритмов разложения Холецкого и простого алгоритма Кули-Тьюки быстрого преобразования Фурье для степеней двойки. Данная технология рекомендуется как базовый связующий элемент между описаниями из AlgoWiki и разрабатываемой системой рейтингов.

Перечень публикаций, подготовленных при поддержке проекта (2020 г.):

Опубликованы: 

1. M Grigorieva, E Tretyakov, A Klimentov, D Golubkov, T Korchuganova, A Alekseev, A Artamonov and T Galkin. High Energy Physics Data Popularity: ATLAS Datasets Popularity Case Study // Proceedings of the 2020 Ivannikov Memorial Workshop (IVMEM) IVMEM 2020, IEEE Computer Society, p. 28-34.

Приняты к печати: 

1. Alexander Antonov, Vladimir Voevodin. The Algorithms Properties and Structure Study as a Mandatory Element of Modern IT Education // Communications in Computer and Information Science. (WoS, Scopus)

2. Dmitry Nikitenko, Alexander Antonov, Artem Zheltkov, Vladimir Voevodin. Describing HPC System Architecture for Understanding its Capabilities // Communications in Computer and Information Science. (WoS, Scopus)

3. Galkin T., Grigorieva M. Parallel Coordinates Visualization in the ELK Stack // CEUR Workshop Proceedings (Scopus) 

4. A Di Girolamo, F Legger, P Paparrigopoulos, A Klimentov, J Schovancová, V Kuznetsov, M Lassnig, L Clissa, L Rinaldi, M Sharma, H Bakhshiansohi, M Zvada, D Bonacorsi, S R Tisbeni, L Giommi, L Decker de Sousa, T Diotalevi, M Grigorieva, and S Padolski. Operational Intelligence for Distributed Computing Systems for Exascale Science // EPJ Web of Conferences (Scopus)