Оценка производительности кластерных систем
4.2.3. Тесты НИВЦ МГУ
Важнейшей характеристикой кластерной вычислительной системы, наряду с характеристиками производительности составляющих ее вычислительных узлов, является "производительность" коммуникационной среды, их объединяющей. Поскольку большинство практических задач, требующих для своего решения использования мощных кластеров, использует алгоритмы, предполагающие интенсивные обмены данными, очень часто именно скорость этих обменов является фактором, определяющим производительность всей кластерной системы в целом. Поэтому тестирование производительности коммуникационной среды занимает важное место в общем тестировании и в настоящий момент разработано большое количество тестовых пакетов, такое тестирование осуществляющих. Одним из таких пакетов является набор тестов, разработанных в лаборатории параллельных информационных технологий НИВЦ МГУ (http://www.srcc.msu.su/). Следует отметить, что этот тестовый пакет является высокоуровневым в том смысле, что тестирует производительность операций передачи данных с использованием какой-либо реализации MPI. Таким образом, на результаты тестирования оказывают влияние как собственно физические характеристики среды передачи и параметры всего используемого сетевого оборудования (от сетевых адаптеров до маршрутизаторов), так и настройки всего программного стека сетевых протоколов, а также настройки используемой реализации MPI.
4.2.3.1. История теста
Первые доступные версии теста появились в 1997 г. Текущая версия была опубликована в 2003 г. Пакет является свободно распространяемым, и в виде исходных текстов программ на C доступен для загрузки по адресу http://parallel.ru/ftp/tests/.
4.2.3.2. Решаемая задача
Пакет включает в себя четыре теста:
- transfer - тест латентности и скорости пересылок между двумя узлами,
- nettest - тест пропускной способности сети при сложных обменах по различным логическим топологиям,
- mpitest - тест эффективности основных операций MPI,
- nfstest - тест производительности файл-сервера.
Тест transfer измеряет основные характеристики быстродействия сети - латентность ( latency ) и пропускную способность ( bandwidth ).
Пропускной способностью сети называется количество информации, передаваемой между узлами сети в единицу времени (байт в секунду). Латентностью (задержкой) называется время, затрачиваемое программным обеспечением и устройствами сети на подготовку к передаче информации по данному каналу. Полная латентность складывается из программной и аппаратной составляющих.
Тест измеряет пропускную способность однонаправленных пересылок ("точка-точка", uni-directional bandwidth ), и пропускную способность двунаправленных пересылок ( bi-directional bandwidth ), используя для этого различные функции MPI [4.8].
Тест nettest является тестом коммуникационной производительности при сложных обменах между несколькими узлами в различных логических топологиях ("звезда", "полный граф", "кольцо"). Тест может использоваться для проверки того, как ведет себя сетевое оборудование при пиковых нагрузках, а также для определения пиковой пропускной способности коммутаторов.
Тест mpitest предназначен для тестирования производительности базовых функций MPI. Может быть использован для сравнения различных реализаций MPI, а также для предсказания производительности приложений, использующих соответствующие операции.
Тест nfstest предназначен для тестирования производительности общей файловой системы. Хотя этот тест не является тестом производительности MPI, он использует некоторые возможности MPI, такие как синхронизация ( MPI_Barrier ) и пересылка данных от головного всем процессам ( MPI_Bcast ). Данный тест также может использоваться для проверки корректности функционирования файл-сервера при больших нагрузках.
4.2.3.3. Использование теста
Как уже упоминалось выше, тестовый пакет представляет собой набор исходных текстов программ, реализованных на языке C и makefile для их компиляции, доступный по адресу http://parallel.ru/ftp/tests/. Потребуется также какая-либо реализация MPI.
Ниже представлен результат работы теста transfer,запущенного в режиме localonly для четырех процессов, с параметрами по умолчанию.
Измерены латентность и пропускная способность для блокирующих операций пересылки/приема данных:
--- MPI Performance Test Suite --- Moscow State University 1998-2003 Running MPI Transfer/2 test, 4 processes messages: 0 to 65536, step 1024, unit is 1 bytes; 20 times (fix 0) Process 0 of 4 on host1 Process 1 of 4 on host1 Process 2 of 4 on host1 Process 3 of 4 on host1 Running test: Uni-directional MPI transfer: Blocking Send/Recv (1) Testing transfer between 0 and other processes Checking correctness of message passing Size(b) Transfer (MB/sec) Iteration 0 [0 -- 1] Latency: 142.595 microseconds (at 20 times) [0 -- 2] Latency: 150.843 microseconds (at 20 times) [0 -- 3] Latency: 151.053 microseconds (at 20 times) 1024 5.668 4.47 5.681 2048 9.194 8.991 8.983 3072 11.59 11.28 11.49 4096 13.84 13.22 13.1 5120 12.75 13.88 14.05 6144 13.87 14.37 14.61 7168 14.56 16.12 15.85 8192 16.49 16.82 17.21 9216 15.97 17.28 17.36 10240 17.62 17.43 17.15 11264 18.85 18.24 19.26 12288 16.81 18.36 19.44 13312 18.76 18.66 18.98 14336 20.22 19.8 20.12 15360 20.09 19.6 20.6 16384 20.67 20.22 20.59 17408 21.21 20.6 21.3 18432 20.23 20.01 21.01 19456 21.27 20.41 20.84 20480 19.61 20.92 21.14 21504 21.88 20.8 21.42 22528 20.45 21.04 19.75 23552 21.58 21.01 20.92 24576 23.01 22.69 22.54 25600 22.67 22.47 21.48 26624 22.61 21.15 21.18 27648 21.35 21.86 21.64 28672 22.6 22.13 21.92 29696 23.21 19.38 23.58 30720 22.43 21.17 22.4 31744 22.39 22.02 23.11 32768 23.77 22.69 23.08 33792 23.95 22.64 22.04 34816 24.33 24.03 24.05 35840 22.91 22.25 22.85 36864 24.05 23.06 22.75 37888 24.18 23.7 24.77 38912 24.36 22.6 24.1 39936 23.93 22.49 22.25 40960 23.45 23.23 22.3 41984 21.9 22.61 23.87 43008 24.84 24.54 23.68 44032 24.49 24.92 24.18 45056 25.69 24.55 23.63 46080 26.13 23.34 24.08 47104 26.27 25.85 25.29 48128 25.93 24.26 25.76 49152 25.6 23.75 24.95 50176 26.48 24.67 24.04 51200 26.46 25.4 26.95 52224 26.87 25.89 26.93 53248 25.8 26.52 25.28 54272 26.38 26.62 26.42 55296 26.6 26.14 25.94 56320 25.3 25.98 25.95 57344 25.13 26.72 25.09 58368 26.31 25.73 25.12 59392 24.88 26.5 24.03 60416 25.28 26.28 27.11 61440 25.5 26.16 26.07 62464 24.87 27.05 26.34 63488 25.86 26.91 26.69 64512 26.09 26.46 25.47 65536 24.8 26.43 26.96 MPI Transfer test complete in 11.7066 seconds