Тесты производительности LINPACK служат для измерения вычислительной производительности компьютеров при обработке чисел с плавающей запятой. Созданы Джеком Донгаррой в 1979, измеряют скорость решения компьютером плотной системы линейных уравнений (СЛАУ) Ax=b, где A является матрицей размера n на n. Подобная задача часто возникает в области машиностроения.

Последняя версия этих тестов производительности используется для составления рейтинга TOP500, списка, в котором перечислены самые высокопроизводительные суперкомпьютеры в мире.^[1][2]

Целью создания тестов является оценка скорости решения компьютером реальных задач. Однако оценка при помощи одного теста является упрощением, поскольку ни одна вычислительная задача не может отражать общую производительность компьютерной системы. Производительность в тесте LINPACK предоставляет данные для уточнения пиковой производительности, предоставляемой производителем компьютера (пиковая производительность — это максимальная теоретическая производительность, которую может достичь компьютер, рассчитанная как произведение тактовой частоты процессора на число операций выполняемых за такт), фактическая производительность всегда будет ниже максимальной производительности^[3]. Производительность компьютера представляет собой сложную характеристику, которая зависит от множества взаимосвязанных компонентов. Производительность, измеренная эталонным тестом LINPACK показывает количество операций над 64-битными числами с плавающей запятой (сложений и умножений), которые компьютер выполнял за секунду, соотношение, обозначаемое «FLOPS». Однако производительность компьютера при работе с реальными приложениями, вероятно, будет значительно ниже максимальной производительности, достигаемой при выполнении соразмерного теста LINPACK.^[4]

Название этих тестов получено пакета LINPACK, набора алгебраических подпрограмм Фортрана, широко использовавшихся в 1980-х годах и изначально тесно связанных с тестом LINPACK. С тех пор пакет LINPACK был заменен другими библиотеками.

Тест производительности LINPACK впервые появился в 1979 году как приложение к руководству пользователя библиотеки математических функций LINPACK.^[5]

LINPACK был разработан, чтобы помочь пользователям оценить время, необходимое их компьютерным системам для решения задач при помощи пакета LINPACK. Для этого экстраполируются результаты производительности, полученные на 23 разных компьютерах, решающих задачу с размером матрицы 100 на 100 элементов.

Этот размер задачи был выбран с учетом характерных размеров памяти и производительности процессоров в ту эпоху:

• 10000 чисел с плавающей запятой со значением от −1 до 1 генерируются случайным образом для заполнения общей плотной матрицы,
• затем производится замер длительности LU-разложения с частичным поворотом.

За последующие годы были выпущены дополнительные версии с увеличенными различными размерами задач, например с матрицами в 300 на 300 и 1000 на 1000 чисел. Также появились реализации, использующие аппаратные возможности по ускорению операций матрица-вектор и матрица-матрица.^[6] Параллельная обработка данных появилась в варианте теста LINPACK Parallel в конце 1980-х годов.^[3]

В 1991 году тест LINPACK был модифицирован для^[7] решения задач произвольного размера, что позволило высокопроизводительным компьютерам (HPC) приблизиться к своей асимптотической производительности.

С 1993 года этот тест начал использоваться для составления рейтинга TOP500.

LINPACK 100 очень близок к оригинальному тесту, опубликованному в 1979 году в руководстве руководстве пользователя LINPACK (ISBN 089871172X). Решение СЛАУ производится методом исключения Гаусса с частичным поворотом, с выполнением 2 / 3 n³ + 2n² операций над числами с плавающей точкой, где n равно 100, а плотная матрица A имеет размер 100 на 100. Малый размер матрицы и отсутствие программной гибкости не многим современным компьютерам продемонстрировать на этом тесте производительность, близкую к максимальной. Тем не менее, этот тест все еще может быть полезным при прогнозировании производительности в численно интенсивном пользовательском коде, скомпилированном с оптимизациями.^[3]

LINPACK 1000 увеличивает размер матрицы до 1000 на 1000 элементов и обеспечивает производительность, более близкую к максимальной для компьютера. Допускаются изменения в алгоритме, однако не допускается снижение относительной точности решения. При подсчете производительности теста всегда используется формула для количества выполненных плавающих операций 2 / 3n³ + 2n², при значении n = 1000.^[3]

Предыдущие поколения теста не подходили для тестирования параллельных компьютеров,^[8] и был разработан так называемый тест «Linpack’s Highly Parallel Computing», он же HPLinpack. В новом тесте размер задачи n может быть увеличен до размера, необходимого для оптимизации результатов работы машины. Все еще используется формула числа операций 2 / 3n³ + 2n², независимо от фактически используемого алгоритма. Использование алгоритма Штрассена не допускается, поскольку оно искажает реальную скорость выполнения.^[9] Точность найденного решения должна быть такой, чтобы выполнялось следующее свойство:

${\displaystyle {\lVert Ax-b\rVert \over \lVert A\rVert \lVert x\rVert n\epsilon }\leq O(1)}$, где ${\displaystyle \epsilon }$ это точность машины, а n это размер задачи,^[10] ${\displaystyle \lVert \cdot \rVert }$ это норма матрицы, а ${\displaystyle O(1)}$ соответствует обозначению big-O («O» большое).

Для каждой компьютерной системы сообщаются следующие величины:^[3]

• R _max : производительность в GFLOPS для самой большой проблемы, выполненной на машине.
• N _max : размер самой большой проблемы, выполненной на машине.
• N _1/2 : размер, при котором достигается половина от производительности Rmax.
• R _peak: теоретическая пиковая производительность в GFLOPS для машины.

Эти результаты используются для составления списка TOP500 самых производительных суперкомпьютеров в мире, а также Green500. Публикуется два раза в год.^[1]

В предыдущем разделе описаны основные правила для эталонных тестов. Реальная реализация программы может отличаться, существуют варианты для языков Fortran,^[11] C^[12] и Java^[13].

HPL — мобильная реализация задачи HPLinpack, созданная на языке программирования Си. Изначально она служила примером реализации, но затем стала широко использоваться для получения данных для списка TOP500, хотя могут использоваться и иные реализации и пакеты. HPL создает линейную систему уравнений порядка n со случайными коэффициентами и затем решает её, используя LU-разложение с частичным поворотом строк. Для работы реализации требуются установленные реализации MPI (библиотеки передачи сообщений) и математическая библиотека: BLAS, либо VSIPL^[14].

В целом, данная реализация имеет следующие характеристики:^[15][16]

• Циклическое распределение данных в плоской решетке (в 2D блоках).
• LU-разложение в варианте с просмотром правого элемента и различной глубиной упреждения (look-ahead).
• Рекурсивная факторизация панелей.
• Шесть различных методов групповой рассылки данных (broadcast).
• Алгоритм обмена-рассылки с уменьшенными требованиями к пропускной способности.
• Обратная подстановка с упреждением на глубину 1.

Иногда заявляется, что успех теста LINPACK связан с хорошей масштабируемостью задачи HPLinpack^[17], тому, что результатом теста является одно число, простое для сравнения, и большим количеством исторических данных.^[18] Однако уже вскоре после его появления тест LINPACK подвергся критике за демонстрирование уровней производительности, «как правило, недоступных для всех, кроме очень небольшого числа программистов, утомительно оптимизирующих свой код для данного компьютера и только для него».^[19] Бенчмарк проверяет скорость решения плотных линейных систем, но эта задача не является репрезентативной для всех операций, обычно производимых в научных вычислениях.^[20] Джек Донгарра, соавтор тестов LINPACK и списка TOP500, отмечал что эти тесты уделяют больше значения только «пиковой» скорости процессора и их числу, недостаточно при этом нагружая локальные шины памяти и сетевые межсоединения.^[21]

Том Даннинг-младший, директор Национального центра суперкомпьютерных приложений описал тесте LINPACK так: «Тест Linpack — одно из тех интересных явлений, полезность которых высмеивается почти каждым, кто знает о нём. Они понимают его ограничения, но тест пользуется популярностью, поскольку показывает одно число и использовался на протяжении многих лет.»^[22]

По словам Донгарры, «организаторы рейтинга Top500 активно стремятся расширить охват сравнительных тестов производительности», поскольку «важно включить больше характеристик производительности и сигнатур для каждого участника рейтинга».^[23] Один из вариантов дополнения тестов для TOP500 — набор HPC Challenge Benchmark^[24]. С появлением суперкомпьютеров петафлопсного уровня производительности (Petascale), был предложен тест Graph500, измеряющий число пройденных ребер в секунду (TEPS) в качестве альтернативы FLOPS, измеряемой LINPACK^[25]. Другой альтернативой является тест производительности HPCG, предложенный Донгаррой.^[26][27]

По словам Джека Донгарры, время работы теста HPLinpack, необходимое для получения хороших результатов постепенно увеличивается. На конференции в 2010 году он заявил, что уже через «несколько лет» ожидает увеличения длительности запуска до порядка 2,5 дней.^[28]

• пакет LAPACK

• TOP500 LINPACK (англ.)
• Онлайн-тест LINPACK (Java) (англ.)
• Frequently Asked Questions on the Linpack Benchmark and Top500 // 2007 (англ.)
• Оптимизированный Intel® LINPACK Benchmark (англ.)
• А. В. Фролов, Вад. В.Воеводин, А. М. Теплов. Linpack benchmark — Алговики НИВЦ МГУ
• Андрей Сапронов, Обзор некоторых пакетов измерения производительности кластерных систем, ixbt, 5 апреля 2004
• Исследование воздействия некоторых параметров теста LINPACK для гибридного кластера на производительность вычислений в зависимости от размерности задачи / журнал "Системный Администратор" № 5 (162), 2016
• 4.2. Стандартные тесты производительности, 4.2.1. Linpack benchmark / Академия Microsoft: Технологии построения и использования кластерных систем