Недавно мы писали большой материал, посвящённый июньскому обновлению публичного рейтинга суперкомпьютеров Top 500. В нём, в частности, упоминались проблемы, связанные с оценкой реальной производительности систем. Дело в том, что в список попадают суперкомпьютеры, которые прошли тест High-Performance Linpack (HPL) вне зависимости от того, используются ли они для реальных нагрузок HPC или ИИ. Но есть и другая сторона дела: Linpack оценивает 64-бит производительность систем в вычислениях с плавающей запятой, но многие современные нагрузки в области ИИ не всегда требуют такой точности, и потому реальная производительность может быть заметно выше.
Именно это недавно продемонстрировала Национальная лаборатории Ок-Риджа, протестировав свой суперкомпьютер Summit (текущий лидер среди участников публичного рейтинга Top500, создан IBM при участии NVIDIA и Mellanox) в особом тесте HPL-AI, призванном оценивать производительность суперкомпьютеров в задачах машинного обучения и искусственного интеллекта. В этом тесте Summit набрал 445 петафлопс — втрое больше стабильных 148,6 петафлопс в тесте HPL.
HPL, представленный три десятка лет назад, остаётся эталоном для измерения производительности систем Top500 в задачах HPC. Более современная альтернатива — HPCG Benchmark — пока так и не достигла заветной цифры в 500 участников рейтинга.
Однако нынешние суперкомпьютеры теперь используются и в сфере «искусственного интеллекта», а не только для классических «тяжёлых» расчётов. При этом в большинстве ИИ-моделей применяются вычисления половинной или смешанной точности — принципиально иной метод, который позволяет исследователям повысить вычислительную эффективность, получив доступ к неиспользованному потенциалу производительности современных суперкомпьютеров.
Чтобы учесть этот фактор и был предложен тест HPL-AI, представляющий собой развитие HPL для оценки производительности вычислений смешанной точности, широко используемых для обучения моделей искусственного интеллекта. Методология HPL-AI изложена в документе, опубликованном на SC 2018 Аззамом Хайдаром (Azzam Haidar), Джеком Донгаррой и его командой.
«Методы смешанной точности становятся все более важными для повышения вычислительной эффективности суперкомпьютеров, как для традиционного моделирования с методами итеративного уточнения, так и для задач ИИ, — отметил господин Донгарра. — Так же, как HPL позволяет сравнивать потенциал систем в вычислениях двойной точности, этот новый подход, основанный на HPL, позволяет сравнивать возможности суперкомпьютеров в задачах смешанной точности».
NVIDIA удалось осуществить весь массив вычислений в рамках тестового запуска HPL-AI на Summit всего за полчаса — втрое быстрее, чем исполняется оригинальный HPL. В ряде задач, как можно видеть, это может давать кратно ощутимое преимущество. Напомним: в Summit используется 27 000 графических ускорителей NVIDIA Tesla V100.
Учёные используют суперкомпьютеры с поддержкой вычислений смешанной точности для моделирования и задач искусственного интеллекта в области химии, атомной энергетики, нефтегазовой промышленности и так далее.
Источник:
