Материалы по тегу: mlperf

17.11.2021 [19:00], Владимир Мироненко

Решения NVIDIA лидируют в ИИ-бенчмарках MLPerf HPC 1.0

Опубликованы результаты MLPerf HPC 1.0, набора отраслевых тестов для оценки производительности машинного обучения, впервые вышедшего в мае 2018 года. Новые бенчмарки MLPerf касаются вычислений, которые ускоряют и дополняют моделирование на суперкомпьютерах с помощью ИИ. Системы на базе решений NVIDIA победили в четырёх из пяти тестов MLPerf HPC 1.0.

По словам компании, последние достижения в области молекулярной динамики, астрономии и климатического моделирования стали возможными благодаря совместному использованию HPC и ИИ. Это тенденция способствует внедрению ИИ-систем экзафлопсного класса (в данном случае речь идёт о вычислениях пониженной точности) как в науке, так и в промышленности.

Тесты MLPerf поддерживаются MLCommons, отраслевой группой, включающей Alibaba, Google, Intel, Meta, NVIDIA и т.д. Бенчмарки MLPerf HPC включают два вида тестов. В первом измеряется время, необходимое на тренировку модели (сильное масштабирование, strong scaling), во втором — общая пропускная способность системы, то есть сколько моделей получается натренировать за заданный промежуток времени.

В первом варианте тестов по сравнению с лучшими результатами в MLPerf 0.7 в прошлом году NVIDIA в 5 раз улучшила результаты в тесте CosmoFlow (обработка изображений с телескопов), а в DeepCam (детектирование ураганов и воздушных потоков) — почти в 7 раз. А суперкомпьютер Perlmutter лидирует в бенчмарке opencatalyst (отслеживание того, насколько хорошо предсказываются межмолекулярные взаимодействия) с использованием 2048 ускорителей NVIDIA A100.

В тестах второго типа NVIDIA лидирует в DeepCam — 16 узлов на задание и 256 одновременных заданий. Все тесты проводились на NVIDIA Selene, собственной системе NVIDIA и крупнейшем в мире промышленном суперкомпьютере. Для профилирования нагрузок использовались инструменты NVIDIA DALI (ускорение обработки данных) и CUDA Graphs (снижение задержки для небольших порций данных для эффективного масштабирования до 1024 и более ускорителей).

Также компания задействовала NVIDIA SHARP, ключевой компонент NVIDIA MagnumIO, для ускорения обмена данными и выгрузки данных в сеть коммутатора NVIDIA Quantum InfiniBand. Все эти инструменты не являются закрытыми. Всё ПО для проведения самих тестов доступно в репозитории MLPerf. NVIDIA также регулярно обновляет необходимые компоненты в своём каталоге NGC.

Всего в этом раунде MLPerf HPC семь из восьми участников использовали ускорители NVIDIA. Среди них есть немецкий суперкомпьютерный центр Jülich Supercomputing Centre, Швейцарский национальный вычислительный центр, а также Аргоннская национальная лаборатория и Национальная лаборатория им. Лоуренса, Национальный центр суперкомпьютерных приложений и Техасский центр перспективных вычислений в США. Компания отметила, что хорошие результаты в тестах — результат зрелости программно-аппаратной ИИ-платформы NVIDIA.

Постоянный URL: http://servernews.ru/1053925
01.07.2021 [02:02], Владимир Мироненко

В ИИ-бенчмарке MLPerf Training Google поставила абсолютный рекорд, но по общим результатам лидирует NVIDIA

Открытый инженерный консорциум MLCommons опубликовал новые результаты MLPerf Training v1.0, набора тестов для оценки производительности машинного обучения. MLPerf Training измеряет время, необходимое для обучения ИИ-моделей до заданного уровня качества работы в различных задачах, включая классификацию изображений, обнаружение объектов, NLP, рекомендации и обучение с подкреплением.

В последнем раунде MLPerf получил заявки от 13 организаций и опубликовал более 650 рецензированных результатов для систем машинного обучения, от малых периферийных устройств до мощных серверов. «В этом раунде были представлены новинки программного и аппаратного обеспечения от Dell, Fujitsu, Gigabyte, Google, Graphcore, Habana Labs, Inspur, Intel, Lenovo, Nettrix, NVIDIA, PCL & PKU и Supermicro», — сообщил MLCommons.

Бенчмарки MLPerf постоянно совершенствуются. MLCommons сообщил, что «по сравнению с последним раундом представления лучшие результаты тестов улучшились в 2,1 раза, что свидетельствует о существенном улучшении аппаратного, программного обеспечения и масштаба систем». Последний раунд включал в себя два новых теста — для измерения производительности преобразования речи в текст (Speech-to-Text with RNN-T) и обработки медицинских изображений (3D Medical Imaging with 3D U-Net). Полный набор тестов MLPerf Training включает BERT, DLRM, Mask R-CNN, ResNet-50 v1.5, SSD, RNN-T, 3d-UNet и MiniGO.

Подобно прошлым результатам MLPerf Training, заявки состоят из двух разделов: закрытого и открытого. Закрытые заявки используют одну и ту же эталонную модель, чтобы обеспечить равные условия для всех систем, а в открытом соперничестве разрешено использовать различные модели. Представленные материалы дополнительно классифицируются по доступности: коммерческие системы, предварительные версии и R&D-проекты.

Большая часть представленных систем по-прежнему полагалась на различные графические процессоры NVIDIA. Было протестировано 82 конфигурации в закрытом разделе. NVIDIA, как обычно, сделала подавляющее большинство заявок либо напрямую, либо через OEM-партнеров. На конфигурации на базе NVIDIA пришлось около 70 % заявок.

«Только NVIDIA была представлен во всех восьми тестах и в коммерчески доступной категории, — отметил Пареш Харья, старший директор по управлению продуктами и вычислениям в центрах обработки данных. — Суперкомпьютер NVIDIA Selene на базе DGX SuperPod, установил все восемь рекордов производительности. Мы завершили четыре из восьми тестов менее чем за минуту, а самый сложный тест (MiniGo) занял менее 16 минут».

В свою очередь, Google отметила примерно 1,7-кратное улучшение результатов за год, всё благодаря использованию новых крупномасштабных модулей — до 4096 чипов TPU v4 в каждом. «Используя 3456 чипов TPU v4 в одном TPU v4 Pod, многие модели, которые раньше обучались за дни или недели, теперь обучаются за несколько секунд», — сообщила компания.

В целом, в закрытом разделе по-прежнему доминируют NVIDIA и Intel. Все результаты Intel, если не считать одного вхождения в список Habana Labs, по сути, показывают базовую производительность Xeon Cooper Lake. Ещё четыре результата подала Graphcore, а остальные, то есть Google TPU и Huawei Ascend, относятся к системам, которые пока недоступным коммерчески. Любопытно, что среди тестовых стендов есть те, которые имеют NVIDIA A100 с повышенным до 500 Вт TDP.

В открытом же разделе результатов совсем немного. Но именно им воспользовалась Graphcore, которая в обычных тестах показала не самые лучшие результаты — после оптимизаций производительность заметна выросла. Кроме того, компания упирает на то, что её решения, быть может, не так быстрые в сравнении с NVIDIA, зато они вдвое дешевле и, таким образом, показывают лучшую удельную производительность на доллар.

Постоянный URL: http://servernews.ru/1043255
17.06.2021 [18:46], Андрей Галадей

MLCommons представила ИИ-бенчмарк MLPerf Tiny AI Inference для встраиваемых систем

Опубликован новый ИИ-бенчмарк MLPerf Tiny Inference от MLCommons, который позволяет оценить производительность устройств с низким энергопотреблением и малыми габаритами на задачах инференса. На данный момент выпущена версия 0.5.

Это первый набор тестов, разработанный MLCommons специально для встраиваемых система. Это необходимо, к примеру, в области Интернета вещей, где зачастую нужно на лету анализировать данные с помощью небольших нейросетей, которые обрабатывают звук или изображение с датчиков.

druva.com

druva.com

MLPerf Tiny v0.5 включает тесты для сценариев использования, в которых задействованы крошечные «нейронки», размером 100 Кбайт и меньше. На первом этапе тестирования были получены 17 рецензированных результатов от 5 академических и промышленных организаций, а также национальных лабораторий. Здесь доступны полные результаты тестирования.

Нажмите для увеличения

Нажмите для увеличения

Список задач для тестирования включает:

  • Keyword Spotting (KWS) — детектирование ключевых слов в звуковой спектрограмме.
  • Visual Wake Words (VWW) — классификация изображений для определения присутствия человека на них.
  • Tiny Image Classification (IC) — классификация изображений по 10 категориям.
  • Anomaly Detection (AD) — обнаружение отклонений в звуках работы механизмов.
Постоянный URL: http://servernews.ru/1042275
22.04.2021 [00:43], Владимир Мироненко

NVIDIA установила рекорды во всех категориях ИИ-бенчмарка MLPerf Inference v1.0

Открытый инженерный консорциум MLCommons опубликовал результаты бенчмарка MLPerf Inference v1.0, набора тестов для оценки производительности систем инференса. MLPerf — признанный в отрасли бенчмарк для измерения производительности ИИ в различных задачах, включая компьютерное зрение, медицинскую визуализацию, рекомендательные системы, распознавание речи и обработку естественного языка.

В последний раунд тестирования были поданы заявки от 17 организаций, и было опубликовано 1994 результата по производительности для систем машинного обучения в категории как периферийных устройств, так и серверов центров обработки данных. В пакете MLPerf Inference v1.0 представлены новые методы, инструменты и показатели, дополняющие тесты производительности.

Эти новые показатели позволяют составлять отчёты и сравнивать энергопотребление, производительность и потребляемую мощность систем. Бенчмарк был разработан совместно со Standard Performance Evaluation Corp. (SPEC), ведущим поставщиком стандартизированных тестов и инструментов для оценки производительности современных вычислительных систем. В частности, MLPerf использует инструменты измерения мощности SPEC PTDaemon.

NVIDIA стала единственной компанией, представившей результаты всех тестов в категориях ЦОД и периферийных систем. Помимо собственных результатов NVIDIA, партнёры компании Alibaba, DellEMC, Fujitsu, Gigabyte, HPE, Inspur, Lenovo и Supermicro представили в общей сложности более 360 результатов своих систем на базе ускорителей NVIDIA.

NVIDIA сообщила, что её платформа инференса ИИ, которая недавно пополнилась графическими процессорами NVIDIA A30 и A10 для серверов, показала рекордную производительность во всех категориях. По словам компании, высокие показатели были достигнуты благодаря широким возможностям ИИ-экосистемы NVIDIA, охватывающей широкий спектр графических процессоров и программного обеспечения ИИ, включая TensorRT и NVIDIA Triton Inference Server.

Кроме того, NVIDIA продемонстрировала возможности технологии Multi-Instance GPU архитектуры NVIDIA Ampere, одновременно запустив все семь тестов MLPerf Offline на одном графическом процессоре с использованием семи инстансов MIG, которые показали практически ту же производительность (98%), как и в случае использования единственного инстанса MIG.

Постоянный URL: http://servernews.ru/1037872
Система Orphus