В ИИ-бенчмарке MLPerf Training Google поставила абсолютный рекорд, но по общим результатам лидирует NVIDIA

 

Открытый инженерный консорциум MLCommons опубликовал новые результаты MLPerf Training v1.0, набора тестов для оценки производительности машинного обучения. MLPerf Training измеряет время, необходимое для обучения ИИ-моделей до заданного уровня качества работы в различных задачах, включая классификацию изображений, обнаружение объектов, NLP, рекомендации и обучение с подкреплением.

В последнем раунде MLPerf получил заявки от 13 организаций и опубликовал более 650 рецензированных результатов для систем машинного обучения, от малых периферийных устройств до мощных серверов. «В этом раунде были представлены новинки программного и аппаратного обеспечения от Dell, Fujitsu, Gigabyte, Google, Graphcore, Habana Labs, Inspur, Intel, Lenovo, Nettrix, NVIDIA, PCL & PKU и Supermicro», — сообщил MLCommons.

Бенчмарки MLPerf постоянно совершенствуются. MLCommons сообщил, что «по сравнению с последним раундом представления лучшие результаты тестов улучшились в 2,1 раза, что свидетельствует о существенном улучшении аппаратного, программного обеспечения и масштаба систем». Последний раунд включал в себя два новых теста — для измерения производительности преобразования речи в текст (Speech-to-Text with RNN-T) и обработки медицинских изображений (3D Medical Imaging with 3D U-Net). Полный набор тестов MLPerf Training включает BERT, DLRM, Mask R-CNN, ResNet-50 v1.5, SSD, RNN-T, 3d-UNet и MiniGO.

Подобно прошлым результатам MLPerf Training, заявки состоят из двух разделов: закрытого и открытого. Закрытые заявки используют одну и ту же эталонную модель, чтобы обеспечить равные условия для всех систем, а в открытом соперничестве разрешено использовать различные модели. Представленные материалы дополнительно классифицируются по доступности: коммерческие системы, предварительные версии и R&D-проекты.

Большая часть представленных систем по-прежнему полагалась на различные графические процессоры NVIDIA. Было протестировано 82 конфигурации в закрытом разделе. NVIDIA, как обычно, сделала подавляющее большинство заявок либо напрямую, либо через OEM-партнеров. На конфигурации на базе NVIDIA пришлось около 70 % заявок.

«Только NVIDIA была представлен во всех восьми тестах и в коммерчески доступной категории, — отметил Пареш Харья, старший директор по управлению продуктами и вычислениям в центрах обработки данных. — Суперкомпьютер NVIDIA Selene на базе DGX SuperPod, установил все восемь рекордов производительности. Мы завершили четыре из восьми тестов менее чем за минуту, а самый сложный тест (MiniGo) занял менее 16 минут».

В свою очередь, Google отметила примерно 1,7-кратное улучшение результатов за год, всё благодаря использованию новых крупномасштабных модулей — до 4096 чипов TPU v4 в каждом. «Используя 3456 чипов TPU v4 в одном TPU v4 Pod, многие модели, которые раньше обучались за дни или недели, теперь обучаются за несколько секунд», — сообщила компания.

В целом, в закрытом разделе по-прежнему доминируют NVIDIA и Intel. Все результаты Intel, если не считать одного вхождения в список Habana Labs, по сути, показывают базовую производительность Xeon Cooper Lake. Ещё четыре результата подала Graphcore, а остальные, то есть Google TPU и Huawei Ascend, относятся к системам, которые пока недоступным коммерчески. Любопытно, что среди тестовых стендов есть те, которые имеют NVIDIA A100 с повышенным до 500 Вт TDP.

В открытом же разделе результатов совсем немного. Но именно им воспользовалась Graphcore, которая в обычных тестах показала не самые лучшие результаты — после оптимизаций производительность заметна выросла. Кроме того, компания упирает на то, что её решения, быть может, не так быстрые в сравнении с NVIDIA, зато они вдвое дешевле и, таким образом, показывают лучшую удельную производительность на доллар.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER. | Можете написать лучше? Мы всегда рады новым авторам.

Источник:

Постоянный URL: https://servernews.ru/1043255

Комментарии

Система Orphus