Материалы по тегу: openvino

09.07.2023 [18:07], Алексей Степин

AMX и HBM2e обеспечивают Intel Xeon Max серьёзное преимущество в некоторых ИИ-нагрузках

В Сети продолжают появляться новые данные о производительности процессоров Intel Xeon Max с набортной памятью HBM2e объёмом 64 Гбайт. На этот раз ресурс Phoronix опубликовал сравнительные результаты тестирования двухпроцессорных платформ Xeon Max 9480 в сравнении с решениями AMD EPYC 9004.

Не секрет, что процессоры Intel Xeon существенно уступают по максимальному количеству ядер решениям AMD EPYC уже давно — даже у обычных Sapphire Rapids их не более 60, а у Xeon Max и вовсе в максимальной конфигурации лишь 56 ядер. Однако Intel в этом поколении старается взять своё не числом, а уменьем — поддержкой новых расширений, в частности, AMX.

В новом тестировании ИИ-нагрузок, опубликованном Phoronix, приняла участие двухпроцессорная система на базе Xeon Max 9480 в различных режимах (только с HBM, без HBM или с HBM в режиме кеширования), а также две двухпроцессорные системы AMD на базе EPYC 9554 (128 ядер) и EPYC 9654 (192 ядра). В качестве бенчмарков были выбраны фреймворки OpenVINO (оптимизирован для AMX) и ONNX (без глубокой оптимизации).

 Источник здесь и далее: Phoronix

Источник здесь и далее: Phoronix

В ряде тестов OpenVINO наивысший результат продемонстрирован платформой Xeon Max в режиме HBM Only, несмотря на огромное отставание по количеству ядер. И худший же результат принадлежит тоже Xeon Max, но при отключении HBM и переходу к AVX512 FP16 без использования AMX.

Иногда AMD удаётся взять реванш благодаря количеству ядер, причём отключение HBM2e не всегда спасает «красных» — с помощью AMX «синие» продолжают довольно уверенно лидировать во многих тестах. Тестирование в ONNX Runtime 1.14 на базе языковой модели GPT-2 также показало, что Xeon Max опережают EPYC Genoa — но серьёзный выигрыш достигается только при использовании HBM.

 Даже без HBM поддержка AMX помогает Xeon Max показать достойный результат

Даже без HBM поддержка AMX помогает Xeon Max показать достойный результат

Подход Intel демонстрирует отличные результаты: в ряде случаев переход от AVX512 к AMX позволяет поднять производительность в 2,5 раза. Благодаря HBM2e можно получить ещё около 25 %, а в целом прирост может достигать 3,13 раз. Впрочем, у AMD в запасе есть EPYC Genoa-X с огромным кешем 3D V-Cache, так что стоит подождать следующего раунда этой битвы.

Постоянный URL: http://servernews.ru/1089675
26.02.2022 [23:02], Владимир Мироненко

Intel Xeon Sapphire Rapids получили инструкции для ускорения обработки 5G-сигнала

Intel сделала ряд анонсов в ходе виртуального выступления на открытии выставки MWC 2022. Отметив, что почти все коммерческие развёртывания vRAN операторами по всему миру используют решения Intel, компания пообещала удвоить свои усилия по дальнейшему развитию экосистемы vRAN, повышению производительности и удовлетворению ключевых требований операторов.

На днях Intel уже представила новые высокоинтегрированные чипы Xeon D-1700 и D-2700, сочетающие в одной SoC ядра Ice Lake-SP, акселератор QAT, 100GbE-адаптер и т.д. Новинки, по словам компании, отлично подходят для периферийных вычислений и создания шлюзов безопасности, маршрутизаторов и коммутаторов, хранилищ, базовых станций, инференс-систем и т.д. Компанию им составят SmartNIC-решения вроде Silicom N6010/6011 (платформа Arrow Creek на базе FPGA Agilex ) или Wistron NeWeb WSN-2200 (в составе сервера WSS-3000).

 Изображение: Wistron NeWeb

Изображение: Wistron NeWeb

Решения на базе новых Xeon D разрабатывают, например, Cisco, Juniper Networks и Rakuten Symphony. Последняя уже находится в процессе развёртывания виртуализированной облачной инфраструктуры для своей 5G-сети в Японии. Она же, наряду с Ericsson и Samsung, разрабатывает и новые решения на базе Intel Xeon Sapphire Rapids. На MWC 2022 Intel впервые раскрыла ещё одну особенность этих чипов — наличие оптимизаций для обработки 5G-трафика.

В частности, Sapphire Rapids получили новый набор специализированных инструкций для обработки сигналов, специфичных для 5G RAN, что в рамках платформы Intel FlexRAN обеспечит двукратный прирост ёмкости vRAN по сравнению с Ice Lake-SP, а также позволит развёртывать высокоплотные сети с 64T64R Massive MIMO. Кроме того, новые CPU получит и возможности ускорения выполнения рабочих нагрузок vRAN. Впрочем, пока Intel детали не раскрывает.

Intel анонсировала и апдейты ПО, заранее оптимизированного для новых аппаратных платформ компании. В частности, она выпустила крупнейшее обновление для OpenVINO за более чем три года. Версия 2022.1 включает:

  • Обновлённый и упрощённый набор API для более лёгкого импорта моделей TensorFlow и значительного улучшения переносимости кода.
  • Расширенный охват моделей с улучшенной поддержкой обработки естественного языка, а также моделей с двойной точностью и расширенного компьютерного зрения.
  • Автоматическое обнаружение всех вычислительных ресурсов и ускорителей в заданной системе с последующей динамической балансировкой нагрузки, а также распараллеливание с учётом объёма памяти и вычислительных мощностей.

Наконец, Intel также анонсировала новые программные модули в портфолио Smart Edge для ускорения обработки UPF-нагрузок (User Plane Function) 5G на границе сети, что позволяет добиться требуемого уровня задержки и пропускной способности. Модули абстрагированы от аппаратного обеспечения, что упрощает процесс разработки с использованием возможностей обработки пакетов в процессорах Intel.

Постоянный URL: http://servernews.ru/1061010
Система Orphus