Группа MLCommons, разработчик набора тестов для ИИ-систем MLPerf, опубликовала результаты MLPerf Training v3.0. Среди протестированных устройств есть и ускорители Habana Gaudi2, и процессоры Intel Xeon Sapphire Rapids.

В индустрии распространено мнение о том, что генеративный ИИ и большие языковые модели (LLM) создаются практически исключительно на аппаратном обеспечении NVIDIA. Но как показывают опубликованные результаты, в этом секторе Intel готова конкурировать с NVIDIA.

Программная экосистема Habana, по словам Intel, достигла необходимой степени зрелости, а решения компании позволяют говорить о конкурентоспособности даже с NVIDIA H100. Производительность и масштабируемость Gaudi2 была протестирована с помощью GPT-3 (целиком LLM обучать в рамках бенчмарка не требуется) — покорить этот рубеж в MLPerf смогли только NVIDIA и Intel. Кластер из 384 ускорителей Gaudi2 смог завершить обучение за 311 минут, а при росте количества ускорителей с 256 до 384 показал 95 % эффективность масштабирования.

Изображения: Intel

Также заслуживает упоминания тот факт, что по сравнению с ноябрьскими результатами Gaudi2 демонстрируют 10-% и 4-% прирост производительности в BERT и ResNet соответственно, причём обошлось без специальной отладки и оптимизации. Кластер из 32 процессоров Intel Xeon Sapphire Rapids тоже заработал «из коробки», показав неплохие в своём классе результаты. Так, в «закрытом» дивизионе он смог «справиться» BERT и ResNet-50 за 48 и 88 минут соответственно. Поддержка матричных расширений Intel Advanced Matrix Extensions (AMX) обеспечила солидный прирост производительности.

Процессоры Intel серии Xeon Max отличаются от своих обычных, «не максимальных» собратьев наличием интегрированной памяти HBM2e объёмом 64 Гбайт. Что же это даёт им на практике? Этот вопрос исследовал ресурс Phoronix — им в руки новейшие двухсокетные системы Supermicro Hyper SuperServer SYS-221H-TNR с чипами Xeon Max 9468 и 9480.

Напомним, Intel Xeon Max отличается от своих обычных собратьев серии Sapphire Rapids наличием 64 Гбайт HBM2e на борту, причём объём одинаков для всех моделей, хотя количество ядер может варьироваться от 32 до 56. Процессоры Xeon Max были протестированы в трёх режимах: только с памятью HBM (без DDR5), с HBM в качестве кеша для 512 Гбайт DDR5, а также в «плоском» режиме, но без отдачи HBM какому-либо процессу, то есть фактически только с DDR5.

Изображение: Intel

Тесты показали, что два первых режима действительно могут обеспечить преимущество в некоторых сценариях нагрузки. Результаты получились вполне закономерными: там, где сравнительно небольшого объёма HBM2e достаточно, режим HBM Only оказывается самым быстрым из-за высокой пропускной способности и отсутствия необходимости как-то синхронизировать работу с DDR5.

Источник: Phoronix

Однако режим кеширования тоже обеспечивает выигрыш, хотя в ряде нагрузок, таких как OpenFOAM, он не такой большой. В ИИ-сценариях, в частности, в тестах OpenVINO, разница меньше, а иногда отключение HBM2e и вовсе позволяет добиться чуть лучшей производительности, особенно на системе с Xeon Max 9480, где на каждое ядро приходится меньше памяти. Но в других тестах, таких как PETSc и Stress-NG, использование HBM2e может дать огромный прирост производительности, который глупо было бы игнорировать.

В целом, можно уверенно заявлять, что в среднем, прирост производительности при HBM-кешировании составляет 10–11 %, а при отказе от DDR5 к этому значению можно добавить ещё около 8 %. Также очевидно, что потребление системы в таком режиме заметно ниже, поскольку не требуется питание для модулей DDR5. В целом можно говорить о 18–20 % превосходства на широком спектре нагрузок, сообщает Phoronix.

Корпорация Intel, по сообщению ресурса Tom's Hardware, вынуждена приостановить поставки определённых процессоров Xeon Sapphire Rapids из-за обнаружившейся ошибки. Баг может провоцировать внезапную остановку работы системы. Специалисты Intel уже занимаются решением проблемы.

Чипы Xeon Sapphire Rapids существуют в двух конструктивных исполнениях — XCC и MCC. В первом случае применяется сборка из четырёх кристаллов, а количество вычислительных ядер варьируется от 36 до 60. Второй вариант имеет монолитную конструкцию с числом ядер до 32.

Источник изображения: Intel

Известно, что ошибка проявляется в отдельных MCC-моделях Sapphire Rapids. Отгрузки этих продуктов, как отмечается, были приостановлены в середине июня. По всей видимости, Intel работает над новой версией прошивки, которая позволит исправить баг. Если решить проблему удастся таким способом, компании не придётся инициировать программу отзыва и тратить значительные средства на обмен дефектных изделий.

«Нам стало известно о проблеме с частью процессоров Xeon Sapphire Rapids (MCC) со средним числом ядер, которая может прерывать работу системы при определённых условиях, и мы активно изучаем её. Из соображений предосторожности мы временно приостановили поставки этих чипов», — сообщил представитель Intel.

Нужно отметить, что ошибки в процессорах — не редкость. Так, чипы Intel Skylake вышли с 53 известными багами, а шесть месяцев спустя Intel сообщила ещё о 40 ошибках. А недавно стало известно, что процессоры EPYC Rome перестают функционировать через 1044 дня непрерывной работы, но устранять ошибку AMD не планирует.

В 2024 году на смену платформам Sapphire Rapids и Emerald Rapids корпорация Intel планирует выпустить чипы Granite Rapids на базе производительных Р-ядер. Эти процессоры будут производиться с использованием техпроцесса Intel 3 и будут поистине огромными в смысле физических размеров — на днях энтузиасту с ником YuuKi_AnS удалось получить первые фотографии Granite Rapids.

Тенденция к укрупнению процессорных разъёмов не нова: эта гонка стартовала аккурат в момент переезда контроллера памяти, а затем и шины PCI Express из чипсета в сам процессор, и постепенно наращивание возможностей обеих интерфейсов сделало своё дело.

Источник изображений здесь и далее: YuuKi_AnS

Но снимки, опубликованные YuuKi_AnS, впечатляют даже на фоне AMD SP5 для платформы Genoa. Неудивительно, новый разъём превосходит SP5 даже по количеству контактов — 7529 против 6096. Процессоры Granite Rapids получат 12 каналов DDR5-5600, 96 линий PCIe 5.0 и поддержку CXL 2.0.

По размерам новые процессоры приблизительно в 1,7 раза больше Sapphire Rapids, ожидается, что размеры LGA-7529 составят 105 × 70 мм, что действительно больше, чем у AMD SP5, где аналогичные размеры составляют 75 × 72 мм; для сравнения, LGA-4189 (Ice Lake-SP) имеет габариты 77,6 × 56,6 мм.

Технически процессоры будут состоять из двух кристаллов с архитектурой Redwood Cove, включающей в себя только Р-ядра. Компания Intel планирует минимум три варианты охлаждения, рассчитанных на 400–500 Вт. Более подробно о Granite Rapids «синие» расскажут на мероприятии Intel Innovation, запланированном на сентябрь этого года.

Аргоннская национальная лаборатория (ANL) Министерства энергетики США и Intel объявили о завершении установки всех 10 624 блейд-серверов суперкомпьютера Aurora. Система, как сообщается, обеспечит пиковую теоретическую FP64-производительность более 2 Эфлопс, используя массив из десятков тысяч процессоров Intel Xeon Max, а также ускорителей Data Center GPU Max (Ponte Vecchio).

Фото: Intel

Система будет использоваться для самых разных рабочих нагрузок, от моделирования ядерного синтеза до расчётов по аэродинамике и медицинских исследований. Для Intel (в отличие от AMD) это будет первая в истории машина экзафлопсного класса. Ожидается, что Aurora может возглавить ноябрьский рейтинг TOP500. Впрочем, её может опередить El Capitan или неожиданно появившаяся китайская система.

Фото: Intel

Суперкомпьютер Aurora оснащён 21 248 CPU с более чем 1,1 млн ядер и 63 744 ускорителями, которые будут обслуживать рабочие нагрузки в области ИИ и высокопроизводительных вычислений (HPC). Процессоры Aurora имеют 1,36 Пбайт встроенной памяти HBM2E и дополнены 19,9 Пбайт DDR5, ещё 8,16 Пбайт памяти HBM2E входят в состав ускорителей Ponte Vecchio. Машина состоит из 166 стоек (66 «лезвий» в каждой) в восьми рядах. DAOS-хранилище Aurora содержит 1024 All-Flash узла общей ёмкостью 220 Пбайт и пропускной способностью 31 Тбайт/с.

Фото: Intel

На данный момент ANL не сообщила официальные данные об энергопотреблении Aurora и её подсистемы хранения. Aurora создана на базе платформы HPE Cray Shasta с интерконнектом HPE Slingshot. Хотя блейд-серверы Aurora уже установлены, суперкомпьютеру предстоит пройти ряд приёмочных испытаний, что является обычной процедурой для таких систем. А пока он будет использоваться для обучения крупномасштабных научных моделей для генеративного ИИ.

Университет штата Нью-Йорк в Стони-Бруке анонсировал проект нового НРС-комплекса, который планируется использовать при проведении исследований в таких областях, как инженерия, физика, социальные и биологические науки. Созданием суперкомпьютера займутся специалисты компании HPE.

В основу платформы лягут серверы HPE ProLiant DL360 Gen11 на процессорах Intel Xeon Sapphire Rapids. В том числе будут задействованы узлы на базе Intel Xeon Max. Утверждается, что применение этих решений позволит повысить плотность компоновки оборудования и уменьшить площадь дата-центра — в том числе благодаря возможности развёртывания СЖО.

Помимо НРЕ и Intel, в проекте принимает участие системный интегратор ComnetCo. Эта фирма и раньше сотрудничала с Университетом штата Нью-Йорк в Стони-Бруке; кроме того, она имеет опыт взаимодействия с исследовательскими организациями и государственными заказчиками. Управление НРС-платформой возьмут на себя Институт передовых вычислительных наук (IACS) и Отдел информационных технологий (DoIT) в составе университета.

Отмечается, что Университет штата Нью-Йорк в Стони-Бруке станет первым академическим учреждением в США, развернувшим суперкомпьютерную платформу с процессорами Xeon Max на серверах HPE ProLiant. Доступ к ресурсам платформы планируется предоставлять в масштабах всего кампуса. Сведений о производительности системы на данный момент нет.

Компания ASUS анонсировала на выставке Computex 2023 сервер ESC N8-E11 в форм-факторе 7U, предназначенный для работы с генеративным ИИ и большими языковыми моделями. Новинка построена на аппаратной платформе Intel Xeon Sapphire Rapids с возможностью установки двух процессоров с показателем TDP до 350 Вт.

Система располагает 32 слотами для модулей оперативной памяти DDR5-4800/4400 суммарным объёмом до 8 Тбайт. В общей сложности доступны 10 посадочных мест для SFF-накопителей: спереди находятся восемь отсеков для устройств NVMe, сзади — два слота для изделий NVMe/SATA/SAS.

Сервер способен нести на борту до восьми ускорителей NVIDIA HGX H100. В оснащение входят двухпортовый сетевой контроллер 10GbE (Intel X710-AT2) и выделенный сетевой порт управления. Опционально может быть добавлена карта Broadcom MegaRAID 9560-16i или Broadcom MegaRAID 9540-8i. Доступны по два коннектора для твердотельных модулей M.2 PCIe 5.0 x4 и M.2 PCIe 3.0 x2. Во фронтальной части расположены четыре порта USB 3.2 Gen1, гнёзда RJ-45 для сетевых кабелей, интерфейс D-Sub.

Система ESC N8-E11 имеет габариты 885 × 447 × 306,65 мм и весит 99 кг. Питание может быть организовано по схеме 4 + 2 или 3 + 3 с блоками мощностью 3000 Вт, имеющими сертификат 80 PLUS Titanium. Сервер может использоваться в температурном диапазоне от +10 до +35 °C.

Бренд TYAN тайваньской компании MiTAC, которой не так давно Intel продала бизнес по производству серверов, представил на выставке Computex 2023 серверы Thunder SX TS70-B7136 и TS70A-B7136 в форм-факторе 2U, предназначенные для формирования систем хранения данных. В новинках применена аппаратная платформа Intel Xeon Sapphire Rapids.

Серверы допускают установку двух процессоров в исполнении LGA4677 со значением TDP до 350 Вт. Есть 16 слотов для модулей оперативной памяти DDR5-4800 суммарным объёмом до 2 Тбайт. Доступны пять разъёмов PCIe 5.0 (по два x16 и x8, один х4), один разъём OCP 3.0 и два коннектора M.2 для накопителей NVMe.

Модель Thunder SX TS70-B7136 располагает 12 фронтальными отсеками для накопителей LFF/SFF с интерфейсом SATA или NVMe (четыре штуки) и двумя тыльными отсеками для SFF-устройств SATA/NVMe. Версия Thunder SX TS70A-B7136 получила 18 фронтальных SFF-отсеков в конфигурации 8 × NVMe U.2 и 10 × SATA/SAS, а также два тыльных отсека SFF для SATA-накопителей.

Серверы имеют размеры 700 × 438,5 × 87 мм. В оснащение входят два сетевых порта 10GbE и выделенный сетевой порт управления, контроллер Aspeed AST2600, два разъёма USB 3.2 Gen1, последовательный порт, интерфейс D-Sub. Задействованы два блока питания мощностью 1200 Вт с сертификатом 80 PLUS Platinum. Серверы могут эксплуатироваться при температурах от +10 до +35 °C.

Компания ASUS на выставке Computex 2023 анонсировала сервер ESC8000-E11P в форм-факторе 4U, построенный на платформе Intel Xeon Sapphire Rapids. Допускается установка двух процессоров с показателем TDP до 350 Вт и 32 модулей оперативной памяти DDR5-4800.

Устройство имеет габариты 800 × 440 × 174,5 мм. Предусмотрена возможность использования восьми полноразмерных ускорителей (FHFL) с интерфейсом PCIe 5.0 x16. Во фронтальной части расположены восемь отсеков для LFF-накопителей с поддержкой NVMe/SATA/SAS (в зависимости от выбранного контроллера). Есть коннектор для SSD формата M.2 22110 с интерфейсом PCIe 3.0 x4.

В зависимости от модификации сервер комплектуется картой Broadcom MegaRAID 9560-16i, Broadcom MegaRAID 9540-8i, ASUS PIKE II 3008 HBA или ASUS PIKE II 3108 HW RAID. Заказчики смогут выбирать между версиями с двумя портами 10GbE (RJ45, X710-AT2) или 1GbE (RJ45, I350-AM2). Кроме того, предусмотрен выделенный сетевой порт управления. На фронтальную панель выведены два разъёма USB 3.2 Gen1. Сзади находятся гнёзда RJ45 для сетевых кабелей, последовательный порт и интерфейс D-Sub.

Сервер комплектуется тремя или четырьмя блоками питания мощностью до 3000 Вт сертификатом 80 PLUS Titanium. Спереди находится слот PCIe 5.0 x16 (LPHL), сзади — четыре слота PCIe 5.0 x16 или три слота PCIe 5.0 x16 и разъём OCP3.0 NIC. Диапазон рабочих температур — от +10 до +35 °C.

Компания Gigabyte и её подразделение Giga Computing в ходе выставки Computex 2023 анонсировали сервер G593-SD0, оптимизированный для машинного обучения и задач генеративного ИИ. Новинка, выполненная в форм-факторе 5U, ориентирована на крупные дата-центры.

В сервере применена материнская плата на наборе логики Intel C741. Допускается установка двух процессоров Intel Xeon Sapphire Rapids с показателем TDP до 350 Вт. Есть 32 слота для модулей оперативной памяти DDR5-4800 суммарным объёмом до 8 Тбайт. В максимальной конфигурации могут быть задействованы восемь ускорителей NVIDIA HGX H100 (SXM5).

Во фронтальной части расположены восемь отсеков для SFF-накопителей NVMe/SATA/SAS; поддерживаются массивы RAID 0/1/10/5. В общей сложности доступны 12 слотов PCIe 5.0 x16 и один слот PCIe 4.0 x16 для низкопрофильных карт расширения. В оснащение входят контроллер Aspeed AST2600, двухпортовый сетевой адаптер 10GbE (Intel X710-AT2), выделенный сетевой порт управления (спереди и сзади), два разъёма USB 3.2 Gen1 и интерфейс D-Sub.

Источник изображения: Gigabyte Technology

Габариты сервера составляют 447 × 222,25 × 945 мм. Применены система воздушного охлаждения и шесть блоков питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Диапазон рабочих температур — от +10 до +35 °C.