Компания Gigabyte сообщила о пополнении семейства стоечных серверов моделями H262-ZL0 и H262-ZL2 в четырёхузловом исполнении. Эти решения высокой плотности оборудованы системой жидкостного охлаждения, в проектировании которой принимала участие CoolIT Systems.

Здесь и ниже изображения Gigabyte

Новинки имеют формат 2U. Каждый из узлов рассчитан на установку двух процессоров AMD EPYC 7003 с показателем TDP до 280 Вт и 16 модулей оперативной памяти DDR4-3200 суммарным объёмом до 4 Тбайт. Во фронтальной части серверов находятся 24 отсека для U.2 SSD.

У сервера H262-ZL0 система жидкостного охлаждения отвечает за отвод тепла только от процессоров. У модели H262-ZL2 соответствующий контур охватывает подсистему памяти и сетевой контроллер NVIDIA Mellanox ConnectX-6.

Каждый из узлов располагает слотом PCIe 4.0 x16 для низкопрофильной карты половинной длины и разъёмом OCP 3.0 (PCIe 4.0 x16). В оснащение узлов входят два порта 1GbE и выделенный порт управления. У модели H262-ZL0 также есть четыре разъёма М.2 (PCIe 4.0 x4).

В состав подсистемы питания серверов включены два блока 80 PLUS Platinum мощностью 2200 Вт. Новые серверы совместимы со стандартными CDU CoolIT, которая предлагает как стоечные решения на 7-10 кВт, так и более мощные внешние блоки.

Компания Cloudflare сообщила, что не смогла использовать процессоры Intel в своих новых серверах 11-го поколения, поскольку они оказались слишком горячими и прожорливыми. По словам специалистов компании, последнее поколение процессоров Intel Xeon Ice Lake-SP хотя и может конкурировать с AMD EPYC Milan с точки зрения чистой производительности, но по энергопотреблению — нет.

Cloudflare задействует 64-ядерный процессор AMD EPYC 7713 (2,0/3,675 ГГц, L3-кеш 256 Мбайт, TDP 225 Вт) для серверов. В десятом поколении использовались 48-ядерные процессоры EPYC 7642 с тем же уровнем TDP, так что увеличение числа ядер, пусть даже ценой снижения базовой частоты, оказалось наиболее выгодным. Поскольку речь идёт об односокетной платформе, Intel здесь трудно противостоять AMD.

Фото: Cloudflare

Изменилась и конфигурация оперативной памяти: 384 Гбайт DDR4-3200 вместо 256 Гбайт DDR4-2933. В качестве дисковой подсистемы используют два E1.S SSD Samsung PM9A3 емкостью 1,92 Тбайт вместо трёх PM983 по 960 Гбайт. В числе изменений отмечается и использование открытой прошивки OpenBMC, которая оказалась лучше, чем проприетарное решение.

В целом, разница между устройствами девятого и десятого поколений не слишком велика. Например, сетевая подсистема всё также представлена двухпортовым 25GbE-адаптером Mellanox ConnectX-4. В целом, новые серверы Cloudflare рассматривает как усовершенствование 10-го поколения, а не качественный переход к абсолютно новой платформе. Однако при неизменном энергопотреблении новый сервер может обрабатывать примерно на 29 % больше запросов.

Компания ASRock Rack расширила ассортимент серверов, анонсировав модель 2U24E-ROME для построения высокопроизводительной системы хранения данных. В основу новинки положена материнская плата ROMED16QM3 с возможностью установки одного процессора AMD EPYC 7002/7003 с показателем TDP до 280 Вт.

Во фронтальной части устройства расположены отсеки для 24 твердотельных накопителей U.2 NVMe формата 2,5". Плюс к этому есть два коннектора M.2 для модулей стандарта 22110/2280 с интерфейсом PCIe 4.0 x4 или SATA. Таким образом, может быть сформировано хранилище большой ёмкости с высокой пропускной способностью.

Здесь и ниже изображения ASRock Rack

Для модулей оперативной памяти DDR4-3200 доступны 16 слотов: поддерживается до 4 Тбайт ОЗУ. За возможности расширения отвечают разъёмы OCP 3.0 PCIe 4.0 x16 и PCIe 4.0 x8 (допускается установка низкопрофильной карты).

Сервер наделён двумя сетевыми портами 1GbE на базе разъёмов RJ45 и выделенным портом управления. Есть последовательный порт, аналоговый интерфейс D-Sub для подключения монитора и два порта USB 3.0. Спереди имеются два дополнительных разъёма USB 3.2 Gen1.

Новинка выполнена в формате 2U с габаритами 660 × 438 × 87,5 мм. Установлены два блока питания мощностью 1200 Вт с сертификатом 80 Plus Platinum.

Аргоннская национальная лаборатория Министерства энергетики США анонсировала проект высокопроизводительного вычислительного комплекса Polaris. Созданием этого суперкомпьютера займутся специалисты Hewlett Packard Enterprise (HPE), а его ввод в эксплуатацию запланирован на начало следующего года.

В основу системы лягут 280 узлов HPE Apollo 6500 Gen10 Plus. Говорится об использовании 560 процессоров AMD EPYC второго и третьего поколений, а также 2240 ускорителей NVIDIA A100. Узлы будут объединены интерконнектом HPE Slingshot, а мониторинг и управление системой будет осуществляться HPE Performance Cluster Manager.

Пиковое быстродействие комплекса составит приблизительно 44 Пфлопс на FP64-операциях. Теоретическая производительность при работе с ИИ-задачами будет достигать 1,4 Эфлопс. Использовать суперкомпьютер планируется при решении ряда сложных задач. Среди них названы исследования в космической сфере, изучение биологии вирусов, проекты в области чистой энергии, производства и пр.

Аргоннская национальная лаборатория

Отмечается, что создание Polaris поможет подготовиться, потренировавшись в переносе и оптимизации ПО, к появлению вычислительной системы Aurora экзафлопсного уровня, выход которой неоднократно откладывался. Это совместный проект Аргоннской национальной лаборатории, компаний Intel и HPE. Данная система обеспечит в четыре раза более высокое быстродействие по сравнению с нынешними суперкомпьютерами лаборатории. Первой экзафлопсной системой в США станет суперкомпьютер Frontier на базе AMD EPYC и Instinct.

Компания AMD запустила Infinity Hub, новый портал для проектов с открытым исходным кодом, которые используются в HPC. Это не первая инициатива компании в данной области, но, пожалуй, пока самая интересная и многообещающая. Infinity Hub ориентирован на решения для высокопроизводительных вычислений (HPC), которые будут работать в первую очередь на ускорителях AMD Instinct, а не на Radeon.

Портал «заточен» на перенос существующего ПО на платформу Radeon Open Compute (ROCm), а не разработку новых решений с нуля. Сейчас на портале есть инструкции о том, как получить и использовать версии пакетов AMBER, Chroma, CP2K, GROMACS, NAMD, OpenMM, PyTorch, SPECFEM3D и TensorFlow, оптимизированных для ROCm. Некоторые из этих проектов уже имеют поддержку ROCm, так что в этом случае просто описываются технические аспекты.

Хотя ROCm может работать и с некоторыми потребительскими ускорителями Radeon, всё-так больше внимания уделяется именно Instinct. Как отмечается, AMD стремится сделать Infinity Hub ресурсом, который упростит развертывание рабочих нагрузок HPC на ускорителях вычислений. Эта инициатива также позволяет объединить все необходимые данные в одном месте.

Первые 5-нм серверные процессоры AMD EPYC Genoa на базе микроархитектуры Zen4 ожидаются в 2022 г. Согласно информации, просочившейся в Сеть, наиболее мощный процессор в новой линейке получит 96 ядер и 192 потоков. Теперь же появились неофициальные подтверждения этих слухов. По информации ComputerBase источником утечки стали ресурсы компании Gigabyte, подвергшейся на днях хакерской атаке.

Среди десятков гигабайт конфиденциальной информации оказались сведения о более крупных разъёмах AMD SP5 (на 6096 контактов) для EPYC 7004 и AM5. Скриншоты с соответствующей информацией опубликованы Twitter-пользователем @KittyYYuko. Судя по сообщениям пользователя, технические подробности о новых AMD EPYC взяты из документов, датированных весной-летом 2021 года.

Источник: Yuko Yoshida @KittyYYuko

Документы описывают рекомендации для разработчиков материнских плат по совместимости температурного режима и питания, а также сведения о самих процессорах EPYC 7004. Будущие процессоры по-прежнему будут использовать восьмиядерные комплексы CCD, а за функции связи между ними и с внешними устройствами будет отвечать отдельный IO-контроллер.

Источник: Yuko Yoshida @KittyYYuko

Размер кристаллов CPU, изготовленного по 5-нм техпроцессу, изменится незначительно. Согласно документу, он должен составить около 72 мм². Площадь IO-контроллера тоже практически не изменится и составит 397 мм². Тот факт, что после перехода с 7- на 5-нм техпроцесс размер кристаллов существенно не уменьшился, объясняется новыми функциями, такими как поддержка AVX-512 и увеличение числа каналов памяти (DDR5) с 8 до 12.

Источник: Yuko Yoshida @KittyYYuko

Поскольку CCD теперь тоже 12, суммарное число ядер достигает 96 (192 потока). Кроме того, подтверждается и то, что топовая модель процессоров Genoa будут иметь TDP 320 Вт по умолчанию и максимум 400 Вт. При этом, судя по опубликованным данным, пиковая потребляемая мощность такой модели (обозначенной литерой E) может достигать 700 Вт в течение 1 мс.

Технологии AMD SEV и Intel SGX позволяют создавать защищённые и зашифрованные области в памяти с ограниченным доступом. Первая в большей степени ориентирована на виртуализацию, вторая — на конфиденциальные вычисления. И для обеих исследователи нашли способ обойти защиту и ограничения, причём в обоих случаях используются атаки на аппаратном уровне с манипуляцией напряжением.

В статье, озаглавленной One Glitch to Rule Them All (Один глитч чтобы править всеми), исследователи из Берлинского технического университета (TU Berlin) описывают метод атаки на AMD Platform Secure Processor (PSP), независимый чип, присутствующий во всех процессорах EPYC всех поколений. PSP отвечает за безопасность платформы в целом, и за работу технологии SEV (Secure Encrypted Virtualization) во всех её вариантах. PSP проверяет целостность и корректность прошивок, загружаемых по цепочке во время старта системы.

Первичный загрузчик считывается из необновляемой ROM-области, после чего управление передаётся следующему загрузчику. Он проверяет и запускает внутреннюю ОС (PSP OS) и прошивку SEV, образы которых находятся уже в отдельной флеш-памяти на шине SPI. Атака, упрощённо говоря, сводится к инициированному сбою во время первичного общения PSP c ROM, что позволяет с некоторой долей вероятности заставить PSP посчитать ключ атакующего корректным и затем без проблем загрузить подписанные этим ключом и модифицированные по желанию атакующего образы из флеш-памяти на SPI.

Указанный сбой можно вызвать, точно манипулируя напряжением питания PSP. Для этого исследователи задействовали микроконтроллер Teensy 4.0, который подключался к шинам управления регулятором напряжения и SPI, а также к линии ATX для сброса CPU по питанию. Так как каждый сервер уникален, нужно время на первичную настройку параметров (около получаса), после чего микроконтроллер в автоматическом режиме начнёт атаковать систему со скоростью порядка 1100 попыток в час.

Ограничением в данном случае является тайм-аут линии ATX, поскольку после каждой неудачной попытки необходимо сбрасывать питание CPU. Это увеличивает время загрузки — от старта атаки до получения полного контроля проходит в среднем от 13,5 (Zen 1) до 46,5 (Zen 3) минут. Исследователи оговариваются, что это именно средние значения, так как разброс достаточно велик и неравномерен и не даёт даже приблизительно оценить время успешной атаки.

Схема атаки

Тем не менее, есть шанс, что увеличенное время загрузки никто не заметит, поскольку крупные системы (в первую очередь с большим объёмом памяти) и так могут загружаться не один десяток минут. В случае успешной атаки её будет весьма трудно обнаружить, поскольку появляется возможность подавить любые дальнейшие проверки и подменить данные внутренней телеметрии.

Основную опасность данный метод атаки представляет для облачных провайдеров и крупных корпоративных заказчиков — модификация сервера может быть произведена в цепочке поставок или сотрудником компании с нужными полномочиями. На подготовку тестовой системы на базе платы Supermicro H11DSU-iN и AMD EPYC 72F3 исследователям понадобилось менее четырёх часов. При это атака очень дешёвая — никакого особого оборудования не нужно, а из расходных материалов требуется только микроконтроллер (примерно $30) и SPI-программатор (около $12).

Маскировка лишних чипов на плате тоже вряд ли вызовет особые проблемы. В целом, данный сценарий очень напоминает историю Bloomberg от 2018 года о «жучках» в серверах Supermicro, поставляемых крупным американским IT-игрокам, которая не нашла официального подтверждения со стороны упомянутых в ней компаний.

Атака на AMD PSP была вдохновлена работой исследователей из Бирмингемского университета, которые развили идеи Plundervolt (CVE-2019-11157) и назвали свой метод VoltPillager. В случае Plundervolt точное манипулирование напряжением CPU позволяла нарушить корректность работы SGX (Software Guard Extensions) и целостность защищённых анклавов памяти, что в итоге позволяло восстановить ключи и получить содержимое анклавов.

Тестовый вариант VoltPillager

Атака требовала привилегированного доступа к системе и точно так же задействовала шину регулятора напряжения (SVID, Serial Voltage Identification). Доступ к этой шине можно было получить программно, так что Intel выпустила соответствующие патчи, позволяющие принудительно отключить эту возможность. Но против модификации «железа» они не помогают. В данном случае требуется только микроконтроллер (тот же Teensy 4.0) и доступ к системе.

И для AMD, и для Intel, по мнению исследователей, для защиты требуется аппаратная модификация самих процессоров, которые, в первую очередь, должны самостоятельно отслеживать питание и команды, управляющие им. Аналогичные методы атаки изучены и для других архитектур и чипов.

Что касается описанных выше методов, то AMD пока никак не прокомментировала ситуацию, а Intel сообщила, что данный метод находится вне фокуса защиты SGX, поскольку подразумевает модификацию «железа». За последние полгода это уже четвёртая атака на AMD SEV — для двух, выявленных весной, и ещё одной, под названием CIPHERLEAKS, признанной на днях, компания уже выпустила патчи и обновления. А Intel SGX успела пострадать и от Spectre, и от других уязвимостей.

Весной началось массовое производство серверных x86-процессоров Intel Xeon Ice Lake-SP и AMD EPYC Milan. Согласно данным TrendForce, изначально небольшие объёмы новых чипов поставлялись лишь некоторым североамериканским клиентам в сегменте облаков и телекоммуникаций. Ожидается, что эти процессоры получат более широкое распространение на рынке в третьем квартале этого года.

Исследователи отмечают, что новые условия работы в постпандемическую эпоху побудят клиентов частично перейти на платформу Ice Lake-SP, доля которой на рынке серверов, согласно прогнозу TrendForce, в четвёртом квартале этого года превысит в 30 %. Что касается AMD, то ожидается, что AMD EPYC Milan обгонят предшественников по поставкам уже в третьем квартале этого года.

TrendForce ожидает, что увеличение объёмов производства процессоров для платформы Eagle Stream, скорее всего, произойдёт во втором квартале 2022 года. Новые Xeon Sapphire Rapids получат набортную память HBM и предложат гораздо более разнообразную линейку продуктов по сравнению с прошлым поколением. Предыдущие ожидания рынка относительно наращивания производства уже в 4 квартале 2021 года не оправдались — процессоры для Eagle Stream в это время лишь войдут в финальную стадию квалификации продукта, после чего Intel начнёт предоставлять некоторым ведущим клиентам небольшие партии.

То есть график производства Sapphire Rapids, вероятно, будет похож на график выпуска Ice Lake-SP. Что касается AMD, то процессоры Genoa, видимо, будут следовать тому же графику производства, поскольку чипы с использованием 5-нм техпроцесса пока имеют относительно небольшие объёмы. Однако серверные процессоры AMD имеют конкурентное преимущество с точки зрения соотношения цены и производительности, количества ядер и интерфейсов. Кроме того, в этом году постепенно увеличивалось использование AMD EPYC публичными облачными провайдерами, включая Google Cloud Platform, Microsoft Azure и Tencent.

В настоящее время уровень проникновения процессоров AMD у этих трёх провайдеров превысил 10%. Переход на 5-нм техпроцесс в конце 2021 года позволит компании ещё больше оптимизировать стоимость, энергопотребление и производительность своих процессоров. Поэтому TrendForce ожидает, что в 2022 году доля процессоров AMD на мировом рынке серверов составит 15 %.

Также TrendForce отмечает, что хотя архитектура Arm начинает набирать популярность, чипы в основном изготавливаются на заказ из-за относительно небольшого спроса. Arm-процессоры в этом году начали набирать обороты на рынке, но наибольшую долю заняли чипы Graviton, которые доступны только в облаке AWS. Ampere и Marvell предлагают более гибкие Arm-платформы, валидация которых, как ожидается, также начнётся в 4 квартале 2021 года.

Однако на рынке серверов по-прежнему преобладают x86-процессоры x86, на которые в настоящее время приходится 97 % общего объёма поставок. И оба ключевых производителя продолжают развивать свои продукты. Поэтому TrendForce считает, что процессоры ARM не будут конкурировать с процессорами x86 на рынке серверов до 2023 года.

Одним из преимуществ новых x86-платформ станет поддержка DDR5, а также PCIe 5.0 и CXL (Compute Express Link). Удвоение пропускной способности PCIe положительно отразится на приложениях ИИ и Big Data, а CXL в Eagle Stream сможет предложить значительные улучшения для «тяжёлых» рабочих нагрузок и гетерогенных вычислений. CXL позволит преодолеть ограничения, накладываемые на текущую аппаратную архитектуру в отношении передачи данных, и тем самым обеспечит более эффективные интегрированные вычислительные возможности.

Что касается памяти, то и Eagle Stream, и Genoa получат поддержку DDR5 нового поколения, которая обеспечивает более высокую скорость передачи данных, что сделает эти новые серверные процессоры более привлекательными в сравнении с прошлым поколением. Поставщики NAND и DRAM планируют начать массовое производство PCIe 5.0 SSD и DDR5 RDIMM в конце 2 квартала 2022 года в ожидании спроса, вызванного выпуском платформ Eagle Stream и Genoa.

Будущие процессоры AMD, в том числе, вероятно, EPYC 7004 (Genoa), будут поддерживать 5-уровневую подкачку страниц памяти (5-level paging). Эта технология предназначена для увеличения виртуального и физического адресного пространства в системах x86-64: для виртуальной памяти лимит увеличится с 256 ТиБ до 128 ПиБ, а для физической адресации — с 64 ТиБ до 4 ПиБ (4,5036 Пбайт). На соответствующие патчи для KVM обратил внимание Phoronix.

Переход на новую систему создавать серверы с действительно огромным объёмом памяти. При этом обратной стороной такого подхода является увеличение времени, требуемого на обход таблиц со страницами. Однако на практике это можно компенсировать оптимизацией программного обеспечения.

Bellezzasolo/WikiPedia

Intel начала работу над поддержкой этой технологии в Linux ещё 5 лет назад, однако в «железе» она появилась только в микроархитектуре Ice Lake. Она доступна, начиная с ядра Linux 4.14, а в Linux 5.5 она уже включена по умолчанию для поддерживаемых процессорах. C точки зрения ядра реализация AMD должна быть очень похожа на Intel, поскольку она задействует уже существующие механизмы.

При этом пока неясно, когда именно стоит ожидать появления новых патчей в основной ветке ядра. Скорее всего, они будут добавлены до релиза EPYC 7004 или вскоре после, как это обычно и происходит у AMD. Что касается практической ценности данного нововведения, то можно предположить, что обе компании постепенно готовятся к появлению систем с CXL. О петабайтах памяти речи пока нет, но десятки терабайт (особенно с SCM вроде 3D XPoint) в будущих системах кажутся вполне реальными.

Компания MSI анонсировала компьютер небольшого форм-фактора Pro DP20Z 5M, ориентированный на применение в корпоративном секторе. Устройство выполнено в корпусе с габаритами 160,55 × 65 × 193,3 мм и весит приблизительно 1,52 кг. Возможна вертикальная и горизонтальная установка. Кроме того, поддерживается монтаж при помощи крепления VESA.

Здесь и ниже изображения MSI

В зависимости от комплектации устанавливается процессор с TDP до 65 Вт: AMD Ryzen 7 5700G, Ryzen 5 5600G или Ryzen 3 5300G со интегрированным ускорителем AMD Radeon. Система может быть наделена 64 Гбайт оперативной памяти DDR4-2666/3200 SO-DIMM, двумя NVMe SSD М.2 (PCIe 3.0 x4) и двумя устройствами хранения данных в форм-факторе 2,5 дюйма.

В оснащение входят звуковой кодек Realtek ALC233 и сетевой контроллер Realtek 8111H. На выбор доступны два варианта беспроводных модулей Wi-Fi/Bluetooth: Intel AX200 (для конфигураций с Ryzen 5/7) или AC 3168 (Ryzen 3 или в случае пустого шасси). Присутствуют интерфейсы USB 2.0 Type-A, USB 3.2 Gen2 Type-A, USB 3.2 Gen2 Type-C, D-Sub, HDMI и DisplayPort. Опционально доступен COM-порт. На компьютер может быть установлена операционная система Windows 10 Home или Windows 10 Pro.