Компания Cloudflare сообщила, что не смогла использовать процессоры Intel в своих новых серверах 11-го поколения, поскольку они оказались слишком горячими и прожорливыми. По словам специалистов компании, последнее поколение процессоров Intel Xeon Ice Lake-SP хотя и может конкурировать с AMD EPYC Milan с точки зрения чистой производительности, но по энергопотреблению — нет.

Cloudflare задействует 64-ядерный процессор AMD EPYC 7713 (2,0/3,675 ГГц, L3-кеш 256 Мбайт, TDP 225 Вт) для серверов. В десятом поколении использовались 48-ядерные процессоры EPYC 7642 с тем же уровнем TDP, так что увеличение числа ядер, пусть даже ценой снижения базовой частоты, оказалось наиболее выгодным. Поскольку речь идёт об односокетной платформе, Intel здесь трудно противостоять AMD.

Фото: Cloudflare

Изменилась и конфигурация оперативной памяти: 384 Гбайт DDR4-3200 вместо 256 Гбайт DDR4-2933. В качестве дисковой подсистемы используют два E1.S SSD Samsung PM9A3 емкостью 1,92 Тбайт вместо трёх PM983 по 960 Гбайт. В числе изменений отмечается и использование открытой прошивки OpenBMC, которая оказалась лучше, чем проприетарное решение.

В целом, разница между устройствами девятого и десятого поколений не слишком велика. Например, сетевая подсистема всё также представлена двухпортовым 25GbE-адаптером Mellanox ConnectX-4. В целом, новые серверы Cloudflare рассматривает как усовершенствование 10-го поколения, а не качественный переход к абсолютно новой платформе. Однако при неизменном энергопотреблении новый сервер может обрабатывать примерно на 29 % больше запросов.

Компания ASRock Rack расширила ассортимент серверов, анонсировав модель 2U24E-ROME для построения высокопроизводительной системы хранения данных. В основу новинки положена материнская плата ROMED16QM3 с возможностью установки одного процессора AMD EPYC 7002/7003 с показателем TDP до 280 Вт.

Во фронтальной части устройства расположены отсеки для 24 твердотельных накопителей U.2 NVMe формата 2,5". Плюс к этому есть два коннектора M.2 для модулей стандарта 22110/2280 с интерфейсом PCIe 4.0 x4 или SATA. Таким образом, может быть сформировано хранилище большой ёмкости с высокой пропускной способностью.

Здесь и ниже изображения ASRock Rack

Для модулей оперативной памяти DDR4-3200 доступны 16 слотов: поддерживается до 4 Тбайт ОЗУ. За возможности расширения отвечают разъёмы OCP 3.0 PCIe 4.0 x16 и PCIe 4.0 x8 (допускается установка низкопрофильной карты).

Сервер наделён двумя сетевыми портами 1GbE на базе разъёмов RJ45 и выделенным портом управления. Есть последовательный порт, аналоговый интерфейс D-Sub для подключения монитора и два порта USB 3.0. Спереди имеются два дополнительных разъёма USB 3.2 Gen1.

Новинка выполнена в формате 2U с габаритами 660 × 438 × 87,5 мм. Установлены два блока питания мощностью 1200 Вт с сертификатом 80 Plus Platinum.

Аргоннская национальная лаборатория Министерства энергетики США анонсировала проект высокопроизводительного вычислительного комплекса Polaris. Созданием этого суперкомпьютера займутся специалисты Hewlett Packard Enterprise (HPE), а его ввод в эксплуатацию запланирован на начало следующего года.

В основу системы лягут 280 узлов HPE Apollo 6500 Gen10 Plus. Говорится об использовании 560 процессоров AMD EPYC второго и третьего поколений, а также 2240 ускорителей NVIDIA A100. Узлы будут объединены интерконнектом HPE Slingshot, а мониторинг и управление системой будет осуществляться HPE Performance Cluster Manager.

Пиковое быстродействие комплекса составит приблизительно 44 Пфлопс на FP64-операциях. Теоретическая производительность при работе с ИИ-задачами будет достигать 1,4 Эфлопс. Использовать суперкомпьютер планируется при решении ряда сложных задач. Среди них названы исследования в космической сфере, изучение биологии вирусов, проекты в области чистой энергии, производства и пр.

Аргоннская национальная лаборатория

Отмечается, что создание Polaris поможет подготовиться, потренировавшись в переносе и оптимизации ПО, к появлению вычислительной системы Aurora экзафлопсного уровня, выход которой неоднократно откладывался. Это совместный проект Аргоннской национальной лаборатории, компаний Intel и HPE. Данная система обеспечит в четыре раза более высокое быстродействие по сравнению с нынешними суперкомпьютерами лаборатории. Первой экзафлопсной системой в США станет суперкомпьютер Frontier на базе AMD EPYC и Instinct.

Первые 5-нм серверные процессоры AMD EPYC Genoa на базе микроархитектуры Zen4 ожидаются в 2022 г. Согласно информации, просочившейся в Сеть, наиболее мощный процессор в новой линейке получит 96 ядер и 192 потоков. Теперь же появились неофициальные подтверждения этих слухов. По информации ComputerBase источником утечки стали ресурсы компании Gigabyte, подвергшейся на днях хакерской атаке.

Среди десятков гигабайт конфиденциальной информации оказались сведения о более крупных разъёмах AMD SP5 (на 6096 контактов) для EPYC 7004 и AM5. Скриншоты с соответствующей информацией опубликованы Twitter-пользователем @KittyYYuko. Судя по сообщениям пользователя, технические подробности о новых AMD EPYC взяты из документов, датированных весной-летом 2021 года.

Источник: Yuko Yoshida @KittyYYuko

Документы описывают рекомендации для разработчиков материнских плат по совместимости температурного режима и питания, а также сведения о самих процессорах EPYC 7004. Будущие процессоры по-прежнему будут использовать восьмиядерные комплексы CCD, а за функции связи между ними и с внешними устройствами будет отвечать отдельный IO-контроллер.

Источник: Yuko Yoshida @KittyYYuko

Размер кристаллов CPU, изготовленного по 5-нм техпроцессу, изменится незначительно. Согласно документу, он должен составить около 72 мм². Площадь IO-контроллера тоже практически не изменится и составит 397 мм². Тот факт, что после перехода с 7- на 5-нм техпроцесс размер кристаллов существенно не уменьшился, объясняется новыми функциями, такими как поддержка AVX-512 и увеличение числа каналов памяти (DDR5) с 8 до 12.

Источник: Yuko Yoshida @KittyYYuko

Поскольку CCD теперь тоже 12, суммарное число ядер достигает 96 (192 потока). Кроме того, подтверждается и то, что топовая модель процессоров Genoa будут иметь TDP 320 Вт по умолчанию и максимум 400 Вт. При этом, судя по опубликованным данным, пиковая потребляемая мощность такой модели (обозначенной литерой E) может достигать 700 Вт в течение 1 мс.

Технологии AMD SEV и Intel SGX позволяют создавать защищённые и зашифрованные области в памяти с ограниченным доступом. Первая в большей степени ориентирована на виртуализацию, вторая — на конфиденциальные вычисления. И для обеих исследователи нашли способ обойти защиту и ограничения, причём в обоих случаях используются атаки на аппаратном уровне с манипуляцией напряжением.

В статье, озаглавленной One Glitch to Rule Them All (Один глитч чтобы править всеми), исследователи из Берлинского технического университета (TU Berlin) описывают метод атаки на AMD Platform Secure Processor (PSP), независимый чип, присутствующий во всех процессорах EPYC всех поколений. PSP отвечает за безопасность платформы в целом, и за работу технологии SEV (Secure Encrypted Virtualization) во всех её вариантах. PSP проверяет целостность и корректность прошивок, загружаемых по цепочке во время старта системы.

Первичный загрузчик считывается из необновляемой ROM-области, после чего управление передаётся следующему загрузчику. Он проверяет и запускает внутреннюю ОС (PSP OS) и прошивку SEV, образы которых находятся уже в отдельной флеш-памяти на шине SPI. Атака, упрощённо говоря, сводится к инициированному сбою во время первичного общения PSP c ROM, что позволяет с некоторой долей вероятности заставить PSP посчитать ключ атакующего корректным и затем без проблем загрузить подписанные этим ключом и модифицированные по желанию атакующего образы из флеш-памяти на SPI.

Указанный сбой можно вызвать, точно манипулируя напряжением питания PSP. Для этого исследователи задействовали микроконтроллер Teensy 4.0, который подключался к шинам управления регулятором напряжения и SPI, а также к линии ATX для сброса CPU по питанию. Так как каждый сервер уникален, нужно время на первичную настройку параметров (около получаса), после чего микроконтроллер в автоматическом режиме начнёт атаковать систему со скоростью порядка 1100 попыток в час.

Ограничением в данном случае является тайм-аут линии ATX, поскольку после каждой неудачной попытки необходимо сбрасывать питание CPU. Это увеличивает время загрузки — от старта атаки до получения полного контроля проходит в среднем от 13,5 (Zen 1) до 46,5 (Zen 3) минут. Исследователи оговариваются, что это именно средние значения, так как разброс достаточно велик и неравномерен и не даёт даже приблизительно оценить время успешной атаки.

Схема атаки

Тем не менее, есть шанс, что увеличенное время загрузки никто не заметит, поскольку крупные системы (в первую очередь с большим объёмом памяти) и так могут загружаться не один десяток минут. В случае успешной атаки её будет весьма трудно обнаружить, поскольку появляется возможность подавить любые дальнейшие проверки и подменить данные внутренней телеметрии.

Основную опасность данный метод атаки представляет для облачных провайдеров и крупных корпоративных заказчиков — модификация сервера может быть произведена в цепочке поставок или сотрудником компании с нужными полномочиями. На подготовку тестовой системы на базе платы Supermicro H11DSU-iN и AMD EPYC 72F3 исследователям понадобилось менее четырёх часов. При это атака очень дешёвая — никакого особого оборудования не нужно, а из расходных материалов требуется только микроконтроллер (примерно $30) и SPI-программатор (около $12).

Маскировка лишних чипов на плате тоже вряд ли вызовет особые проблемы. В целом, данный сценарий очень напоминает историю Bloomberg от 2018 года о «жучках» в серверах Supermicro, поставляемых крупным американским IT-игрокам, которая не нашла официального подтверждения со стороны упомянутых в ней компаний.

Атака на AMD PSP была вдохновлена работой исследователей из Бирмингемского университета, которые развили идеи Plundervolt (CVE-2019-11157) и назвали свой метод VoltPillager. В случае Plundervolt точное манипулирование напряжением CPU позволяла нарушить корректность работы SGX (Software Guard Extensions) и целостность защищённых анклавов памяти, что в итоге позволяло восстановить ключи и получить содержимое анклавов.

Тестовый вариант VoltPillager

Атака требовала привилегированного доступа к системе и точно так же задействовала шину регулятора напряжения (SVID, Serial Voltage Identification). Доступ к этой шине можно было получить программно, так что Intel выпустила соответствующие патчи, позволяющие принудительно отключить эту возможность. Но против модификации «железа» они не помогают. В данном случае требуется только микроконтроллер (тот же Teensy 4.0) и доступ к системе.

И для AMD, и для Intel, по мнению исследователей, для защиты требуется аппаратная модификация самих процессоров, которые, в первую очередь, должны самостоятельно отслеживать питание и команды, управляющие им. Аналогичные методы атаки изучены и для других архитектур и чипов.

Что касается описанных выше методов, то AMD пока никак не прокомментировала ситуацию, а Intel сообщила, что данный метод находится вне фокуса защиты SGX, поскольку подразумевает модификацию «железа». За последние полгода это уже четвёртая атака на AMD SEV — для двух, выявленных весной, и ещё одной, под названием CIPHERLEAKS, признанной на днях, компания уже выпустила патчи и обновления. А Intel SGX успела пострадать и от Spectre, и от других уязвимостей.

Весной началось массовое производство серверных x86-процессоров Intel Xeon Ice Lake-SP и AMD EPYC Milan. Согласно данным TrendForce, изначально небольшие объёмы новых чипов поставлялись лишь некоторым североамериканским клиентам в сегменте облаков и телекоммуникаций. Ожидается, что эти процессоры получат более широкое распространение на рынке в третьем квартале этого года.

Исследователи отмечают, что новые условия работы в постпандемическую эпоху побудят клиентов частично перейти на платформу Ice Lake-SP, доля которой на рынке серверов, согласно прогнозу TrendForce, в четвёртом квартале этого года превысит в 30 %. Что касается AMD, то ожидается, что AMD EPYC Milan обгонят предшественников по поставкам уже в третьем квартале этого года.

TrendForce ожидает, что увеличение объёмов производства процессоров для платформы Eagle Stream, скорее всего, произойдёт во втором квартале 2022 года. Новые Xeon Sapphire Rapids получат набортную память HBM и предложат гораздо более разнообразную линейку продуктов по сравнению с прошлым поколением. Предыдущие ожидания рынка относительно наращивания производства уже в 4 квартале 2021 года не оправдались — процессоры для Eagle Stream в это время лишь войдут в финальную стадию квалификации продукта, после чего Intel начнёт предоставлять некоторым ведущим клиентам небольшие партии.

То есть график производства Sapphire Rapids, вероятно, будет похож на график выпуска Ice Lake-SP. Что касается AMD, то процессоры Genoa, видимо, будут следовать тому же графику производства, поскольку чипы с использованием 5-нм техпроцесса пока имеют относительно небольшие объёмы. Однако серверные процессоры AMD имеют конкурентное преимущество с точки зрения соотношения цены и производительности, количества ядер и интерфейсов. Кроме того, в этом году постепенно увеличивалось использование AMD EPYC публичными облачными провайдерами, включая Google Cloud Platform, Microsoft Azure и Tencent.

В настоящее время уровень проникновения процессоров AMD у этих трёх провайдеров превысил 10%. Переход на 5-нм техпроцесс в конце 2021 года позволит компании ещё больше оптимизировать стоимость, энергопотребление и производительность своих процессоров. Поэтому TrendForce ожидает, что в 2022 году доля процессоров AMD на мировом рынке серверов составит 15 %.

Также TrendForce отмечает, что хотя архитектура Arm начинает набирать популярность, чипы в основном изготавливаются на заказ из-за относительно небольшого спроса. Arm-процессоры в этом году начали набирать обороты на рынке, но наибольшую долю заняли чипы Graviton, которые доступны только в облаке AWS. Ampere и Marvell предлагают более гибкие Arm-платформы, валидация которых, как ожидается, также начнётся в 4 квартале 2021 года.

Однако на рынке серверов по-прежнему преобладают x86-процессоры x86, на которые в настоящее время приходится 97 % общего объёма поставок. И оба ключевых производителя продолжают развивать свои продукты. Поэтому TrendForce считает, что процессоры ARM не будут конкурировать с процессорами x86 на рынке серверов до 2023 года.

Одним из преимуществ новых x86-платформ станет поддержка DDR5, а также PCIe 5.0 и CXL (Compute Express Link). Удвоение пропускной способности PCIe положительно отразится на приложениях ИИ и Big Data, а CXL в Eagle Stream сможет предложить значительные улучшения для «тяжёлых» рабочих нагрузок и гетерогенных вычислений. CXL позволит преодолеть ограничения, накладываемые на текущую аппаратную архитектуру в отношении передачи данных, и тем самым обеспечит более эффективные интегрированные вычислительные возможности.

Что касается памяти, то и Eagle Stream, и Genoa получат поддержку DDR5 нового поколения, которая обеспечивает более высокую скорость передачи данных, что сделает эти новые серверные процессоры более привлекательными в сравнении с прошлым поколением. Поставщики NAND и DRAM планируют начать массовое производство PCIe 5.0 SSD и DDR5 RDIMM в конце 2 квартала 2022 года в ожидании спроса, вызванного выпуском платформ Eagle Stream и Genoa.

Будущие процессоры AMD, в том числе, вероятно, EPYC 7004 (Genoa), будут поддерживать 5-уровневую подкачку страниц памяти (5-level paging). Эта технология предназначена для увеличения виртуального и физического адресного пространства в системах x86-64: для виртуальной памяти лимит увеличится с 256 ТиБ до 128 ПиБ, а для физической адресации — с 64 ТиБ до 4 ПиБ (4,5036 Пбайт). На соответствующие патчи для KVM обратил внимание Phoronix.

Переход на новую систему создавать серверы с действительно огромным объёмом памяти. При этом обратной стороной такого подхода является увеличение времени, требуемого на обход таблиц со страницами. Однако на практике это можно компенсировать оптимизацией программного обеспечения.

Bellezzasolo/WikiPedia

Intel начала работу над поддержкой этой технологии в Linux ещё 5 лет назад, однако в «железе» она появилась только в микроархитектуре Ice Lake. Она доступна, начиная с ядра Linux 4.14, а в Linux 5.5 она уже включена по умолчанию для поддерживаемых процессорах. C точки зрения ядра реализация AMD должна быть очень похожа на Intel, поскольку она задействует уже существующие механизмы.

При этом пока неясно, когда именно стоит ожидать появления новых патчей в основной ветке ядра. Скорее всего, они будут добавлены до релиза EPYC 7004 или вскоре после, как это обычно и происходит у AMD. Что касается практической ценности данного нововведения, то можно предположить, что обе компании постепенно готовятся к появлению систем с CXL. О петабайтах памяти речи пока нет, но десятки терабайт (особенно с SCM вроде 3D XPoint) в будущих системах кажутся вполне реальными.

Компания Selectel, один из лидеров в области предоставления облачных инфраструктурных сервисов и услуг дата-центров в России, объявила о расширении сотрудничества с AMD, в рамках которого клиентам теперь доступны выделенные серверы с процессорами AMD EPYC третьего поколения (Milan). Речь идёт о конфигурациях серверов на базе новейших AMD EPYC 7513, EPYC 7443P и EPYC 7343.

Процессоры AMD EPYC 3-го поколения обеспечивают в среднем до 19 % прироста IPC по сравнению с предыдущим поколением для серверных нагрузок — всё благодаря переработанной архитектуре и высокой плотности ядер, быстрой подсистеме ввода-вывода, а также 32 Мбайт общей кеш-памяти третьего уровня. Кроме того, новинки получили дополнительные функции безопасности.

AMD EPYC 3-го поколения отличаются улучшенной производительностью для приложений с наборами данных, активно использующих кеш (базы данных, Java-нагрузки и пр.), а также для крупных виртуальных машин, что позволит обеспечить выполнение самых ресурсоёмких рабочих задач. Клиенты смогут подобрать подходящее решение, исходя из числа ядер и тактовой частоты.

Стоимость аренды AMD EPYC Milan в составе сервера начинается всего от 10 тыс. руб. в месяц (цены даны с НДС). При аренде на длительный срок действует система прогрессивных скидок (до 15 %), а при заказе сервера на срок от 6 месяцев не взимается установочный платёж. В стоимость аренды входят 30 Тбайт трафика на скорости 1 Гбит/с (или безлимитное подключение 100 Мбит/с), один общий публичный IP-адрес, бесплатная техническая поддержка 24/7 и бесплатная замена комплектующих в течение 3 часов, доступ к IP-KVM.

Новые серверы с процессорами AMD EPYC 3-го поколения уже доступны для аренды. Оставить заявку можно по ссылке: https://promo.selectel.ru/amd_milan.

На суперкомпьютерной выставке-конференции ISC 2021 AMD рассказала об обновлениях открытой платформы ROCm, представила инициативу по поддержке образовательных и исследовательских программ Education and Research (AIER) для использования ускорителей AMD Instinct, а также продемонстрировала динамику внедрения своих процессоров EPYC в отрасли высокопроизводительных вычислений (HPC).

Последний список Top500 рейтинга суперкомпьютеров демонстрирует продолжающийся рост числа процессоров AMD EPYC для HPC-систем. На процессорах AMD EPYC теперь базируется почти в 5 раз больше систем (49 против 10) по сравнению со списком июня 2020 года. Кроме того, они используются в половине 58 новых систем, пополнивших нынешний рейтинг.

«Высокопроизводительные вычисления приобретают всё большее значение при решении многих важных мировых проблем. И наша компания с помощью продуктов EPYC и Instinct стремится обеспечить такой уровень производительности и возможностей, который позволит преодолеть эксафлопсный барьер, ускорит научные открытия и внедрение инноваций» — прокомментировал Форрест Норрод (Forrest Norrod), старший вице-президент подразделения по центрам обработки данных и встраиваемым системам компании AMD.

В число новейших HPC-систем, построенных на продуктах AMD входят CSD3, COSMA8, Discoverer, Perlmutter, MeluXina, гибридная система метеобюро Великобритании, сразу четыре облачных NDv4-кластера в Microsoft Azure, вычислительный комплекс Национального суперкомпьютерного центра (NSCC) Сингапура, система Национального центра атмосферных исследований США (NCAR) и другие. Правда, около половины новых систем с EPYC, попавших в свежий список TOP500, соседствуют с ускорителями NVIDIA, которые обычно и обеспечивают основную производительность в такой связке.

top500.org

Исследование Intersect360, проведенное в 2020 году среди HPC-пользователей, показало, что AMD EPYC оставили у 78% респондентов положительные впечатления. Для сравнения, в 2016 году таких насчитывалось лишь 36%. Согласно новому исследованию Intersect360, 23% респондентов заявили о широком использовании процессоров EPYC в HPC-системах, а еще 47% в той или иной степени тестируют или используют эти процессоры. Этой тенденции, вероятно, в ещё большей степени будет способствовать недавний запуск новой серии процессоров AMD EPYC 7003.

Новых ускорителей на ISC 2021 компания не показала, но помочь учёным и исследователям воспользоваться всей мощью уже имеющихся в портфолио AMD решений Instinct призвана образовательная программа AIER. Она предлагает удалённый доступ к Instinct, учебному центру AMD ROCm и соответствующему ПО, а также к технической поддержке и руководствам по программным и аппаратным решениям AMD. Участвуют в программе как региональные партнёры, так и глобальные компании: Dell Technologies, Gigabyte, HPE и Supermicro.

Открытая программная платформа ROCm продолжает получать отраслевую поддержку, обрастая новыми приложениями, библиотеками и фреймворками для использования AMD-ускорителей. Это свидетельствует о том, что предложенный AMD инструмент для преобразования кода CUDA в C++, HIP воспринят сообществом как гетерогенная модель программирования, которую можно использовать при написании или адаптации своих кодов для ускорения на графических процессорах AMD, включая Gromacs, TensorFlow и GridTools.

В частности, теперь PyTorch для ROCm стал доступен в виде устанавливаемого пакета Python, что открывает перед разработчиками возможности для вычислений смешанной точности и крупномасштабного обучения с использованием библиотек AMD MIOpen и RCCL. А совсем недавно и CuPy, открытая библиотека для GPU-вычислений, получила версию 9.0 с поддержкой стека ROCm и ускорителей AMD.

Компания Gigabyte анонсировала стоечный сервер E152-ZE0, выполненный в форм-факторе 1U. В новинке применена материнская плата MZE2-G10 с возможностью установки одного процессора серии AMD EPYC 7003: могут применяться чипы с показателем TDP до 225 Вт.

Устройство имеет небольшую глубину — 400 мм. Доступны восемь слотов для модулей оперативной памяти DDR4-3200/2933 суммарным объёмом до 2 Тбайт (8 × 256 Гбайт). Могут быть установлены два 2,5" накопителя SATA/SAS/NVMe с поддержкой «горячей» замены.

Здесь и ниже изображения Gigabyte

Сервер может быть оборудован двумя полноразмерными картами расширения с интерфейсом PCIe 4.0 x16 и двумя низкопрофильными картами PCIe 4.0 x16 половинной длины. Кроме того, есть разъём OCP 3.0 (PCIe 4.0 x16).

Новинка оснащена двухпортовым гигабитным сетевым контроллером (Intel I350-AM2) и выделенным портом управления (Aspeed AST2600). На фронтальную панель выведены два порта USB 3.0, гнёзда для сетевых кабелей, а также интерфейс miniDP. Общие габариты составляют 438 × 43,5 × 400 мм.