Архитектура ARM успешно дебютировала в крупных ЦОД AWS и Google, показав ряд преимуществ перед традиционными серверами на базе процессоров с архитектурой x86. Третий игрок, на которого возлагались определённые надежды, Marvell с её процессорами ThunderX3, опубликовал новые планы, из которых следует, что компания не собирается развивать серверную платформу общего назначения на базе новых чипов, а вместо этого сконцентрируется на создании более специализированных ARM-чипов.

GIGABYTE R282: пример серверной платформы общего назначения на базе Marvell Thunder X3. Если бы не внезапная смена приоритетов

Сам процессор, о котором мы не столь давно рассказывали более детально, выглядит весьма интересно: он базируется на наборе инструкций ARM v8.3 с дополнениями из более поздних ревизий, имеет до 60 ядер в монолитном кристалле, а наличие SMT4 позволяет ему выполнять 240 потоков. Все компоненты потенциально успешной платформы налицо: современный 7-нм техпроцесс, восьмиканальный контроллер памяти, поддержка PCI Express 4.0 — так что же послужило причиной отказа Marvell от развития общей платформы на базе ThunderX3?

Компания проделала огромную работу. Никто не сомневается, что разработка процессора — это лишь половина работы, тогда как создание инфраструктуры и того, что, собственно говоря, именуется «платформой» — задача не менее важная и сложная. Интерес крупных заказчиков к ARM явно прослеживается, однако сейчас намечается тенденция к специализации процессоров с учётом потребностей кажжого отдельного клиента. Marvell не говорит об отказе от разработки и производства ЦП на базе архитектуры ARM, но при этом собирается поставлять подобного рода заказчикам специализированные, «заточенные» под конкретные нужды процессоры.

Планы Marvell, опубликованные на Hot Chips 32. Им уже не суждено сбыться

Такого рода модель вполне оправдана: у разных крупных владельцев ЦОД и облачных комплексов задачи могут быть разными, а сейчас в среде гиперскейлеров обозначилась чёткая тенденция к использованию архитектур, сочетающих в себе как классические процессорные ядра, так и специализированные для быстрого выполнения какой-либо задачи блоки. Вариантов таких потребностей может быть достаточно много и далеко не каждую получится закрыть унифицированным процессором с единым, «платформенным» разъёмом. Кроме того, «единый» процессор может быть попросту неоптимален с точки зрения задач, стоящих перед конкретным ЦОД. Производители процессоров x86-64 тоже зачастую поставляют гиперскейлерам специализированные версии чипов, хотя в этом случае кастомизации не так уж и глубока.

А рынок серверов общего назначения на базе архитектуры ARM не представляет на сегодняшний день существенного интереса, поэтому основные усилия будут сконцентрированы на создании специализированных процессоров для гиперскейров. Такие чипы будут создаваться с использованием ещё более тонкого техпроцесса с нормами 5 нм. Не обязательно они будут являть собой уникальные решения, но, к примеру, так Marvell сможет варьировать количество каналов памяти, подстраивая чип под нужды крупного заказчика. Также компания собирается и дальше активно бороться за рынок всевозможных ускорителей и сопроцессоров, большинство из которых сегодня содержат в своём составе именно ARM-ядра. К таким можно отнести новые чипы Marvell OCTEON TX2 и Fusion CNF95xx.

Все эти чипы содержат процессорные ядра с архитектурой ARM

Поставки ThunderX3 всё-таки начнутся к концу года, но только в однокристальном варианте и только избранным клиентам: классических серверов Dell, HPE, GIGABYTE и других крупных игроков на базе этих процессоров мы в массовой продаже практически не увидим. Смена приоритетов Marvell означает и отказ от ThunderX4, который совсем недавно, на мероприятии Hot Chips 32, ещё фигурировал в официальных планах компании.

Ситуация выглядит несколько печально, особенно с учётом того, что, к примеру, GIGABYTE уже демонстрировала полностью работоспособный сервер R282 на базе ThunderX3, компактный, мощный, с хорошо развитой подсистемой накопителей. Возможно, у платформы ARM общего назначения в классическом варианте — с унифицированными процессорными разъёмами и серверами различных производителей такого аппаратного обеспечения (Dell, HPE и другие) всё же есть будущее, но наступит оно не в этом и не в следующем году.

Последние дни оказались богатыми на анонсы новых процессоров. Компания IBM представила новейшие POWER10 с поддержкой памяти OMI DDR5 и PCI Express 5.0, Intel анонсировала Xeon Ice Lake-SP, которые, наконец, получили поддержку PCIe 4.0. Третьей в этом списке можно назвать Marvell, которая на мероприятии Hot Chips 32 рассказала подробности о последнем, третьем поколении ARM-процессоров ThunderX, формально анонсированном ещё весной этого года.

Процессоры с архитектурой ARM покорили сегмент мобильных устройств, но в последние несколько лет интереснее другая тенденция — данная архитектура ложится в основу всё новых и новых «крупных» процессоров, предназначенных для серверного применения. И как показывает практика, когда-то считавшаяся «слабой» архитектура оказывается вовсе не такой.

Она успешно соперничает с x86, особенно там, где необходима высокая плотность упаковки вычислительных мощностей и высокая энергоэффективность. Примеры AWS Graviton2 и кастомных процессоров Google тому доказательством, а разработка Fujitsu, процессор A64FX, и вовсе лежит в основе мощнейшего суперкомпьютера планеты, японского кластера Fugaku.

Одной из компаний, прилагающих серьёзные усилия к освоению серверного рынка с помощью архитектуры ARM, является Marvell. Если первые процессоры ThunderX, доставшиеся в наследство от Broadcom, сложно назвать успешным, то уже второе поколение показало себя неплохо, и, судя по всему, третье, наконец, готово к массовому внедрению. Напомним, в отличие от домашних проектов AWS и Google, процессоры ThunderX3 должны получить развитую поддержку многопоточности, на уровне SMT4, что больше, чем у x86, но меньше, чем у POWER10.

При этом максимальное количество ядер у ThunderX3 впечатляет. Теперь известно, что о 96 ядрах речь идёт только в двухкристалльной компоновке (этим подход Marvell напоминает IBM POWER10, также существующий в двух вариантах). Один кристалл может нести до 60 ядер, что меньше, чем у Graviton2, но, во-первых, ненамного, а во-вторых, с лихвой компенсируется наличием SMT. SMT4 может дать 240 или 384 потока в зависимости от версии, и наверняка это понравится крупным облачным провайдерам, поскольку позволит разместить беспрецедентное количество VM в рамках одного сокета.

Однопоточная производительность не осталась без внимания. Компания заявила о 30% превосходстве над ThunderX2 в пересчёте на поток. В целом же, третье поколение ThunderX должно быть в 2-3 раза быстрее второго. Архитектурно процессор основывается на наборе инструкций ARM v8.3, однако сказано о частичной поддержке ARM v8.4/8.5.

В споре о том, что эффективнее для связи ядер между собой, кольцевые шины или единая mesh-сеть, единого мнения нет. Intel предпочитает первый подход, но Marvell остановила свой выбор на втором. Как обычно, на внешнем кольце расположены кеш (80 Мбайт L3 на кристалл), блоки управление питанием, а также контроллеры памяти, PCI Express и межпроцессорной шины (в данном случае CCPI).

Поддержка SMT4 реализована полностью аппаратно. С точки зрения операционной системы каждый поток ThunderX3 выглядит, как обычный процессор с архитектурой ARM. При этом реализация столь развитой многопоточности привела всего лишь к 5% увеличению площади кристалла в сравнении с однопоточной реализацией.

Разделение ресурсов ядра у нового процессора динамическое, осуществляется оно в четырёх точках: выборка, когда потока с меньшим количеством инструкций получают более высокий приоритет; выполнение, работающее по такому же принципу; планирование, которое базируется на «возрасте» потока; наконец, «отставка» — здесь приоритет получают потоки с наибольшим количеством инструкций. Оптимизация многопоточности позволяет Marvell говорить о практически линейной масштабируемости новых процессоров, по крайней мере, в пределах одного разъёма. В зависимости от числа инструкций на ядро коэффициент прироста может варьироваться от x1,28 до 2,21.

Подсистема ввода-вывода у новинок достаточно развитая. Контроллер памяти имеет 8 каналов и поддерживает DDR4-3200. За поддержку PCI Express отвечают 16 раздельных контроллеров, поддерживающих четвёртую версию стандарта. Это должно обеспечивать высокий уровень производительности при подключении 16 NVMe-накопителей, на каждый из которых придётся по четыре линии PCIe.

Заявлено о «тонком» управлении питанием, но деталей Marvell не приводит и остаётся только догадываться, насколько эта подсистема ThunderX3 продвинута. Производится новый процессор на мощностях TSMC с использованием техпроцесса 7 нм. Версия с одним 60-ядерным кристаллом выйдет на рынок уже в этом году, а вариант с двумя кристаллами и большим общим количеством ядер начнет поставляться позже, в 2021 году. Компания уже работает над ThunderX4, ожидается что эти процессоры будут использовать техпроцесс 5 нм и увидят свет в 2022 году.

В связи с отменой Computex 2020 компании пытаются придумать альтернативные способы донести свои идеи. На Gigabyte Virtual Show 2020 было представлено несколько интересных продуктов, об одном из которых мы бы хотели рассказать более подробно.

Marvell ThunderX3 – это серверный процессор ARM третьего поколения, который имеет впечатляющие характеристики:

Сервер Gigabyte R282 (2U) оснащен фирменной материнской платой c двумя сокетами LGA 4564, которую компания планирует использовать в своей серии ARM-серверов. Что особенно интересно, система поддерживает ускорители вычислений NVIDIA V100, и это большой шаг со стороны NVIDIA и ARM, который позволит значительно расширить сферу применения ARM-серверов.

Думаем, что в ближайшее время появится поддержка и новейшей разработки NVIDIA A100. На лицевой панели сервера расположены 24 отсека для 2,5-дюймовых накопителей, из них четыре могут быть с поддержкой NVMe, дополнительно на задней панели расположены два отсека для 2,5-дюймовых накопителей.

Сервер имеет 32 слота под оперативную память DDR-3200, что позволяет разместить до 8 Тбайт — очень весомый показатель для ARM-систем. Также поддерживается PCIe gen4, которого до сих пор нет у Intel Xeon.

Новинка ориентирована прежде всего на высокопроизводительные вычисления (HPC) и облачные сервисы, тогда как для виртуализации и стандартных задач у Gigabyte есть несколько серий классических серверов на x86-процессорах, про которые мы писали ранее.

Так что же мы видим в итоге? Компактный мощный сервер на базе ARM, который значительно продвинулся, по сравнению с прошлым поколением и теперь уже представляет собой реальную альтернативу серверам на базе процессоров x86. Конкуренция это всегда хорошо, надеемся, что появление подобных серверов заставит Intel и AMD ускорить вывод на рынок новых моделей процессоров и предлагать их по более низкой цене.

Экосистема серверных процессоров с архитектурой ARM продолжает активно цвести и развиваться. Как показывают результаты тестов, ARM может быть гораздо выгоднее x86. И компания Marvell старается оставаться «в струе»: она анонсировала третье поколение чипов ThunderX. Процессоры ThunderX3 получили 96 ядер и поддержку SMT4.

Четвёртое поколение ThunderX ожидается в 2022 году

Первые шаги ARM в мире серверных вычислений были довольно неуклюжими и в полной мере это относится к ThunderX. Прародительница этих процессоров, компания Cavium, пыталась дебютировать ещё в 2016 году, однако особого успеха не снискала. Второе поколение процессоров под этим именем получило новую архитектуру, продолжившую собой разработки Broadcom, но Cavium это не спасло — летом 2018 года компания была куплена корпорацией Marvell Technology Group. Впрочем, производительность ThunderX2 продемонстрировали неплохую и понемногу начали приживаться в серверном мире.

ThunderX3: основные характеристики

Новый владелец не забросил разработки, благо, к этому времени архитектура ARM уже доказала свою жизнеспособность не только в качестве решений для носимых устройств. Как и ожидалось, третье поколение ThunderX было анонсировано в 2020 году, а именно, 16 марта. В общих чертах ThunderX3 являются продолжением идей, заложенных в ThunderX2; в частности, третье поколение унаследовало поддержку SMT4, чего до сих пор нет в мире x86.

Улучшения, скорее, количественные, нежели качественные: оптимизирована микроархитектура для увеличения числа исполняемых за такт операций, освоен новый 7-нм техпроцесс, а максимально возможное количество ядер в одном процессоре выросло с 32 до 96, что даёт 384 потока на процессорный разъём и 768 потоков на стандартную двухпроцессорную платформу.

ThunderX3 vs. ThunderX2: производительность

Ядра у Marvell ThunderX3 кастомные, имеют архитектуру ARM8.3+. Компания избрала более сложный подход, нежели Amazon с их CPU Graviton2, который использует ядра ARM Neoverse N1 и SMT в текущей реализации не поддерживает вовсе. Помимо хорошей поддержки SMT с четырьмя потоками на ядро, ThunderX3 получили четыре 128-битных блока SIMD против двух у Graviton 2, что должно обеспечить новинкам преимущество на активно использующих векторные операции задачах.

ThunderX3 ориентирован на облачные системы

Подробностей о подсистеме кешей Marvell пока не раскрыла, заявлено лишь о постоянном уровне латентности, не зависящем от взаимного расположения ядер. Подсистема памяти аналогична Graviton2 и включает в себя восьмиканальный контроллер DDR4 с поддержкой частот до 3200 МГц.

ThunderX3: оценка производительности в облачных приложениях

Друг с другом процессоры ThunderX3 могут общаться посредством интерфейса CCPI (Cavium Cache Coherent Interconnect) третьего поколения с пропускной способностью 28 Гбит/с на линию, всего таких линий 24. Для подключения периферийных устройств реализован контроллер PCI Express 4.0, точнее, 16 контроллеров на процессор шириной x4 каждый. Поддерживается мультиплексирование линий PCIe для подключения устройств, требующих 8 или 16 линий интерфейса.

ThunderX3: преимущества новинки в сфере HPC

Компания не собирается ограничиваться выпуском единственной модели с максимальным количеством ядер и частотой 3 ГГц. Будут выпущены разные варианты ThunderX3 с теплопакетами от 100 до 240 Ватт, но все они будут базироваться на едином дизайне. В плане энергоэффективности, если верить Marvell, новый процессор превосходит на 30% платформу AMD Rome (EPYC 2 поколения).

ThunderX3: оценка производительности в сфере супервычислений

Производительность у ThunderX3 серьёзно подросла — компания-разработчик заявляет о 25% превосходстве по показателю IPC в сравнении с ThunderX2. На 60% увеличена производительность в однопоточном режиме, на целочисленных операциях новинка быстрее ThunderX2 в три, а на вычислениях с плавающей запятой — в пять раз. Таким образом, системы на базе новых процессоров Marvell должны опережать разработки Google и Ampere, по крайней мере, в теории.

Поддержка SMT4 даёт серьёзные преимущества в ряде сценариев

В основном, преимущество будет реализовываться в сценариях, задействующих крупные массивы данных. Также благодаря развитой поддержке SMT, однопроцессорные системы смогут запускать больше виртуальных машин. В этих областях ThunderX3 будут опережать даже AMD Rome, не говоря уж об Intel Cascade Lake-SP. По-видимому, x86 сохранит за собой превосходство в чисто вычислительных задачах, однако и здесь новая разработка Marvell должна выглядеть вполне конкурентоспособно.

ThunderX3: замах на лидерство в энергоэффективности

Пока речь идёт лишь об анонсе. Более детально о новых процессорах Maverll планирует рассказать на 32-ой конференции Hotchips 2020, которая пройдёт в Стэнфордском университете с 16 по 18 августа этого года.

Компания Marvell весьма активно продвигает на серверный рынок процессоры ThunderX2 с архитектурой ARMv8.1, однако относительно планов по развитию данной сферы до недавних пор хранилось молчание. За плечами Marvell есть несколько крупных достижений в области HPC: Astra, узлы Cray Shasta и Atos BullSequana X1310.

Однако конкуренция среди ARM-производителей серверных CPU обостряется: Fujitsu занимается A64FX, Ampere вывела на рынок eMAG, Amazon создала собственные Graviton. Так что на мероприятии Linley Processor Conference компания всё же решила поделиться свои видением будущего.

Marvell не без оснований полагает, что её текущие решения являются наилучшим выбором для облачных систем с «родной» поддержкой ARM-приложений, включая запуск Android. Один 32-ядерный процессор ThunderX2 способен заменить целые «кластеры» на базе менее мощных решений вроде Raspberry Pi 4.

Использование процессоров ThunderX2 снизит затраты на разработку ARM-приложений

Новую версию процессора, ThunderX3 компания планирует выпустить в 2020 году, а ThunderX4 следует ожидать в 2022 году. Третья версия ThunderX получит архитектуру Triton. О ней пока известно немного, но представитель Marvell отметил наличие четырех 128-битных блоков инструкций NEON (у ThunderX2 таких блоков 2 на ядро).

С помощью ThunderX2 можно создавать игровые сервисы для платформы Android

ThunderX3 будет вдвое быстрее ThunderX2, а ThunderX4 — вдвое быстрее ThunderX3. Интересно также отметить, что компания планирует добавить в будущие продукты поддержку векторных расширений ARM Scalable Vector Extention (SVE); некоторые из новых инструкций появятся уже в ThunderX3, но более подробной информации на этот счёт пока раскрыто не было.

Серьёзное внимание будет уделено наращиванию частотного потенциала и повышению экономичности новых процессоров. ThunderX3 будут производиться с использованием 7-нм техпроцесса TSMC. Если не возникнет проблем, то следующая итерация, ThunderX4 будет переведена на использование 5-нм технологических норм.

Представитель компании отметил, что при разработке новых семейств ThunderX Marvell будет придерживаться политики «создаём ядро с нуля». Таким образом, конкуренции со стороны самой ARM, которая не так давно представила собственную высокопроизводительную платформу с ядрами Neoverse N1 и E1, Marvell не опасается.