В связи с отменой Computex 2020 компании пытаются придумать альтернативные способы донести свои идеи. На Gigabyte Virtual Show 2020 было представлено несколько интересных продуктов, об одном из которых мы бы хотели рассказать более подробно.

Marvell ThunderX3 – это серверный процессор ARM третьего поколения, который имеет впечатляющие характеристики:

Сервер Gigabyte R282 (2U) оснащен фирменной материнской платой c двумя сокетами LGA 4564, которую компания планирует использовать в своей серии ARM-серверов. Что особенно интересно, система поддерживает ускорители вычислений NVIDIA V100, и это большой шаг со стороны NVIDIA и ARM, который позволит значительно расширить сферу применения ARM-серверов.

Думаем, что в ближайшее время появится поддержка и новейшей разработки NVIDIA A100. На лицевой панели сервера расположены 24 отсека для 2,5-дюймовых накопителей, из них четыре могут быть с поддержкой NVMe, дополнительно на задней панели расположены два отсека для 2,5-дюймовых накопителей.

Сервер имеет 32 слота под оперативную память DDR-3200, что позволяет разместить до 8 Тбайт — очень весомый показатель для ARM-систем. Также поддерживается PCIe gen4, которого до сих пор нет у Intel Xeon.

Новинка ориентирована прежде всего на высокопроизводительные вычисления (HPC) и облачные сервисы, тогда как для виртуализации и стандартных задач у Gigabyte есть несколько серий классических серверов на x86-процессорах, про которые мы писали ранее.

Так что же мы видим в итоге? Компактный мощный сервер на базе ARM, который значительно продвинулся, по сравнению с прошлым поколением и теперь уже представляет собой реальную альтернативу серверам на базе процессоров x86. Конкуренция это всегда хорошо, надеемся, что появление подобных серверов заставит Intel и AMD ускорить вывод на рынок новых моделей процессоров и предлагать их по более низкой цене.

Экосистема серверных процессоров с архитектурой ARM продолжает активно цвести и развиваться. Как показывают результаты тестов, ARM может быть гораздо выгоднее x86. И компания Marvell старается оставаться «в струе»: она анонсировала третье поколение чипов ThunderX. Процессоры ThunderX3 получили 96 ядер и поддержку SMT4.

Четвёртое поколение ThunderX ожидается в 2022 году

Первые шаги ARM в мире серверных вычислений были довольно неуклюжими и в полной мере это относится к ThunderX. Прародительница этих процессоров, компания Cavium, пыталась дебютировать ещё в 2016 году, однако особого успеха не снискала. Второе поколение процессоров под этим именем получило новую архитектуру, продолжившую собой разработки Broadcom, но Cavium это не спасло — летом 2018 года компания была куплена корпорацией Marvell Technology Group. Впрочем, производительность ThunderX2 продемонстрировали неплохую и понемногу начали приживаться в серверном мире.

ThunderX3: основные характеристики

Новый владелец не забросил разработки, благо, к этому времени архитектура ARM уже доказала свою жизнеспособность не только в качестве решений для носимых устройств. Как и ожидалось, третье поколение ThunderX было анонсировано в 2020 году, а именно, 16 марта. В общих чертах ThunderX3 являются продолжением идей, заложенных в ThunderX2; в частности, третье поколение унаследовало поддержку SMT4, чего до сих пор нет в мире x86.

Улучшения, скорее, количественные, нежели качественные: оптимизирована микроархитектура для увеличения числа исполняемых за такт операций, освоен новый 7-нм техпроцесс, а максимально возможное количество ядер в одном процессоре выросло с 32 до 96, что даёт 384 потока на процессорный разъём и 768 потоков на стандартную двухпроцессорную платформу.

ThunderX3 vs. ThunderX2: производительность

Ядра у Marvell ThunderX3 кастомные, имеют архитектуру ARM8.3+. Компания избрала более сложный подход, нежели Amazon с их CPU Graviton2, который использует ядра ARM Neoverse N1 и SMT в текущей реализации не поддерживает вовсе. Помимо хорошей поддержки SMT с четырьмя потоками на ядро, ThunderX3 получили четыре 128-битных блока SIMD против двух у Graviton 2, что должно обеспечить новинкам преимущество на активно использующих векторные операции задачах.

ThunderX3 ориентирован на облачные системы

Подробностей о подсистеме кешей Marvell пока не раскрыла, заявлено лишь о постоянном уровне латентности, не зависящем от взаимного расположения ядер. Подсистема памяти аналогична Graviton2 и включает в себя восьмиканальный контроллер DDR4 с поддержкой частот до 3200 МГц.

ThunderX3: оценка производительности в облачных приложениях

Друг с другом процессоры ThunderX3 могут общаться посредством интерфейса CCPI (Cavium Cache Coherent Interconnect) третьего поколения с пропускной способностью 28 Гбит/с на линию, всего таких линий 24. Для подключения периферийных устройств реализован контроллер PCI Express 4.0, точнее, 16 контроллеров на процессор шириной x4 каждый. Поддерживается мультиплексирование линий PCIe для подключения устройств, требующих 8 или 16 линий интерфейса.

ThunderX3: преимущества новинки в сфере HPC

Компания не собирается ограничиваться выпуском единственной модели с максимальным количеством ядер и частотой 3 ГГц. Будут выпущены разные варианты ThunderX3 с теплопакетами от 100 до 240 Ватт, но все они будут базироваться на едином дизайне. В плане энергоэффективности, если верить Marvell, новый процессор превосходит на 30% платформу AMD Rome (EPYC 2 поколения).

ThunderX3: оценка производительности в сфере супервычислений

Производительность у ThunderX3 серьёзно подросла — компания-разработчик заявляет о 25% превосходстве по показателю IPC в сравнении с ThunderX2. На 60% увеличена производительность в однопоточном режиме, на целочисленных операциях новинка быстрее ThunderX2 в три, а на вычислениях с плавающей запятой — в пять раз. Таким образом, системы на базе новых процессоров Marvell должны опережать разработки Google и Ampere, по крайней мере, в теории.

Поддержка SMT4 даёт серьёзные преимущества в ряде сценариев

В основном, преимущество будет реализовываться в сценариях, задействующих крупные массивы данных. Также благодаря развитой поддержке SMT, однопроцессорные системы смогут запускать больше виртуальных машин. В этих областях ThunderX3 будут опережать даже AMD Rome, не говоря уж об Intel Cascade Lake-SP. По-видимому, x86 сохранит за собой превосходство в чисто вычислительных задачах, однако и здесь новая разработка Marvell должна выглядеть вполне конкурентоспособно.

ThunderX3: замах на лидерство в энергоэффективности

Пока речь идёт лишь об анонсе. Более детально о новых процессорах Maverll планирует рассказать на 32-ой конференции Hotchips 2020, которая пройдёт в Стэнфордском университете с 16 по 18 августа этого года.

На рынке существует множество реализаций мини-ПК, но большинство из них не очень подходят для использования в роли маршрутизатора.

Плата Marvell ESPRESSOBin, напротив, изначально создавалась с учётом возможного её применения энтузиастами именно в сетевых проектах. Именно она легла в основу нового продукта Globalscale Technologies.

Сама плата была выпущена ещё в 2016 году и по нынешним меркам не может считаться достаточно мощной —  она построена на базе двухъядерного чипа Armada 3700LP (Cortex-A53), в то время, как игровые и домашние маршрутизаторы последнего поколения уже используют четырёхъядерные ЦП. Тем не менее, маршрутизатор Globalscale Technologies ESPRESSOBin ULTRA представляет определённый интерес, поскольку является универсальным высокоинтегрированным устройством.

Устройство выполнено в металлическом корпусе-радиаторе с габаритами 185 × 112 × 35 миллиметров, снабжённом кронштейнами DIN для крепления на стену. Процессор Marvell Armada 3720 дополнен 1 гигабайтом оперативной памяти DDR4 с возможностью её расширения до 2 Гбайт. Объём встроенного флеш-накопителя — 8 Гбайт, но поддерживается установка SSD с интерфейсом SATA в форм-факторе M.2 2280. Сетевой коммутатор выполнен на основе чипа Marvell Topaz 6341.

Всего доступно пять портов 1GbE, причём порт WAN поддерживает PoE. Устройство может питаться как от PoE, так и от блока питания с напряжением 12 Вольт. Беспроводная часть представляет собой трансивер 802.11ac класса 2 × 2, поддерживается MIMO, а также Bluetooth 4.2.

Опционально маршрутизатор может комплектоваться модемом LTE, устанавливаемым в слот mini-PCIe (фактически USB 2.0), есть отсек для карты NanoSIM. Имеется даже пара портов USB, один из которых имеет версию 3.0. Устройство может работать с ОС на базе ядра Linux  4.19 основной ветки.

Поставки ESPRESSOBin ULTRA должны начаться в марте 2020 года, компания производитель уже принимает предварительные заказы. Стоит устройство $159, ещё в $10 обойдутся крепления DIN. Компания принимает предзаказы и обещает начать поставки в марте 2020 года. 

Компания Marvell сообщила, что компания Microsoft приступила к развёртыванию серверов на ARM-процессорах ThunderX2 в составе облачной службы Azure. Процессоры ThunderX2 на базе архитектуры ARMv8.1 ― это сами по себе решения с непростой судьбой. Они зародились в недрах Broadcom, перешли в руки Cavium и только затем попали к компании Marvell.

К Microsoft они тоже попали по кривой дорожке. Первоначально в рамках проекта Microsoft Olympus планировалось создать ARM-серверы на процессорах Qualcomm Centriq 2400. 

Но процессоры Centriq 2400 умерли, вообще не приходя в сознание сразу после рождения. Весной 2017 года Microsoft пришлось срочно искать замену, и выбор был остановлен на, в общем-то, готовой платформе ThunderX2. Но до практической реализации проекта оставалось ещё более двух лет.

К концу 2017 года Marvell и Microsoft разработали спецификации серверов на ARM-процессорах под платформу ThunderX2. Разработка включала проектирование двухпроцессорной материнской платы, всех необходимых подсистем и интерфейсов, включая поддержку адаптеров-ускорителей на матрицах ПЛИС. Все разработки велись с учётом спецификаций и требований, созданных для открытых проектов OCP. К настоящему дню приложенные усилия вылились в появление штатных серверов с ThunderX2.

Производством серверов занимается дочернее предприятие Fii/Foxconn Technology Group компания Ingrasys. В Microsoft, как мы уже сказали выше, уже приступили к включению этих машин в состав облачной службы Azure.

Но пока на плечи этих решений упадут только внутренние служебные нагрузки. Платформа не будет напрямую обслуживать клиентов Microsoft Azure. Во всяком случае, на данном этапе. Тем не менее, для сообщества ARM и конкретно для процессоров ThunderX2 данное событие ― это веха на пути. Годы разработок не пропали даром и стали ступенькой для следующего шага в развитии серверной экосистемы ARM.

Компания Marvell весьма активно продвигает на серверный рынок процессоры ThunderX2 с архитектурой ARMv8.1, однако относительно планов по развитию данной сферы до недавних пор хранилось молчание. За плечами Marvell есть несколько крупных достижений в области HPC: Astra, узлы Cray Shasta и Atos BullSequana X1310.

Однако конкуренция среди ARM-производителей серверных CPU обостряется: Fujitsu занимается A64FX, Ampere вывела на рынок eMAG, Amazon создала собственные Graviton. Так что на мероприятии Linley Processor Conference компания всё же решила поделиться свои видением будущего.

Marvell не без оснований полагает, что её текущие решения являются наилучшим выбором для облачных систем с «родной» поддержкой ARM-приложений, включая запуск Android. Один 32-ядерный процессор ThunderX2 способен заменить целые «кластеры» на базе менее мощных решений вроде Raspberry Pi 4.

Использование процессоров ThunderX2 снизит затраты на разработку ARM-приложений

Новую версию процессора, ThunderX3 компания планирует выпустить в 2020 году, а ThunderX4 следует ожидать в 2022 году. Третья версия ThunderX получит архитектуру Triton. О ней пока известно немного, но представитель Marvell отметил наличие четырех 128-битных блоков инструкций NEON (у ThunderX2 таких блоков 2 на ядро).

С помощью ThunderX2 можно создавать игровые сервисы для платформы Android

ThunderX3 будет вдвое быстрее ThunderX2, а ThunderX4 — вдвое быстрее ThunderX3. Интересно также отметить, что компания планирует добавить в будущие продукты поддержку векторных расширений ARM Scalable Vector Extention (SVE); некоторые из новых инструкций появятся уже в ThunderX3, но более подробной информации на этот счёт пока раскрыто не было.

Серьёзное внимание будет уделено наращиванию частотного потенциала и повышению экономичности новых процессоров. ThunderX3 будут производиться с использованием 7-нм техпроцесса TSMC. Если не возникнет проблем, то следующая итерация, ThunderX4 будет переведена на использование 5-нм технологических норм.

Представитель компании отметил, что при разработке новых семейств ThunderX Marvell будет придерживаться политики «создаём ядро с нуля». Таким образом, конкуренции со стороны самой ARM, которая не так давно представила собственную высокопроизводительную платформу с ядрами Neoverse N1 и E1, Marvell не опасается.

Компания Marvell объявила о присоединении к консорциуму Green Computing. Целью присоединения, по словам представителей компании, является создание на территории КНР современной и открытой экосистемы «зелёных» вычислений.

Будучи разработчиком серверных процессоров с архитектурой ARM, Marvell надеется внести весомый вклад в создание систем «больших данных», облачных платформ и бизнес-решений. Основой систем станет семейство чипов ThunderX2, изначально разработанных Cavium.

Об этих процессорах мы уже рассказывали читателям. Основой является архитектура ARMv8-A, количество ядер может достигать 56 при тактовой частоте в районе 2,5-3,0 ГГц; в настоящее время массово производится обновлённая версия с 32 ядрами. Техпроцесс ‒ 16-нм FinFET.

Изначально контроллер памяти в этих чипах был шестиканальным, но после доработок количество каналов возросло до восьми, что соответствует возможностям AMD Rome. Для межпроцессорной связи используется интерфейс CCPI2 со скоростью 600 Гбит/с, с внешним миром процессоры общаются посредством 56 линий PCIe 3.0.

Поскольку уровни энергопотребления и тепловыделения у процессоров Marvell ThunderX2 сопоставимы с современными решениями Intel и AMD, но количество ядер при этом больше, а цена ‒ ниже, они отлично подходят для «зелёной» инициативы. В мире уже существуют суперкомпьютеры на базе этих чипов. Так, машина Astra, установленная в Национальных лабораториях Сандия (SNL), использует примерно 145 тысяч ядер ThunderX2.

Сам консорциум «зелёных» вычислений существует с 2016 года, его поддерживает китайское министерство промышленности и информационных технологий, а также ряд крупных научных и коммерческих организаций. Подробную информацию можно найти на сайте проекта (на китайском языке).

Идея создания накопителей данных с прямым  Ethernet-подключением появилась несколько лет назад. И в этом году, в рамках мероприятия Flash Memory Summit 2019, компании Toshiba и Marvell показали рабочий образец твердотельного накопителя с поддержкой подключения NVMe-oF (NVMe over Fabric).

Представленный накопитель построен на 96-слойных микросхемах памяти 3D NAND компании Toshiba (BiSC NAND), а в его основе лежит новый чип Marvell 88SS5000, разработанный специально для таких устройств. В данном решении компания Marvell объединила сетевой контроллер и контроллер для твердотельного накопителя.

Marvell 88SS5000 имеет восемь каналов 800 MT/s для подключения к микросхемам флеш-памяти суммарным объёмом до 8 Тбайт памяти. К SSD-части можно отнести DRAM-контроллер с поддержкой до 8 Гбайт ECC-памяти (LP)DDR4-2400. С другой же стороны имеется два 25-гигабитных сетевых интерфейса с поддержкой RDMA-протокола RoCE v2. В состав чипсета входят четыре ядра ARM Cortex-R5 и DMA-контроллер. 

Чтобы продемонстрировать возможности своего контроллера, Marvell объединилась с Toshiba и привезла на выставку уже полностью рабочий продукт. Сам SSD выглядит как обычный 2,5-дюймовый накопитель, но он помещён на плату-адаптер, на которой имеется два модуля SFP28 для обеспечения подключения 25 GbE. Данное решение демонстрирует скорость передачи данных выше 21 Гбит/с (теоретический пик равен 24 Гбит/с) и обеспечивает производительность более 650K IOPS.

Конечно, это лишь демонстрационный образец, и в итоге накопители с поддержкой NVMe-oF будут в привычных форм-факторах: E1.L или E1.M, U.2 и других. Такие накопители облегчают масштабирование за счёт использования Ethernet-структуры вместо PCIe и отсутствия зависимости от хоста. По сути, накопители с прямым подключением через Ethernet уменьшают необходимость в огромном количестве линий PCIe на процессор.

Получить пользу от подобных накопителей могут, например, ускорители. NVIDIA на днях представила технологию GPUDirect Storage, которая подразумевает подключение удалённых и локальных NVMe-хранилищ непосредственно к картам, в обход CPU и системной RAM. В перспективе такой подход позволит избавиться от последних при построении вычислительных платформ. 

Комиссариат по атомной и альтернативным видам энергии — французский научно-исследовательский институт CEA (Alternative Energies and Atomic Energy Commission) — договорился о развёртывании на свой площадке новейшего суперкомпьютера на основе ARM-платформы компании Marvell. Для сторонников серверных платформ на ARM это закрепление успеха. Всего неделю назад эту же платформу Marvell пообещала использовать Лос-Аламосская национальная лаборатория в виде систем Shasta производства компании Cray.

Французский институт для центра CEA/DAM (Military Applications Division) с базированием в Брюйер-ле-Шатель до конца года получит систему BullSequana X1310 компании Atos. Как и система Cray Shasta, система Atos BullSequana X1310 опирается на процессоры Marvell ThunderX2. В систему Atos вошли 92 blade-сервера с тремя узлами на каждом из них. Каждый узел представлен двумя 32-ядерными процессорами Marvell ThunderX2 с частотой до 2,2 ГГц с поддержкой 64-битных инструкций Armv8-A, внешним интерфейсом InfiniBand и 256-Гбайт памяти DDR4.

Вся мощь системы Atos BullSequana X1310 будет направлена на моделирование испытаний ядерного оружия. Франция прекратила натурные ядерные испытания 22 года назад и нуждается в симуляции процессов ядерного распада. Все лучшие игрушки, как известно, попадают к военным. О гражданском назначении новой системы пока неизвестно, хотя CEA, в том числе, занимается проблемами альтернативной энергетики.

Следует сказать, что Европейская Комиссия ещё семь лет назад приступила к финансированию проекта «Mont-Blanc» (по названию одноимённой горы в Западной Европе). Этот проект предусматривает создание суперкомпьютеров класса эксафлопс на основе альтернативных архитектур, а не RISC или x86. На начальных этапах в проекте принимали участие такие компании, как NVIDIA и Samsung. Как вышло в итоге, к началу коммерческой реализации проекта первой добралась компания Marvell с помощью процессоров ThunderX2, доставшихся ей по наследству вместе с поглощением активов компании Cavium.

В понедельник 20 ноября подтвердились слухи о намерении компании Marvell Technology Group Ltd поглотить компанию Cavium. Официальным пресс-релизом компания Marvell Technology сообщила, что советами директоров обеих компаний достигнута обоюдная договорённость о заключении сделки. В дальнейшем она должна быть одобрена акционерами компаний и регулирующими органами. Сумма сделки составит $6 млрд. За каждую акцию Cavium будет отдано $40 и 2,1757 акций Marvell Technology. По итогам торгов на 3 ноября за каждую акцию Cavium, тем самым, предложено по $80.

От контроллеров для SSD и HDD ...

Для покупки Cavium компания Marvell Technology вынуждена привлечь заёмные средства в объёме $1,75 млрд: $850 млн у Goldman Sachs Bank USA и $900 млн у Bank of America Merrill Lynch. Завершение сделки ожидается к середине календарного 2018 года. Руководить Marvell Technology будет по-прежнему Мэтт Мёрфи (Matt Murphy), а бывший директор Cavium Саид Али (Syed Ali) войдёт в совет директоров Marvell в качестве стратегического советника.

... до серверов на процессорах ARM

Слияние Marvell и Cavium приведёт к появлению на рынке компании стоимостью $16 млрд с годовым оборотом свыше $3,4 млрд. В первые полтора года совместной деятельности, прогнозируют в Marvell, от эффекта слияния будет выручено дополнительно от $150 до $170 млн. Сообщается, что бизнес Cavium комплиментарный бизнесу Marvell. Сама Marvell привнесёт в объединённую компанию опыт по разработке беспроводных коммуникационных решений, контроллеров для HDD и SSD и ряда сетевых решений. Компания Cavium добавит в копилку знаний Marvell многоядерные процессоры с поддержкой команд ARM, фирменные сетевые решения, сетевые решения для СХД и решения для защиты данных.

Спустя годы, рынок серверных процессоров на архитектуре ARM всё ещё находится в зачаточном состоянии. Впервые открыто и широко о наступлении архитектуры ARM в серверном сегменте руководство компании заявило ещё в апреле 2010 года. Предполагалось, что с 2014 года серверные процессоры на ядрах ARM начнут понемногу теснить x86-совместимые Intel Xeon и AMD Opteron. Реальность внесла свои коррективы. На дворе конец 2017 года, а серверные платформы на ARM рассматриваются скорее в качестве пробного шара, а не в виде полноценного коммерческого продукта. Но даже в таком состоянии рынок процессоров на ядрах ARM переживает процессы, свойственные зрелым рынкам — это банкротства, продажа и слияние компаний.

Системная плата на базе микросхем Cavium ThunderX (Cavium)

По данным анонимных источников, о чём сообщают журналисты Reuters, компания Marvell Technology ведёт переговоры о покупке компании Cavium. В последние годы Marvell стала широко известна в качестве разработчика интересных контроллеров для твердотельных накопителей. В 2010 году, что интересно, она первой поделилась о планах разработать серверный процессор на ядрах ARM. Для этого у неё в руках были все необходимые инструменты, включая профильное подразделение XScale, которое она приобрела у компании Intel. И действительно, созданные Marvell процессоры Armada опирались на ядра ARM, но были 32-битными и, в итоге, прописались в системах NAS, но никак в виде вычислительных серверных платформ. Зато у компании Cavium есть уже снискавшие толику популярности 64-битные серверные вычислительные процессоры ThunderX на архитектуре ARMv8. Данные решения вполне могли стать предметом интереса для Marvell Technology.

SATA-контроллеры Marvell 88SE9120

Текущая капитализация Cavium примерно оценивается в $4,5 млрд. Размер премии за акции Cavium ожидается относительно небольшим — до $500 млн сверх стоимости всех акций. Поскольку капитализация Marvell Technology равна $9 млрд, после сделки обещает образоваться компания с рыночной стоимостью $14 млрд. На волне слухов о продаже акции Cavium поднялись в цене на 13 %. Если компании ещё не договорились о цене вопроса, слухи заставят Marvell потратить на покупку больше ожидаемого.