Компания Marvell сообщила, что компания Microsoft приступила к развёртыванию серверов на ARM-процессорах ThunderX2 в составе облачной службы Azure. Процессоры ThunderX2 на базе архитектуры ARMv8.1 ― это сами по себе решения с непростой судьбой. Они зародились в недрах Broadcom, перешли в руки Cavium и только затем попали к компании Marvell.

К Microsoft они тоже попали по кривой дорожке. Первоначально в рамках проекта Microsoft Olympus планировалось создать ARM-серверы на процессорах Qualcomm Centriq 2400. 

Но процессоры Centriq 2400 умерли, вообще не приходя в сознание сразу после рождения. Весной 2017 года Microsoft пришлось срочно искать замену, и выбор был остановлен на, в общем-то, готовой платформе ThunderX2. Но до практической реализации проекта оставалось ещё более двух лет.

К концу 2017 года Marvell и Microsoft разработали спецификации серверов на ARM-процессорах под платформу ThunderX2. Разработка включала проектирование двухпроцессорной материнской платы, всех необходимых подсистем и интерфейсов, включая поддержку адаптеров-ускорителей на матрицах ПЛИС. Все разработки велись с учётом спецификаций и требований, созданных для открытых проектов OCP. К настоящему дню приложенные усилия вылились в появление штатных серверов с ThunderX2.

Производством серверов занимается дочернее предприятие Fii/Foxconn Technology Group компания Ingrasys. В Microsoft, как мы уже сказали выше, уже приступили к включению этих машин в состав облачной службы Azure.

Но пока на плечи этих решений упадут только внутренние служебные нагрузки. Платформа не будет напрямую обслуживать клиентов Microsoft Azure. Во всяком случае, на данном этапе. Тем не менее, для сообщества ARM и конкретно для процессоров ThunderX2 данное событие ― это веха на пути. Годы разработок не пропали даром и стали ступенькой для следующего шага в развитии серверной экосистемы ARM.

Компания Marvell объявила о присоединении к консорциуму Green Computing. Целью присоединения, по словам представителей компании, является создание на территории КНР современной и открытой экосистемы «зелёных» вычислений.

Будучи разработчиком серверных процессоров с архитектурой ARM, Marvell надеется внести весомый вклад в создание систем «больших данных», облачных платформ и бизнес-решений. Основой систем станет семейство чипов ThunderX2, изначально разработанных Cavium.

Об этих процессорах мы уже рассказывали читателям. Основой является архитектура ARMv8-A, количество ядер может достигать 56 при тактовой частоте в районе 2,5-3,0 ГГц; в настоящее время массово производится обновлённая версия с 32 ядрами. Техпроцесс ‒ 16-нм FinFET.

Изначально контроллер памяти в этих чипах был шестиканальным, но после доработок количество каналов возросло до восьми, что соответствует возможностям AMD Rome. Для межпроцессорной связи используется интерфейс CCPI2 со скоростью 600 Гбит/с, с внешним миром процессоры общаются посредством 56 линий PCIe 3.0.

Поскольку уровни энергопотребления и тепловыделения у процессоров Marvell ThunderX2 сопоставимы с современными решениями Intel и AMD, но количество ядер при этом больше, а цена ‒ ниже, они отлично подходят для «зелёной» инициативы. В мире уже существуют суперкомпьютеры на базе этих чипов. Так, машина Astra, установленная в Национальных лабораториях Сандия (SNL), использует примерно 145 тысяч ядер ThunderX2.

Сам консорциум «зелёных» вычислений существует с 2016 года, его поддерживает китайское министерство промышленности и информационных технологий, а также ряд крупных научных и коммерческих организаций. Подробную информацию можно найти на сайте проекта (на китайском языке).

Сколько необходимо одноплатных компьютеров, чтобы построить кластер, сопоставимый по вычислительной мощности с актуальными ARM-серверами? От 190 до 220.

Это выяснили сотрудники ресурса ServeTheHome, а заодно посчитали, есть ли вообще в этом смысл с точки зрения финансовых затрат. Занятие само по себе странное, но любопытное. 

В качестве эталонной системы был выбран сервер Gigabyte с двумя CPU Marvell (Cavium) ThunderX2, каждый из которых имеет 32 ядра с архитектурой ARM v8 и способен обрабатывать 128 потоков, что в в сумме даёт 256 потоков. В свою очередь Raspberry Pi 4 имеет четырёхъядерный процессор ARM v8. Казалось бы, чтобы обеспечить производительность как у сервера на ThunderX2, необходимо взять лишь 64 микрокомпьютера.

Однако нельзя забывать о тактовой частоте, которая у ThunderX2 ощутимо выше (2,2 ГГц против 1,5 ГГц у Raspberry Pi 4), и прочих факторах, влияющих на производительность. Как показало тестирование в GeekBench, компьютер Raspberry Pi 4 всего лишь на 14 % опережает однопоточную виртуальную машину на ThunderX2. Соответственно, для обеспечения производительности на уровне сервера с двумя ThunderX2 необходимо примерно 220 компьютеров Raspberry Pi 4.

Тем не менее, экспериментаторы ServeTheHome решили, что оптимальнее будет использовать 190 компьютеров Raspberry Pi 4 в версии с 4 Гбайт оперативной памяти. Это обеспечит почти такой же объём RAM как и у сервера: 760 и 768 Гбайт соответственно. К тому же их удобнее подключить к восьми 24-портовым PoE-коммутаторам (или к четырём 48-портовым).

Наконец, о ценах. Сервер Gigabyte на двух ThunderX2, дополненный четырьмя 10-Тбайт жёсткими дисками и 100-гигабитным сетевым адаптером обойдётся примерно в $11 500. В свою очередь один Raspberry Pi 4 со всем необходимым оборудованием для включения в кластер обходится в $111,86.

То есть 190 систем будут стоить $21 254, а кластер из 220 систем обойдётся и вовсе в $24 609. Получается, система на базе огромного числа Raspberry Pi 4 обойдётся примерно вдвое дороже, чем сопоставимый по производительности ARM-сервер.

Медленно, но верно процессоры с архитектурой, отличной от x86, становятся доступными всем, а не только избранным заказчикам. Так, чипы ThunderX2 разработки Cavium проделали долгий путь: ещё в прошлом году на ISC 2017 компания объявила о создании второго поколения процессоров с кодовым названием ThunderX. Эти решения должны были показать миру, что ARM не является «слабой архитектурой», пригодной лишь для мобильных применений. И действительно, в максимальной конфигурации чип ThunderX2 мог похвастаться наличием 54 ядер с частотой до 3 ГГц, поддержкой двухсокетных конфигураций и интегрированным сетевым контроллером Ethernet класса 100G. Доступные решения, однако, появились существенно позже: лишь в марте этого года компания GIGABYTE продемонстрировала рабочую станцию на базе ThunderX2. Но теперь процессоры Cavium ThunderX2 доступны официально и, что называется, «в металле», поскольку первый анонс 31 мая 2016 года всё-таки был бумажным. Не все выдерживают трудности на пути внедрения новой архитектуры. К примеру, Qualcomm, как оказалось, и вовсе планирует отказаться от выпуска серверных процессоров, а ведь её 48-ядерные чипы Centriq 2400 были основным соперником семейства ThunderX2.

Любопытно, что архитектурно ThunderX2 не является прямым наследником ThunderX, а продолжает собой разработку Broadcom под названием Vulcan. На текущий момент компании удалось заручиться партнёрством у таких известных производителей, как Cray, HPE, Atos и Penguin Computing. Модельный ряд выглядит вполне «взросло» и включает в себя 40 различных версий ThunderX2. Самый мощный вариант с 54 ядрами пока не выпущен, но доступны версии с количеством ядер от 16 до 32 и частотой до 2,5 ГГц (3,0 ГГц в турборежиме). Имеется развитая поддержка многопоточности, причём, разная для разных моделей процессора — количество потоков на ядро может варьироваться от 1 до 4, что ставит ThunderX2 в один ряд с такими чипами, как POWER9, которые также поддерживают SMT4. Компания-разработчик позиционирует свои решения в качестве соперников новейшим Intel Xeon и всерьёз намерена конкурировать с Intel во всех отраслях, от HPC и суперкомпьютеров до облачных решений.

Рабочая станция на базе Cavium ThunderX2

О производительности Cavium ThunderX2 известно мало; производитель пока не разглашает соответствующих данных, ограничиваясь довольно туманными заявлениями о «сопоставимости с наиболее мощными моделями Xeon». В теории это далеко не так, поскольку самый быстрый Xeon с архитектурой Skylake развивает в пике до 2000 гигафлопс, а ThunderX2 — лишь 560 гигафлопс, но теория в мире HPC, как мы уже знаем, довольно часто расходится с практикой. Цифра 560 Гфлопс взята не с потолка, она выведена из характеристик 64-узлового кластера Apollo 70 мощностью 72 Тфлопс. Три таких кластера будут установлены в различных университетах Великобритании, все они будут использовать старшую на данный момент 32-ядерную версию ThunderX2. Компания Cray мыслит более широкими масштабами и в её планах значится создание системы Isambard (Cray XC50) c более чем 10 тысячами процессоров ThunderX2 на борту. От этого монстра ожидаются показатели пиковой производительности в районе 175 Тфлопс.

Процессоры ThunderX2 используют свой разъём и имеют 8 каналов DDR4

Надо отметить, что Cavium хорошо понимает современные проблемы HPC, и при создании ThunderX2 усилия были сосредоточены не на достижении «чистой» вычислительной мощности, а на обеспечении высокой пропускной способности подсистемы памяти. Восьмиканальный контроллер DDR4 в Cavium X2 поддерживает до 16 модулей на разъём с максимальным объёмом памяти для системы 2S, составляющим 4 Тбайт. Это даёт Cavium право заявлять о 33 % превосходстве над Intel, ведь Xeon Scalable могут похвастаться лишь шестиканальным контроллером памяти. Цены на новые процессоры установлены более чем конкурентоспособные: при массовых заказах чипы ThunderX2 в зависимости от версии стоят от $800 до $1795 — существенно дешевле, нежели Xeon Scalable. В пересчёте на доллар это даёт вдвое более высокие показатели, нежели у Intel, но, опять-таки, это утверждение Cavium подлежит проверке практикой. Долго ждать её не придётся: помимо упомянутых систем, серверы на базе ThuhderX2 также будут установлены в одной из Сандийских национальных лабораторий, задействованы в проекте Mont-Blanc и даже в облачной платформе Microsoft Azure.

Компания GIGABYTE Technology анонсировала систему ThunderXStation — первую на рынке рабочую станцию, использующую процессоры Cavium ThunderX2.

О чипах ThunderX2 разработки Cavium мы уже рассказывали. Эти изделия могут содержать до 54 ядер на базе оригинальной версии архитектуры ARMv8-A, поддерживающей внеочередное исполнение команд. Тактовая частота достигает 3 ГГц. Каждое ядро располагает 64 Кбайт кеша инструкций и 40 Кбайт кеша данных, объём общего разделяемого кеша может достигать 32 Мбайт.

Рабочая станция ThunderXStation выполнена в формате 4U Tower . Она может оснащаться одним или двумя процессорами ThunderX2. Графическая подсистема полагается на ускоритель NVIDIA GeForce GT710 с возможностью вывода изображения на два монитора.

Среди ключевых характеристик новинки названы: поддержка оперативной памяти стандарта DDR4, шесть слотов PCIe 3.0, два сетевых интерфейса 1/10 GbE QLogic NIC. Могут быть задействованы четыре твердотельных накопителя NVMe и два 2,5-дюймовых накопителя U.2/SATA III.

Рабочая станция полагается на программную платформу CentOS 7.4. Приём заказов на новинку уже начался, но цена, к сожалению, пока не раскрывается. 

Архитектура x86 с нами давно. Когда-то её уделом были лишь персональные компьютеры, но в последние годы подавляющее большинство серверных систем и прочих решений класса HPC строятся именно на базе процессоров Intel или AMD. Времена господства таких архитектур, как DEC Alpha или MIPS давно позади, хотя, к примеру, IBM POWER всё ещё сопротивляется активному натиску со стороны Intel Xeon и AMD Opteron/EPYC: в свежем рейтинге TOP500 всего 24 машины из 500 используют отличную от x86 архитектуру.

Но по ряду причин x86 даже с 64-битными расширениями не является оптимальной и особенно в том случае, когда речь заходит о соотношении производительности и энергопотребления. Последнее автоматически тянет за собой и повышенное тепловыделение, что в условиях увеличения плотности размещения узлов в ЦОД и суперкомпьютерах представляет собой серьёзную проблему. У x86 есть и ещё один конкурент — это архитектура ARM, которую долгое время никто всерьёз в качестве серверной не воспринимал.

Широко известный слайд, демонстрирующий эволюцию архитектур суперкомпьютеров

Однако ARM это не просто рабочая лошадка в секторе планшетов и смартфонов. Всё зависит от реализации, и некоторые варианты процессоров на базе этой архитектуры обладают весьма серьёзными возможностями. К числу таких чипов относится Cavium ThunderX2. Этот новый чип на базе ARMv8-A был продемонстрирован разработчиками ещё на ISC 2017. Характеристики его выглядят вполне солидно: здесь и 54 ядра с частотой 3 ГГц, и поддержка двухсокетных конфигураций, и шестиканальный контроллер памяти, и 24 порта SATA (и, вероятно, SAS).

Блок-схема ThunderX2

Нельзя забывать и про встроенную поддержку Ethernet 25G, наличие 32 Мбайт общего кеша L2, интегрированные аппаратные средства шифрования и контроллер PCI Express 3.0. При этом теплопакет, по данным Cavium, не превышает 95 ватт. К сожалению, у нас пока нет возможности проверить это утверждение. Но можно представить себе, какой величины достиг бы этот показатель в случае 54-ядерного Xeon, даже в варианте Skylake. Проникновение ARM в сегмент HPC, впрочем, быстрым назвать нельзя, хотя Cavium вполне заслуженно хвалится своими успехами на этом поприще.

Процессоры Cavium используют пусть и свой, но вполне привычный разъём типа LGA

Одна из национальных лабораторий Министерства энергетики США — Аргоннская национальная лаборатория — объявила, что планирует установку нового кластера производства Hewlett Packard Enterprise, а основой этого кластера станут именно процессоры Cavium ThunderX2. Надо полагать, что в такой организации, как Министерство энергетики, хорошо понимают всю важность экономичности суперкомпьютеров. Кластер под названием Comanche Wave будет состоять из 32 узлов. В числе прочего его задачей будет оценка применимости ARM в сфере супервычислений и разработка соответствующего программного обеспечения, включая ARM-версию компилятора LLVM.

Потенциальный конкурент Xeon и EPYC: взгляд вблизи

Именно Аргоннская лаборатория активно поддерживает альтернативные процессорные архитектуры и славится своими разработками для платформ PowerPC и IBM Blue Gene/Q, так что выбор места установки нового кластера не вызывает удивления. Интересно отметить, что Cavium, по сути, смогла перехватить кусок пирога буквально под носом у Intel, которой не удалось заключить контракт на установку суперкомпьютера Aurora на базе процессоров Xeon Phi Knights Hill. Лишь в 2021 году «синие» повторят попытку с процессорами x86, которые будут доступны к тому моменту. Впрочем, не факт, что это будет именно x86.

Процессорная архитектура ARM прочно заняла своё место в различных мобильных устройствах — смартфонах и планшетах, широко представлена она в домашних маршрутизаторах и ТВ-приставках, но о заметном проникновении на рынок серверных решений, пожалуй, можно говорить лишь сейчас, хотя разговоры об этом велись уже давно. Ранее такие разработчики, как Applied Micro и Cavium уже показывали процессоры X-Gene и ThunderX соответственно.

Производители серверов проявили интерес, поскольку вопросы энергоэффективности в крупных ЦОД и суперкомпьютерных системах стоят остро, но широкому внедрению ARM мешала относительно слабая программная поддержка. С тех пор ситуация изменилась в лучшую сторону и Cavium, а также такие компании, как Bull, привезли на ISC 2017 свои решения на базе новейших процессоров ThunderX2.

В сравнении с первым поколением ThunderX новые чипы сделали громадный шаг вперёд: теперь производительность в однопоточном режиме серьёзно выросла, а также подросли тактовые частоты. Каждый процессор ThunderX2 может содержать до 54 ядер на базе оригинальной версии архитектуры ARMv8-A, поддерживающей внеочередное исполнение команд. Тактовая частота может достигать 3 ГГц, что находится вполне на уровне решений с архитектурой x86. Изначально говорилось о 2,5‒2,6 ГГц, но разработчикам, похоже, удалось справиться и с более высокими частотами.

Каждое ядро располагает 64 Кбайт кеша инструкций и 40 Кбайт кеша данных, объём общего разделяемого кеша может достигать 32 Мбайт. Новые процессоры Cavium получили шестиканальный контроллер DDR4 и не страдают от нехватки пропускной способности подсистемы памяти; производитель говорит о двух-трёхкратном приросте производительности в сравнении с ThunderX, и, скорее всего, эти данные вполне правдивы. Точных данных о тепловыделении нет, но для 54 ядер встречается цифра 95 ватт, что весьма немного в сравнении с Xeon, Opteron и EPYC.

Если решения на базе x86, как правило, требуют дополнительной, и, порой, весьма непростой логики для поддержки дисковых подсистем и сетевых соединений, то ThunderX2 в такой логике не нуждаются: они не только имеют встроенный контроллер PCI Express 3.0 (16 линий на процессор), чем в наши дни никого не удивишь, но также располагают интегрированными контроллерами SATA (до 24 устройств на платформу) и несколькими сетевыми контроллерами Ethernet с поддержкой скоростей 10, 25, 40, 50 и 100 Гбит/с.

Последнее существенно облегчает задачу построения кластерных систем на базе новых процессоров Cavium. Применение продвинутого 14-нм техпроцесса класса FinFET ставит ThunderX2 в один ряд с новейшими разработками Intel и AMD, а компания-разработчик уже планирует выпуск ThunderX3, которые получат поддержку новейшей шины PCI Express 4.0 и протокола NVMe. А пока серия ThunderX2 будет выпускаться в четырёх вариантах: CP для облачных применений, ST для больших баз данных и параллельных вычислений, SC для веб-сферы и систем безопасности и NT для медиа-серверов и серверов приложений.

Как видно из снимков, на конференции ISC 2017 процессоры Cavium Thunder X2 были представлены весьма широко: в основном, в виде одно- и двухпроцессорных решений как в обычном форм-факторе, так и компактном лезвийном — последний в наши дни применяется всё шире. Устанавливаются новые чипы точно так же, как и обычные процессоры Xeon и EPYC, в разъём типа LGA, что облегчает задачу модернизации систем на их основе, но пока не ясно, устоялся ли определённый тип разъёма для серверных процессоров с архитектурой ARM. Появление единого разъёма сыграло бы этой архитектуре лишь на руку.

Отдельного внимания заслуживают решения французской фирмы Bull — давнего игрока на компьютерном рынке. Она продемонстрировала вычислительные модули Sequana X1310, а также ряд других решений. Вычислительные модули весьма интересны: каждый из них, занимая стандартный корпус формата 1U, имеет внутри три системные платы с двумя процессорами ThunderX2 на каждой. На 6 процессоров приходится 48 слотов DDR4 (8 слотов на чип), а тепло отводится с помощью специализированной системы жидкостного охлаждения.

Обратим внимание: каждая системная плата с двумя разъёмами под процессоры Cavium ThunderX2 очень проста: по сути, кроме процессоров, модулей DIMM и стабилизаторов питания на ней ничего нет. Можно отметить два слота PCIe x16 (по слоту на процессор), батарейку, поддерживающую настройки firmware, а также традиционный модуль удалённого управления ASpeed, который встречается практически на любой серверной плате для процессоров x86. Такая простота означает низкую себестоимость, а компактность и модульность позволяют составлять из этих «строительных блоков» систему практически любой производительности, ограниченную лишь мощностью подсистемы питания и охлаждения в ЦОД.

Похожие системы представила и компания Penguin Computing, которая специализируется на разработке, постройке и поддержке высокопроизводительных вычислительных систем на базе открытых архитектур и решений. Она принимает активное участие в проекте OpenPOWER, но не прошла и мимо нового процессора Cavium. Её система Tundra ES интересна тем, что использует ещё более компактные вычислительные модули, нежели Bull Sequana X1000. Охлаждаться они могут как традиционными вентиляторами, так и централизованной жидкостной системой охлаждения.

Сами модули могут использовать различные архитектуры, но в данном контексте интерес представляют прототипы под названием Valkre, которые существуют также и в традиционном 19-дюймовом формате. Интересно, что в экспозиции замечены как минимум две разновидности системных плат: в Valkre 1030c (с воздушным охлаждением) используется плата с синей паяльной маской производства GIGABYTE, а вот в другой системе цвет печатной платы зелёный, а разработчик неизвестен. Компоновка обеих плат проста, что ещё раз подтверждает преимущества, реализованные Cavium в процессорах ThunderX2. Рост популярности ARM в серверной сфере налицо: если такие крупные производители, как Bull, обратили внимание на эту архитектуру, значит у неё определённо есть будущее.