Медленно, но верно процессоры с архитектурой, отличной от x86, становятся доступными всем, а не только избранным заказчикам. Так, чипы ThunderX2 разработки Cavium проделали долгий путь: ещё в прошлом году на ISC 2017 компания объявила о создании второго поколения процессоров с кодовым названием ThunderX. Эти решения должны были показать миру, что ARM не является «слабой архитектурой», пригодной лишь для мобильных применений. И действительно, в максимальной конфигурации чип ThunderX2 мог похвастаться наличием 54 ядер с частотой до 3 ГГц, поддержкой двухсокетных конфигураций и интегрированным сетевым контроллером Ethernet класса 100G. Доступные решения, однако, появились существенно позже: лишь в марте этого года компания GIGABYTE продемонстрировала рабочую станцию на базе ThunderX2. Но теперь процессоры Cavium ThunderX2 доступны официально и, что называется, «в металле», поскольку первый анонс 31 мая 2016 года всё-таки был бумажным. Не все выдерживают трудности на пути внедрения новой архитектуры. К примеру, Qualcomm, как оказалось, и вовсе планирует отказаться от выпуска серверных процессоров, а ведь её 48-ядерные чипы Centriq 2400 были основным соперником семейства ThunderX2.

Любопытно, что архитектурно ThunderX2 не является прямым наследником ThunderX, а продолжает собой разработку Broadcom под названием Vulcan. На текущий момент компании удалось заручиться партнёрством у таких известных производителей, как Cray, HPE, Atos и Penguin Computing. Модельный ряд выглядит вполне «взросло» и включает в себя 40 различных версий ThunderX2. Самый мощный вариант с 54 ядрами пока не выпущен, но доступны версии с количеством ядер от 16 до 32 и частотой до 2,5 ГГц (3,0 ГГц в турборежиме). Имеется развитая поддержка многопоточности, причём, разная для разных моделей процессора — количество потоков на ядро может варьироваться от 1 до 4, что ставит ThunderX2 в один ряд с такими чипами, как POWER9, которые также поддерживают SMT4. Компания-разработчик позиционирует свои решения в качестве соперников новейшим Intel Xeon и всерьёз намерена конкурировать с Intel во всех отраслях, от HPC и суперкомпьютеров до облачных решений.

Рабочая станция на базе Cavium ThunderX2

О производительности Cavium ThunderX2 известно мало; производитель пока не разглашает соответствующих данных, ограничиваясь довольно туманными заявлениями о «сопоставимости с наиболее мощными моделями Xeon». В теории это далеко не так, поскольку самый быстрый Xeon с архитектурой Skylake развивает в пике до 2000 гигафлопс, а ThunderX2 — лишь 560 гигафлопс, но теория в мире HPC, как мы уже знаем, довольно часто расходится с практикой. Цифра 560 Гфлопс взята не с потолка, она выведена из характеристик 64-узлового кластера Apollo 70 мощностью 72 Тфлопс. Три таких кластера будут установлены в различных университетах Великобритании, все они будут использовать старшую на данный момент 32-ядерную версию ThunderX2. Компания Cray мыслит более широкими масштабами и в её планах значится создание системы Isambard (Cray XC50) c более чем 10 тысячами процессоров ThunderX2 на борту. От этого монстра ожидаются показатели пиковой производительности в районе 175 Тфлопс.

Процессоры ThunderX2 используют свой разъём и имеют 8 каналов DDR4

Надо отметить, что Cavium хорошо понимает современные проблемы HPC, и при создании ThunderX2 усилия были сосредоточены не на достижении «чистой» вычислительной мощности, а на обеспечении высокой пропускной способности подсистемы памяти. Восьмиканальный контроллер DDR4 в Cavium X2 поддерживает до 16 модулей на разъём с максимальным объёмом памяти для системы 2S, составляющим 4 Тбайт. Это даёт Cavium право заявлять о 33 % превосходстве над Intel, ведь Xeon Scalable могут похвастаться лишь шестиканальным контроллером памяти. Цены на новые процессоры установлены более чем конкурентоспособные: при массовых заказах чипы ThunderX2 в зависимости от версии стоят от $800 до $1795 — существенно дешевле, нежели Xeon Scalable. В пересчёте на доллар это даёт вдвое более высокие показатели, нежели у Intel, но, опять-таки, это утверждение Cavium подлежит проверке практикой. Долго ждать её не придётся: помимо упомянутых систем, серверы на базе ThuhderX2 также будут установлены в одной из Сандийских национальных лабораторий, задействованы в проекте Mont-Blanc и даже в облачной платформе Microsoft Azure.

Протокол NVMe стремительно отвоёвывает позиции у более привычных SAS и SATA, что неудивительно — последние несут в себе тяжелый груз наследия механических накопителей и далеко не самым оптимальным образом работают с современными твердотельными устройствами хранения данных. В локальном масштабе проблем у NVMe нет, но крупные вычислительные системы часто нуждаются в пробросе протоколов в сетевой среде, объединяющей вычислительные узлы или соединяющей их с системами хранения данных.

FC-NVMe может параллельно работать с FC-SCSI

Довольно активно в качестве такой среды используется технология Fibre Channel. Первая волна решений шестого поколения обеспечивает передачу данных со скоростью 3200 Мбайт/с, а вторая уже рассчитана на внушительные 12800 Мбайт/с. Проблему проброса NVMe в среде Fibre Channel решила компания Cavium, известный разработчик интеллектуальных сетевых процессоров и решений. Она в числе первых обнародовала поддержку стандарта NVMe over Fibre Channel (FC-NVMe) версии 1.0. Процессоры Cavium QLogic серий 2700 и 2690 (шестое и пятое поколение FC, соответственно), используемые в адаптерах HBA, получили полную поддержку FC-NVMe 1.0 путём обновления прошивок и драйверов.

Адаптеры QLogic 2700 (поколение 6.1, 3200 Мбайт/с)

Теперь соответствующие адаптеры отлично подходят для подключения серверных систем к хранилищам данных на базе флеш-памяти, использующим протокол NVMe. Новый стандарт позволяет использовать пропускную способность Fibre Channel эффективно, без дополнительных задержек и падения производительности. В открытом доступе обновлений пока нет, но их можно запросить у продажного отдела Cavium. Рассчитаны новые драйверы на работу в среде Linux и поддерживают режимы Initiator, Target и Target SPDK. Поддерживается параллельная обработка потоков FC-NVMe и FCP-SCSI, что делает Fibre Channel ещё более универсальной технологией. В настоящее время именно Cavium является компанией, внесшей наибольший вклад в развитие технологии FC-NVMe.

Процессорная архитектура ARM прочно заняла своё место в различных мобильных устройствах — смартфонах и планшетах, широко представлена она в домашних маршрутизаторах и ТВ-приставках, но о заметном проникновении на рынок серверных решений, пожалуй, можно говорить лишь сейчас, хотя разговоры об этом велись уже давно. Ранее такие разработчики, как Applied Micro и Cavium уже показывали процессоры X-Gene и ThunderX соответственно.

Производители серверов проявили интерес, поскольку вопросы энергоэффективности в крупных ЦОД и суперкомпьютерных системах стоят остро, но широкому внедрению ARM мешала относительно слабая программная поддержка. С тех пор ситуация изменилась в лучшую сторону и Cavium, а также такие компании, как Bull, привезли на ISC 2017 свои решения на базе новейших процессоров ThunderX2.

В сравнении с первым поколением ThunderX новые чипы сделали громадный шаг вперёд: теперь производительность в однопоточном режиме серьёзно выросла, а также подросли тактовые частоты. Каждый процессор ThunderX2 может содержать до 54 ядер на базе оригинальной версии архитектуры ARMv8-A, поддерживающей внеочередное исполнение команд. Тактовая частота может достигать 3 ГГц, что находится вполне на уровне решений с архитектурой x86. Изначально говорилось о 2,5‒2,6 ГГц, но разработчикам, похоже, удалось справиться и с более высокими частотами.

Каждое ядро располагает 64 Кбайт кеша инструкций и 40 Кбайт кеша данных, объём общего разделяемого кеша может достигать 32 Мбайт. Новые процессоры Cavium получили шестиканальный контроллер DDR4 и не страдают от нехватки пропускной способности подсистемы памяти; производитель говорит о двух-трёхкратном приросте производительности в сравнении с ThunderX, и, скорее всего, эти данные вполне правдивы. Точных данных о тепловыделении нет, но для 54 ядер встречается цифра 95 ватт, что весьма немного в сравнении с Xeon, Opteron и EPYC.

Если решения на базе x86, как правило, требуют дополнительной, и, порой, весьма непростой логики для поддержки дисковых подсистем и сетевых соединений, то ThunderX2 в такой логике не нуждаются: они не только имеют встроенный контроллер PCI Express 3.0 (16 линий на процессор), чем в наши дни никого не удивишь, но также располагают интегрированными контроллерами SATA (до 24 устройств на платформу) и несколькими сетевыми контроллерами Ethernet с поддержкой скоростей 10, 25, 40, 50 и 100 Гбит/с.

Последнее существенно облегчает задачу построения кластерных систем на базе новых процессоров Cavium. Применение продвинутого 14-нм техпроцесса класса FinFET ставит ThunderX2 в один ряд с новейшими разработками Intel и AMD, а компания-разработчик уже планирует выпуск ThunderX3, которые получат поддержку новейшей шины PCI Express 4.0 и протокола NVMe. А пока серия ThunderX2 будет выпускаться в четырёх вариантах: CP для облачных применений, ST для больших баз данных и параллельных вычислений, SC для веб-сферы и систем безопасности и NT для медиа-серверов и серверов приложений.

Как видно из снимков, на конференции ISC 2017 процессоры Cavium Thunder X2 были представлены весьма широко: в основном, в виде одно- и двухпроцессорных решений как в обычном форм-факторе, так и компактном лезвийном — последний в наши дни применяется всё шире. Устанавливаются новые чипы точно так же, как и обычные процессоры Xeon и EPYC, в разъём типа LGA, что облегчает задачу модернизации систем на их основе, но пока не ясно, устоялся ли определённый тип разъёма для серверных процессоров с архитектурой ARM. Появление единого разъёма сыграло бы этой архитектуре лишь на руку.

Отдельного внимания заслуживают решения французской фирмы Bull — давнего игрока на компьютерном рынке. Она продемонстрировала вычислительные модули Sequana X1310, а также ряд других решений. Вычислительные модули весьма интересны: каждый из них, занимая стандартный корпус формата 1U, имеет внутри три системные платы с двумя процессорами ThunderX2 на каждой. На 6 процессоров приходится 48 слотов DDR4 (8 слотов на чип), а тепло отводится с помощью специализированной системы жидкостного охлаждения.

Обратим внимание: каждая системная плата с двумя разъёмами под процессоры Cavium ThunderX2 очень проста: по сути, кроме процессоров, модулей DIMM и стабилизаторов питания на ней ничего нет. Можно отметить два слота PCIe x16 (по слоту на процессор), батарейку, поддерживающую настройки firmware, а также традиционный модуль удалённого управления ASpeed, который встречается практически на любой серверной плате для процессоров x86. Такая простота означает низкую себестоимость, а компактность и модульность позволяют составлять из этих «строительных блоков» систему практически любой производительности, ограниченную лишь мощностью подсистемы питания и охлаждения в ЦОД.

Похожие системы представила и компания Penguin Computing, которая специализируется на разработке, постройке и поддержке высокопроизводительных вычислительных систем на базе открытых архитектур и решений. Она принимает активное участие в проекте OpenPOWER, но не прошла и мимо нового процессора Cavium. Её система Tundra ES интересна тем, что использует ещё более компактные вычислительные модули, нежели Bull Sequana X1000. Охлаждаться они могут как традиционными вентиляторами, так и централизованной жидкостной системой охлаждения.

Сами модули могут использовать различные архитектуры, но в данном контексте интерес представляют прототипы под названием Valkre, которые существуют также и в традиционном 19-дюймовом формате. Интересно, что в экспозиции замечены как минимум две разновидности системных плат: в Valkre 1030c (с воздушным охлаждением) используется плата с синей паяльной маской производства GIGABYTE, а вот в другой системе цвет печатной платы зелёный, а разработчик неизвестен. Компоновка обеих плат проста, что ещё раз подтверждает преимущества, реализованные Cavium в процессорах ThunderX2. Рост популярности ARM в серверной сфере налицо: если такие крупные производители, как Bull, обратили внимание на эту архитектуру, значит у неё определённо есть будущее.