Барселонский суперкомпьютерный центр (Испания) сообщил о планах по созданию вычислительного комплекса MareNostrum 4, не имеющего на сегодняшний день аналогов.

Дело в том, что в рамках новой вычислительной платформы планируется совместить узлы с различными архитектурами — x86, Power9 и ARM. Это позволит решать самые разные задачи.

Концепция системы предусматривает формирование двух основных кластеров. Один из них объединит 48 стоек с оборудованием Lenovo на основе процессоров Intel Xeon с поддержкой максимум 390 Тбайт памяти. Производительность этого кластера будет превышать 11 петафлопс (квадриллионов операций с плавающей запятой в секунду).

Второй кластер должен состоять из трёх блоков. Это, в частности, модуль с процессорами IBM Power9 и чипами NVIDIA суммарным быстродействием 1,5 петафлопса. Ещё 0,5 петафлопса добавит блок с ускорителями Intel Xeon Phi Knights Landing и Knights Hill. Наконец, третий блок на основе процессоров ARMv8 даст немногим более 0,5 петафлопса.

Таким образом, суммарная вычислительная мощность MareNostrum 4 окажется на уровне 13,7 петафлопса. Напомним, что сейчас самым производительным комплексом в мире является китайский Sunway TaihuLight: его быстродействие составляет 93 петафлопса.

Что касается сроков ввода системы MareNostrum 4 в строй, то они пока не называются. Скорее всего, это произойдёт не ранее 2018 года.

Не столь давно мы рассказывали читателям о новых версиях процессоров IBM POWER8 с поддержкой шины NVLink. Эти чипы предназначались для использования совместно с новейшими ускорителями NVIDIA Tesla для использования в сфере HPC и машинного обучения. Но POWER8 не является последним поколением процессоров, разрабатываемых «голубым гигантом». Альянс Google и Rackspace объявил о выпуске новой серверной платформы Zaius на базе чипов POWER9. О планах по созданию таких серверов в рамках инициативы Open Compute Project было объявлено ещё весной этого года, а теперь мы имеем дело с реальным глубоко проработанным проектом. Над созданием системы Zaius P9 Server активно работали Google, Rackspace, IBM и Ingrasys, учтены были все возможные пожелания сообщества OCP. В итоге система вышла уникальной. Она поддерживает OpenCAPI 2.0, NVLink 2.0 и четвёртое поколение шины PCI Express; в отличие от предыдущих наработок в рамках OCP в ней используются новейшие процессоры POWER9.

Напомним, что POWER8 имеют внешний кеш L4, объединённый с контроллерами памяти, но в POWER9 эти компоненты переехали в состав процессора. Каждый из двух чипов POWER9 имеет 8 каналов DDR4 с пропускной способностью до 2400 МТ/с и два канала NVLink/OpenCAPI. Это позволяет установить до четырёх ускорителей Tesla и при этом не упереться в нехватку пропускной способности подсистемы памяти. Всего на системной плате сервера имеется 32 слота DDR4 DIMM. Поддержка PCI Express 4.0 будет использована для высокоскоростных навесных сетевых адаптеров формата OCP 2.0. Zaius P9 относится к классу NUMA-систем, процессоры в нём используют собственные контроллеры памяти и общаются между собой посредством двухканальной шины X Bus. На приведённой блок-схеме её пропускная способность не указана, но она наверняка достаточно высока: у IBM, как разработчика серии POWER, огромный опыт в создании мощных серверных систем и мейнфреймов. Из документации IBM понятно, что речь идёт о скоростях порядка 38,4 Гбайт/с × 2.

Примерная компоновка системной платы Zaius P9

Новые процессоры используют набор инструкций Power ISA 3.0, выпускаются с использованием 14-нм техпроцесса GlobalFoundries и могут иметь о 12 до 24 ядер. Прочие характеристики тоже впечатляют: так, объём кеша L3 на чип может достигать 120 Мбайт, а тактовые частоты — отметки 4 ГГц. По всей видимости, в Zaius P9 установлены чипы версии SO, специально предназначенные для двухсокетных систем. Любопытно, что новые серверы предназначены для работы с основным напряжением питания 48 вольт, поддерживается стандарт 48V-POL. В качестве BIOS или, точнее, BMC (на схеме это ПО предназначено для управляющего процессора AST 25X0), используется полностью открытая разработка Open BMC. Google планирует выдвинуть дизайн Zaius P9 на рассмотрение сообщества OCP Foundation и надеется, что он будет принят, а внедрение нового высоковольтного стандарта питания серверов продолжится. Компания надеется, что новые гетерогенные вычислительные системы открытого стандарта ждёт большое будущее в её собственных облачных проектах.

Корпорация IBM на конференции Hot Chips 28 в Купертино (Калифорния, США) раскрыла довольно подробную информацию о мощных процессорах Power9, которые выйдут на рынок в следующем году.

Итак, сообщается, что чипы будут изготавливаться по 14-нанометровой технологии FinFET. Они получат 120 Мбайт кеша третьего уровня и смогут работать с буферизированными и не буферизированными модулями памяти DDR4.

Корпорация IBM готовит несколько модификаций Power9. В частности, говорится об изделиях с 12 вычислительными ядрами, каждое из которых сможет одновременно обрабатывать восемь потоков инструкций. Такие процессоры будут ориентированы прежде всего на системы с виртуализацией.

Кроме того, будут выпущены чипы с 24 вычислительными ядрами с поддержкой одновременной обработки четырёх потоков инструкций. Эти решения найдут применение в различных Linux-платформах.

Отмечается, что в Power9 будут реализованы улучшенные средства предсказания ветвлений, что позволит поднять скорость вычислений. Кроме того, говорится о реализации новых инструкций для поддержки будущих перспективных технологий и о 48 линиях PCI Express 4.0.

В общей сложности процессоры получат до 8 млрд транзисторов. Они обеспечат существенный прирост производительности по сравнению с изделиями предыдущего поколения.

В этом году NVIDIA порадовала любителей нерядовых новинок в сегменте дискретной графики картами на 16-нм чипах GP100 и GP102. Различия между старшим GPU для HPC-систем (GP100) и его производным — адаптером для широкого круга задач (GP102) оказались весьма существенными. В частности, проприетарный интерфейс NVLink, отличающий серверный графический процессор от собрата, способен обеспечивать пропускную способность в 40 Гбайт/с на один порт. Для сравнения, аналогичное значение для разъёма PCI Express 3.0 x16 составляет 16 ГТ/с (15,75 Гбайт/с), а для будущего PCI Express 4.0 x16 — 32 ГТ/с (31,5 Гбайт/с). При этом одним соединением NVLink дело не ограничивается. Так, у ускорителя Tesla P100 на чипе Pascal GP100 четыре порта NVLink, и, соответственно, пиковая пропускная способность достигает 160 Гбайт/с (4 × 40 Гбайт/с).

NVLink открывает возможность взаимодействия GPU двух систем

Среди тех, кто по достоинству оценил труд инженеров NVIDIA, оказалась корпорация IBM. Её 22-нм процессоры POWER8 прекрасно «дружат» с NVLink 1.0 и Tesla P100. В частности, был спроектирован 2P-сервер типоразмера 2U на основе процессоров POWER8 (POWER8+) и двух-четырёх адаптеров Tesla P100 с вышеупомянутым интерфейсом. На 2017 год запланировано создание ещё более мощной системы. В её состав войдут два CPU POWER9 и от четырёх до шести ускорителей NVIDIA Volta, содержащих порты NVLink 2.0. Форм-фактор останется прежним — 2U.

По сообщению ресурса Fudzilla, вторая версия NVLink принесёт увеличение пропускной способности интерфейса с 20 до 25 Гбит/с на контакт, с 40 до 50 Гбайт/с на один порт и со 160 до 200 Гбайт/с на один GPU. Преимущество NVLink над PCI Express 4-го поколения будет весьма впечатляющим — 6,35 раза (четыре порта NVLink против 16-скоростного PCI-E 4.0).

Внедрение NVLink 2.0 тесно связано с ожидающимся дебютом графических процессоров Volta в следующем году. Последние, по предварительным данным, будут выпускаться по нынешнему, но при этом «повзрослевшему» 16-нм техпроцессу, а в качестве буферной памяти будут использоваться микросхемы HBM2 (до внедрения HBM3 пока ещё далеко).

HBM2 — это надолго

Что касается процессоров IBM POWER9, то они будут выпускаться по 14-нм технологической норме начиная со следующего года. Количество ядер составит 12 или 24. В данных CPU предусмотрены кеш третьего и четвёртого уровней, контроллер памяти DDR4, линии PCI Express 4.0, а также скоростной интерфейс для синхронизации работы двух процессоров на одной плате.

IBM POWER9

Google и Rackspace начали использовать серверы на базе процессоров IBM POWER8 в своих центрах обработки данных (ЦОД) несколько месяцев назад. На сегодняшний день существенная часть программного обеспечения обеих компаний уже оптимизирована под новые микросхемы, а потому эксперимент с использованием этих систем можно считать удачным. Что ещё более интересно, так это то, что партнеры уже работают над новой серверной платформой на базе процессора IBM POWER9 следующего поколения.

На прошедшем недавно саммите OpenPOWER Foundation компании Google и Rackspace раскрыли первые подробности о разрабатываемой совместно горизонтально масштабируемой (scale-out) серверной платформе, известной под кодовым именем Zaius. Платформа будет базироваться на двух процессорах IBM POWER9 c неизвестным количеством ядер (однако, логично предполагать удвоение их количества относительно POWER8) и поддерживать 32 гнезда для памяти DDR4 (что даст возможность удвоить объём памяти относительно предшественника), два слота PCI Express 4.0 x16 для двух полноразмерных карт с поддержкой технологии когерентности памяти CAPI, один набор mezzanine-контактов NVLink для ускорителей NVIDIA Tesla, 15 накопителей данных в форм-факторе 2,5-дюйма с интерфейсом SAS, SATA или NVMe и т. д.

Архитектура серверной платформы Zaius. Фото Nikkei IT Pro - itpro.nikkeibp.co.jp

Примечательно, что Zaius поддерживает как FPGA-ускорители с CAPI 2.0, так и вычислительные процессоры NVIDIA Tesla (на базе архитектур Pascal и Volta) с технологией NVLink 2.0. Такая совместимость позволит Google и Rackspace более широко использовать специализированные ускорители, что должно увеличить энергоэффективность серверов на базе POWER9, а значит, уменьшить стоимость владения центров обработки данных. Свою лепту также внесёт и интерфейс PCIe 4.0, который удвоит пропускную способность (предположительно до 32 Гбайт/с для гнёзд PCIe 4.0 x16), доступную для твердотельных накопителей или же сопроцессоров. Сервер Zaius будет совместим с предлагаемыми стандартом для стоек Open Rack 48В и будет иметь высоту 1.25U.

Архитектура серверной платформы Zaius. Фото Nikkei IT Pro - itpro.nikkeibp.co.jp

Что касается самих процессоров IBM POWER9, то их версии для горизонтально масштабируемых серверов (тех, чья производительность увеличивается путём добавления новых машин в ЦОД) появятся на рынке в следующем году. Новые CPU будут базироваться на новой микроархитектуре и иметь до 24 ядер с технологией многопоточности и буферами памяти eDRAM. Системы на базе IBM POWER9 для scale-out машин более не будут использовать внешние буферы памяти, а будут опираться исключительно на встроенный контроллер DRAM. Процессоры POWER9 будут производится по технологическому процессу GlobalFoundres 14HP (14 нм, FinFET), но его характеристики неизвестны. Возможно, речь идёт о технологии 14 нм GlobalFoundries третьего поколения; возможно, о специализированных нормах производства IBM.

Перспективный план IBM в области микропроцессоров. Фото IBM PowerSystems JP - twitter.com/ibmpowerJP

На саммите OpenPOWER Foundation представители Google заявили, что многие из облачных сервисов компании, в том числе Gmail, уже могут функционировать используя серверы на базе процессоров IBM POWER8. Судя по всему, компания находит производительность этих процессоров конкурентоспособной, ровно поэтому она работает над новым поколением машин на основе POWER9.

Долгосрочные планы компаний Google и Rackspace касательно серверных платформ IBM POWER нельзя недооценивать. Появление серверов Zaius в ЦОД указанных компаний означает, что они планируют продолжить оптимизацию программного обеспечения под процессоры на базе данной архитектуры. Таким образом, со временем у Google и Rackspace появится полноценная инфраструктура из ПО и аппаратного обеспечения, способная заменить программно-аппаратные комплексы на базе Intel Xeon.