Чуть больше двух лет назад в мае 2016 года семёрка ведущих компаний компьютерного сектора объявила о создании консорциума Cache Coherent Interconnect for Accelerators (CCIX, произносится как «see six»). В число организаторов консорциума вошли AMD, ARM, Huawei, IBM, Mellanox, Qualcomm и Xilinx, хотя платформа CCIX объявлена и развивается в рамках открытых решений Open Compute Project и вход свободен для всех. В основе платформы CCIX лежит дальнейшее развитие идеи согласованных (когерентных) вычислений вне зависимости от аппаратной реализации процессоров и ускорителей, будь то архитектура x86, ARM, IBM Power или нечто уникальное. Скрестить ежа и ужа — вот едва ли не буквальный смысл CCIX.

Варианты топологии CCIX

На днях консорциум сообщил, что подготовлены и представлены финальные спецификации CCIX первой версии. Это означает, что вскоре с поддержкой данной платформы на рынок может выйти первая совместимая продукция. По словам разработчиков, CCIX позволит организовать новый класс подсистем обмена данными с согласованием кеша с низкими задержками для следующих поколений облачных систем, искусственного интеллекта, больших данных, баз данных и других применений в инфраструктуре ЦОД. Следующая ступенька в производительности невозможна без эффективных гетерогенных (разнородных) вычислений, которые смешают в одном котле исполнение кода общего назначения и спецкода для ускорителей на базе GPU, FPGA, «умных» сетевых карт и энергонезависимой памяти.

Решение CCIX IP компании Synopsys

Базовые спецификации CCIX Base Specification 1.0 описывают межчиповый и «бесшовный» обмен данными между вычислительными ресурсами (процессорными ядрами), ускорителями и памятью во всём её многообразии. Все эти подсистемы объединены разделяемой виртуальной памятью с согласованием кеша. В основе спецификаций CCIX 1.0, добавим, лежит архитектура PCI Express 4.0 и собственные наработки в области быстрой коррекции ошибок, что позволит по каждой линии обмениваться данными со скоростью до 25 Гбайт/с.

Тестовая платформа с поддержкой CCIX Synopsys на FPGA матрице

Но главное, конечно, не скорость обмена, хотя это важная составляющая CCIX. Главное — в создании программируемых и полностью автономных процессов по обмену данными в кешах процессоров и ускорителей, что реализуется с помощью новой парадигмы разделяемой виртуальной памяти для когерентного кеша. Это радикально упростит создание программ для платформ CCIX и обеспечит значительный прирост в ускорении работы гетерогенных платформ. Вместо механизма прямого доступа к памяти (DMA), со всеми его тонкостями для обмена данными, на платформе CCIX достаточно будет одного указателя. Причём обмен данными в кешах будет происходить без использования драйвера на уровне базового протокола CCIX. Ждём в готовой продукции. Кто первый, AMD, ARM или IBM?

Тестовый набор CCIX

Рабочая демо-система с неназванным CPU и FPGA, соединённых шиной CCIX

IBM представила свой первый собственный сервер на процессоре POWER9. Особенность решения под названием IBM Power Systems AC922 заключается в том, что новая аппаратная платформа разработана специально для работы с интенсивными вычислительными нагрузками технологий искусственного интеллекта (ИИ).

CPU IBM POWER9

В IBM отмечают, что Power 9 позволяет ускорить тренировки фреймворков глубинного обучения обучения почти в четыре раза, благодаря чему клиенты смогут быстрее создавать более точные ИИ-приложения. Утверждается, что новый сервер разработан для получения значительных улучшений производительности всех популярных фреймворков ИИ, таких как Chainer, TensorFlow и Caffe, а также современных баз данных, использующих ускорители, например, Kinetica.

Сервер IBM Power System AC922

Сервер IBM Power Systems AC922 использует шину PCI-Express 4.0 и технологии NVIDIA NVLink 2.0 и CAPI 2.0/OpenCAPI, способные ускорить пропускную способность в 9,5 раза по сравнению с системами x86 на базе PCI-E 3.0. Это, в частности, позволяет задействовать ускорителям (GPU или FPGA) системную ОЗУ без значительных, по сравнению с прошлыми решениями, потерь производительности, что важно для обработки больших массивов данных. Кроме того, новые поколения карт расширения и ускорителей уже поддерживают эту шину.

IBM Power Systems AC922 создан в нескольких конфигурациях, оснащаемых двумя процессорами POWER9. Стандартные версии включают CPU c 16 (2,6 ГГц, турбо 3,09 ГГц) и 20 (2,0/2,87 ГГц) ядрами (4 потока на ядро), а позже появятся версии с 18- и 22 -ядерными процессорами. Всего в сервере есть 16 слотов для модулей ECC DDR4-памяти, что на текущий момент позволяет оснастить его 1 Тбайт RAM. Для хранения данных предусмотрено два слота для 2,5" SSD/HDD (RAID-контроллера нет).

AC922 может иметь на борту от двух до четырёх ускорителей NVIDIA Tesla V100 форм-фактора SXM2 с памятью 16 Гбайт и шиной NVLink 2.0. В сумме они дают до 500 Тфлопс на расчётах половинной точности. Дополнительные ускорители можно подключить к слотам PCI-E 4.0.

Сервер рассчитан на установку четырёх дополнительных низкопрофильных карт расширения: два слота PCI-E 4.0 x16, один PCI-E 4.0 x8 и один PCI-E 4.0 x4. Все слоты, кроме последнего, также умеют работать с CAPI. Также есть два порта USB 3.0. Поддерживается ОС Red Hat Enterprise Linux 7.4 for Power LE.

Процессоры IBM Power 9, которые нашли применение в IBM Power Systems AC922, легли в основу суперкомпьютеров Summit и Sierra Министерства энергетики США, а также используются компанией Google. Чипы и использующие их системы стали частью совместной работы участников организации OpenPower Foundation, в которую входят IBM, Google, Mellanox, NVIDIA и др.

Процессор IBM Power 9

«Мы создали уникальную в своём роде систему для работы с технологиями ИИ и когнитивными вычислениями, — говорит старший вице-президент подразделения IBM Cognitive Systems Боб Пиччиано (Bob Picciano). — Серверы на Power 9 являются не только основой самых высокопроизводительных компьютеров, они позволят заказчикам масштабировать невиданные ранее инсайты, что будет способствовать научным прорывам и революционным улучшениям бизнес-показателей».

Сервер имеет стандартное 2U-шасси и оснащается двумя (1+1) блоками питания мощностью 2,2 кВт каждый. Система охлаждения может быть гибридной. Начало продаж IBM Power Systems AC922 намечено на 22 декабря 2017 года. В 2018 году будут доступны конфигурации с шестью ускорителями Tesla и СЖО.

Бытует мнение, что в космической отрасли используется всё самое лучшее, включая компьютерные компоненты. Это не совсем так: вы не встретите в космических аппаратах 18-ядерных Xeon и ускорителей Tesla. Во-первых, энергетические резервы за пределами Земли строго ограничены, и даже на МКС никто не будет тратить несколько киловатт на питание «космического суперкомпьютера». Во-вторых, практически вся электроника, работающая за пределами атмосферы, выпускается в специальном радиационно-стойком исполнении. Чаще всего за счёт техпроцессов «кремний на диэлектрике» (SOI) и «сапфировая подложка» (SOS), используется также биполярная логика вместо менее стойкой к внешним излучениям CMOS.

Мини-кластер в космическом исполнении. Охлаждение жидкостное

Мощными в космосе считаются такие решения, как BAE Systems серии RAD, особенно новая RAD5500 (от 1 до 4 ядер, 45-нм SOI, PowerPC, 64 бита). Четырёхъядерный вариант RAD5545 развивает производительность более 3,7 гигафлопс при потреблении около 20 ватт. Иными словами, вычислительные мощности в космосе тоже растут, но совсем иными темпами, нежели на Земле. Тому подтверждением служит недавно вступивший в строй на борту Международной космической станции компьютер HPE Spaceborne. Если на Земле мощность суперкомпьютеров измеряется десятками и сотнями петафлопс, то Spaceborne куда скромнее — судя по проведённым тестам, его вычислительная мощность достигает 1 терафлопса. Достигнута она путём сочетания современных процессоров Intel с ускорителями NVIDIA Tesla P100 (NVLink-версия).

Конфигурация каждого из узлов Spaceborne

Для космических систем это большое достижение, и не стоит иронизировать над этим показателем производительности. Интересно, что сама по себе система Spaceborne, доставленная на борт станции миссией SpaceX CRS-12, является своего рода экспериментом на тему «как чувствуют себя в космосе обычные компьютерные комплектующие». Это связка из двух серверов HPE Apollo 40 на базе Intel Xeon, объединённая сетью со скоростью 56 Гбит/с. 14 сентября на систему было подано питание (48 и 110 вольт), а недавно проведены первые тесты High Performance LINPACK.

Системы охлаждения и электропитания Spaceborne

Пока Spaceborne не будет использоваться для анализа научных данных или управления какими-либо системами станции. Его миссия — продемонстрировать то, насколько живучи обычные серверы в космосе. Результаты постоянных тестов будут сравниваться с аналогичной системой, оставшейся на Земле. Тем не менее, достижение первого терафлопса в космосе является своеобразным мировым рекордом. Это маленький шаг для супервычислений, но большой для всей космической индустрии, поскольку за Spaceborne явно последуют его более совершенные и мощные потомки.

Пять лет назад компания Qualcomm приступила к разработкам процессора для серверного рынка. Успешный разработчик уникальных вычислительных архитектур, совместимых с наборами команд ARM, вполне обоснованно решил перенести опыт создания SoC для смартфонов и планшетов в область высокопроизводительных серверных решений. К тому времени требования к серверным процессорам изменились в сторону снижения потребления и лучшей масштабируемости. Социальные сети и облачные сервисы создают настолько неравномерную нагрузку на вычислительные ресурсы ЦОД, что обычные x86-совместимые или RISC/UNIX-платформы перестают считаться эффективным инструментом для решения насущных задач.

В декабре 2016 года Qualcomm сообщила о завершении разработки и начале пробных поставок процессора Centriq 2400 с числом ядер до 48 штук. На днях компания подтвердила график вывода новинки на рынок, который предусматривает массовые коммерческие поставки SoC Centriq 2400 позднее в текущем году. Также Qualcomm поделилась деталями о строении и архитектуре Centriq 2400. Ниже мы расскажем о ключевых особенностях разработки.

Начнём с того, что внутренний согласованный интерфейс однокристальной сборки Centriq 2400 представляет собой сегментированную кольцевую шину. Компания Intel, как нам известно, в новых серверных и высокопроизводительных настольных процессорах перестанет использовать кольцевую шину в пользу ячеистой шины, что должно улучшить масштабируемость архитектуры для многоядерного окружения. Компания AMD использует другой принцип обмена данными между кластерами в процессорах на ядрах Zen. Все они соединены между собой двунаправленной шиной, топология которой ближе к кольцевой. Сегментированная кольцевая шина в составе Centriq 2400 использует преимущества кольцевой шины (простота, сравнительно низкое потребление) и элементы ячеистой сети внутри сегмента, что даёт возможность балансировать между скоростью, задержками и потреблением.

Вычислительные ядра в составе Centriq 2400 самостоятельно разработаны инженерами компании и носят кодовое имя Falkor. Это 64-битные решения с поддержкой команд ARMv8, которые разбиты на модули из двух связанных ядер (дуплексное строение, по определению Qualcomm). Подобное строение позволяет выпускать SoC Centriq 2400 с заданным числом ядер и облегчает масштабирование вычислительной структуры в процессе выполнения задачи. Каждая пара ядер имеет разделяемую кеш-память L2 и разделяемый доступ к кольцевой шине Qualcomm System Bus (QSB).

Для снижения потребления каждое ядро и кеш-память L2 имеют ряд состояний потребления энергии, которые контролируются на аппаратном уровне и могут переключаться с минимальными задержками. Вычислительные конвейеры Falkor имеют переменную длину с внеочередным исполнением команд. Это снижает вероятность простоя конвейеров в процессе работы с командами и инструкциями, не оптимизированными для немедленного исполнения.

Иерархия кеш-памяти Falkor оптимизирована для обработки значительных массивов данных. Так, кеш-память первого уровня для приёма данных объёмом 32 Кбайт дополнена «несимметричной» кеш-памятью L1 для инструкций: 24 Кбайт L0 и 64 Кбайт L1 (всего 88 Кбайт). Всё это снабжено многоуровневым движком предварительной выборки, который динамически адаптируется под текущую нагрузку.

В состав SoC Centriq 2400 вошли 6-канальный контроллер памяти с поддержкой DDR4-2667 МГц ECC (до двух модулей на канал), 32 линии PCI Express 3.0, интерфейсы SATA, USB и более специализированные сигнальные структуры. Также Centriq 2400 несёт интегрированный криптографический блок TrustZone и поддерживает аппаратную виртуализацию. В компании Qualcomm уверены, что данную разработку ждёт успешное будущее.

Процессорная архитектура ARM прочно заняла своё место в различных мобильных устройствах — смартфонах и планшетах, широко представлена она в домашних маршрутизаторах и ТВ-приставках, но о заметном проникновении на рынок серверных решений, пожалуй, можно говорить лишь сейчас, хотя разговоры об этом велись уже давно. Ранее такие разработчики, как Applied Micro и Cavium уже показывали процессоры X-Gene и ThunderX соответственно.

Производители серверов проявили интерес, поскольку вопросы энергоэффективности в крупных ЦОД и суперкомпьютерных системах стоят остро, но широкому внедрению ARM мешала относительно слабая программная поддержка. С тех пор ситуация изменилась в лучшую сторону и Cavium, а также такие компании, как Bull, привезли на ISC 2017 свои решения на базе новейших процессоров ThunderX2.

В сравнении с первым поколением ThunderX новые чипы сделали громадный шаг вперёд: теперь производительность в однопоточном режиме серьёзно выросла, а также подросли тактовые частоты. Каждый процессор ThunderX2 может содержать до 54 ядер на базе оригинальной версии архитектуры ARMv8-A, поддерживающей внеочередное исполнение команд. Тактовая частота может достигать 3 ГГц, что находится вполне на уровне решений с архитектурой x86. Изначально говорилось о 2,5‒2,6 ГГц, но разработчикам, похоже, удалось справиться и с более высокими частотами.

Каждое ядро располагает 64 Кбайт кеша инструкций и 40 Кбайт кеша данных, объём общего разделяемого кеша может достигать 32 Мбайт. Новые процессоры Cavium получили шестиканальный контроллер DDR4 и не страдают от нехватки пропускной способности подсистемы памяти; производитель говорит о двух-трёхкратном приросте производительности в сравнении с ThunderX, и, скорее всего, эти данные вполне правдивы. Точных данных о тепловыделении нет, но для 54 ядер встречается цифра 95 ватт, что весьма немного в сравнении с Xeon, Opteron и EPYC.

Если решения на базе x86, как правило, требуют дополнительной, и, порой, весьма непростой логики для поддержки дисковых подсистем и сетевых соединений, то ThunderX2 в такой логике не нуждаются: они не только имеют встроенный контроллер PCI Express 3.0 (16 линий на процессор), чем в наши дни никого не удивишь, но также располагают интегрированными контроллерами SATA (до 24 устройств на платформу) и несколькими сетевыми контроллерами Ethernet с поддержкой скоростей 10, 25, 40, 50 и 100 Гбит/с.

Последнее существенно облегчает задачу построения кластерных систем на базе новых процессоров Cavium. Применение продвинутого 14-нм техпроцесса класса FinFET ставит ThunderX2 в один ряд с новейшими разработками Intel и AMD, а компания-разработчик уже планирует выпуск ThunderX3, которые получат поддержку новейшей шины PCI Express 4.0 и протокола NVMe. А пока серия ThunderX2 будет выпускаться в четырёх вариантах: CP для облачных применений, ST для больших баз данных и параллельных вычислений, SC для веб-сферы и систем безопасности и NT для медиа-серверов и серверов приложений.

Как видно из снимков, на конференции ISC 2017 процессоры Cavium Thunder X2 были представлены весьма широко: в основном, в виде одно- и двухпроцессорных решений как в обычном форм-факторе, так и компактном лезвийном — последний в наши дни применяется всё шире. Устанавливаются новые чипы точно так же, как и обычные процессоры Xeon и EPYC, в разъём типа LGA, что облегчает задачу модернизации систем на их основе, но пока не ясно, устоялся ли определённый тип разъёма для серверных процессоров с архитектурой ARM. Появление единого разъёма сыграло бы этой архитектуре лишь на руку.

Отдельного внимания заслуживают решения французской фирмы Bull — давнего игрока на компьютерном рынке. Она продемонстрировала вычислительные модули Sequana X1310, а также ряд других решений. Вычислительные модули весьма интересны: каждый из них, занимая стандартный корпус формата 1U, имеет внутри три системные платы с двумя процессорами ThunderX2 на каждой. На 6 процессоров приходится 48 слотов DDR4 (8 слотов на чип), а тепло отводится с помощью специализированной системы жидкостного охлаждения.

Обратим внимание: каждая системная плата с двумя разъёмами под процессоры Cavium ThunderX2 очень проста: по сути, кроме процессоров, модулей DIMM и стабилизаторов питания на ней ничего нет. Можно отметить два слота PCIe x16 (по слоту на процессор), батарейку, поддерживающую настройки firmware, а также традиционный модуль удалённого управления ASpeed, который встречается практически на любой серверной плате для процессоров x86. Такая простота означает низкую себестоимость, а компактность и модульность позволяют составлять из этих «строительных блоков» систему практически любой производительности, ограниченную лишь мощностью подсистемы питания и охлаждения в ЦОД.

Похожие системы представила и компания Penguin Computing, которая специализируется на разработке, постройке и поддержке высокопроизводительных вычислительных систем на базе открытых архитектур и решений. Она принимает активное участие в проекте OpenPOWER, но не прошла и мимо нового процессора Cavium. Её система Tundra ES интересна тем, что использует ещё более компактные вычислительные модули, нежели Bull Sequana X1000. Охлаждаться они могут как традиционными вентиляторами, так и централизованной жидкостной системой охлаждения.

Сами модули могут использовать различные архитектуры, но в данном контексте интерес представляют прототипы под названием Valkre, которые существуют также и в традиционном 19-дюймовом формате. Интересно, что в экспозиции замечены как минимум две разновидности системных плат: в Valkre 1030c (с воздушным охлаждением) используется плата с синей паяльной маской производства GIGABYTE, а вот в другой системе цвет печатной платы зелёный, а разработчик неизвестен. Компоновка обеих плат проста, что ещё раз подтверждает преимущества, реализованные Cavium в процессорах ThunderX2. Рост популярности ARM в серверной сфере налицо: если такие крупные производители, как Bull, обратили внимание на эту архитектуру, значит у неё определённо есть будущее.