Консорциумы OpenCAPI Consortium (OCC) и Compute Express Link (CXL) подписали соглашение, которое подразумевает передачу в пользу CXL всех наработок и спецификаций OpenCAPI и OMI. Если будет получено одобрения всех участвующих сторон, то это будет ещё один шаг в сторону унификации ключевых системных интерфейсов и возможности реализации новых архитектурных решений. Во всяком случае, на бумаге.

Консорциумы OpenCAPI (Open Coherent Accelerator Processor Interface) был сформирован в 2016 году с целью создание единого, универсального, скоростного и согласованного интерфейса для связи CPU с ускорителями, сетевыми адаптерами, памятью, контроллерами и устройствами хранения и т.д. Причём в независимости от типа и архитектуры самого CPU. На тот момент новый интерфейс был определённо лучше распространённого тогда PCIe 3.0. С течением времени дела у OpenCAPI шли ни шатко ни валко, однако фактически его использование было ограничено только POWER-платформами от IBM.

Источник: OpenCAPI

Тем не менее, в недрах OpenCAPI родился ещё один очень интересный стандарт — Open Memory Interface (OMI). OMI, если коротко, предлагает некоторую дезагрегацию путём добавления буферной прослойки между CPU и RAM. С одной стороны у OMI есть унифицированный последовательный интерфейс для подключения к CPU, с другой — интерфейсы для подключения какой угодно памяти, на выбор конкретного производителя.

Источник: Open Memory Interface (OMI)

OMI позволяет поднять пропускную способность памяти, не раздувая число контактов и физические размеры и самого CPU, и модулей. Однако и в данном случае массовая поддержка OMI по факту есть только в процессорах IBM POWER10. Концептуально CXL в части работы с памятью повторяет идею OMI, только в данном случае в качестве физического интерфейса используется распространённый PCIe.

Изображение: SK Hynix

Существенная разница c OMI в том, что начальная поддержка CXL будет в грядущих процессорах AMD и Intel. А Samsung и SK Hynix уже готовят соответствующие DDR5-модули. Да и в целом поддержка CXL в индустрии намного шире. Так что консорциуму CXL, по-видимому, осталось поглотить только ещё один конкурирующий стандарт в лице CCIX, как это уже произошло с Gen-Z.

Комментируя соглашение, президент консорциума CXL отметил, что сейчас наиболее удачное время для объединения усилий, которое принесёт пользу всей IT-индустрии. Участники OpenCAPI имеют богатый опыт, который поможет улучшить грядущие спецификации CXL и избежать ошибок.

Консорциум OpenCAPI был основан в октябре 2016 года, в него вошли такие известные компании как AMD, IBM, Google, Mellanox и ряд других игроков на рынке HPC. Целью организации является продвижение открытой альтернативы PCI Express.

В отличие от разработанных ранее стандартов CAPI, OpenCAPI не требует инфраструктуры PCIe и базируется на технологиях IBM Bluelink (25 Гбит/с на линию) и NVIDIA NVLink 2.0. Стандарт использован в системах на базе процессоров IBM POWER9. Эти процессоры имеют 48 линий OpenCAPI.

В 2017 году мы выдвинули предположение о том, что OpenCAPI будет активно развиваться на фоне стагнации PCI Express 3.0 и даже сможет серьёзно потеснить PCIe. Хотя это предположение не оправдалось, а внедрение новой, четвёртой версии PCIe, напротив, активизировалось, разработчики OpenCAPI продолжают демонстрировать новые решения на базе данного стандарта.

На выставке SC19 был продемонстрирован ряд решений, использующих наработки консорциума. В частности, была показана любопытная система хранения данных IBM Power S924. В нём используются 8, 10 или 12-ядерные процессоры POWER9 с частотой до 3,3 ГГц и поддержкой SMT4. Помимо классической оперативной памяти объёмом до 4 Тбайт система поддерживает модули SCM Memory (ближайший аналог Intel Optane).

Эти модули используют шину OpenCAPI x4, обладают пропускной способностью 80 Гбайт/с, а общий объём такой энергонезависимой памяти может достигать 12 Тбайт. Каждая карта SCM HMS имеет ёмкость 1,5 или 3 Тбайт, некоторый объём DRAM-кеша и устанавливается в слот PCIe, но использует его возможности только для питания ‒ данные передаются через отдельный разъём OpenCAPI x4.

Своё решение показал крупный тайваньский производитель Wistron. Он продемонстрировал компактный сервер на базе процессоров POWER9, поддерживающий подключение 24 NVMe-накопителей. Эта система с поддержкой OpenCAPI позиционируется в качестве основы для систем машинного обучения, аналитики больших объёмов данных и решений класса Big Data в целом.

Сама шина может быть реализована не только с помощью классических слотов, аналогичных PCIe по электромеханическому конструктиву, но и с помощью разъёма SlimSAS, имеющего 8 линий по 25 Гбит/с и позволяющего компоновать системы подобно тому, как это реализовано в серверах с ускорителями NVIDIA в формате SXM2.

Разработчики показали различные решения на базе OpenCAPI. Так, в числе прочих, был продемонстрирован адаптер OpenCAPI Gateway на базе ПЛИС Xilinx Zynq UltraScale+, предназначенный для разработки ускорителей с поддержкой нового стандарта передачи данных.

Разработки Mellanox, входящей в консорциум, были представлены «умной» сетевой картой Innova-2. Она базируется на связке чипов ConnectX-5 и Xilinx Kintex UItraScale+ и располагает двумя портами с поддержкой различных скоростей Ethernet или InfiniBand ‒ от 25 до 100 Гбит/с. Карта поддерживает как PCI Express 4.0 x8, так и OpenCAPI x8.

Компания Alpha Data показала похожее решение, но на базе чипа Xilinx Virtex UltraScale+, имеющего собственные сборки HBM2 и не требующего установки на плату микросхем DRAM. Адаптер ADM-PCIE-9H7 предлагает уже четыре порта QSFP28 и обслуживается двумя интерфейсами OpenCAPI x8. Новинка обладает существенным энергопотреблением и требует подключения шестиконтактного разъёма питания PCIe. Есть у Alpha Data и менее мощные решения.

Можно заключить, что стандарт OpenCAPI не умер. На его основе активно разрабатываются новые решения, включая уникальные системы на базе архитектур, отличных от x86. Но перспективы этой шины теперь выглядят куда менее радужными, нежели в 2017 году, и на то есть ряд причин.

Будут ли разъёмы OpenCAPI пустовать?

С появлением на рынке процессоров AMD EPYC 7002 стандарт PCI Express 4.0 стал активно продвигаться в жизнь. В отличие от OpenCAPI, он использует существующую электромеханическую инфраструктуру и располагает обратной совместимостью с предыдущими стандартами PCIe, что является весьма серьёзным преимущество в мире ИТ.

На прошлой неделе к консорциуму OpenCAPI присоединился ещё один игрок — компания Cavium, которая занимается разработкой серверных ARM-процессоров. Решениями компании заинтересовался производитель суперкомпьютеров Atos, а недавно Аргоннская национальная лаборатория изъявила желание развернуть кластер из серверов на базе этих процессоров. Всё вместе это закладывает основу для создания полноценной альтернативы x86-платформе и нынешнему лидеру списка TOP500, которая будет включать и CPU различных архитектур, и универсальную открытую шину.

Очевидно, что шина PCI Express в текущем виде неспособна обеспечить уровень производительности, необходимый для подключения между собой процессоров и различных ускорителей. Текущая версия далека от идеала, а недавно представленный стандарт PCI-E 4.0 пока что весьма далёк от внедрения. Собственно говоря, пока что его поддерживают только процессоры IBM POWER9. Но они же предлагают и другой, более совершенный, по мнению создателей, стандарт OpenCAPI, или просто CAPI (Coherent Accelerator Processor Interface). Текущая третья версия совместима с NVLink 2.0, а ведь самые быстрые ускорители NVIDIA используют именно эту шину. Нельзя сказать, что стандарт развивался быстро, но в 2017 году он уже имеет весьма солидную армию последователей.

Ускоритель Alpha Data подключён к процессорному разъёму POWER9 посредством кабеля OpenCAPI

Целый ряд имён имеет свои решения для новой платформы. Mellanox располагает «умными» сетевыми адаптерами Innova-2 с поддержкой OpenCAPI, Molex Electronic Solutions демонстрировала на SC 17 прототип флеш-хранилища с пропускной способностью порядка 200 Гбайт/с. Alpha Data уже предлагает свои платы ускорителей на базе ПЛИС Xilinx UltraScale+, подключаемые непосредственно к процессору POWER9 специальным кабелем. О самой Xilinx нечего и говорить — один из крупнейших разработчиков ПЛИС предлагает целый спектр платформ разработчика OpenCAPI. Скоростная шина требует специальных кабелей, и они есть у Amphenol Corporation.

Прототип Zaius/Barreleye G2

Такой гигант в мире накопителей как Western Digital внимательно следит за развитием OpenCAPI и занимается исследованиями в этой области, тестируя прототипы CAPI-памяти и ускорителей. Micron возлагает на OpenCAPI огромные надежды в области создания новой технологии энергонезависимой памяти. Компания Rackspace работает совместно с Google над созданием двухсокетных серверов Zaius/Barreleye G2 на базе POWER9. А где POWER9, там и OpenCAPI, а где Google — там и ускорители различного рода. Tektronix предлагает решения, способные полноценно тестировать решения OpenCAPI, работающие на скоростях 25 Гбит/с и выше. Полноценная отладка поддерживается для скорости 32 Гбит/с.

Сила OpenCAPI в его универсальности и единообразии

Toshiba также заинтересована в новом стандарте. Она уже работает над созданием собственного кремния, использующего OpenCAPI. По словам представителей компании, решения Toshiba вскоре смогут помочь быстро развернуть инфраструктуру на базе CAPI любому желающему и для любого рода задач. Компания Wistron успешно продемонстрировала на том же мероприятии SC 17 дизайны систем на базе процессоров IBM POWER9. Представитель компании считает OpenCAPI действительно универсальным стандартом, отвечающим задачам, которые будут поставлены перед ИТ-инфраструктурой грядущим десятилетием. Inventec также представила своё видение POWER9, но она концентрирует усилия в направлении внедрения нового стандарта питания с напряжением 48 вольт.

Иными словами, список компаний, интересующихся OpenCAPI, вызывает уважение, начиная с самого «голубого гиганта» и NVIDIA. Можно считать, что поезд тронулся, и в мире появилась серьёзная многопроцессорная, многопоточная и универсальная платформа, способная справиться с любым спектром задач.

IBM представила свой первый собственный сервер на процессоре POWER9. Особенность решения под названием IBM Power Systems AC922 заключается в том, что новая аппаратная платформа разработана специально для работы с интенсивными вычислительными нагрузками технологий искусственного интеллекта (ИИ).

CPU IBM POWER9

В IBM отмечают, что Power 9 позволяет ускорить тренировки фреймворков глубинного обучения обучения почти в четыре раза, благодаря чему клиенты смогут быстрее создавать более точные ИИ-приложения. Утверждается, что новый сервер разработан для получения значительных улучшений производительности всех популярных фреймворков ИИ, таких как Chainer, TensorFlow и Caffe, а также современных баз данных, использующих ускорители, например, Kinetica.

Сервер IBM Power System AC922

Сервер IBM Power Systems AC922 использует шину PCI-Express 4.0 и технологии NVIDIA NVLink 2.0 и CAPI 2.0/OpenCAPI, способные ускорить пропускную способность в 9,5 раза по сравнению с системами x86 на базе PCI-E 3.0. Это, в частности, позволяет задействовать ускорителям (GPU или FPGA) системную ОЗУ без значительных, по сравнению с прошлыми решениями, потерь производительности, что важно для обработки больших массивов данных. Кроме того, новые поколения карт расширения и ускорителей уже поддерживают эту шину.

IBM Power Systems AC922 создан в нескольких конфигурациях, оснащаемых двумя процессорами POWER9. Стандартные версии включают CPU c 16 (2,6 ГГц, турбо 3,09 ГГц) и 20 (2,0/2,87 ГГц) ядрами (4 потока на ядро), а позже появятся версии с 18- и 22 -ядерными процессорами. Всего в сервере есть 16 слотов для модулей ECC DDR4-памяти, что на текущий момент позволяет оснастить его 1 Тбайт RAM. Для хранения данных предусмотрено два слота для 2,5" SSD/HDD (RAID-контроллера нет).

AC922 может иметь на борту от двух до четырёх ускорителей NVIDIA Tesla V100 форм-фактора SXM2 с памятью 16 Гбайт и шиной NVLink 2.0. В сумме они дают до 500 Тфлопс на расчётах половинной точности. Дополнительные ускорители можно подключить к слотам PCI-E 4.0.

Сервер рассчитан на установку четырёх дополнительных низкопрофильных карт расширения: два слота PCI-E 4.0 x16, один PCI-E 4.0 x8 и один PCI-E 4.0 x4. Все слоты, кроме последнего, также умеют работать с CAPI. Также есть два порта USB 3.0. Поддерживается ОС Red Hat Enterprise Linux 7.4 for Power LE.

Процессоры IBM Power 9, которые нашли применение в IBM Power Systems AC922, легли в основу суперкомпьютеров Summit и Sierra Министерства энергетики США, а также используются компанией Google. Чипы и использующие их системы стали частью совместной работы участников организации OpenPower Foundation, в которую входят IBM, Google, Mellanox, NVIDIA и др.

Процессор IBM Power 9

«Мы создали уникальную в своём роде систему для работы с технологиями ИИ и когнитивными вычислениями, — говорит старший вице-президент подразделения IBM Cognitive Systems Боб Пиччиано (Bob Picciano). — Серверы на Power 9 являются не только основой самых высокопроизводительных компьютеров, они позволят заказчикам масштабировать невиданные ранее инсайты, что будет способствовать научным прорывам и революционным улучшениям бизнес-показателей».

Сервер имеет стандартное 2U-шасси и оснащается двумя (1+1) блоками питания мощностью 2,2 кВт каждый. Система охлаждения может быть гибридной. Начало продаж IBM Power Systems AC922 намечено на 22 декабря 2017 года. В 2018 году будут доступны конфигурации с шестью ускорителями Tesla и СЖО.

Не столь давно мы рассказывали читателям о новых версиях процессоров IBM POWER8 с поддержкой шины NVLink. Эти чипы предназначались для использования совместно с новейшими ускорителями NVIDIA Tesla для использования в сфере HPC и машинного обучения. Но POWER8 не является последним поколением процессоров, разрабатываемых «голубым гигантом». Альянс Google и Rackspace объявил о выпуске новой серверной платформы Zaius на базе чипов POWER9. О планах по созданию таких серверов в рамках инициативы Open Compute Project было объявлено ещё весной этого года, а теперь мы имеем дело с реальным глубоко проработанным проектом. Над созданием системы Zaius P9 Server активно работали Google, Rackspace, IBM и Ingrasys, учтены были все возможные пожелания сообщества OCP. В итоге система вышла уникальной. Она поддерживает OpenCAPI 2.0, NVLink 2.0 и четвёртое поколение шины PCI Express; в отличие от предыдущих наработок в рамках OCP в ней используются новейшие процессоры POWER9.

Напомним, что POWER8 имеют внешний кеш L4, объединённый с контроллерами памяти, но в POWER9 эти компоненты переехали в состав процессора. Каждый из двух чипов POWER9 имеет 8 каналов DDR4 с пропускной способностью до 2400 МТ/с и два канала NVLink/OpenCAPI. Это позволяет установить до четырёх ускорителей Tesla и при этом не упереться в нехватку пропускной способности подсистемы памяти. Всего на системной плате сервера имеется 32 слота DDR4 DIMM. Поддержка PCI Express 4.0 будет использована для высокоскоростных навесных сетевых адаптеров формата OCP 2.0. Zaius P9 относится к классу NUMA-систем, процессоры в нём используют собственные контроллеры памяти и общаются между собой посредством двухканальной шины X Bus. На приведённой блок-схеме её пропускная способность не указана, но она наверняка достаточно высока: у IBM, как разработчика серии POWER, огромный опыт в создании мощных серверных систем и мейнфреймов. Из документации IBM понятно, что речь идёт о скоростях порядка 38,4 Гбайт/с × 2.

Примерная компоновка системной платы Zaius P9

Новые процессоры используют набор инструкций Power ISA 3.0, выпускаются с использованием 14-нм техпроцесса GlobalFoundries и могут иметь о 12 до 24 ядер. Прочие характеристики тоже впечатляют: так, объём кеша L3 на чип может достигать 120 Мбайт, а тактовые частоты — отметки 4 ГГц. По всей видимости, в Zaius P9 установлены чипы версии SO, специально предназначенные для двухсокетных систем. Любопытно, что новые серверы предназначены для работы с основным напряжением питания 48 вольт, поддерживается стандарт 48V-POL. В качестве BIOS или, точнее, BMC (на схеме это ПО предназначено для управляющего процессора AST 25X0), используется полностью открытая разработка Open BMC. Google планирует выдвинуть дизайн Zaius P9 на рассмотрение сообщества OCP Foundation и надеется, что он будет принят, а внедрение нового высоковольтного стандарта питания серверов продолжится. Компания надеется, что новые гетерогенные вычислительные системы открытого стандарта ждёт большое будущее в её собственных облачных проектах.

Возможно, кто-то помнит, как 10 лет назад AMD представила технологию Torrenza. В её основе лежала идея создания быстрого и согласованного интерфейса между CPU и различными типами ускорителей (через Hyper Transport). Это была одна из первых инициатив в деле продвижения гетерогенных вычислений.

Сегодня уже существует немало практических воплощений концепции гетерогенных вычислений — наиболее популярная предполагает ускорение высокопараллельных расчётов общего назначения при помощи GPU. Есть ускорители шифрования, сжатия, сети, но преимущества таких решений порой нивелируются необходимостью передавать данные центральному процессору и обратно, в результате чего порой куда эффективнее переложить нагрузку на CPU, добавив дополнительные инструкции.

Но сегодня времена меняются: сенсоры Интернета вещей, семантические веб-службы и обычные веб-сайты создают огромные экспоненциально растущие объёмы данных, которые не могут храниться и анализироваться обычным способом. В результате всё активнее применяется машинное обучение и анализ больших данных: всё это требует существенно большего объёма вычислений. Закон Мура в ближайшие годы полностью остановится, так что от новых техпроцессов не приходится ждать принципиальных улучшений. Вычислительные ресурсы обеспечат чипы ASIC (как в случае Google TPU), FPGA (как в проекте Microsoft Catapult) и GPU.

Все подобные ускорители нуждаются в технологии вроде Torrenza, но нового поколения — универсального скоростного и согласованного интерфейса связи с CPU. NVIDIA представила собственную такую технологию NVLink, но рынку нужен открытый стандарт, и IBM собирается поделиться своим интерфейсом CAPI с другими.

Чтобы развить это начинание, Google, AMD, Xilinx, Micron и Mellanox объединили силы с IBM в деле создания новой согласованной высокопроизводительной шины, которая получила имя Open Coherent Accelerator Processor Interface (OpenCAPI). Одна линия интерфейса обеспечивает скорость передачи данных до 25 Гбит/с. Для сравнения: спецификации PCIe 3.0 обеспечивают максимальную скорость на одну линию до 8 Гбит/с.

Уже в 2017 году интерфейс OpenCAPI появится в серверах IBM POWER9, которые, таким образом, будут поддерживать не только скоростной интерфейс для NVIDIA GPU (через NVLink), но также обеспечит более эффективную работу ускорителей Google ASIC и Xilinx FPGA. AMD тоже получит доступ к альтернативе NVLink для связи ускорителей Radeon с серверными процессорами Zen. Micron сможет подключать к CPU более скоростную память. Mellanox сможет сделать то же с сетевыми ускорителями. OpenCAPI также делает чипы FPGA привлекательными для существенно более широкого спектра приложений. Выигрывают все, кроме Intel.

К слову, Dell/EMC присоединилась к альянсу несколько дней назад, а NVIDIA является членом консорциума OpenCAPI на уровне вкладчика (как Xilinx и HP Enterprise). Интерфейс OpenCAPI может оказать существенное влияние на серверный рынок — возможно, это самый крупный анонс в секторе серверов в этом году.