Сети на основе InfiniBand традиционно используются в HPC-системах для связи в единое целое вычислительных узлов. Обычно речь идёт об организации сети в одном помещении, либо здании ЦОД, но иногда возникает нужда в высокоскоростной связи между кампусами, расположенными на расстоянии до десятков километров. Для решения этой задачи предназначена новое решение NVIDIA MetroX-3 XC.

Сама платформа была разработана ещё в бытность Mellanox независимой компанией, но платформа MetroX-2 была ограничена двумя внешними линками со скоростью 100 Гбит/с, работающими на дальности до 40 км, и россыпью локальных 200G-портов. Новая итерация платформы получила два внешних 100G-порта и два локальных 400G-порта. Используются новые модули со спектральным уплотнением каналов (DWDM). Физическая реализация использует 4 порта QSFP112 для данных и 2 аналогичных порта для управляющих целей.

Схема работы MetroX-3 (Источник: NVIDIA)

Разумеется, функционирует MetroX-3 XC в рамках экосистемы NVIDIA InfiniBand: она призвана работать совместно с коммутаторами Quantum-2, сетевыми адаптерами ConnectX-7 и DPU BlueField. Доступно два варианта, MTQ8400-HS2R и MTQ8400-HS2RC; последний отличается наличием шифрования сетевого трафика. Новая платформа связи MetroX совместима с фреймворком Holoscan HPC и может служить для соединения систем NVIDIA IGX, DGX и HGX.

Компания QNAP Systems анонсировала сетевую карту расширения QXG-100G2SF-CX6, предназначенную для использования в рабочих станциях и серверах на базе Windows или Linux. Кроме того, новинка может устанавливаться в определённые модели NAS QNAP: это устройства TS-h2490FU, TDS-h2489FU и TS-h1290FX.

Карта выполнена на контроллере NVIDIA/Mellanox ConnectX-6 Dx. Для установки требуется слот PCIe 4.0 x16 (говорится о совместимости с PCIe 3.0 x16). Решение имеет низкопрофильное исполнение, но в комплект поставки включена монтажная планка полной высоты.

Источник изображений: QNAP

Изделие оборудовано двумя портами QSFP28 100GbE. Могут быть также использованы режимы 1/10/25/40/50GbE. Упомянута поддержка SR-IOV, iSER, NVGRE, VXLAN, Geneve, RDMA. Кроме того, реализовано аппаратное ускорение шифрования данных. Карта расширения оборудована системой активного охлаждения с радиатором и вентилятором. Продажи изделия уже начались: приобрести его можно по ориентировочной цене $1200.

Согласно данным исследовательского центра Dell'Oro, SmartNIC будут одним из драйверов роста рынка Ethernet-адаптеров, объём которого, по его прогнозу, достигнет к 2026 году $5 млрд. Скорость подключения продолжит расти и на порты с поддержкой скорости 100 Гбит/с и выше будет приходиться почти половина поставок.

В отчёте Dell'Oro «Ethernet Adapter & Smart NIC 5-Year Forecast» за июль 2022 года сообщается, что на SmartNIC будет приходиться растущая доля рынка Ethernet-адаптеров, особенно это относится к гиперескейлерам и сегменту высокопроизводительных приложений. По словам директора по исследованиям Dell'Oro Барона Фунга (Baron Fung), к 2026 году доля SmartNIC составит 38 % всего рынка контроллеров и адаптеров Ethernet.

«SmartNIC заменят традиционные сетевые адаптеры для большей части облачной инфраструктуры гиперскейлеров для задач общего назначения и высокопроизводительных рабочих нагрузок», — сказал Фунг, отметив также перспективность использования SmartNIC облачными провайдерами второго эшелона, в корпоративных ЦОД и на телекоммуникационном рынке. SmartNIC позволяют разгрузить хост-систему, переложив на них часть задач, однако они всё ещё дороги, а сети на их основе сложны в реализации.

Изображение: AMD

Доходы от продаж SmartNIC, по прогнозам Dell'Oro, будут расти в течение ближайших пяти лет со среднегодовым темпом роста (CAGR) в 21 %, в то время как для традиционных сетевых адаптеров этот показатель составит 5 %. В Dell'Oro также ожидают, что стоимость высокоскоростных портов будет снижаться, поэтому пять лет около 44 % поставок будут приходиться на порты 100GbE+. Так, в США в течение следующих пяти лет в инфраструктуре основных гиперскейлеров — Amazon, Google, Meta* и Microsoft — будут преобладать порты 100GbE и 200GbE.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Концепция периферийных вычислений сравнительно молода и до недавнего времени зачастую её реализации были вынуждены обходиться стандартными процессорами, разработанными для применения в серверах, или даже в обычных ПК и ноутбуках. Intel, достаточно давно имеющая в своём арсенале серию процессоров Xeon D, обновила модельный ряд этих CPU, которые теперь специально предназначены для использования на периферии.

Изображения: Intel

Анонс выглядит очень своевременно, поскольку по оценкам Intel, к 2025 году более 50% всех данных будет обрабатываться вне традиционных ЦОД. Новые серии процессоров Xeon D-1700 и D-2700 обладают рядом свойств, востребованных именно на периферии — особенно на периферии нового поколения.

Новинки имеют следующие особенности:

• Интегрированный 100GbE-контроллер (до 8 портов) с поддержкой RDMA iWARP и RoCE v2;
• Интегрированный коммутатор и обработчик пакетов у Xeon D-2700;
• До 32 линий PCI Express 4.0;
• Поддержка Intel QAT, SGX и TME;
• Поддержка AVX-512, в том числе VNNI/DL Boost;
• Поддержка технологий TSN/TCC, критичных для систем реального времени.

Последний пункт ранее был реализован в процессорах серий Atom x6000E, Xeon W-1100E и некоторых процессорах Core 11-го поколения. Вкратце это технология, позволяющая координировать вычисления с точностью менее 200 мкс в режиме TCC за счёт точной синхронизации таймингов внутри платформы. И здесь у Xeon D, как у высокоинтегрированной SoC, есть преимущество в реализации подобного класса точности. Помогает этому и наличие специального планировщика для общего кеша L3, позволяющего добиться более консистентного доступа к кешу и памяти.

Это незаменимая возможность для систем, обслуживающих сверхточные промышленные процессы, тем более что Intel предлагает хорошо документированный набор API и средств разработки для извлечения из режима TCC всех возможностей. Важной также выглядит наличие поддержки пакета технологий Intel QuickAssist (QAT) для ускорения задач (де-)шифрования и (де-)компрессии.

Третье поколение QAT, доступное, правда, только в Xeon D-2700, в отличие от второго (и это случай D-1700), связано в новых SoC непосредственно с контроллером Ethernet и встроенным программируемым коммутатором. В частности, поддерживается, и IPSec-шифрование на лету (inline) на полной скорости, и классификация (QoS) трафика. Также реализована поддержка новых алгоритмов, таких, как Chacha20-Poly1305 и SM3/4, имеется собственный движок для публичных ключей, улучшены алгоритмы компрессии.

Но QAT может работать и совместно с CPU (lookaside-разгрузка), а можно и вовсе обойтись без него, воспользовавшись AES-NI. Поддержке безопасности помогает и полноценная поддержка защищённых вычислительных анклавов SGX, существенно ограничивающая векторы атак как со стороны ОС и программного обеспечения, так и со стороны гипервизора виртуальных машин. Это важно, поскольку на периферии уровень угрозы обычно выше, чем в контролируемом окружении в ЦОД, но для использования SGX требуется модификация ПО.

В целом, «ядерная» часть новых Xeon-D — это всё та же архитектура Ice Lake-SP. Так что Intel в очередной раз напомнила про поддержку DL Boost/VNNI для работы с форматами пониженной точности и возможности эффективного выполнения инференс-нагрузок — новинки почти в 2,5 раза превосходят Xeon D-1600. Есть и прочие стандартные для платформы функции вроде PFR или SST. Из важных дополнений можно отметить поддержку Intel Slim BootLoader.

Масштабируемость у новой платформы простирается от 2 до 10 (D-1700) или 20 (D-2700) ядер, а TDP составляет 25–90 и 65–129 Вт соответственно. В зависимости от модели поддерживается работа в расширенном диапазоне температур (до -40 °C). У обоих вариантов упаковка BGA, но с чуть отличными размерами — 45 × 45 мм против 45 × 52,5 мм. На этом различия не заканчиваются. У младших Xeon D-1700 поддержка памяти ограничена тремя каналами DDR4-2933, а вот у D-2700 четыре полноценных канала DDR4-3200.

Однако возможности работы с Optane PMem обе модели лишены, несмотря на то, что контроллер памяти их поддерживать должен. Представитель Intel отметил, что если будет спрос со стороны заказчиков, то возможен выпуск вариантов CPU с поддержкой PMem. Дело в том, что прошлые поколения Xeon-D использовались и для создания СХД, а наличие 100GbE-контроллера с RDMA делает новинки не менее интересными для этого сегмента.

Кроме того, есть и поддержка NTB, да и VROC с VMD вряд ли исчезли. Для подключения периферии у D-2700 доступно 32 линии PCIe 4.0, а у D-1700 — 16. У обоих серий CPU также есть 24 линии HSIO, которые на усмотрение производителя можно использовать для PCIe 3.0, SATA или USB 3.0. Впрочем, пока Intel предлагает использовать всё это разнообразие интерфейсов для подключения ускорителей и различных адаптеров.

Поскольку в качестве одной из основных задач для новых процессоров компания видит их работу в качестве контроллеров программно-определяемых сетей, включая 5G, она разработала для этой цели референсную платформу. В ней предусматривается отдельный модуль COM-HPC с процессором и DIMM-модулями, что позволяет легко модернизировать систему. А базовая плата предусматривает наличие радиотрансиверов, что актуально для сценария vRAN.

Поскольку речь идёт не столько о процессорах, сколько о полноценной платформе, Intel серьезное внимание уделила программной поддержке, причём, в основе лежат решения с открытым программным кодом. Это позволит заказчикам систем на базе новых Xeon D разворачивать новые точки и комплексы периферийных вычислений быстрее и проще. Многие производители серверного аппаратного обеспечения уже готовы представить свои решения на базе Xeon D-1700 и 2700.

Компания Dell’Oro проанализировала ситуацию на мировом рынке адаптеров и контроллеров Ethernet, а также сделала прогноз на следующий год. По оценкам, в третьем квартале текущего года отгрузки оборудования в пересчёте на количество Ethernet-портов сократились на 7 % по сравнению с результатом за тот же период прошлого года. Наблюдающаяся ситуация объясняется дефицитом ряда компонентов и нарушением работы цепочек поставок.

Отмечается, что в отдельных случаях выполнение новых заказов в обозначенном сегменте затягивается на 52 недели (т.е. фактически год). Но в то же время поставки Ethernet-контроллеров достигли рекордного уровня. Эксперты связывают это с увеличением складских запасов у поставщиков серверов, которые ожидают высокий спрос в корпоративном и облачном сегментах. Суммарная выручка от реализации контроллеров и адаптеров Ethernet по итогам текущего года, как прогнозируется, поднимется на 27 % по сравнению с 2020-м.

Источник изображения: pixabay.com / Bru-nO

Крупные облачные провайдеры переходят на порты 100/200GbE. В следующем году отгрузки оборудования по числу портов, по мнению аналитиков, пойдут вверх: рост ожидается на двузначные числа процентов. Отмечается, что в сегменте «умных» адаптеров основная масса поставок приходится на собственные решения гиперскейлеров, таких как Amazon и Microsoft. Такие изделия также выпускают Marvell, Intel, Xilinx, Nvidia, Napatech, Pensando, Fungible, Ethernity и Broadcom.

Весной Intel анонсировала свои первые DPU (Data Processing Unit), которые она предпочитает называть IPU (Infrastructure Processing Unit), утверждая, что такое именования является более корректным. Впрочем, цели у этого класса устройств, как их не называй, одинаковые — перенос части функций CPU по обслуживанию ряда подсистем на выделенные аппаратные блоки и ускорители.

Классическая архитектура серверных систем такова, что при работе с сетью, хранилищем, безопасностью значительная часть нагрузки ложится на плечи центральных процессоров. Это далеко не всегда приемлемо — такая нагрузка может отъедать существенную часть ресурсов CPU, которые могли бы быть использованы более рационально, особенно в современных средах с активным использованием виртуализации, контейнеризации и микросервисов.

Для решения этой проблемы и были созданы DPU, которые эволюционировали из SmartNIC, бравших на себя «тяжёлые» задачи по обработке трафика и данных. DPU имеют на борту солидный пул вычислительных возможностей, что позволяет на некоторых из них запускать даже гипервизор. Однако Intel IPU имеют свои особенности, отличающие их и от SmartNIC, и от виденных ранее DPU.

Новый класс сопроцессоров Intel должен взять на себя все заботы по обслуживанию инфраструктуры во всех её проявлениях, будь то работа с сетью, с подсистемами хранения данных или удалённое управление. При этом и DPU, и IPU в отличие от SmartNIC полностью независим от хост-системы. Полное разделение инфраструктуры и гостевых задач обеспечивает дополнительную прослойку безопасности, поскольку аппаратный Root of Trust включён в IPU.

Это не единственное преимущество нового подхода. Компания приводит статистику Facebook*, из которой видно, что иногда более 50% процессорных тактов серверы тратят на «обслуживание самих себя». Все эти такты могут быть пущены в дело, если за это обслуживание возьмётся IPU. Кроме того, новый класс сетевых ускорителей открывает дорогу к бездисковой серверной инфраструктуре: виртуальные диски создаются и обслуживаются также чипом IPU.

Первый чип в новом семействе IPU, получивший имя Mount Evans, создавался в сотрудничестве с крупными облачными провайдерами. Поэтому в нём широко используется кремний специального назначения (ASIC), обеспечивающий, однако, и нужную степень гибкости, За основу взяты ядра общего назначения Arm Neoverse N1 (до 16 шт.), дополненные тремя банками памяти LPDRR4 и различными ускорителями.

Сетевая часть представлена 200GbE-интерфейсом с выделенным P4-программируемым движком для обработки сетевых пакетов и управления QoS. Дополняет его выделенный IPSec-движок, способный на лету шифровать весь трафик без потери скорости. Естественно, есть поддержка RDMA (RoCEv2) и разгрузки NVMe-oF, причём отличительной чертой является возможность создавать для хоста виртуальные NVMe-накопители — всё благодаря контроллеру, который был позаимствован у Optane SSD.

Дополняют этот комплекс ускорители (де-)компресии и шифрования данных на лету. Они базируются на технологиях Intel QAT и, в частности, предложат поддержку современного алгоритма сжатия Zstandard. Наконец, у IPU будет выделенный блок для независимого внешнего управления. Работать с устройством можно будет посредством привычных SPDK и DPDK. Один IPU Mount Evans может обслуживать до четырёх процессоров. В целом, новинку можно назвать интересной и более доступной альтернативной AWS Nitro.

Также Intel представила платформу Oak Springs Canyon с двумя 100GbE-интерфейсами, которая сочетает процессоры Xeon-D и FPGA семейства Agilex. Каждому чипу которых полагается по 16 Гбайт собственной памяти DDR4. Платформа может использоваться для ускорения Open vSwitch и NVMe-oF с поддержкой RDMA/RocE, имеет аппаратные криптодвижки т.д. Наличие FPGA позволяет выполнять специфичные для конкретного заказчика задачи, но вместе с тем совместимость с x86 существенно упрощает разработку ПО для этой платформы. В дополнение к SPDK и DPDK доступны и инструменты OFS.

Наконец, компания показала и референсную плаформу для разработчиков Intel N6000 Acceleration Development Platform (Arrow Creek). Она несколько отличается от других IPU и относится скорее к SmartNIC, посколько сочетает FPGA Agilex, CPLD Max10 и сетевые контроллеры Intel Ethernet 800 (2 × 100GbE). Дополняет их аппаратный Root of Trust, а также PTP-блок.

Работать с устройством можно также с помощью DPDK и OFS, да и функциональность во многом совпадает с Oak Springs Canyon. Но это всё же платформа для разработки конечных решений ODM-партнёрами Intel, которые могут с её помощью имплементировать какие-то специфические протоколы или функции с ускорением на FPGA, например, SRv6 или Juniper Contrail.

IPU могут стать частью высокоинтегрированной ЦОД-платформы Intel, и на этом поле она будет соревноваться в первую очередь с NVIDIA, которая активно продвигает DPU BluefIeld, а вскоре обзаведётся ещё и собственным процессором. Из ближайших интересных анонсов, вероятно, стоит ждать поддержку Project Monterey, о которой уже заявили NVIDIA и Pensando.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Компания QNAP Systems выпустила сетевую карту QXG-100G2SF-E810, рассчитанную на высокопроизводительные среды виртуализации с небольшими задержками, а также на центры обработки данных. Новинка, к примеру, может быть установлена в систему хранения типа all-flash на основе твердотельных накопителей.

Здесь и ниже изображения QNAP Systems

Новинка располагает двумя портами QSFP28 со скоростью передачи данных до 100 Гбит/с (100GbE). За охлаждение отвечает активная система с радиатором и вентилятором. В комплект поставки включены монтажные планки стандартной и уменьшенной высоты.

Сетевая карта может применяться в собственных устройствах QNAP на программных платформах QTS 4.5.2 / QuTS hero h4.5.2 (или новее). Кроме того, устанавливать решение можно в серверы и мощные рабочие станции под управлением операционных систем Windows Server 2016/2019, а также Linux/Ubuntu.

Решение выполнено в виде карты с интерфейсом PCIe 4.0 x16. Задействован чип Intel Ethernet Controller E810. Модель QXG-100G2SF-E810 уже доступна для заказа по ориентировочной цене 930 долларов США. Оформить заявку можно на этой странице.

Kalray представила низкопрофильный адаптер K200-LP для построения систем хранения данных NVMe-oF. K200-LP пополнил семейство полностью программируемых многоцелевых DPU Kalray на базе уникальных процессоров Coolidge MPPA (Massively Parallel Processor Array) собственной разработки.

K200-LP, по словам разработчиков, является идеальным решением для производителей устройств хранения данных и поставщиков облачных услуг для создания устройств хранения следующего поколения, поскольку превосходит аналогичные решения с точки зрения производительности на Ватт и на доллар. K200-LP полностью оптимизирована для растущего рынка решений хранения на базе NVMe и NVMe-oF, от облака до периферии.

Kalray

Kalray K200-LP представляет собой низкопрофильную карту с двумя портами 100GbE (QSFP28) и интерфейсом PCIe 4.0 x16. Она оснащена 80-ядерным процессором MPPA, работающим на частоте до 1,2 ГГц, и от 8 до 32 Гбайт DDR4-3200. Карта способна обслуживать до 64 NVMe SSD и обеспечивает пропускную способность на уровне 12 Гбайт/с при последовательном чтении/записи и порядка 2 млн IOPS на случайных операциях. При этом средняя задержка составляет всего 30 мкс.

Новинка совместима со стандартами RoCE v1/v2 и NVMe/TCP, а поддержка MPPA уже есть в Linux 5.x. Для разработки ПО предоставляется фирменный SDK AccessCore. K200-LP производится тайваньской Wistron и уже доступна для приобретения. Ранее компании совместно представили СХД FURIO1200 на базе DPU K200.

Некоммерческий промышленный консорциум Ethernet Alliance завершил свой Форум по изучению технологий TEF-2021 и объявил, что его целью станет разработка стандарта для Ethernet-соединений на скоростях свыше 400 Гбит/с. Недавно сформированная исследовательская группа начнёт с того, что выяснит, какие технологии необходимо создать для осуществления намеченной цели, и будет ли кто-нибудь вообще покупать ещё более быстрые Ethernet-решения.

В настоящее время Альянс доволен тем, что завершил разработку и опубликовал стандарт IEEE 802.3cu, который обеспечивает подключение на скорости 100 Гбит/с и 400 Гбит/с по одномодовому волокну (100 Гбит/с на каждую несущую). Альянс считает это важным, поскольку одномодовое волокно более энергоэффективно, а его использование позволит повысить плотность размещения.

Осень этого года ожидается появление ещё двух стандартов 400GbE. Для поклонников старой доброй «меди» готовится 802.3ck, который предложит электрический интерфейс для Ethernet-подключений 100 Гбит/с, 200 Гбит/с и 400 Гбит/c. А разработка стандарта 802.3ct фактически завершена и ожидает последних проверок перед публикацией. Благодаря DWDM, он предложит 100GbE-подключение на расстоянии не менее 80 км.

Процессоры — важная часть платформы, но сегодня не менее важны коммуникационные возможности, в частности, сетевые процессоры, которые должны соответствовать всё возрастающим скоростям соединения. Одновременно с анонсом процессоров Xeon Scalable третьего поколения (Ice Lake-SP) компания Intel представила и сопутствующие им сетевые адаптеры E810-2CQDA2, способные справиться с потоком данных до 200 Гбит/с.

Сама сетевая платформа Intel E810 уже не нова, первые модели адаптеров на базе нового ASIC были анонсированы ещё в третьем квартале 2020 года, однако до сегодняшнего дня их скоростные возможности были ограничены планкой 100 Гбит/с. E810-2CQDA2 — первый в серии адаптер, поддерживающий PCI Express 4.0 и способный воспользоваться преимуществами этого стандарта, полноценно «переваривая» 200 Гбит/с. Конкуренты аналогичные решения начали анонсировать ещё в 2019 году.

Технически это полноразмерная плата расширения с интерфейсом PCIe 4.0 и двумя портами QSFP28, каждый из которых может работать как в режиме 100 Гбит/с, так и разделяться на 8 портов со скоростью 25 Гбит/с. Физически новый адаптер может функционировать как две независимые сетевые карты уровня 100GbE, поддерживающие как RoCE v2, так и iWARP, что делает новинку универсальным решением для рынка облачных систем нового поколения.

Важной характеристикой платформы E810 является технология ADQ (Application Device Queues). В современных сетевых приложениях очень важна предсказуемая производительность, и Intel E810 обеспечивает её за счёт организации выделенных очередей на уровне приложений. Технология ADQ позволяет более тонко дирижировать трафиком, а также снижает время отклика.

Intel E810-2CQDA2 поддерживает множество вариантов подключения

Новые сетевые адаптеры Intel E810 также могут похвастаться более совершенным и гибким движком фильтрации пакетов, поддержкой протокола прецизионного времени IEEE 1588 PTP и реализацией концепции «нулевого доверия» (Zero Trust), обеспечивающей повышенный уровень безопасности. Но, в целом, E810 является эволюцией серии Intel E800.

Модель E810-2CQDA2 универсальна и поддерживает подключение самых различных трансиверов QSFP28 и даже SFP+, а также пассивных медных кабелей. Новый адаптер Intel можно назвать подходящим для развёртывания новых телекоммуникационных узлов, включая периферийные службы. Максимальный уровень энергопотребления E810-2CQDA2 заявлен на уровне 33,5 Ватт (с оптическими модулями), что для двухпортовой карты класса 100GbE не так много.