Разработчики и производители сетевого магистрального оборудования активно осваивают новые технологии, позволяющие добиться более высокой пропускной способности при прежнем или даже меньшем уровне энергопотребления. Компания Nokia анонсировала новое поколение оптической платформы PSE-6s, обладающее уникальными характеристиками.

Как полагают аналитики, объём передаваемых по оптическим магистралям данных в течение ближайших четырёх лет будет расти на 40 % в год. И появление Nokia PSE-6s является ответом на этот вызов. По словам создателей, новые оптические движки в три раза производительнее моделей прежнего поколения.

Источник здесь и далее: Nokia

PSE-6s способны эффективно обслуживать каналы 400/800 Гбит/с на дистанциях свыше 2000 км, а благодаря уникальному межчиповому интерфейсу новинка является масштабируемой — это, как заявляет Nokia, первое в индустрии решение для когерентных оптических сетей с пропускной способностью 2,4 Тбит/с.

Так, Nokia PSE-6s использует 5-нм DSP, объединённые с фирменной кремниевой фотоникой CSTAR, что позволяет добиться скорости до 1,2 Тбит/с на длину волны при общей производительности PSE-6s на уровне 130 Гбод. При этом использование новых техпроцессов позволило снизить потребление новинки на 60 %.

Новые модули Nokia позволяют обойтись без дорогостоящих точек регенерации сигнала на дальних дистанциях, что существенно снизит расходы

Новые модули совместимы с платформами Nokia серии 1830 PSS, 1830 PSI-M и 1830 PSS-x, что позволяет сетевым операторам легко модернизировать свои платформы путём замены прежнего поколения оптических модулей на PSE-6s. Ряд крупных владельцев сетей уже высказали свою заинтересованность в новинке Nokia. Ожидается, что оборудование на базе PSE-6s будет доступно для тестирования во второй половине текущего года.

Компания Arista Networks обновила модельные ряды своих сетевых коммутаторов. При этом затронут оказался не только сегмент наиболее производительных устройств, в которых реализованы порты со скоростью свыше 100 Гбит/с, но и сегмент более низкого уровня — многие организации сегодня модернизируют старую инфраструктуру класса 10/25G и нуждаются в коммутаторах соответствующего уровня.

Первым в списке новинок дебютировало пополнение семейства spine-коммутаторов 7060X5 Series конфигурацией с 32 фиксированными портами со скоростью 800 Гбит/с (2 × 400GbE), использующее кремний Broadcom Tomahawk 4 с пропускной способностью 25,6 Тбит/с. Новинки 7060DX5-64E и 7060PX5-64E различаются типами корзин — OSFP800 и QSFP-DD800 соответственно. Также поддерживается работа в режиме 64 × 400GbE или 256 × 100GbE.

Arista 7060X5 Series, модели с портами класса 800G. Источник: Arista Networks

Наличие сетевых буферов общим объёмом 114 Мбайт гарантирует бесперебойную обработку до 10,6 млрд сетевых пакетов в секунду. Латентность при этом составляет 825 нс. Устройство отличается экономичностью и потребление каждого сетевого порта не превышает 16 Вт. Обходится оно корпусом высотой 1U и обладает двумя блоками питания с возможностью горячей замены; также могут заменяться и вентиляторы охлаждения.

Источник: Arista Networks

Дополнительно Arista пополнила семейство 7050X4 сразу пятью новыми моделями. Все они основываются на кремнии Broadcom Trident 4 с пропускной способностью 8 Тбит/с и скоростью обработки пакетов до 2,7 млрд в секунду. В новых моделях используются корзины для модулей 10/25/50/100G (NRZ) или 100/200G (PAM4). Аплинк к корневому коммутатору может функционировать на скоростях от 100 до 400 Гбит/с.

Новые коммутаторы Arista Networks обеспечат задел на будущее

Семейство 7050X4 работает под управлением Arista EOS и предоставляет широкие возможности по удалённому развёртыванию, управлению и мониторингу сетей. Подробности можно найти на сайте Arista Networks, доступны новые модели коммутаторов будут в первом квартале 2023 года.

Отчёт, обнародованный компанией Dell’Oro Group, говорит о том, что в III квартале 2022 года выручка от поставок коммутаторов для ЦОД в глобальном масштабе поднялась на 20 % по сравнению с результатом за тот же период 2021-го. Это самый существенный рост в уходящем году.

Рынки Северной Америки, Китая и Азиатско-Тихоокеанского региона продемонстрировали увеличение продаж на двузначные числа процентов, тогда как в регионе EMEA, в который входят Европа, включая Россию, Ближний Восток и Африка, зафиксирован спад. Такая картина объясняется наблюдающимися ограничениями в цепочках поставок, а также снижением спроса в силу макроэкономических вызовов и роста цен на энергоносители.

Основной рост на рынке коммутаторов для дата-центров обеспечили облака и гиперскейлеры. В результате, продажи устройств класса 200G/400G достигли почти 2 млн портов. На долю коммутаторов класса 200G и выше приходится лишь 10 % мировых поставок, но они обеспечили 20 % выручки в III квартале 2022-го.

Источник изображения: Dell’Oro Group

Эксперты прогнозируют, что 200G/400G-решения будут по-прежнему пользоваться спросом среди облачных провайдеров и гиперскейлеров в 2023 году, несмотря на ухудшение макроэкономической ситуации. Однако основной объём продаж по-прежнему приходится на оборудование 25 Гбит/с и 100 Гбит/с, а не 200 Гбит/с или 400 Гбит/с.

Отмечается, что значительный рост продаж коммутаторов для ЦОД в III квартале — это побочный эффект длительного невыполнения заказов, размещённых в прошлом году. За последние месяцы сроки поставки коммутаторов значительно сократились: с более чем года до 30–40 недель. Дефицит, как ожидается, должен исчезнуть к середине следующего года. 

Сети на основе InfiniBand традиционно используются в HPC-системах для связи в единое целое вычислительных узлов. Обычно речь идёт об организации сети в одном помещении, либо здании ЦОД, но иногда возникает нужда в высокоскоростной связи между кампусами, расположенными на расстоянии до десятков километров. Для решения этой задачи предназначена новое решение NVIDIA MetroX-3 XC.

Сама платформа была разработана ещё в бытность Mellanox независимой компанией, но платформа MetroX-2 была ограничена двумя внешними линками со скоростью 100 Гбит/с, работающими на дальности до 40 км, и россыпью локальных 200G-портов. Новая итерация платформы получила два внешних 100G-порта и два локальных 400G-порта. Используются новые модули со спектральным уплотнением каналов (DWDM). Физическая реализация использует 4 порта QSFP112 для данных и 2 аналогичных порта для управляющих целей.

Схема работы MetroX-3 (Источник: NVIDIA)

Разумеется, функционирует MetroX-3 XC в рамках экосистемы NVIDIA InfiniBand: она призвана работать совместно с коммутаторами Quantum-2, сетевыми адаптерами ConnectX-7 и DPU BlueField. Доступно два варианта, MTQ8400-HS2R и MTQ8400-HS2RC; последний отличается наличием шифрования сетевого трафика. Новая платформа связи MetroX совместима с фреймворком Holoscan HPC и может служить для соединения систем NVIDIA IGX, DGX и HGX.

Потребность в действительно быстром интерконнекте для ускорителей возникла давно, поскольку имеющиеся шины зачастую становились узким местом, не позволяя «прокормить» данными вычислительные блоки. Ответом NVIDIA на эту проблему стало создание шины NVLink — и компания продолжает активно развивать данную технологию. На конференции Hot Chips 34 было продемонстрировано уже четвёртое поколение, наряду с новым поколением коммутаторов NVSwitch.

Изображения: NVIDIA

Возможность использования коммутаторов для NVLink появилась не сразу, изначально использовалось соединение блоков ускорителей по схеме «точка-точка». Но дальнейшее наращивание числа ускорителей по этой схеме стало невозможным, и тогда NVIDIA разработала коммутаторы NVSwitch. Они появились вместе с V100 и предлагали до 50 Гбайт/с на порт. Нынешнее же, третье поколение NVSwitch и четвёртое поколение NVLink сделали важный шаг вперёд — теперь они позволяют вынести NVLink-подключения за пределы узла.

Так, совокупная пропускная способность одного чипа NVSwitch теперь составляет 3,2 Тбайт/с в обе стороны в 64 портах NVLink 4 (x2). Это, конечно, отразилось и на сложности самого «кремния»: 25,1 млрд транзисторов (больше чем у V100), техпроцесс TSMC 4N и площадь 294мм². Скорость одной линии NVLink 4 осталась равной 50 Гбайт/с, но новые ускорители H100 имеют по 18 линий NVLink, что даёт впечатляющие 900 Гбайт/с. В DGX H100 есть сразу четыре NVSwitch-коммутатора, которые объединяют восемь ускорителей по схеме каждый-с-каждым и дополнительно отдают ещё 72 NVLink-линии (3,6 Тбайт/с).

При этом у DGX H100 сохраняются прежние 400G-адаптеры Ethernet/InfiniBand (ConnectX-7), по одному на каждый ускоритель, и пара DPU BlueField-3, тоже класса 400G. Несколько упрощает физическую инфраструктуру то, что для внешних NVLink-подключений используются OSFP-модули, каждый из которых обслуживает 4 линии NVLink. Любопытно, что электрически интерфейсы совместимы с имеющейся 400G-экосистемой (оптической и медной), но вот прошивки для модулей нужны будут кастомные.

Подключаются узлы DGX H100 к 1U-коммутатору NVLink Switch, включающему два чипа NVSwitch третьего поколения: 32 OSFP-корзины, 128 портов NVLink 4 и агрегированная пропускная способность 6,4 Тбайт/с. В составе DGX SuperPOD есть 18 коммутаторов NVLink Switch и 256 ускорителей H100 (32 узла DGX). Таким образом, можно связать ускорители и узлы 900-Гбайт/с каналом. Как конкретно, остаётся на усмотрение пользователя, но сама NVLink-сеть поддерживает динамическую реконфигурацию на лету.

Ещё одна особенность нового поколения NVLink — продвинутые аппаратные SHARP-движки, которые избавляют CPU/GPU от части работ по подготовке и предобработки данных и избавляющие саму сеть от ненужных передач. Кроме того, в NVLink-сети реализованы разделение и изоляция, брандмауэр, шифрование, глубокая телеметрия и т.д. В целом, новое поколение NVLink получило полуторакратный прирост в скорости обмена данными, а в отношении дополнительных сетевых функций он стал трёхкратным. Всё это позволит освоить новые класса HPC- и ИИ-нагрузок, однако надо полагать, что удовольствие это будет недешёвым.

Концепция ускорителя для работы с данными, выделенного DPU, продолжает набирать популярность. В последнее время целый ряд компаний представил свои решения. А на днях очередь дошла до крупного разработчика микроэлектроники, компании Marvell, которая анонсировала DPU серии Octeon 10.

Новые сопроцессоры построены на основе наиболее совершенного 5-нм техпроцесса TSMC и должны на равных сражаться с такими соперниками, как ускорители NVIDIA BlueField. Сама Marvell известна разработкой собственных вычислительных ядер, однако в Octeon 10 от этого подхода компания отошла, вернувшись к лицензированию ядер ARM — в основу новой серии чипов легли ядра Neoverse N2.

В основе данной архитектуры лежит набор команд ARM v9, появившийся не так уж давно. В сравнении с решениями на базе ARM v8.x эта архитектура может обеспечивать до 40% прироста в производительности, в том числе, за счёт поддержки 128-битных векторных расширений SVE2 и развитой подсистемы кешей. Процессорные ядра в Octeon 10 располагают по 1 и 2 Мбайт кешей второго и третьего уровня на каждое ядро.

В составе новой SoC также присутствуют блоки ускорения сетевых задач и криптографические акселераторы. Кроме этого, кремний Octeon 10 получил и сетевой коммутатор, обеспечивающий работу 16 портов Ethernet со скоростью 50 Гбит/с. «Прокормить» столь требовательную «семью» непросто, но в плане подсистем ввода-вывода новые DPU также отвечают современным реалиям: они рассчитаны на работу с памятью DDR5-5200 и поддерживают интерфейс PCI Express 5.0, блоки SerDes относятся к поколению 56G.

Отдельного упоминания заслуживает движок векторной обработки пакетов (Vector Packet Processing Engine), способный объединять в единую серию сетевые пакеты и «переваривать» их одновременно, как векторные данные. Такой подход позволяет серьёзно снизить латентность, что для DPU очень важно. Имеются в составе Octeon 10 и средства для работы с алгоритмами машинного обучения, причём каждый «тайл», поддерживающий INT8 и FP16, имеет свой объём SRAM.

Пока семейство Octeon 10 представлено четырьмя моделями, младшая из которых может содержать до 8 ядер Neoverse N2, а старшая — до 36 таких ядер, причём о масштабировании подсистемы памяти разработчики также подумали и число контроллеров DDR5 в новых чипах варьируется от 2 до 12. Несмотря на столь солидные характеристики, теплопакеты удалось удержать в разумных рамках, и даже у наиболее мощной версии DPU400 TDP составляет всего 60 Ватт.

В настоящее время Marvell Octeon 10 уже находится в производстве, первые же партии новых чипов должны поступить к заказчикам во второй половине этого года. Столь многогранные DPU должны найти применение в самых разных сценариях, от поддержания инфраструктуры 5G RAN до работы в составе облачных систем, а также в высокопроизводительных маршрутизаторах.

Идея «сопроцессора данных», озвученная всерьёз в 2020 году компанией Fungible, продолжает активно развиваться и прокладывать себе дорогу в жизнь. На конференции GTC 2021 корпорация NVIDIA анонсировала новое поколение «умных» сетевых карт BlueField-3, способное работать на скорости 400 Гбит/с.

Изначально серия ускорителей BlueField разрабатывалась компанией Mellanox, и одной из целей создания столь продвинутых сетевых адаптеров стала реализация концепции «нулевого доверия» (zero trust) для сетевой инфраструктуры ЦОД нового поколения. Адаптеры BlueField-2 были анонсированы в начале прошлого года. Они поддерживали два 100GbE-порта, микросегментацию, и могли осуществлять глубокую инспекцию пакетов полностью автономно, без нагрузки на серверные ЦП. Шифрование TLS/IPSEC такие карты могли выполнять на полной скорости, не создавая узких мест в сети.

Кристалл BlueField-3 не уступает в сложности современным многоядерным ЦП — 22 млрд транзисторов

Но на сегодня 100 и даже 200 Гбит/с уже не является пределом мечтаний — провайдеры и разработчики ЦОД активно осваивают скорости 400 и 800 Гбит/с. Столь скоростные сети требуют нового уровня производительности от DPU, и NVIDIA вскоре сможет предложить такой уровень: на конференции GTC 2021 анонсировано новое, третье поколение карт BlueField.

Если BlueField-2 могла похвастаться массивом из восьми ядер ARM Cortex-A72, объединённых когерентной сетью, то BlueField-3 располагает уже шестнадцатью ядрами Cortex-A78 и в четыре раза более мощными блоками криптографии и DPI. Совокупно речь идёт о росте производительности на порядок, что позволяет новинке работать без задержек на скорости 400 Гбит/с — и это первый в индустрии адаптер класса 400GbE со столь продвинутыми возможностями, поддерживающий, к тому же, стандарт PCI Express 5.0. Известно, что столь быстрым сетевым решениям PCIe 5.0 действительно необходим.

С точки зрения поддерживаемых возможностей BlueField-3 обратно совместим с BlueField-2, что позволит использовать уже имеющиеся наработки в области программного обеспечения для DPU. Одновременно с анонсом нового DPU компания представила и открытую программную платформу DOCA, упрощающую разработку ПО для таких сопроцессоров, поскольку они теперь занимаются не просто обработкой сетевого трафика, а оркестрацией работы серверов, приложений и микросервисов в рамках всего дата-центра.

В настоящее время NVIDIA сотрудничает с такими крупными поставщиками серверных решений, как Dell EMC, Inspur, Lenovo и Supermicro, со стороны разработчиков ПО интерес к BlueField проявляют Canonical, VMWare, Red Hat, Fortinet, NetApp и ряд других компаний. О массовом производстве BlueField-3 речи пока не идёт, поставка малыми партиями ожидается в первом квартале 2022 года, но карты BlueField-2 доступны уже сейчас. А в 2024 году появятся BlueField-4 с портами 800 Гбит/с.