Компания NVIDIA в ходе выставки Computex 2023 анонсировала передовую Ethernet-платформу Spectrum-X для облачных провайдеров: система поможет в масштабировании сервисов генеративного ИИ. Решение уже доступно гиперскейлерам и операторам крупных дата-центров. Платформа предусматривает использование коммутаторов на базе ASIC NVIDIA Spectrum-4 (51,2 Тбит/с) и 400GbE DPU NVIDIA BlueField-3.

Отмечается, что BlueField-3 сочетает в себе большие вычислительные ресурсы, высокоскоростное сетевое соединение и обширные возможности программирования, что даёт возможность создавать программно-определяемые решения с аппаратным ускорением для самых требовательных задач. В результате, платформа Spectrum-X позволяет добиться 1,7-кратного увеличения производительности ИИ-нагрузок и повышения энергоэффективности по сравнению с другими решениями.

Источник изображений: NVIDIA

Для Spectrum-X заявлена возможность использования до 256 портов 200GbE (или 64 × 800GbE, или 128 × 400GbE) на базе одного коммутатора или до 16 000 портов в случае архитектуры Spine-Leaf. В набор сопутствующего ПО входят SDK-комплекты для SDKCumulus Linux, SONiC и NetQ, а также фреймворк NVIDIA DOCA. С применением решений NVIDIA Mellanox LinkX возможно формирование сквозной 400GbE-фабрики, оптимизированной для облачных ИИ-сервисов.

Платформа Spectrum-X, в частности, будет применена в составе суперкомпьютера Israel-1, который NVIDIA строит в своём израильском дата-центре. Комплекс объединит серверы Dell PowerEdge XE9680 на основе NVIDIA HGX H100 (восемь GPU), изделия BlueField-3 DPU и коммутаторы Spectrum-4.

Компания Broadcom, один из ведущих поставщиков «кремния» для сетевых решений, анонсировала новый сетевой процессор Jerico3-AI, который ориентирован на ИИ-системы. Более того, Broadcom считает подход NVIDIA к «интеллектуальным сетевым решениям» с использованием InfiniBand неверным и даже вредным для кластерных ИИ-систем.

Ethernet-коммутаторы компании можно разделить три ветви: наиболее высокопроизводительные чипы Tomahawk, ориентированная на дополнительные возможности ветвь Trident и, наконец, серия Jericho, отличающаяся наибольшей гибкостью в программировании и располагающая более ёмкими буферами. Чип Jericho3-AI BCM88890 — новинка в последней категории, относящаяся к классу 28,8 Тбит/с. Новый коммутатор имеет 144 линка SerDes (106Gbps, PAM4) и может работать в конфигурации 18×800GbE, 36×400GbE или 72×200GbE.

Источник здесь и далее: Broadcom (via ServeTheHome)

В своей презентации Broadcom раскритиковала традиционный подход NVIDIA и других крупных игроков на сетевом рынке, заявив о том, что прямое наращивание пропускной способности и снижение латентности кластерной сети якобы является тупиковой ветвью развития. Вместо этого фабрика на базе Jericho3-AI, по словам компании, позволяет сделать так, чтобы процесс обучения нейросети как можно меньше времени тратил не сетевые операции.

Новый коммутатор обеспечивает идеальную балансировку загрузки, гарантирующую отсутствие заторов, и автоматическое переключение отказавшего соединения на резервное менее, чем за 10-нс, а также позволяет создавать большие «плоские» сети (до 32 тыс. портов 800GbE), характерные для ИИ-кластеров. Каждый ускоритель может получить 800G-подключение, а суммарная производительность фабрики на базе новых коммутаторов может достигать 26 Пбит/с.

Broadcom утверждает, что сеть Ethernet на базе Jericho3-AI превосходит аналогичную по классу сеть NVIDIA InfiniBand в тестах с использованием NCCL. При этом новый коммутатор не содержит никаких вычислительных мощностей общего назначения — он проще, а за счёт использования стандарта Ethernet сети на его основе универсальны, что также снижает стоимость владения инфраструктурой.

Высокая степень интегрированности обеспечит и большую экономичность, а значит, решения на базе нового коммутатора Broadcom окажутся и более дружелюбны к экологии. Новые чипы уже доступны избранным клиентам Broadcom.

Не столь давно производители микроэлектроники праздновали выпуск первых чипов для коммутаторов с пропускной способностью 25,6 Тбит/с. Но в эпоху массового распространения 400GbE и начала внедрения 800GbE этого может оказаться недостаточно. Ряд ведущих производителей микрочипов объявил о выпуске нового поколения сетевых ASIC с пиковой способностью коммутации 51,2 Тбит/с. К их числу теперь относится Marvell с чипом Teralynx 10 и оптической платформой Nova.

Источник изображений здесь и далее: Marvell

Чип Teralynx 10 изначально спроектирован, как основа для инфраструктуры класса 800GbE. Чип содержит 512 блоков SerDes со скоростью передачи данных 112 Гбит/с и может быть сконфигурирован как 32 × 1,6 Тбит/с или 64 ×  800 Гбит/с. Впрочем, поддерживаются и менее скоростные конфигурации портов. В новом чипе имеется отдельный встроенный Arm-сопроцессор, а также блок безопасного удалённого управления с интерфейсами PCIe 3.0 x4 и 10GbE.

Блок-схема Teralynx 10

Новая платформа Teralynx ведёт своё происхождение от разработок компании Innovium, приобретённой Marvell в августе 2021 года и даже в новой, высокопроизводительной итерации сохраняет совместимость на уровне ПО. Так, полностью поддерживаются продвинутые функции телеметрии и предиктивной аналитики Teralynx Flashlight.

Также компания анонсировала первое в индустрии поколение гибридной платформы Nova, предназначенной для сетей класса 1,6 Тбит/с (16 × 100G ↔ 8 × 200G). Новые DSP (PAM4) предлагают именно такие оптические трансиверы в форм-факторе OSFP-XD, а 5-нм техпроцесс и использование интегрированной фотоники позволили снизить энергопотребление DSP до менее 28 Вт. Поставки новых чипов должны начаться уже во II квартале.

Выставка MWC 2023 не могла не привлечь внимания компании Huawei, как одного из крупнейших производителей телекоммуникационного оборудования. На этом мероприятии компания демонстрирует целый ряд новых продуктов и решений. В их число вошли новые флагманские коммутаторы, а также первые, по словам компании, в отрасли корпоративные точки доступа стандарта Wi-Fi 7.

Самым, пожалуй, интересным, можно назвать именно последний анонс — далеко не везде освоен даже Wi-Fi 6, а Huawei уже может предложить готовое, законченное решение следующего поколения. Речь идет о точке доступа корпоративного класса AirEngine 8771-X1T. Новинка поддерживает хост-подключение на скорости 10 Гбит/с, причём имеется даже порт SFP+ с возможностью PoE++ — разумеется, только при использовании гибридного кабеля, сочетающего оптику для данных и медь для питания. Есть и классический порт 10GBASE-T; максимальная длина для PoE составляет 300 м.

Точка способна работать в трёх частотных диапазонах: 2,4 ГГц, 5 ГГц и 6 ГГц. Причём третий радиомодуль способен на лету переключаться между диапазонами 5 и 6 ГГц. Антенный блок AirEngine 8771-X1T уникален, он носит название Dynamic-Zoom Smart Antenna. Данный блок специально оптимизирован для всенаправленной работы в высокоплотных сценариях со множеством клиентов, что важно для «умной промышленности».

Ещё одна новинка — коммутатор уровня ядра CloudEngine S16700 для кампусных сетей. Производительность пересылки пакетов в этом поколении достигла 14,4 Тбит/с на слот, в старшей модели совокупный показатель достигает 1935 Тбит/с и 230400 Mpps. Поддержка стандарта 400GbE позволяет говорить о 10-летнем жизненном цикле новинок.

Источник изображения: Huawei

Привезла на выставку компания и CloudEngine 16800-X, который она сама называет принципиально новым коммутатором, способным объединять и обслуживать сети разных классов и назначения, от HPC до СХД. При этом гарантируется высокая производительность во всех сценариях, а латентность не превышает 3,5 мкс, и это самый низкий показатель в индустрии. Платформа готова к развёртыванию 800G-сетей и тоже рассчитана на жизненный цикл не менее 10 лет.

Разработчики и производители сетевого оборудования продолжают осваивать новые скоростные горизонты. Вслед за Nokia японская компания Fujitsu анонсировала выпуск новой оптической сетевой платформы 1FINITY Ultra Optical System. Новинка отличается повышенной надёжностью и позволяет передавать до 1,2 Тбит/с на каждую длину волны. Будущая модернизация позволит довести эту цифру до 1,6 Тбит/с.

Источник изображений здесь и далее: Fujitsu

Начало поставок новой платформы компания наметила на первую половину текущего года, целевой аудиторией являются провайдеры коммуникационных и облачных услуг. Первыми получат оборудование 1FINITY Ultra японские клиенты Fujitsu, затем североамериканские и европейские. В основе платформы — новое поколение DSP и транспондеров, выполненное с использованием 5-нм техпроцесса. Переход с 7 на 5 нм позволил поднять производительность одной связки DSP+CDM со 100 до 135 Гбод, а удельное энергопотребление сократилось на 39 %.

Технология Fujitsu C+L ROADM позволит задействовать несколько длин волн в одном решении, причём из-за улучшенного соотношения сигнал/шум у оптических усилителей Fujitsu максимальная дистанция для соединения со скоростью 800 Гбит/с вырастет на 40 %. Для скорости 400 Гбит/с предел расстояния без необходимости регенерации сигнала составит 6000 км.

В составе платформы уже объявлены транспондеры 1FINITY T900/T950 и линейные системы 1FINITY L900. Интересно, что охлаждение у новых платформ Fujitsu жидкостное. По производительности оно вдвое лучше воздушного. Компания обещает, что использование СЖО продлит жизненный цикл оборудования при сокращении затрат на обслуживание. Официальная презентация новинки состоится на конференциях MWC в Барселоне и OFC в Сан-Диего.

Разработчики и производители сетевого магистрального оборудования активно осваивают новые технологии, позволяющие добиться более высокой пропускной способности при прежнем или даже меньшем уровне энергопотребления. Компания Nokia анонсировала новое поколение оптической платформы PSE-6s, обладающее уникальными характеристиками.

Как полагают аналитики, объём передаваемых по оптическим магистралям данных в течение ближайших четырёх лет будет расти на 40 % в год. И появление Nokia PSE-6s является ответом на этот вызов. По словам создателей, новые оптические движки в три раза производительнее моделей прежнего поколения.

Источник здесь и далее: Nokia

PSE-6s способны эффективно обслуживать каналы 400/800 Гбит/с на дистанциях свыше 2000 км, а благодаря уникальному межчиповому интерфейсу новинка является масштабируемой — это, как заявляет Nokia, первое в индустрии решение для когерентных оптических сетей с пропускной способностью 2,4 Тбит/с.

Так, Nokia PSE-6s использует 5-нм DSP, объединённые с фирменной кремниевой фотоникой CSTAR, что позволяет добиться скорости до 1,2 Тбит/с на длину волны при общей производительности PSE-6s на уровне 130 Гбод. При этом использование новых техпроцессов позволило снизить потребление новинки на 60 %.

Новые модули Nokia позволяют обойтись без дорогостоящих точек регенерации сигнала на дальних дистанциях, что существенно снизит расходы

Новые модули совместимы с платформами Nokia серии 1830 PSS, 1830 PSI-M и 1830 PSS-x, что позволяет сетевым операторам легко модернизировать свои платформы путём замены прежнего поколения оптических модулей на PSE-6s. Ряд крупных владельцев сетей уже высказали свою заинтересованность в новинке Nokia. Ожидается, что оборудование на базе PSE-6s будет доступно для тестирования во второй половине текущего года.

Сетевые технологии класса 800G продолжают активно внедряться в жизнь. Компания Infinera объявила о намерении модернизировать подводный кабель Unity с помощью новых оптических решений ICE6 800G. Этот кабель соединяет США и Японию, его длина составляет 9620 км. Приёмопередающие станции этой системы расположены в Лос-Анджелесе, штат Калифорния и в городе Чикура неподалёку от Токио.

Источник: Submarine Cable Networks

Кабель Unity был введён в эксплуатацию в 2010 году, запланированная пропускная способность тогда составляла 4,8 Тбит/с при производительности каждой пары волокон на уровне всего 960 Гбит/с. Применение технологии ICE6, включающей в себя использование нескольких поднесущих, упреждающую коррекцию ошибок и высокоинтегрированной фотоники позволит поднять пропускную способность каждой пары волокон до 7,4 Тбит/с. Это сделает Unity одной из самых быстрых систем связи между Азией и Северной Америкой.

Технология Infinera ICE6 позволяет существенно повысить плотность передачи данных. Источник: Infinera

Фотонные трансиверы ICE6 GX, разработанные Infinera, базируются на 7-нм техпроцессе и продвинутых элементах фотоники PIC, оптический движок при этом позволяет одновременно использовать две независимых длины волн. Модернизация Unity позволит продлить срок эксплуатации кабеля на четверть. Таким образом, видно, насколько продвинулись с 2010 года сетевые технологии: скорость выросла на порядок и сегодня реально получить производительность целого межконтинентального кабеля лишь для пары входящих в него волокон.

Компания Arista Networks обновила модельные ряды своих сетевых коммутаторов. При этом затронут оказался не только сегмент наиболее производительных устройств, в которых реализованы порты со скоростью свыше 100 Гбит/с, но и сегмент более низкого уровня — многие организации сегодня модернизируют старую инфраструктуру класса 10/25G и нуждаются в коммутаторах соответствующего уровня.

Первым в списке новинок дебютировало пополнение семейства spine-коммутаторов 7060X5 Series конфигурацией с 32 фиксированными портами со скоростью 800 Гбит/с (2 × 400GbE), использующее кремний Broadcom Tomahawk 4 с пропускной способностью 25,6 Тбит/с. Новинки 7060DX5-64E и 7060PX5-64E различаются типами корзин — OSFP800 и QSFP-DD800 соответственно. Также поддерживается работа в режиме 64 × 400GbE или 256 × 100GbE.

Arista 7060X5 Series, модели с портами класса 800G. Источник: Arista Networks

Наличие сетевых буферов общим объёмом 114 Мбайт гарантирует бесперебойную обработку до 10,6 млрд сетевых пакетов в секунду. Латентность при этом составляет 825 нс. Устройство отличается экономичностью и потребление каждого сетевого порта не превышает 16 Вт. Обходится оно корпусом высотой 1U и обладает двумя блоками питания с возможностью горячей замены; также могут заменяться и вентиляторы охлаждения.

Источник: Arista Networks

Дополнительно Arista пополнила семейство 7050X4 сразу пятью новыми моделями. Все они основываются на кремнии Broadcom Trident 4 с пропускной способностью 8 Тбит/с и скоростью обработки пакетов до 2,7 млрд в секунду. В новых моделях используются корзины для модулей 10/25/50/100G (NRZ) или 100/200G (PAM4). Аплинк к корневому коммутатору может функционировать на скоростях от 100 до 400 Гбит/с.

Новые коммутаторы Arista Networks обеспечат задел на будущее

Семейство 7050X4 работает под управлением Arista EOS и предоставляет широкие возможности по удалённому развёртыванию, управлению и мониторингу сетей. Подробности можно найти на сайте Arista Networks, доступны новые модели коммутаторов будут в первом квартале 2023 года.

Как известно, один из пионеров концепции DPU, Pensando Systems теперь принадлежит AMD. Поглощение состоялось весной этого года и обошлось «красным» в $1,9 млрд. На мероприятии VMware Explore 2022 были озвучены весьма обширные планы AMD относительно технологического наследия Pensando, передаёт ServeTheHome.

Напомним, первое поколение сопроцессоров данных, разработанное Pensando, получило кодовое имя Capri, оно использовало 16-нм техпроцесс и поддерживало скорость 100 Гбит/с. Второе поколение, Elba, уже получило 7-нм «кремний», поддержку 200GbE, четыре P4-программируемых конвейера с 32 ядрами MPU для обработки сетевых пакетов, а также 16 ядер Arm Cortex-A72 для пользовательских приложений.

Здесь и далее источник изображений: AMD (via ServeTheHome)

Сопроцессоры Elba нашли своё место в коммутаторах Aruba CX 10000. Но доступны они и в виде обычных карт расширения: так, младший вариант DSC2-25G в форм-факторе HHHL имеет две корзины SFP56 и поддерживает конфигурации 2×10G или 2×25G. Старший вариант оснащён портами QSFP28 и поддерживает установку трансиверов со скоростями вплоть до 100 Гбит/с.

Но самое интересное, чем поделилась AMD на VMware Explore 2022 — планы по развитию DPU на базе наработок Pensando. Новый чип под кодовым названием Giglio должен будет увидеть свет уже в следующем, 2023 году. Относится он к поколению 2+, и является оптимизированной версией Elba. При этом в планах у AMD есть и 400G-платформа Adaptive Exotic SmartNIC.

А вот на 2024 год запланирован DPU следующего поколения: 5-нм процессор под кодовым именем Salina сразу получит поддержку скорости 800 Гбит/с. При этом сохранится программная совместимость с DPU Pensando предыдущего поколения. Любопытно, что в презентации AMD присутствует упоминание «AMD EPYC Solution (Future)». Каким образом платформа Pensando будет интегрирована с EPYC, пока не уточняется.

Отметим, что AMD планирует гораздо быстрее Intel освоить 400G и 800G — первую планку «синие» собираются взять в 2023–24 гг., а вторую только двумя годами позже. И у обеих компания есть целый ряд конкурентов в лице Chelsio, Fungible, Kalray, Marvell, Nebulon, NVIDIA и др. При этом у AMD и NVIDIA уже есть важное преимущество — их решения теперь совместимы с VMware vSphere 8.

Растущие объемы сетевого трафика, широкое распространение медиа-сервисов и видеоконференций, новые облачные услуги — всё это требует и нового сетевого «железа», способного справляться с повышающейся нагрузкой. И если не так давно для ASIC высшего класса нормой стал считаться показатель 25,6 Тбит/с, то сейчас вендоры осваивают следующий уровень производительности. Первенство в этой гонке принадлежит NVIDIA с её чипами Spectrum-4, но сейчас в игру вступила Broadcom.

Компания представила пятое поколение «сетевого кремния» в серии StrataXGS Tomahawk, тоже способное осуществлять коммутацию на скоростях до 51,2 Тбит/с — 5-нм чип Tomahawk 5 (BCM78900). Появление ASIC такого класса существенно облегчает жизнь разработчикам HPС-систем для задач машинного обучения, поскольку позволит объединить в единый комплекс больше узлов без «наценки» на латентность в конфигурациях 64х800GbE, 128х400GbE или 256х100GbE. Поддерживается RoCEv2 и другие протоколы RDMA, виртуализация и сегментация сетей, VxLAN и прочие современные технологии.

Источник: Broadcom

Несколько ограничивают возможности новинки SerDes-блоки Peregrine (PAM4/106 Гбит/с). Каждые 8 таких блоков собраны в трансиверное ядро, всего ядер в новом чипе 64, что ограничивает эффективную производительность на порт именно цифрой 800 Гбит/с. Достоинством Tomahawk 5 станет его экономичность: использование 5-нм техпроцесса позволило довести удельное энергопотребление до цифры менее 1 Вт на 100 Гбит/с, то есть речь идёт о потреблении в районе 500 Вт для полной конфигурации. Цифра немалая, но всё же позволяющая сохранить воздушное охлаждение. Кроме того, новый ASIC снабжён шестью Arm-блоками для настраиваемой потоковой телеметрии.

Следует отметить, что реальной потребности в таких скоростях пока очень немного: лишь 15 % (в деньгах) рынка Ethernet-устройств приходится на 400G-оборудование, но Broadcom считает, что постоянный рост аппетитов гиперскейлеров должен довести этот показатель до более чем 50 % уже к 2026 году. В случае же Tomahawk 5 пока речь идёт о первых поставках самих чипов, которые OEM-производителям ещё предстоит интегрировать в свои продукты. Они должны появиться на рынке в следующем году.