Дополнением к только что представленным ИИ-ускорителям NVIDIA Blackwell станут новые сетевые 800G-платформы Quantum-X800 и Spectrum-X800, а также сетевые адаптеры ConnectX-8. Именно они позволят вывести масштабирование ИИ-кластеров на новый уровень и позволят «прокормить» гигантские массивы ускорителей в дата-центрах гиперскейлеров.

Платформа NVIDIA Quantum-X800 ориентирована на наиболее производительные ИИ- и HPC-кластеры. Она использует новое поколение технологии InfiniBand, всё ещё обладающей рядом преимуществ в сравнении с Ethernet, и включает в себя обновлённые SHARP-движки. Технология SHARPv4 реализует «вычисления в сети» (In-Network Computing), что позволяет не только существенно разгрузить вычислительные узлы и серверы, но и обеспечить более высокую пропускную способность интерконнекта вкупе с более серьёзными возможностями его масштабирования.

NVIDIA Q3400-RA 4U (справа) и SN5600. Источник изображений здесь и далее: NVIDIA

Основой платформы Quantum-X800 стал 4U-коммутатор Q3400-RA, впервые в индустрии, как говорит компания, использующий 200G-блоки SerDes для каждой линии InfiniBand. Коммутатор располагает 144 портами 800G в 72 OSFP-модулях и выделенным портом для Unified Fabric Manager. Новинка имеет стандартное 19″ исполнение с воздушным охлаждением, но есть и вариант Q3400-LD с жидкостным охлаждением, предназначенный для 21″ OCP-стоек. В двухуровневом варианте fat tree коммутаторы позволят объединить 10 368 NIC.

Основным адаптером для новой платформы InfiniBand является ConnectX-8 SuperNIC с интерфейсом PCIe 6.0. Он является частью SHARPv4 и предлагается в однопортовом (OSFP224) и двухпортовом (QSFP112) вариантах и в нескольких форм-факторах, включая OCP 3.0. На платах также имеется разъём SocketDirect на 16 линий PCIe. Также компания представила компоненты NVIDIA LinkX: оптические трансиверы 2xDR4/2xFR4 и активные медные кабели (LACC).

Не забыла NVIDIA и про Ethernet: здесь вывести производительность сети на новый уровень должна платформа Spectrum-X800. Её основой служит новейший коммутатор SN5600 — это, по словам NVIDIA, первый в мире Ethernet-коммутатор класса 800GbE, специально разработанный для применения гиперскейлерами в крупных облачных ИИ-комплексах. Применяемая архитектура позволяет гарантировать каждому клиенту оптимальный и постоянный уровень производительности, а потоковая телеметрия позволит находить и ликвидировать возможные «бутылочные горлышки» в сети буквально на лету.

Общая пропускная способность SN5600 составляет 51,2 Тбит/с. Коммутатор располагает 64 портами 800GbE в формате OSFP. В нём используется ASIC пятого поколения на базе архитектуры Spectrum-4. В качестве основного адаптера предлагается SuperNIC на базе DPU BlueField-3 с двумя 400GbE-портами.

Фото: Twitter/NVIDIANetworkng

Spectrum-X800 сопровождает полноценный спектр инфраструктурных компонентов, включая кабели DAC и LACC. С оптическими трансиверами длина соединения 800GbE может достигать двух километров. Начиная со следующего года, решения на базе новых сетевых платформ NVIDIA будут доступны от широкого круга поставщиков оборудования, включая Aivres, DDN, Dell Technologies, Eviden, Hitachi Vantara, HPE, Lenovo, Supermicro и VAST Data.

Известный разработчик микроэлектроники, компания Synopsys сообщила о завершении работ над новым сверхскоростным вариантом Ethernet, способным работать на скорости 1,6 Тбит/с, что вдвое превышает достигнутые коммерческими решениями на сегодня скорости. Эта разработка нацелена главным образом на рынок крупных ЦОД, особенно связанных с ИИ-технологиями, предъявляющими высокие требования к характеристикам сетевых каналов и интерконнектов.

В настоящее время стандарт 1.6TbE не ратифицирован IEEE, и случится это не ранее 2026 года, но Synopsys считает, что применение её наработок в этой области позволит производителям микрочипов начать работу над созданием соответствующих контроллеров уже сейчас. Предварительная версия стандарта 802.3dj, описывающего базовые характеристики таких устройств, должна быть завершена уже в этом году.

Источник здесь и далее: Synopsys

Дизайн IP-блоков, созданный Synopsys, базируется именно на 802.3dj. Он предусматривает скорости 4 × 400 Гбит/с, 2 × 800 Гбит/с, либо один канал со скоростью 1,6 Тбит/с. В разработке используются блоки SerDes со скоростью 112 и 224 Гбит/с, отвечающие спецификациям OIF-112G и OIF-224G соответственно.

В IP-решении Synopsys используются трансмиттеры PAM4, в которых реализована продвинутая обработка сигнала (feed-forward equalization), ресиверы же содержат продвинутый DSP. Это сочетание позволяет соединению работать при потере сигнала в канале, составляющей 45 дБ. Synopsys утверждает, что её технологии позволят реализовать Ethernet со скоростью 1,6 Тбит/с с 50 % экономией площади кремния. Продвинутая архитектура коррекции ошибок при этом должна обеспечить латентность на 40 % ниже в сравнении с классической реализацией.

В состав решения Synopsys входят блоки MAC, PCS, контроллер физического уровня (PHY) на основе прошедших тестирование и доказавших свою эффективность SerDes-блоков 224G, а также IP-модуль верификации, который должен помочь разработчикам чипов ускорить и упростить разработку новых сверхскоростных Ethernet-чипов. Все IP-компоненты доступны сейчас и ими уже воспользовались многочисленные клиенты, сообщает Synopsys. Новая разработка Synopsys получила одобрение со стороны консорциума Ethernet.

Министерство промышленности и торговли Пермского края сообщило о том, что местный разработчик и производитель оборудования связи «Морион» организовал серийный выпуск управляемых Ethernet-коммутаторов для построения высокопроизводительных сетей связи.

Организовано серийное производство коммутаторов КРМ-5960 и КАМ-3284. Устройства первого семейства относятся к моноблочному типу: они оснащены 20 портами 1GbE RJ-45, четырьмя разъёмами 1GbE RJ-45/SFP и четырьмя портами 10GbE SFP+. Диапазон рабочих температур в зависимости от модификации простирается от 0 до +50 °C или от +5 до +40 °C.

Решения КАМ-3284 представлены в блочно-модульном исполнении: они содержат по четыре оптических или электрических порта на модуль — до 24 портов в блоке. Эти коммутаторы могут эксплуатироваться при температурах от -10 до +55 °C при воздействии вибрации, многократных ударов и соляного тумана. Устройства можно применять в подвижных комплексах связи, в прибрежных морских зонах, на надводных лодках и пр.

Источник изображения: Министерство промышленности и торговли Пермского края

Упомянуты функции контроля доступа с высоким уровнем безопасности и ограничением трафика, в том числе при работе с инфраструктурой, построенной на базе российской платформы Astra Linux. Отмечается, что изделия изготавливаются преимущественно из российских комплектующих — уровень локализации составляет 70 %. Правда, не уточняется, о каких именно компонентах идёт речь.

«Морион» уже поставляет коммутаторы для ведомственных и технологических сетей связи нефте- и газотранспортных предприятий, железнодорожных и сетевых компаний энергетической системы. В 2024 году планируется выпуск более 140 моделей управляемых коммутаторов. Инвестиции в проект превышают 140 млн руб. Из них 46 млн руб. предоставил федеральный Фонд развития промышленности (ФРП), ещё 20 млн руб. — региональный ФРП Пермского края.

Нужно отметить, что выпуск коммутаторов наладили и многие другие российские компании. В их число входят производитель инфраструктурного IT-оборудования Fplus, поставщик сетевого телекоммуникационного оборудования операторского класса N3COM, дочернее предприятие Росатома «ТВЭЛ» и «Аквариус».

Cisco и NVIDIA объявили о расширении сотрудничества, чтобы предложить корпоративным клиентам масштабируемое и автоматизированное управление кластерами искусственного интеллекта (ИИ), автоматическое устранение неполадок, высокое качество обслуживания и многое другое, сообщается в пресс-релизе NVIDIA. Интегрированное ПО и сетевое оборудование двух компаний упростит клиентам развёртывание инфраструктуры для поддержки приложений ИИ.

Соглашение предусматривает расширение роли сетей Ethernet в обработке рабочих нагрузок ИИ на предприятии, а также обеспечивает компаниям доступ к системам продаж друг друга и возможность взаимной поддержки.

Источник изображения: NVIDIA

Специализированные сетевые решения Cisco и NVIDIA на базе Ethernet будут продаваться через обширный глобальный канал Cisco, предлагая профессиональные услуги и поддержку через ключевых партнёров. Клиентам будут доступны новейшие ускорители NVIDIA в стоечных и блейд-серверах Cisco M7 UCS, включая Cisco UCS X-Series и UCS X-Series Direct, для поддержки ИИ и рабочих нагрузок с интенсивным использованием данных в ЦОД и на периферии.

Интегрированный пакет, который станет доступен во II квартале, будет включать ПО NVIDIA AI Enterprise с программными платформами, предварительно обученными моделями и инструментами разработки. Совместно проверенные эталонные архитектуры Cisco Validated Designs (CVD) упростят развёртывание и управление кластерами ИИ в любом масштабе в широком спектре вариантов использования: виртуализированные и контейнерные среды, конвергентные и гиперконвергентные системы. CVD для FlexPod и FlashStack для генеративного ИИ с ПО NVIDIA AI Enterprise будут доступны в этом месяце.

Источник изображения: Cisco

Cisco упростила управление и эксплуатацию ИИ-инфраструктуры за счёт локального и облачного управления посредством Cisco Nexus Dashboard и Cisco Intersight. А поддержка Cisco ThousandEyes Digital Experience Monitoring поможет обеспечить аналитику на основе ИИ и автоматическое устранение проблем в сетях. Наконец, расширяемая платформа Cisco Observability Platform использует ИИ для контекстуализации и корреляции телеметрии в реальном времени.

Как отметил ресурс Network World, NVIDIA внедрила множество реализаций ИИ, основанных на сети InfiniBand. Теперь компания также участвует в отраслевых усилиях по обеспечению того, чтобы Ethernet стал важнейшей основой для поддерживающих ИИ сетей в будущем. В частности, прошлой осенью компания, наконец, представила SuperNIC — 400GbE DPU для ИИ-нагрузок.

Российский производитель инфраструктурного IT-оборудования Fplus анонсировал устройство FDS-7532D1: это, как утверждается, самый быстрый на сегодняшний день коммутатор в России. Новинка оснащена 32 портами 400GbE (QSFP56-DD), а скорость коммутации при максимальной загрузке достигает 25,6 Тбит/с.

Коммутаторы серии FDS предназначены для организации высокоскоростных сетей передачи данных. Решения подходят для современных дата-центров, а также для корпоративных и операторских инфраструктур, где могут применяться на уровне ядра. Используемые ASIC вендор предпочитает не раскрывать.

Модель FDS-7532D1 выполнена в форм-факторе 1RU с габаритами 440 × 588 × 44 мм; масса составляет около 16 кг. Заявленное энергопотребление — 1600 Вт, максимальная рабочая температура — 45 °C. В конструкции применены шесть (5+1) съёмных блоков вентиляторов и два (1+1) блока питания. Интерфейсы управления OOB: один RJ-45 и два SFP+. Количество VLAN достигает 4 тыс., размер MAC FDB — 256 тыс. записей, количество ECMP-групп — 10 тыс.

Источник изображения: Fplus

Коммутаторы серии FDS построены на базе ASIC с неблокируемой матрицей коммутации. В устройствах могут использоваться трансиверы SFP, SFP+, SFP28, QSFP+, QSFP28, QSFP56 и QSFP56-DD. Упомянуты единый интерфейс командной строки (CLI) со стандартным для отрасли синтаксисом и широкий набор поддерживаемых типовых инструментов автоматизации управления. Коммутаторы серии FDS также поддерживают установку альтернативных операционных систем.

В производстве коммутаторов задействовано несколько площадок, расположенных на территории России, в том числе собственный завод Fplus в Подмосковье. Разработкой устройств занимаются две RnD-команды: одна отвечает за аппаратную часть, вторая — за ПО. Fplus направила документы о включении коммутатора FDS-7532D1 в Единый реестр российской радиоэлектронной продукции Минпромторга.

Подразделение Brocade Storage Networking компании Broadcom представило новые коммутаторы класса Director, предлагающие до 512 портов FC64. Предельная пропускная способность заявлена на уровне 39,6 Тбайт/с. При этом сохранена совместимость с предыдущими поколениями Fibre Channel. Кроме того, был представлен и новый мост Ethernet ↔ Fibre Channel, который позволяет создавать распределённые SAN.

Новые устройства серии Brocade X7 Directors являются наиболее высокоплотными в индустрии — они представлены в вариантах с 256 и 512 портами Fibre Channel седьмого поколения (64 Гбит/с на порт) в исполнениях 8U и 14U соответственно. Первое поколение X7 увидело свет ещё в 2020 году, но тогда оно было ограничено использованием 48-портовых лезвий FC64, что давало максимум 384 порта. Новый вариант использует новые 64-портовые модули с трансиверами SFP-DD, позволившими на треть поднять плотность портов. Устройства работают под управлением Fabric OS 9.0.x.

Источник изображений здесь и далее: Broadcom

Другой интересной новинкой Brocade является коммутатор Brocade 7850 Extension Switch, делающий более простым построение географически распределённой SAN. По сути, это мост с 24 портами FC64/FICON, обеспечивающий проброс FC-трафика, для чего имеется 16 портов 25/10GbE, а также два WAN-порта 100GbE. WAN-трафик шифруется на лету на полной скорости по алгоритму AES с 256-битным ключом. Имеются механизмы защиты от кибер-атак, а также автоматическая проверка целостности ПО и аппаратного обеспечения.

Компания Broadcom, один из ведущих поставщиков «кремния» для сетевых решений, анонсировала новый сетевой процессор Jerico3-AI, который ориентирован на ИИ-системы. Более того, Broadcom считает подход NVIDIA к «интеллектуальным сетевым решениям» с использованием InfiniBand неверным и даже вредным для кластерных ИИ-систем.

Ethernet-коммутаторы компании можно разделить три ветви: наиболее высокопроизводительные чипы Tomahawk, ориентированная на дополнительные возможности ветвь Trident и, наконец, серия Jericho, отличающаяся наибольшей гибкостью в программировании и располагающая более ёмкими буферами. Чип Jericho3-AI BCM88890 — новинка в последней категории, относящаяся к классу 28,8 Тбит/с. Новый коммутатор имеет 144 линка SerDes (106Gbps, PAM4) и может работать в конфигурации 18×800GbE, 36×400GbE или 72×200GbE.

Источник здесь и далее: Broadcom (via ServeTheHome)

В своей презентации Broadcom раскритиковала традиционный подход NVIDIA и других крупных игроков на сетевом рынке, заявив о том, что прямое наращивание пропускной способности и снижение латентности кластерной сети якобы является тупиковой ветвью развития. Вместо этого фабрика на базе Jericho3-AI, по словам компании, позволяет сделать так, чтобы процесс обучения нейросети как можно меньше времени тратил не сетевые операции.

Новый коммутатор обеспечивает идеальную балансировку загрузки, гарантирующую отсутствие заторов, и автоматическое переключение отказавшего соединения на резервное менее, чем за 10-нс, а также позволяет создавать большие «плоские» сети (до 32 тыс. портов 800GbE), характерные для ИИ-кластеров. Каждый ускоритель может получить 800G-подключение, а суммарная производительность фабрики на базе новых коммутаторов может достигать 26 Пбит/с.

Broadcom утверждает, что сеть Ethernet на базе Jericho3-AI превосходит аналогичную по классу сеть NVIDIA InfiniBand в тестах с использованием NCCL. При этом новый коммутатор не содержит никаких вычислительных мощностей общего назначения — он проще, а за счёт использования стандарта Ethernet сети на его основе универсальны, что также снижает стоимость владения инфраструктурой.

Высокая степень интегрированности обеспечит и большую экономичность, а значит, решения на базе нового коммутатора Broadcom окажутся и более дружелюбны к экологии. Новые чипы уже доступны избранным клиентам Broadcom.