Группа компаний, включая AMD, Broadcom, Meta✴, Microsoft, NVIDIA и OpenAI, объявила о создании отраслевого консорциума OCI (Optical Compute Interconnect) Multi-Source Agreement (MSA) с целью формирования открытой экосистемы, управляемой гиперскейлерами, для обеспечения развития многовендорной цепочки поставок для масштабируемых оптических интерконнектов, отвечающих потребностям современной ИИ-инфраструктуры.

Компании отметили, что по мере совершенствования LLM традиционные медные интерконнекты достигают физических пределов с точки зрения пропускной способности, энергоэффективности и дальности. Оптические соединения позволяют передавать данные на большие расстояния, сохраняя при этом более предсказуемое энергопотребление. Поэтому многие компании рассматривают их как решение для расширения ИИ-инфраструктуры. До сих пор в отрасли отсутствовал единый стандарт для реализации оптических каналов связи в крупномасштабных ИИ-системах.

Источник изображения: OCI MSA

Спецификация OCI разработана с учетом оптимизации энергопотребления, задержки и стоимости. Она основана на NRZ-модуляции с WDM-мультиплексированием. Кроме того, она отражает смещение фокуса подключения с «модульно-ориентированной» к «кремниево-ориентированной» модели. Благодаря более тесной интеграции оптики с вычислительными и сетевыми компонентами, OCI обеспечивает значительное увеличение плотности полосы пропускания и масштабируемости системы, обеспечивая энергопотребление на уровне медных линий связи.

Источник изображения: OCI MSA

Как сообщает консорциум, открытая и совместимая спецификация позволяет гиперскейлерам дезагрегировать любые XPU и коммутаторы на основе общего оптического физического уровня (PHY), обеспечивая соответствие лучших в своём классе вычислительных мощностей самым современным оптическим решениям. Консорциум опубликовал первоначальную спецификацию оптического интерфейса 200G, разработанного для масштабных сетей ИИ:

• Двунаправленная передача и приём по одному и тому же волокну.
• Стандартизированные интерфейсы высокой плотности: OCI GEN1 4λ × 50 Гбит/с NRZ (200 Гбит/с в каждую сторону) и OCI GEN2 (400 Гбит/с в каждую сторону), что суммарно даёт до 800 Гбит/с на волокно.
• Мультиплексирование DWDM с микрокольцевыми резонаторами (MRR).
• Четыре оптических канала на двух различных группах длин волн.
• Дальность работы до 500 м по волокну SMF-28.
• Масштабируемость до 3,2 Тбит/с и более на волокно в будущем.
• Поддержка традиционных трансиверов, интегрированной оптики и CPO.
• Обеспечение соответствия оптических решений целевым показателям производительности, энергопотребления и стоимости, характерным для медных кабелей.

Источник изображения: OCI MSA

В спецификации также подробно описаны требования к мощности сигнала, чувствительности приеъёмника, устойчивости к шуму и коррекции ошибок для поддержания стабильности сигнала на экстремальных скоростях. Стандартизированный подход и совместный план развития значительно снижают риски интеграции, сокращают циклы разработки и обеспечат всей цепочке поставок стоек для ИИ чёткий, безопасный путь для развёртывания многопоколенных оптических межсоединений от разных производителей.

Источник изображения: OCI MSA

Как отметил ресурс The Technology Express, консорциум выделяется тем, что объединяет компании, выступающие конкурентами в разработке аппаратного обеспечения для ИИ. Например, собственная разработка NVLink одной компании доминирует в высокопроизводительных кластерах GPU. В то же время другие игроки отрасли поддерживают конкурирующий открытый стандарт UALink. Однако протокол OCI MSA фокусируется на PHY, а не на протоколах. Поэтому он потенциально может поддерживать трафик NVLink и UALink по оптическому волокну вместо медных кабелей.

В начале текущего года корпорация Intel анонсировала сетевые контроллеры и адаптеры семейства Ethernet E830 с поддержкой стандарта 200GbE для корпоративных, облачных и периферийных развёртываний. А теперь появилась информация об изделиях серии Ethernet E835 с улучшенными характеристиками.

Источник изображений: Intel

Новые адаптеры ориентированы на дата-центры и телекоммуникационные инфраструктуры. Заявлена поддержка хост-интерфейсов PCIe 5.0 х8 и PCIe 4.0 х16. Intel предложит варианты в конфигурациях с портами 1 × 200GbE, 2 × 100GbE, 2 × 25GbE, 4 × 25GbE и 8 × 25GbE.

Реализована поддержка протоколов управления OS2BMC и OCP NIC 3.0, средств безопасности Secure Boot, SPDM (Security Protocol and Data Model), MCTP Type 6 и Root of Trust (на аппаратном уровне), а также стандартов FIPS 140-3 Level 1 и NIST SP800-193. Как и в случае с решениями Ethernet E830, имеется поддержка PTM (Precision Time Measurement), 1588 PTP и SyncE.

Судя по представленному изображению, устройства серии Ethernet E835 оборудованы пассивным охлаждением на основе крупного радиатора. Среди прочего говорится о совместимости с RDMA iWARP и RoCE v2. Сетевые адаптеры оптимизированы для использования в системах с процессорами Xeon 6. От решений Ethernet E830 унаследованы такие технологии, как Virtual Machine Device Queues (VMDq), Flexible Port Partitioning (FPP), Intel Data Direct I/O и др.

Компания MikroTik начала продажи коммутатора CRS812 DDQ (модель CRS812-8DS-2DQ-2DDQ-RM), поддерживающего стандарт 400GbE. Новинка, выполненная в форм-факторе 1U, доступна для заказа по ориентировочной цене $1300.

В устройстве задействованы коммутационный чип Marvell 98DX7335 и процессор Annapurna Labs AL52400, который содержит четыре вычислительных Arm-ядра с тактовой частотой до 2 ГГц. Объём оперативной памяти DDR4 составляет 4 Гбайт, вместимость встроенного флеш-модуля — 512 Мбайт.

Коммутатор оборудован двумя портами 400G QSFP56-DD и двумя разъёмами 200G QSFP56, восемью портами 50G SFP56, а также двумя портами 1/2.5/5/10GbE RJ45. Кроме того, имеется консольный порт RJ45. Все гнёзда для подключения сетевых кабелей сосредоточены на фронтальной панели.

Источник изображений: MikroTik

Габариты новинки составляют 443 × 268 × 44 мм. Установлены два блока питания и четыре вентиляторных модуля с возможностью горячей замены. Максимальное заявленное энергопотребление — 134 Вт. Диапазон рабочих температур простирается от -10 до +50 °C. Показатель MTBF (средняя наработка на отказ) достигает 200 тыс. часов при температуре 25 °C.

На коммутаторе применяется программная платформа RouterOS v7. В комплект поставки входят кабели питания и крепёж для монтажа в серверную стойку. Дополнительно можно приобрести оптический трансивер DDQ+85MP01D стандарта 400G стоимостью около $160, также кабели DDQ+DA0001 и DDQ+DA0003 длиной 1 и 3 м соответственно по цене примерно $80 и $110.

Стартап TORmem, специализирующийся на решениях для дезагрегации памяти в дата-центрах, обнародовал планы по выпуску коммутаторов для сетей с высокой пропускной способностью. В семейство войдут модели с поддержкой стандартов от 100GbE до 800GbE.

По утверждениям TORmem, она потратила четыре года на разработку «революционной технологии дезагрегации», которая позволяет реализовывать концепцию вычислений в оперативной памяти (IMC) в масштабах ЦОД. Полученный опыт стартап намерен использовать для решения другой проблемы современных дата-центров — высокой стоимости корпоративной сетевой инфраструктуры.

TORmem обещает трансформировать сегмент коммутаторов корпоративного класса, выпустив высокопроизводительные устройства по цене в два раза меньше по сравнению с аналогичными решениями, уже представленными на рынке. В частности, TORmem предлагает для заказа модель стандарта 100GbE (S6500-32X) с 32 портами на основе ASIC Marvell: устройство стоит $7 тыс. против $14 тыс. или более у «стандартных продуктов», говорит компания.

Источник изображений: TORmem

В конце текущего года стартап намерен подготовиться к началу производства коммутаторов 200GbE/400GbE, которые, как ожидается, также окажутся на 50 % дешевле конкурирующих изделий: их цена составит от $12 тыс. до $20 тыс. против $25–$40 тыс., которые, как утверждается, будут просить конкуренты. Кроме того, в разработке находятся модели класса 800GbE.

На сайте Unipoe.net удалось обнаружить описание коммутатора RZ-S6500-32X. Он располагает 32 портами 40/100GbE QSFP28, а коммутируемая ёмкость достигает 6,4 Тбит/с. Устройство выполнено в форм-факторе 1U с габаритами 440 × 470 × 43 мм. Предусмотрены сетевой порт управления, консольный порт и разъём USB 2.0. В оснащение входят два блока питания и пять модульных вентиляторов с возможностью горячей замены. Максимальное энергопотребление составляет менее 650 Вт. Диапазон рабочих температур — от 0 до +40 °C. Упомянута поддержка протоколов RIP, IS-IS, RIPng, OSPFv3, BGP4+ и пр.

Отраслевые аналитики прогнозируют, что объём глобального рынка высокоскоростных коммутаторов увеличится с примерно $8 млрд в 2025 году до более чем $15 млрд в 2027-м. Основным драйвером отрасли называется внедрение решений стандарта 200GbE и выше.

Корпорация Intel анонсировала сетевые контроллеры и адаптеры серий Ethernet E830 и Ethernet E610, разработанные для удовлетворения растущих потребностей в пропускной способности каналов связи. Решения могут применяться в том числе в составе облачных платформ, систем НРС, ИИ и пр.

По заявлениям Intel, Ethernet-изделия нового поколения вкупе с серверными процессорами Xeon 6 закладывают основу для масштабируемых приложений с интенсивным использованием данных. Адаптеры обеспечивают надёжное подключение на высоких скоростях при одновременном повышении энергоэффективности и снижении совокупной стоимости владения (TCO).

Устройства серии Intel Ethernet E830 оптимизированы для высокоплотных виртуализированных рабочих сред. Эти контроллеры и адаптеры подходят для корпоративных, облачных и периферийных развёртываний. Кроме того, они могут применяться в составе телекоммуникационных инфраструктур. На начальном этапе будут доступны двухпортовые адаптеры 25GbE PCIe и OCP 3.0. В дальнейшем появятся модели в других конфигурациях, включая 1 × 200GbE, 2 × 100/50/25/10GbE и 8 × 25/10GbE. В целом, пропускная способность может достигать 200 Гбит/с при использовании интерфейса PCIe 5.0.

Для изделий Intel Ethernet E830 заявлена поддержка различных функций обеспечения безопасности, включая Secure Boot, Secure Firmware Upgrade и Root of Trust на аппаратном уровне. Среди прочего заявлена поддержка PTM (Precision Time Measurement), 1588 PTP, SyncE и GNSS, что важно для финансовых и телекоммуникационных приложений, а также обучения моделей ИИ и инференса. Говорится о совместимости на уровне программного обеспечения и драйверов с продуктами серии Intel Ethernet E810.

Источник изображений: Intel

В свою очередь, решения семейства Intel Ethernet E610 предлагают оптимальное сочетание управляемости, энергоэффективности и безопасности. Такие изделия могут применяться в рабочих станциях и на периферии. Заявлена поддержка стандартов 10GbE, 5GbE, 2.5GbE и 1GbE. Устройства будут доступны в различных форм-факторах. Intel говорит о сокращении энергопотребления на 50 % по сравнению с адаптерами предыдущего поколения. Реализована поддержка Root of Trust и современных криптографических функций.

Компания International Data Corporation (IDC) подвела итоги исследования мирового рынка сетевого оборудования корпоративного класса в III квартале уходящего года. Продажи Ethernet-коммутаторов и маршрутизаторов сократились в годовом исчислении.

В сегменте коммутаторов выручка в период с июля по сентябрь включительно составила $10,8 млрд. Это на 7,9 % меньше по сравнению с III четвертью 2023 года. В секторе решений для дата-центров выручка поднялась на 18,0 % в годовом исчислении, в секторе решений для прочих корпоративных заказчиков, напротив, сократилась на 24,7 %. Аналитики отмечают, что спрос на ЦОД-оборудование подпитывается внедрением ИИ-приложений, которые создают высокую нагрузку на каналы передачи данных.

Объём реализации коммутаторов стандартов 200/400GbE для дата-центров увеличился в денежном выражении на 126,3 % по отношению к III кварталу 2023 года. В сегменте коммутаторов, не связанных с ЦОД, продажи устройств 1GbE рухнули на 25,6 % в годовом исчислении.

Источник изображения: IDC

С географической точки зрения в США общий рынок коммутаторов Ethernet сократился на 6,5 % год к году. В Западной Европе падение составило 11,9 %, в Центральной и Восточной Европе — 17,8 %. В Азиатско-Тихоокеанском регионе, за исключением Японии и Китая, отмечено снижение на 8,7 % в годовом исчислении. В КНР продажи остались примерно на прошлогоднем уровне. В список крупнейших мировых поставщиков коммутаторов Ethernet входят Cisco, Arista Networks, Huawei, HPE и H3C с долями соответственно 37,2 %, 13,6 %, 9,7 %, 5,3 % и 4,1 %.

Продажи маршрутизаторов в III квартале 2024 года сократились на 17,4 % по сравнению с 2023-м — до $3,1 млрд. На поставщиков услуг пришлось 70,8 % от общего объёма рынка, а падение год к году составило 22,3 %. Корпоративный сегмент обеспечил 29,2 % продаж с падением на 2,4 %.

Крупные облачные провайдеры давно осознали пользу, которую могут принести DPU и активно применяют подобного рода решения. В частности, AWS давно использует платформу Nitro, Google разработала DPU при поддержке Intel, а Microsoft активно готовит к запуску собственную платформу под названием MANA.

Основой MANA является кастомный чип SoC, разработанный специально с учётом обеспечения высокой пропускной способности, стабильности подключения и низкой латентности. DPU на его основе обеспечивает пропускную способность до 200 Гбит/с, а также поддерживает подключение удалённого хранилища данных на скоростях до 10 Гбайт/с при производительности до 400 тыс. IOPS. Отметим, что ранее AMD заявила о появлении DPU Pensando в облаке Azure, а сама Microsoft в прошлом году поглотила разработчика DPU Fungible.

Изображение: Microsoft

MANA является частью услуги Azure Boost и берёт на себя управление всеми аспектами виртуализации, включая работу с сетью и данными, а также функции управления хост-системой. Перенос этих функций на отдельную платформу не просто улучшает производительность и масштабируемость, но и обеспечивает дополнительный слой безопасности. MANA уже задействованы в инфраструктуре Azure и подтвердили высочайшую скорость при работе с внешними хранилищами данных для инстансов Ebsv5, а также отличную пропускную способность и низкую латентность сетевого канала для всех инстансов семейств Ev5 и Dv5.

MANA поддерживает Windows и Linux, а для более тонкой работы с аппаратной частью ускорителя можно задействовать DPDK. В части информационной безопасности следует отметить наличие криптоядра, соответствующего стандартам FIPS 140. В настоящее время сервис Azure Boost доступен в качестве превью. Компания приглашает к сотрудничеству партнёров и клиентов с высокими запросами к характеристикам сетевого канала и хранилищ.

Весной Intel анонсировала свои первые DPU (Data Processing Unit), которые она предпочитает называть IPU (Infrastructure Processing Unit), утверждая, что такое именования является более корректным. Впрочем, цели у этого класса устройств, как их не называй, одинаковые — перенос части функций CPU по обслуживанию ряда подсистем на выделенные аппаратные блоки и ускорители.

Классическая архитектура серверных систем такова, что при работе с сетью, хранилищем, безопасностью значительная часть нагрузки ложится на плечи центральных процессоров. Это далеко не всегда приемлемо — такая нагрузка может отъедать существенную часть ресурсов CPU, которые могли бы быть использованы более рационально, особенно в современных средах с активным использованием виртуализации, контейнеризации и микросервисов.

Для решения этой проблемы и были созданы DPU, которые эволюционировали из SmartNIC, бравших на себя «тяжёлые» задачи по обработке трафика и данных. DPU имеют на борту солидный пул вычислительных возможностей, что позволяет на некоторых из них запускать даже гипервизор. Однако Intel IPU имеют свои особенности, отличающие их и от SmartNIC, и от виденных ранее DPU.

Новый класс сопроцессоров Intel должен взять на себя все заботы по обслуживанию инфраструктуры во всех её проявлениях, будь то работа с сетью, с подсистемами хранения данных или удалённое управление. При этом и DPU, и IPU в отличие от SmartNIC полностью независим от хост-системы. Полное разделение инфраструктуры и гостевых задач обеспечивает дополнительную прослойку безопасности, поскольку аппаратный Root of Trust включён в IPU.

Это не единственное преимущество нового подхода. Компания приводит статистику Facebook✴, из которой видно, что иногда более 50% процессорных тактов серверы тратят на «обслуживание самих себя». Все эти такты могут быть пущены в дело, если за это обслуживание возьмётся IPU. Кроме того, новый класс сетевых ускорителей открывает дорогу к бездисковой серверной инфраструктуре: виртуальные диски создаются и обслуживаются также чипом IPU.

Первый чип в новом семействе IPU, получивший имя Mount Evans, создавался в сотрудничестве с крупными облачными провайдерами. Поэтому в нём широко используется кремний специального назначения (ASIC), обеспечивающий, однако, и нужную степень гибкости, За основу взяты ядра общего назначения Arm Neoverse N1 (до 16 шт.), дополненные тремя банками памяти LPDRR4 и различными ускорителями.

Сетевая часть представлена 200GbE-интерфейсом с выделенным P4-программируемым движком для обработки сетевых пакетов и управления QoS. Дополняет его выделенный IPSec-движок, способный на лету шифровать весь трафик без потери скорости. Естественно, есть поддержка RDMA (RoCEv2) и разгрузки NVMe-oF, причём отличительной чертой является возможность создавать для хоста виртуальные NVMe-накопители — всё благодаря контроллеру, который был позаимствован у Optane SSD.

Дополняют этот комплекс ускорители (де-)компресии и шифрования данных на лету. Они базируются на технологиях Intel QAT и, в частности, предложат поддержку современного алгоритма сжатия Zstandard. Наконец, у IPU будет выделенный блок для независимого внешнего управления. Работать с устройством можно будет посредством привычных SPDK и DPDK. Один IPU Mount Evans может обслуживать до четырёх процессоров. В целом, новинку можно назвать интересной и более доступной альтернативной AWS Nitro.

Также Intel представила платформу Oak Springs Canyon с двумя 100GbE-интерфейсами, которая сочетает процессоры Xeon-D и FPGA семейства Agilex. Каждому чипу которых полагается по 16 Гбайт собственной памяти DDR4. Платформа может использоваться для ускорения Open vSwitch и NVMe-oF с поддержкой RDMA/RocE, имеет аппаратные криптодвижки т.д. Наличие FPGA позволяет выполнять специфичные для конкретного заказчика задачи, но вместе с тем совместимость с x86 существенно упрощает разработку ПО для этой платформы. В дополнение к SPDK и DPDK доступны и инструменты OFS.

Наконец, компания показала и референсную плаформу для разработчиков Intel N6000 Acceleration Development Platform (Arrow Creek). Она несколько отличается от других IPU и относится скорее к SmartNIC, посколько сочетает FPGA Agilex, CPLD Max10 и сетевые контроллеры Intel Ethernet 800 (2 × 100GbE). Дополняет их аппаратный Root of Trust, а также PTP-блок.

Работать с устройством можно также с помощью DPDK и OFS, да и функциональность во многом совпадает с Oak Springs Canyon. Но это всё же платформа для разработки конечных решений ODM-партнёрами Intel, которые могут с её помощью имплементировать какие-то специфические протоколы или функции с ускорением на FPGA, например, SRv6 или Juniper Contrail.

IPU могут стать частью высокоинтегрированной ЦОД-платформы Intel, и на этом поле она будет соревноваться в первую очередь с NVIDIA, которая активно продвигает DPU BluefIeld, а вскоре обзаведётся ещё и собственным процессором. Из ближайших интересных анонсов, вероятно, стоит ждать поддержку Project Monterey, о которой уже заявили NVIDIA и Pensando.