Intel ведет исследования в области интегрированной фотоники уже много лет, поскольку успех в этой сфере критически важен для HPC-систем нового поколения. Два года назад компания сообщила о создании технологии, использующей существующие техпроцессы обработки 300-мм кремниевых пластин для формирования массива лазеров вкупе с модуляторами. А сейчас можно говорить о достижении новой важной вехи в этой области.

На OFC 2024 Intel продемонстрировала опытный образец CPU, оснащённый 64-канальным фотонным интерконнектом OCI (Optical Compute Interconnect). Каждый канал позволяет передавать данные на скорости 32 Гбит/с на расстоянии до 100 м, что позволит решить проблему масштабирования HPC-систем и ИИ-комплексов: пропускной способности 2 Тбит/с (256 Гбайт/с) в каждом направлении хватит на многое. А в перспективе скорость будет доведена до 32 Тбит/с.

Источник изображений: Intel

В настоящее время в системах подобного класса для высокоскоростного соединения узлов используются либо решения с внешними оптическими трансиверами, что серьёзно увеличивает стоимость и энергопотреблению в целом, либо классическую «медь», серьёзно ограниченную по максимальной длине кабеля. OCI позволяет избежать обеих проблем.

Чиплет использует DWDM (восемь длин волн на волокно) и при этом экономичен: энергозатраты на передачу информации составляют всего 5 пДж/бит против 15 пДж/бит у решений с внешними оптическими трансиверами. Ранее заявленную цифру 3 пДж/бит пришлось немного увеличить, что связано с интеграцией интерфейса PCIe.

Внешне продемонстрированный образец чипа напоминает выпускавшиеся когда процессоры Xeon с поддержкой Omni-Path, но вместо электрического разъёма у него теперь оптический соединитель на восемь пар волокон. С помощью простого пассивного переходника к нему в демонстрационной системе Inel был подключен типовой оптоволоконный кабель.

Поскольку речь идёт о чиплете, теоретически ничто не мешает разместить модуль OCI в составе GPU/NPU, FPGA, DPU/IPU и вообще любой модульной SoC. При этом чиплет совместим с PCIe 5.0, так что проблем с интеграцией быть не должно, хотя это и не самый оптимальный вариант. А на уровне упаковки поддерживается и UCIe.

Вкупе с предельной дистанцией до 100 м новый чиплет существенно упростит системы интерконнекта: за редкими исключениями, вроде NVIDIA NVLink или Intel Gaudi 3 с его массивом Ethernet-контроллеров, связь организуется посредством PCIe-адаптера InfiniBand, либо Ethernet, в которые устанавливаются оптические трансиверы. Впрочем, и у PCI Express вскоре появится поддержка оптических подключений, что будет на руку Ultra Accelerator Link (UALink).

В следующем поколении пропускная способность каждой линии OCI возрастёт с 32 до 64 Гбит/с, после чего Intel планирует довести число одновременно используемых длин волн до 16. Затем, в промежутке между 2030 и 2035 годами планируется достигнуть 128 Гбит/с на линию, уже с 16 длинами волн и 16 парами волокон. Но без конкуренции здесь не обойдётся. NVLink, который уже сейчас существенно быстрее (1,8 Тбайт/с в нынешнем поколении), вскоре тоже обзаведётся оптической версией. Похожие решения развивают Celestial AI, MediaTek и Ranovus, Lightmatter и Ayar Labs.

Британская телеком-компания Virgin Media Wholesale подала в суд на владельцев рыболовецкого траулера Lida Suzanna. По информации Datacenter Dynamic, предположительно именно это судно повредило подводный кабель, соединяющий Ирландию и Великобританию, 26 января 2015 года.

Компания подала иск в Ирландии, требуя возместить €800 тыс. ($870 тыс.) ущерба «владельцами и иными заинтересованными лицами», имеющими отношение к траулеру. Проложенный в 1999 году кабель Sirius South протяжённостью 219 км проложен между Дублином и Блэкпулом. Предполагается, что ловившее морских гребешков судно задело дно жёсткими металлическими рамными сетями, повредив телекоммуникационную инфраструктуру.

Всего Virgin владеет двумя кабелями между Ирландией и «большим» островом: Sirius South и Sirius North. Последний проложен в пределах Соединённого Королевства между Шотландией и Северной Ирландией. После инцидента оператор быстро переключился на второй кабель, но пользователи заметили падение скорости интернет-доступа.

Юристы истцов заявили, что ответчики должны были знать о расположении кабеля, отмеченного на используемых в отрасли картах и в ирландском Морском атласе, поскольку существующие правила обязывают экипаж иметь документы о расположении инфраструктурных цифровых магистралей. Представители владельцев траулера утверждают, что нет никаких доказательств того, что именно этот корабль имеет отношение к инциденту, а за любое повреждение несёт ответственность сама Virgin, не обеспечившая достаточного заглубления и защиты кабеля.

Источник изображения: Fer Nando/unsplash.com

В своё время неисправность устранило принадлежащее Orange Marine судно Pierre de Fermat, спустя несколько дней после происшествия. Всего известны 18 случаев повреждения именно этого кабеля с 1999 года, когда его проложила предшественница Virgin — компания NTL. Ранее Virgin Media подавала иск против другого траулера Willie Joe — тоже за повреждения в минувшие годы. Впрочем, в этом случае дело было улажено в 2022 году.

Нарушения целостности подводных интернет-кабелей случаются во всём мире довольно регулярно. Например, недавно были повреждены кабели в Красном море и на западе Африки, из-за чего сократился трафик между континентами. А Великобритания даже приобрела специальный корабль для защиты подводных оптоволоконных и силовых кабелей.

Летом прошлого года AMD, Arista, Broadcom, Cisco, Eviden/Atos, HPE, Intel, Meta✴ и Microsoft сформировали консорциум Ultra Ethernet (UEC), призванный составить конкуренцию технологии InfiniBand, которая фактически единолично контролируется NVIDIA после покупки Mellanox, и стандартизировать Ethernet-решения для современных ИИ- и HPC-платформ. А теперь AMD, Broadcom, Cisco, Google, HPE, Intel, Meta✴ и Microsoft сформировали альянс Ultra Accelerator Link (UALink), который должен составить конкуренцию NVLink.

К UEC за год присоединились ещё полсотни компаний, кроме, конечно, NVIDIA, которая, впрочем, про Ethernet тоже не забывает, хотя периодически получает критику со стороны Broadcom. Единственной альтернативой в деле построения фабрик для более-менее крупных кластеров остаётся Omni-Path Express, развиваемый Cornelis Networks, которая тоже присоединилась к UEC, но доля этой технологии на фоне Ethernet и InfiniBand мизерная. Кроме того, ни одна из этих технологий не может предложить то, что может NVIDIA NVLink — возможность напрямую объединить сотни ускорителей (точнее, их память) сверхбыстрым соединением с низким уровнем задержки.

Источник изображений: UALink via ServeTheHome

NVLink 4 достиг скорости 900 Гбайт/с на ускоритель и впервые вышел за пределы узла, позволив объединить в домен до 256 ускорителей, что NVIDIA и предложила в рамках DGX SuperPod H100. NVLink 5 удвоил пропускную способность до 1,8 Тбайт/с и теоретически позволит объединить до 576 ускорителей в одном домене. Именно NVLink позволил создать высокоплотные суперускорители GH200 NVL32 и GB200 NVL72. И именно их NVIDIA считает минимальной эффективной единицей кластеров ближайшего будущего, предлагая крупным заказчикам на меньшее даже не размениваться.

Intel в семействе Gaudi использует Ethernet (1,2 Тбайт/с на ускоритель) как для вертикального, так и для горизонтального масштабирования. AMD же полагается на Infinity Fabric (896 Гбайт/с на ускоритель) на базе PCIe и xGMI, которые до недавнего времени за пределы узла не выходили. Однако в конце 2023 года было объявлено, что в 2025 году AMD и Broadcom выпустят коммутатор на базе PCIe 7.0 (стандарт планируют только-только утвердить в этом же году), который будет поддерживать технологию, которая теперь называется AFL (Accelerated Fabric Link) — это и будет выходом Infinity Fabric за пределы узла.

И именно совместными наработками AMD и Broadcom поделятся в рамках UALink. Первую версию нового интерконнекта альянс обещает представить уже в III квартале 2024 года, а в IV квартале — версию 1.1. При этом пока прямо не говорится, будет ли основным транспортом PCIe или Ethernet, и какой протокол будет использоваться для работы с памятью. Но уже обещано, что UALink 1.0 позволит объединить до 1024 ускорителей в одном домене с возможностью прямых load/store-запросов к их памяти. Для дальнейшего масштабирования кластеров по-прежнему предлагается использовать Ultra Ethernet.

При этом UALink, строго говоря, не обещает возможности беспрепятственного общения ускорителей разных вендоров, зато позволяет упростить инфраструктуру и сделать её дешевле благодаря открытости и конкуренции. Хотя было бы приятно увидеть UALink в качестве аппаратной основы и для стандарта UXL, который намерен побороться с NVIDIA CUDA. Что касается CXL, то этот стандарт, тоже использующий PCIe в качестве транспорта, вероятно, останется «привязанным» к CPU и внутриузловым коммуникациям, хотя возможности его гораздо шире.

Иракская Informatics and Telecommunications Public Company (ITPC) и кувейтская Zajil Telecom подписали соглашение о создании телекоммуникационной магистрали, ведущей из региона Персидского залива в Европу. Datacenter Dynamics сообщает, что речь идёт о строительстве телеком-коридора через Ирак и Турцию.

В феврале в Красном море у побережья Йемена была нарушена работа кабелей AAE-1, Seacom, Europe India Gateway (EIG) и TGN (Seacom и TGN представляют собой фактически одну систему, управляемую Seacom и Tata Communications). Когда их вновь введут в эксплуатацию — неизвестно. При этом этот морской регион крайне важен для кабельных маршрутов, поскольку через Суэцкий канал проходит 90 % интернет-трафика из Европы в Азию и обратно.

На этом фоне Ирак и Кувейт решили усилить свои стратегические позиции в регионе. Согласно официальным данным, это первый из нескольких иракских проектов по прокладке кабелей, которые должны будут соединить государства Персидского залива, юг и восток Азии с Европой.

Источник изображения: JC Gellidon/unsplash.com

Ирак намерен подписать аналогичные контракты с другими игроками, включая Саудовскую Аравию — на посадку третьего для Ирака кабеля в Эль-Фао (Al-Fāw). Ожидаются и дальнейшие соглашения, которые повысят качество связи Ирака с другими странами региона — Оманом, Саудовской Аравией и Бахрейном. В Эль-Фао ожидается посадка и кабеля 2Africa протяжённостью 45 тыс. км, который должны ввести в эксплуатацию в текущем году.

Источник: Submarine Cable Map / TeleGeography

При этом новые альтернативные маршруты для связи Европы и Азии уже разрабатываются или создаются. Так, «Ростелеком» занимается постройкой «Новой ТрансЕврАзийской волоконно-оптической линии связи» (TEA NEXT). Также есть проект прокладки кабеля от Европы до Грузии и далее через Азербайджан и Казахстан на восток. Предложен и маршрут Россия — Казахстан — Иран с потенциальным присоединением к кабелю 2Africa.

Coherent анонсировала специализированные оптические коммутаторы для ИИ-кластеров высокой плотности. В основу устройств Optical Circuit Switch (OCS) положена фирменная платформа кросс-коммутации Lightwave Cross-Connect (DLX). В изделиях, в отличие от традиционных коммутаторов, не применяются приемопередатчики для преобразования фотонов в электроны и обратно. Вместо этого все операции осуществляются в оптическом тракте: импульсы поступают в один порт и выходят из другого (конечно, с небольшим ослаблением).

Coherent выделяет несколько ключевых преимуществ своей технологии. Прежде всего значительно возрастает производительность, что важно при решении ресурсоёмких задач, связанных с приложениями ИИ. Кроме того, благодаря отказу от преобразования среды сокращаются энерозатраты. Наконец, отпадает необходимость в обновлении собственно коммутаторов при установке в ЦОД оборудования следующего поколения. Это значительно повышает окупаемость капитальных затрат.

Источник изображения: Coherent

Представленное решение насчитывает 300 входных и 300 выходных оптических портов. Коммутаторы OCS помогают решить проблемы масштабируемости и надёжности дата-центров, ориентированных на приложения ИИ. Аналитики Dell'Oro Group отмечают, что для ИИ-задач требуется более высокий уровень отказоустойчивости, нежели для традиционных приложений. Крайне важно, чтобы коммутаторы, используемые в составе ИИ-платформ, не провоцировали никаких перебоев во время обучения или эксплуатации больших языковых моделей. Устройства Coherent, как сообщается, обеспечивают необходимый уровень надёжности.

Массовые поставки новых коммутаторов планируется организовать в 2025 году. При этом Google уже использует в своих дата-центрах оптические коммутаторы (OCS) собственной разработки на базе MEMS-переключателей для формирования ИИ-кластеров, а Meta✴ совместно с MIT разработала систему TopoOpt, представляющую собой оптическую патч-панель с манипулятором, который позволяет менять топологию сети.

Консорциум Ultra Ethernet объявил о том, что в его состав вошли 45 новых участников. Таким образом, на сегодняшний день общее количество членов этой организации достигает 55. К участию в Ultra Ethernet приглашаются и другие заинтересованные компании и институты.

Напомним, консорциум был создан в июле 2023 года. Его задача заключается в разработке основанной на Ethernet открытой высокопроизводительной архитектуры с полным коммуникационным стеком, отвечающей задачам современных рабочих нагрузок ИИ и НРС. Изначально в состав Ultra Ethernet входили AMD, Arista, Broadcom, Cisco, Eviden (Atos), HPE, Intel, Meta✴ и Microsoft. Позднее к консорциуму присоединилась компания Cornelis Networks, поставщик HPC-интерконнекта на базе Omni-Path.

Источник изображения: Ultra Ethernet

С ноября 2023-го организация начала принимать новых участников в массовом порядке. С тех пор инициативу поддержали Nokia, Lenovo, Baidu, Dell, Huawei, IBM, Supermicro, Tencent и многие другие компании. Примечательно, что в списке участников так и нет AWS, Google и NVIDIA. Последняя по-прежнему считает InfinBand лучшим интерконнектом для HPC/ИИ-кластеров и является фактически единственным поставщиком данной технологии. Более того, даже Ethernet-решения NVIDIA подвергаются критике со стороны конкурентов.

Источник изображения: Ultra Ethernet

Для тех, кто заинтересован в работах в рамках проекта, Ultra Ethernet предлагает различные варианты участия через восемь технических групп. В их число, в частности, входят физический, транспортный и программный уровни, хранение, управление, отладка и пр. В настоящее время ведётся активная работа над спецификацией Ultra Ethernet версии 1.0: представить её планируется в III квартале текущего года. Ожидается, что совместная работа десятков IT-компаний в перспективе позволит создать революционные коммуникационные платформы.

Дополнением к только что представленным ИИ-ускорителям NVIDIA Blackwell станут новые сетевые 800G-платформы Quantum-X800 и Spectrum-X800, а также сетевые адаптеры ConnectX-8. Именно они позволят вывести масштабирование ИИ-кластеров на новый уровень и позволят «прокормить» гигантские массивы ускорителей в дата-центрах гиперскейлеров.

Платформа NVIDIA Quantum-X800 ориентирована на наиболее производительные ИИ- и HPC-кластеры. Она использует новое поколение технологии InfiniBand, всё ещё обладающей рядом преимуществ в сравнении с Ethernet, и включает в себя обновлённые SHARP-движки. Технология SHARPv4 реализует «вычисления в сети» (In-Network Computing), что позволяет не только существенно разгрузить вычислительные узлы и серверы, но и обеспечить более высокую пропускную способность интерконнекта вкупе с более серьёзными возможностями его масштабирования.

NVIDIA Q3400-RA 4U (справа) и SN5600. Источник изображений здесь и далее: NVIDIA

Основой платформы Quantum-X800 стал 4U-коммутатор Q3400-RA, впервые в индустрии, как говорит компания, использующий 200G-блоки SerDes для каждой линии InfiniBand. Коммутатор располагает 144 портами 800G в 72 OSFP-модулях и выделенным портом для Unified Fabric Manager. Новинка имеет стандартное 19″ исполнение с воздушным охлаждением, но есть и вариант Q3400-LD с жидкостным охлаждением, предназначенный для 21″ OCP-стоек. В двухуровневом варианте fat tree коммутаторы позволят объединить 10 368 NIC.

Основным адаптером для новой платформы InfiniBand является ConnectX-8 SuperNIC с интерфейсом PCIe 6.0. Он является частью SHARPv4 и предлагается в однопортовом (OSFP224) и двухпортовом (QSFP112) вариантах и в нескольких форм-факторах, включая OCP 3.0. На платах также имеется разъём SocketDirect на 16 линий PCIe. Также компания представила компоненты NVIDIA LinkX: оптические трансиверы 2xDR4/2xFR4 и активные медные кабели (LACC).

Не забыла NVIDIA и про Ethernet: здесь вывести производительность сети на новый уровень должна платформа Spectrum-X800. Её основой служит новейший коммутатор SN5600 — это, по словам NVIDIA, первый в мире Ethernet-коммутатор класса 800GbE, специально разработанный для применения гиперскейлерами в крупных облачных ИИ-комплексах. Применяемая архитектура позволяет гарантировать каждому клиенту оптимальный и постоянный уровень производительности, а потоковая телеметрия позволит находить и ликвидировать возможные «бутылочные горлышки» в сети буквально на лету.

Общая пропускная способность SN5600 составляет 51,2 Тбит/с. Коммутатор располагает 64 портами 800GbE в формате OSFP. В нём используется ASIC пятого поколения на базе архитектуры Spectrum-4. В качестве основного адаптера предлагается SuperNIC на базе DPU BlueField-3 с двумя 400GbE-портами.

Фото: Twitter/NVIDIANetworkng

Spectrum-X800 сопровождает полноценный спектр инфраструктурных компонентов, включая кабели DAC и LACC. С оптическими трансиверами длина соединения 800GbE может достигать двух километров. Начиная со следующего года, решения на базе новых сетевых платформ NVIDIA будут доступны от широкого круга поставщиков оборудования, включая Aivres, DDN, Dell Technologies, Eviden, Hitachi Vantara, HPE, Lenovo, Supermicro и VAST Data.

Молодая компания DustPhotonics, занимающаяся разработкой решений в области кремниевой фотоники, по сообщению ресурса Datacenter Dynamics, провела раунд финансирования Series B, в рамках которого на развитие привлечено $24 млн. Деньги пойдут в том числе на расширение продуктового ассортимента.

DustPhotonics была основана в 2017 году, а её штаб-квартира располагается в Израиле. Изначально она специализировалась на выпуске трансиверов, но в 2021-м закрыла это направление и занялась кремниевой фотоникой. Компания разрабатывает оптические модули для дата-центров и коммерческих заказчиков, которые используют ресурсоёмкие НРС- и ИИ-приложения.

Источник изображения: DustPhotonics

Средства по программе финансирования Series B предоставили как существующие, так и новые инвесторы, включая Sienna Venture Capital, Greenfield Partners, Atreides Management и Exor Ventures. Используя привлечённый капитал, DustPhotonics планирует расширить производство продуктов Carmel-4 и Carmel-8, поддерживающих скорость передачи данных 400 Гбит/с и 800 Гбит/с соответственно, причём вариант Carmel-8-IMC совместим с погружными СЖО. Кроме того, компания ускорит разработку продуктов следующего поколения класса 1,6 Тбит/с.

Таким образом, на сегодняшний день DustPhotonics привлекла в общей сложности $61 млн в ходе трёх раундов финансирования. Причём в 2021 году после инвестиционной программы на сумму в $33 млн компания уволила около 80 сотрудников с целью реорганизации бизнеса. Решения в области кремниевой фотоники проектируют и другие стартапы, включая фирму Ayar Labs, которая была основана в 2015 году. В прошлом году эта компания получила на развитие $25 млн.

Инфраструктурная компания Prima и Alcatel Submarine Networks объявили о намерении проложить передовой многоцелевой кабель SMART от островов Новой Каледонии до Вануату в рамках проекта TAM TAM. Блог IEEE Communication Society сообщает, что кабель свяжет Порт-Вила (Вануату) и остров Лифу (Новая Каледония) к 2026 году.

В проекте TAM TAM принимают участие власти Вануату, телеком-оператор OPT (Office des Postes et Télécommunications) Новой Каледонии и Французское правительство. Проект не только призван обеспечить прокладку кабеля в Новую Каледонию с дальнейшими магистралями в Австралию и Фиджи — жизненно важной целью проекта является мониторинг окружающей среды. Инновационная технология, как ожидается, обеспечит революцию в системах раннего предупреждения о стихийных бедствиях в тихоокеанском бассейне.

Кабель описывается, как «первый в мире», не только обеспечивающий телекоммуникации, но и оснащённый сенсорами для мониторинга различных природных явлений в режиме реального времени — включая сбор данных о цунами и землетрясениях. Ранее аналогичный экспериментальный SMART-кабель (Science Monitoring And Reliable Telecommunications) был проложен в водах Италии. Система датчиков, интегрированных в телекоммуникационные кабели, позволяет существенно сократить расходы на мониторинг морского ложа.

Источник изображения: IEEE ComSoc

По данным участников проекта, использование новой технологии в районе разлома Новые Гебриды обеспечит исследование сейсмоопасной зоны и защиту 650 тыс. жителей, подвергающихся рискам цунами и землетрясений. Полученная информация будет доступна без лицензий, собранные данные будут храниться в защищённом ЦОД в Новой Каледонии.

Американский регулятор присвоил высокий приоритет расследованию об использовании телеком-операторами США старых кабелей в свинцовой оболочке. Как сообщает The Wall Street Journal (WSJ), Агентство по охране окружающей среды (EPA) запросило встречу с участниками местного рынка телекоммуникационных услуг в связи с тем, что AT&T, Verizon и другие операторы до сих пор не избавились от кабелей, признанных небезопасным ещё в середине прошлого века.

В результате делом занялось EPA, которое выявило превышение уровня свинца выше максимально допустимого для безопасности детей в более чем сотне проб, взятых с мест расположения кабелей в свинцовых оболочках в трёх штатах. Агентство намерено взять дополнительные пробы в других местах. Ассоциация United States Telecom Association (USTelecom), представляющая интересы операторов США, сообщила, что Verizon сотрудничает с EPA. С аналогичным заявлением самостоятельно выступила и AT&T.

Источник изображения: NANDKUMAR PATEL / Unsplash

Операторы, в ведении которых находятся старые освинцованные кабели, заявили, что те не несут угрозы и вообще не являются основным источником загрязнения природы. Однако прошлогоднее расследование WSJ показало, что свинец из старых кабелей со временем попадает в окружающую среду — в воду, почву и воздух. Превышение норм было выявлено в самых разных концах страны. Пробы из окрестностей 130 кабелей были признаны токсичными сразу несколькими независимыми лабораториями. После этого вопросом заинтересовались американские сенаторы.

Журналисты заявили, что скрытыми источниками загрязнения являются более 2 тыс. старых магистралей, причём с проблемой не спешили бороться ни ответственные за них компании, ни природоохранные ведомства. Хотя телеком-операторы не применяют кабели в свинцовой оболочке с 1960-х годов, старые магистрали, как правило, остаются там же, где их когда-то проложили, даже если по соседству с ними проведены оптоволоконные линии. По некоторым оценкам, утилизация или нейтрализация токсичных кабелей обойдётся операторам в $60 млрд.

Регуляторы США, отвечающие за вопросы здравоохранения и защиты окружающей среды, подчёркивают, что загрязнение свинцом может подрывать здоровье людей — металл влияет на почки, сердце, репродуктивные способности и психическое развитие, причём «безопасной» дозы фактически не существует, особенно для детей. Свинец может довольно долго оставаться в кровотоке и десятилетиями накапливаться во внутренних органах и костях.