Производительность любого современного суперкомпьютера или кластера во многом зависит от интерконнекта, объединяющего вычислительные узлы в единое целое, и практически обязательным компонентом такой сети является коммутатор. Однако последнее не аксиома: компания Rockport Networks представила своё видение HPC-систем, не требующее использования традиционных коммутирующих устройств.

Проблема межсоединений существовала в мире суперкомпьютеров всегда, даже в те времена, когда сам процессор был набором более простых микросхем, порой расположенных на разных платах. В любом случае узлы требовалось соединять между собой, и эта подсистема иногда бывала неоправданно сложной и проблемной. Переход на стандартные сети Ethernet, Infiniband и их аналоги многое упростил — появилась возможность собирать суперкомпьютеры по принципу конструктора из стандартных элементов.

Пассивный оптический коммутатор SHFL

Тем не менее, проблема масштабирования (в том числе и на физическом уровне кабельной инфраструктуры), повышения скорости и снижения задержек никуда не делась. У DARPA даже есть особый проект FastNIC, нацеленный на 100-кратное ускорение сетевых интерфейсов, чтобы в конечном итоге сгладить разницу в скорости обмена данными внутри узлов и между ними.

Сам по себе высокоскоростной коммутатор для HPC-систем — устройство непростое, требующее использования недешёвого и сложного кремния, и вкупе с остальными компонентами интерконнекта может составлять заметную долю от стоимости всего кластера в целом. При этом коммутаторы могут вносить задержки, по определению являясь местами избыточной концентрации данных, а также требуют дополнительных мощностей подсистем питания и охлаждения.

Подход, продвигаемый компанией Rockport Networks, свободен от этих недостатков и изначально нацелен на минимизацию точек избыточности и возможных коллизий. А достигнуто это благодаря архитектуре, в которой концепция традиционного сетевого коммутатора отсутствует изначально. Вместо этого имеется специальный модуль SHFL, в котором топология сети задаётся оптически, а все логические задачи берут на себя специализированные сетевые адаптеры, работающие под управлением фирменной ОС rNOS и имеющие на борту сконфигурированную нужным образом ПЛИС.

Модуль SHFL даже не требует отдельного электропитания, а вот адаптеры Rockport NC1225 его хотя и требуют, но умещаются в конструктив низкопрофильного адаптера с разъёмом PCIe x16 и потребляют всего 36 Вт. Правда, в настоящий момент речь идёт только о PCIe 3.0, поэтому полнодуплексного подключения на скорости 200 Гбит/с пока нет. Тем не менее, Техасский центр передовых вычислений (TACC) посчитал, что этого уже достаточно и стал одним из первых заказчиков — 396 узлов суперкомпьютера Frontera используют решение Rockport.

Использование не совсем традиционной оптической сети, впрочем, накладывает свои особенности: вместо популярных *SFP-корзин используются разъёмы MTP/MPO-24, а каждый кабель даёт для подключения 12 отдельных волокон, что при скорости 25 Гбит/с на волокно позволит достичь совокупной пропускной способности 300 Гбит/с. ОС и приложениям адаптер «представляется» как чип Mellanox ConnectX-5, который и входит в его состав, а потому не требует каких-то особых драйверов или модулей ядра.

Rockport фактически занимается транспортировкой Ethernet и реализует уровень OSI 1/1.5, однако традиционной коммутации как таковой нет — адаптеры самостоятельно определяют конфигурацию сети и оптимальные маршруты передачи сигнала по отдельным волокнам с возможностью восстановления связности на лету при каких-либо проблемах. Весь трафик разбивается на маленькие кусочки (FLIT'ы) и отправляется по виртуальным каналам (VC) с чередованием, что позволяет легко управлять приоритизацией (в том числе на L2/L3) и снизить задержки.

SHFL имеет 24 разъёма для адаптеров и ещё 9 для объединения с другими SHFL и Ethernet-шлюзами для подключения к основной сети ЦОД (в ней сеть Rockport видна как обычная L2). Таким образом, в составе кластера каждый узел может быть подключён как минимум к 12 другим узлам на скорости 25 Гбит/с. Однако топологию можно менять по своему усмотрению. Компания-разработчик заявляет о преимуществе своего интерконнекта на классических HPC-задачах, могущем достигать почти 30% при сравнении c InfiniBand класса 100G и даже 200G. Кроме того, для Rockport требуется на 72% меньше кабелей.

Консорциум 2Africa по прокладке одной из самых дорогостоящих в мире подводных волоконно-оптических линий сообщили о добавлении четырёх новых ветвей. Таким образом, в общей сложности инфраструктура подключений будет насчитывать 35 точек в 26 странах.

В проект 2Africa входят China Mobile International, Facebook✴, MTN GlobalConnect, Orange, STC, Telecom Egypt, Vodafone и WIOCC. В рамках инициативы будет проложен кабель протяжённостью приблизительно 37 тыс. км, который свяжет Африку, Европу и Средний Восток. В число новых планируемых подключений вошли Сейшельские острова, Коморские острова, Ангола, а также точка на юго-востоке Нигерии. Не так давно было объявлено о включении в проект Канарских островов.

Первичный маршрут 2Africa

О проекте 2Africa впервые стало известно в мае прошлого года. На сегодняшний день выполнена основная часть морских разведывательных работ; ведётся изготовление кабеля. Ввести линию в эксплуатацию планируется к 2024 году. Высокоскоростная магистраль, стоимость которой оценивается почти в $1 млрд, обеспечит скоростным доступом в интернет огромное количество пользователей, которые проживают в соответствующем регионе.

Google и Facebook✴ реализуют крупномасштабный проект под кодовым названием Apricot по обеспечению высокоскоростным интернет-доступом ряда стран Азиатско-Тихоокеанского региона. Речь идёт о прокладке подводной магистрали протяжённостью приблизительно 12 тыс. км.

В рамках проекта будут проложены две волоконно-оптические линии — Echo и Bifrost. Они свяжут Азиатско-Тихоокеанский регион с Северной Америкой. В настоящее время проект ждёт одобрения со стороны регулирующих органов. Предполагается, что после ввода новых линий в эксплуатацию начальная пропускная способность превысит 190 Тбит/с. Магистраль свяжет Японию, Тайвань, Гуам, Филиппины, Индонезию и Сингапур.

Завершить работы в рамках инициативы Apricot планируется в 2024 году. Проект поможет Google и Facebook✴ улучшить доступность своих многочисленных сервисов для пользователей в регионе. Отмечается, что каналы Echo и Bifrost смогут поддерживать растущие объёмы трафика для сотен миллионов пользователей и миллионов бизнес-структур.

Google объявила о планах проложить новый подводный кабель Firmina, который протянется от восточного побережья США до Лас-Тонинаса в Аргентине. В южной части он получит дополнительные ответвления до Прайя-Гранде (Бразилия) и Пунта-дель-Эсте (Уругвай). Кабель назван в честь бразильской писательницы и аболиционистки XIX века Марии Фирмины дос Рейс (Maria Firmina dos Reis).

Кабель будет включать 12 оптоволоконных пар (ёмкость пока не уточняется) и позволит южноамериканским пользователям получить быстрый доступ с малой задержкой к продуктам Google, включая поиск, Gmail, YouTube и облачные сервисы Google Cloud. Этот кабель станет 16-м по счёту, в постройку которого вложилась Google.

Уникальным Firmina делает то, что он будет самым длинным кабелем в мире, способным работать от одного источника питания на любом из его концов. Даже если один из источников станет временно недоступным, второй сможет обеспечить полную работоспособность кабеля, что повышает устойчивость и надёжность связи. Достигается это за счёт подачи более высокого (+20%) напряжения, чем в аналогичных решениях.

Обычным кабелям требуются дополнительные усилители, которые устанавливаются примерно через каждые 100 км. Для их питания необходимо высокое напряжение, которое подаётся с береговых станций. И если на коротких дистанциях можно организовать питание только с одного конца, то с увеличением длины кабеля и числа волокон это становится всё более трудной задачей.

Компания Google объявила о планах проложить новый оптоволоконный кабель Blue-Raman стоимостью $400 млн, который соединит Индию и Италию и пройдёт через Израиль. Ожидается, что кабель достигнет Израиля в 2022 году, сообщил ресурс Haaretz.

Участок кабеля Raman, названный в честь индийского лауреата Нобелевской премии Венката Рамана и разрабатываемый компанией Omantel, начинается в Мумбаи, далее он будет проложен по дну Индийского океана и по суше через пока не указанную страну (скорее всего, Саудовскую Аравию), вплоть до иорданского порта Акаба.

Здесь Raman соединят с другим участком кабеля под названием Blue, разрабатываемым Sparkle Telecom Italia, который пройдёт через Израиль, затем вдоль Средиземного моря до Генуи (Италия). Используя Израиль в качестве соединительной точки на Ближнем Востоке, Google избегает Египта, где проложено значительное количество подводных кабелей.

Отраслевой эксперт Сунил Тагар (Sunil Tagare) отметил, что прокладка кабеля через Египет обойдётся чрезвычайно дорого, поскольку страна взимает дополнительную плату за это. «Этот кабель не только обеспечит максимальное разнообразие маршрутов, проходящих через Израиль, но и снизит стоимость трафика из Азии в Европу как минимум на 50 %», — утверждает эксперт.

Источник изображения: Submarine Cable Map

Он высказал мнение, что есть и другая причина для прокладки этого оптоволоконного кабеля. В прошлом году индийский телекоммуникационный гигант Reliance Jio Infocomm заключил партнёрские отношения с Microsoft и, как утверждается, затем потребовал от Google более высокой платы за использование кабеля India-Asia-Xpress (IAX), который соединит Мумбаи и Ченнаи с Сингапуром.