Шина PCI Express давно стала стандартом де-факто: она не требует много контактов, её производительность в пересчёте на линию уже достигла ≈4 Гбайт/с (32 ГТ/с) в версии PCIe 5.0, а использование стека CXL сделает PCI Express поистине универсальной. Но для соединения чиплетов или межпроцессорной коммуникации эта шина в текущем её виде подходит не лучшим образом.

Но использование проприетарных технологий существенно ограничивает потенциал чиплетных решений, и для преодоления этого ограничения в марте этого года 10-ю крупными компаниями-разработчиками, включая AMD, Qualcomm, TSMC, Arm и Samsung, был основан новый стандарт Universal Chiplet Interconnect Express (UCIe).

Изображение: UCIe Consortium

Уже первая реализация UCIe должна превзойти PCI Express во многих аспектах: если линия PCIe 5.0 представляет собой четыре физических контакта с пропускной способностью 32 ГТ/с, то UCIe позволит передавать по единственному контакту до 12 Гбит/с, а затем планка будет повышена до 16 Гбит/с. При этом энергопотребление у UCIe ниже, а эффективность — выше. На равном с PCIe расстоянии новый стандарт может быть вчетверо производительнее при том же количестве проводников.

В перспективе эта цифра может быть увеличена до 10–20 раз, то есть, узким местом между чиплетами UCIe явно не станет. Более того, новый интерконнект не только изначально совместим с CXL, но и гораздо лучше приспособлен к задачам дезагрегации. Иными словами, быстрая связь напрямую между чиплетами возможна не только в одной упаковке или внутри узла, но и за его пределами.

Изображение: UCIe Consortium

Весьма заинтересована в новом стандарте Intel, которая планирует использовать UCIe таким образом, что в процессорах нового поколения ядра x86 смогут соседствовать с Arm или RISC-V. При этом планируется обеспечить совместимость UCIe с технологиями упаковки Intel EMIB и TSMC CoWoS, заодно добавив поддержку других шин, в том числе Arm AMBA, а также возможность легкой конвертации в проприетарные протоколы других разработчиков.

В настоящее время Intel уже есть несколько примеров использования UCIe. Так, в одном из вариантов с помощью новой шины к процессорным ядрам подключаются ускорители и блок управления, а упаковка EMIB используется для подключения чипа к дезагрегированной памяти DDR5 и линиям PCI Express.

Cornelis Networks, созданная выходцами из Intel для дальнейшего развития интерконнекта Omni-Path (OPA), получила контракт на исследования и разработки с Национальным управлением ядерной безопасности Министерства энергетики (NNSA) США стоимостью $18 млн. Cornelis сообщила, что выделенных средств в совокупности с другими инвестициями вполне достаточно для создания программного-аппаратных решений OPA-400 (400 Гбит/с), которые должны появиться уже в следующем году.

В рамках проекта Next-Generation High Performance Computing Network (NG-HPCN) Cornelis и NNSA займутся разработкой и производством технологий интерконнекта следующего поколения для поддержки научных и инженерных рабочих нагрузок NNSA, а также высокопроизводительных вычислений (HPC). Курировать проект будет Ливерморская национальная лаборатория Лоуренса (LLNL) при участии ещё двух лабораторий NNSA — Лос-Аламосской (LANL) и Сандийской (SNL) национальных лабораторий.

Изображение: NHR

Напомним, что Intel отказалась от развития Omni-Path в 2019 году. Годом позже было объявлено, что все наработки по OPA переходят к Cornelis Networks, которая анонсировала 100-Гбит/с решения под брендом Omni-Path Express (OPX). OPX является несколько доработанной версией OPA-100. в частности, появилась поддержка фреймворка Open Fabrics Interface (OFI), разработанного альянсом OpenFabrics Alliance (OFA). OPX-решения станут массово доступны в течение ближайших недель.

А вот поколение OPA-200 (200 Гбит/с) компания решила пропустить, сосредоточившись на развитии OPA-400. Полученные от NNSA средства пойдут на развитие открытой (open source) программной платформы, ускорение моделирования будущих сетей на базе OPA-400 и разработка коммутационной инфраструктуры для OPA-400. Конкурировать Cornelis придётся в первую очередь с NVIDIA, которая ещё в позапрошлом году анонсировала 400-Гбит/с решения InfiniBand NDR.

Контракт с Cornelis финансируется из бюджета программы Advanced Simulation Computing (ASC) NNSA в рамках инвестиционного портфеля инициативы Exascale Computing Initiative (ECI). В рамках данной программы шести поставщикам технологий (в том числе и Intel, создавшей Omni-Path) были выделены средства на развития решений для экзафлопсных вычислений в США. Конечная цель Cornelis в рамках контракта с NNSA — подготовка нового поколения интерконнекта для будущих суперкомпьютеров экзафлопсного класса.

Компания Ayar Labs, разработчик оптического чиплета-трансивера TeraPHY, объявила об успешном проведении раунда финансирования серии С, в результате которого было привлечено $130 млн. Полученные средства будут направлены на коммерциализацию её решений в области интегрированной кремниевой фотоники.

Возглавила раунд финансирования Boardman Bay Capital Management. В нём приняли участие Hewlett Packard Enterprise (HPE) и NVIDIA, которые присоединились к существующим стратегическим инвесторам Applied Ventures LLC, GlobalFoundries, Intel Capital и Lockheed Martin Ventures. HPE ранее уже объявила, что заинтересована в использовании решений компании в следующем поколении фирменного интерконнекта Slingshot.

Изображение: Ayar Labs

Билл Далли (Bill Dally), главный научный сотрудник и старший вице-президент по исследованиям в NVIDIA отметил, что Ayar Labs обладает уникальной IO-технологией, которая отвечает потребностям масштабирования архитектур следующего поколения на основе кремниевой фотоники. Он заявил, что оптическая связь будет иметь важное значение при масштабировании кластеров ускорителей для удовлетворения быстрорастущих потребностей рабочих нагрузок ИИ и высокопроизводительных вычислений (HPC).

Изображение: NVIDIA

Благодаря внедрению оптических трансиверов непосредственно в чипы решение Ayar Labs позволяет устранить узкие места при объединении массивов чипов, связанные с пропускной способностью, энергопотреблением, задержкой сигнала и дальностью связи. Продукты компании помогут создать новые, ранее нереализуемые решения для ИИ, HPC, облачных, телекоммуникационных, аэрокосмических и иных приложений.

Компания вместе с MACOM, Sivers Semiconductors и Lumentum работает над созданием лазеров SuperNova. Чиплеты будут производиться GlobalFoundries с использованием новой монолитной кремниевой фотонной платформы GF Fotonix. GlobalFoundries является стратегическим инвестором Ayar Labs, впрочем, как и Hewlett Packard через своё подразделение Hewlett Packard Pathfinder.

Японская Организация по развитию новых энергетических и промышленных технологий (NEDO) выбрала Fujitsu для участия в проекте «Зелёный инновационный фонд/Строительство цифровой инфраструктуры нового поколения» (Green Innovation Fund Project/Construction of Next Generation Digital Infrastructure). Компания присоединится к подпроекту «Разработка технологий зелёного центра обработки данных нового поколения». Также в нём примут участие NEC, AIO Core, KIOXIA, Fujitsu Optical Components и KYOCERA.

В связи с постоянно растущей потребностью ЦОД в энергии, NEDO запустила программу, направленную на достижение экономии энергии до 40% и более в дата-центрах Японии к 2030 году. В рамках проекта компании займутся разработкой инновационных решений для повышения энергоэффективности и увеличения ёмкости дата-центров, а также снижения задержек при обмене данными в ЦОД, чтобы способствовать созданию углеродно-нейтрального общества.

Источник изображения: Fujitsu

В частности, Fujitsu возглавит разработку процессоров с низким энергопотреблением и интеллектуальных сетевых решений на основе фотоники, оптимизированных для экологичных ЦОД следующего поколения. Системы на базе фотоники компания будет создавать совместно с родственной Fujitsu Optical Components. Этой же задачей будут заниматься AIO Core, NEC и KYOCERA.

В активе Fujitsu уже есть самый производительный в мире суперкомпьютер Fugaku, поэтому компания продолжит совершенствовать эту технологию и разработает CPU с низким энергопотреблением. Дополнят их ещё два ключевых компонента: разрабатываемые NEC ускорители с низким энергопотреблением и поддержкой дезагрегации и создаваемые KIOXIA твердотельные накопители с высокой пропускной способностью.

Летом прошлого года компания Ayar Labs успешно продемонстрировала свои успехи на ниве интегрированной фотоники: оптический трансивер TeraPHY в сочетании с мультиволновым лазером SuperNova показали скорость на уровне 1024 Тбит/с, причём все восемь оптических каналов работали без прямой коррекции ошибок. Нет ничего удивительного в том, что технологиями Ayar Labs заинтересовался один из крупнейших в мире поставщиков суперкомпьютеров, компания HPE.

В современных системах HPE используется фирменный интерконнект Cray Slingshot, а теперь компании объединили усилия для создания новой версии этой технологии, но уже базирующейся на принципах фотоники. Эти принципы, напомним, подразумевают более тесную интеграцию электронных и оптических технологий, нежели в традиционных сетях с отдельными трансиверами. Пока о результатах говорить рано, не определены даже точные временные рамки, но речь идёт, как минимум, о «нескольких поколениях» Slingshot.

В первую очередь на базе решений Ayar Labs будет разработан новый, более экономичный и энергоэффективный коммутатор с гибридной ASIC, затем дело должно дойти и до периферийных адаптеров. Также речь идёт о дезагрегации: подразумевается создание прямого оптического интерконнекта, могущего связать воедино CPU, ускорители, FPGA и пулы памяти. Это обещает выигрыши в энергоэффективности и дальности таких соединений, а отсутствие в цепочке передачи данных лишних преобразований из электросигнала в оптический (и наоборот) позволит снизить латентность.

Ayar Labs действительно неплохо продвинулась в области разработки гибридных электронно-оптических чипов и многоволновых лазеров, которые могут параллельно обслуживать до 256 каналов передачи данных. Внедрение фотоники в сфере HPC обсуждалось десятилетиями, но лишь сейчас сделаны первые серьёзные шаги в этом направлении — и это во многом заслуга именно Ayar Labs.

Стартап Rockport Networks объявил о назначении Марка Сульцбау (Marc Sultzbaugh) вторым генеральным содиректором (co-CEO). Являющийся членом совета директоров Rockport с декабря 2020 года, Сульцбау будет руководить компанией вместе с соучредителем и первым генеральным содиректором Rockport Networks Дугом Карвардином (Doug Carwardine).

До прихода в Rockport Сульцбау 20 лет проработал в Mellanox Technologies, известном поставщике сетевых решений InfiniBand и Ethernet. Он начал работу в компании на должности директора по продажам в 2001 году и покинул её в 2020 году, будучи на тот момент старшим вице-президентом по маркетингу. На новой должности в Rockport Сульцбау будет отвечать за все аспекты роста компании, включая управление продуктами, маркетинг, продажи, производство и отношения с клиентами.

Изображения: Rockport

В свою очередь, Карвардин будет курировать научно-исследовательские и опытно-конструкторские работы, а также отвечать за финансовое управление компании. О кадровых изменениях было объявлено через неделю после того, как Rockport закрыла раунд финансирования на $48 млн, который возглавила Northern Private Capital, в результате чего общий объём финансирования стартапа составил чуть менее $100 млн.

Полученные инвестиции стартап направит на коммерциализацию своего продукта: безкоммутаторной сетевой 300GbE-платформы, представленной в октябре. Вместо того, чтобы полагаться на коммутаторы, Rockport предложил распределять сетевые функции по каждому узлу, которые напрямую связаны друг с другом через пассивные оптические кабели. Фактически управление трафиком осуществляется на уровне узла с помощью сетевых адаптеров Rockport NC1225 на базе чипов Mellanox.

Подразделение Intel Labs открыло Исследовательский центро интегрированной фотоники для интерконнектов ЦОД. Основной задачей нового подразделения будет ускорение инноваций в области оптический IO-технологий для повышении производительности и степени интеграции. Особый акцент будет сделан на фотонных устройствах, КМОП-схемах, архитектуре соединений, корпусировании, а также оптоволоконной коммутации.

Индустрия быстро приближается к практическим пределам производительности I/O-устройств, основанных на электронной передаче сигналов. Джеймс Яусси (James Jaussi), директор исследовательской лаборатории PHY в Intel Labs, убеждён, что ни одна организация не сможет в одиночку успешно воплотить в реальность все инновации, необходимые для преодоления этого барьера производительности.

Изображение: Intel

Для создания нового поколения оптических интерконнектов Intel намерена сотрудничать с университетами и известными учёными по всему миру. Джон Бауэрс (John Bowers) из Калифорнийского университета в Санта-Барбаре возглавляет работу над созданием гетерогенных, интегрированных в кремний арсенид-индиевых (InAs) лазеров на квантовых точках. Паван Кумар Ханумолу (Pavan Kumar Hanumolu) из Университета Иллинойса в Урбан-Шампейне руководит созданием оптических трансиверов сверхнизкой мощности с трансимпедансными усилителями, схемами тактирования и синхронизации. Арка Маджумдар (Arka Majumdar) из Вашингтонского университета занимается кремниевыми фотонными переключателями с малыми потерями на базе материалов с халькогенидным фазовым переходом, которые способны сохранять заданное состояние без подачи питания.

Изображение: Intel

К работе центра присоединились также учёные из других научных центров США в Техасе, Орегоне, Калифорнии. Они ведут исследования по таким направлениям как оптические трансиверы для высокопроизводительной системы фотонных соединений, кремниевые микродинамические модуляторы с высокой пропускной способностью, интегрированные на кремниевой пластине волноводные линзы, атермальные модуляторы и резонансные фотоприёмные интегральные схемы с пропускной способностью до 40 Тбит/с и плотностью подключения 16 Тбит/с/мм, 3D-упаковка для вертикальной интеграции фотонных и электронных интегральных схем с высокой плотностью соединений.

NVIDIA, нынешний владелец Mellanox, представила обновления своих решений InfiniBand NDR: коммутаторы Quantum-2, сетевые адаптеры ConnectX-7 и ускорители DPU BlueField-3. Это весьма своевременный апдейт, поскольку 400GbE-решения набирают популярность, а с приходом PCIe 5.0 в серверный сегмент станут ещё более актуальными.

Первый и самый важный анонс — это платформа Quantum-2. Новый коммутатор не только обеспечивает вдвое более высокую пропускную способность на порт (400 Гбит/с против 200 Гбит/c), но также предоставляет в три раза больше портов, нежели предыдущее поколение. Это сочетание позволяет снизить потребность в коммутаторах в 6 раз при той же суммарной ёмкости сети. При этом новая более мощная инфраструктура также окажется более экономичной и компактной.

NVIDIA Quantum-2 (Здесь и ниже изображения NVIDIA)

Более того, Quantum-2 относится к серии «умных» устройств и содержит в 32 раза больше акселераторов, нежели Quantum HDR первого поколения. В нём также реализована предиктивная аналитика, позволяющая избежать проблем с сетевой инфраструктурой ещё до их возникновения; за это отвечает технология UFM Cyber-AI. Также коммутатор предлагает синхронизацию времени с наносекундной точностью, что важно для распределённых нагрузок.

7-нм чип Quantum-2 содержит 57 млрд транзисторов, то есть он даже сложнее A100 с 54 млрд транзисторов. В стандартной конфигурации чип предоставляет 64 порта InfiniBand 400 Гбит/с, однако может работать и в режиме 128 × 200 Гбит/с. Коммутаторы на базе нового сетевого процессора уже доступны у всех крупных поставщиков серверного оборудования, включая Inspur, Lenovo, HPE и Dell Technologies. Возможно масштабирование вплоть 2048 × 400 Гбит/с или 4096 × 200 Гбит/с.

NVIDIA ConnectX-7

Конечные устройства для новой инфраструктуры InfiniBand доступны в двух вариантах: это относительно простой сетевой адаптер ConnectX-7 и куда более сложный BlueField-3. В первом случае изменения, в основном, количественные: новый чип, состоящий из 8 млрд транзисторов, позволил вдвое увеличить пропускную способность, равно как и вдвое же ускорить RDMA и GPUDirect.

NVIDIA BlueField-3

DPU BlueField-3, анонсированный ещё весной этого года, куда сложнее с его 22 млрд транзисторов. Он предоставляет гораздо больше возможностей, чем обычный сетевой адаптер или SmartNIC, и крайне важен для будущего развития инфраструктурных решений NVIDIA. Начало поставок ConnectX-7 намечено на январь, а вот BlueField-3 появится только в мае 2021 года. Оба адаптера совместимы с PCIe 5.0.

Производительность любого современного суперкомпьютера или кластера во многом зависит от интерконнекта, объединяющего вычислительные узлы в единое целое, и практически обязательным компонентом такой сети является коммутатор. Однако последнее не аксиома: компания Rockport Networks представила своё видение HPC-систем, не требующее использования традиционных коммутирующих устройств.

Проблема межсоединений существовала в мире суперкомпьютеров всегда, даже в те времена, когда сам процессор был набором более простых микросхем, порой расположенных на разных платах. В любом случае узлы требовалось соединять между собой, и эта подсистема иногда бывала неоправданно сложной и проблемной. Переход на стандартные сети Ethernet, Infiniband и их аналоги многое упростил — появилась возможность собирать суперкомпьютеры по принципу конструктора из стандартных элементов.

Пассивный оптический коммутатор SHFL

Тем не менее, проблема масштабирования (в том числе и на физическом уровне кабельной инфраструктуры), повышения скорости и снижения задержек никуда не делась. У DARPA даже есть особый проект FastNIC, нацеленный на 100-кратное ускорение сетевых интерфейсов, чтобы в конечном итоге сгладить разницу в скорости обмена данными внутри узлов и между ними.

Сам по себе высокоскоростной коммутатор для HPC-систем — устройство непростое, требующее использования недешёвого и сложного кремния, и вкупе с остальными компонентами интерконнекта может составлять заметную долю от стоимости всего кластера в целом. При этом коммутаторы могут вносить задержки, по определению являясь местами избыточной концентрации данных, а также требуют дополнительных мощностей подсистем питания и охлаждения.

Подход, продвигаемый компанией Rockport Networks, свободен от этих недостатков и изначально нацелен на минимизацию точек избыточности и возможных коллизий. А достигнуто это благодаря архитектуре, в которой концепция традиционного сетевого коммутатора отсутствует изначально. Вместо этого имеется специальный модуль SHFL, в котором топология сети задаётся оптически, а все логические задачи берут на себя специализированные сетевые адаптеры, работающие под управлением фирменной ОС rNOS и имеющие на борту сконфигурированную нужным образом ПЛИС.

Модуль SHFL даже не требует отдельного электропитания, а вот адаптеры Rockport NC1225 его хотя и требуют, но умещаются в конструктив низкопрофильного адаптера с разъёмом PCIe x16 и потребляют всего 36 Вт. Правда, в настоящий момент речь идёт только о PCIe 3.0, поэтому полнодуплексного подключения на скорости 200 Гбит/с пока нет. Тем не менее, Техасский центр передовых вычислений (TACC) посчитал, что этого уже достаточно и стал одним из первых заказчиков — 396 узлов суперкомпьютера Frontera используют решение Rockport.

Использование не совсем традиционной оптической сети, впрочем, накладывает свои особенности: вместо популярных *SFP-корзин используются разъёмы MTP/MPO-24, а каждый кабель даёт для подключения 12 отдельных волокон, что при скорости 25 Гбит/с на волокно позволит достичь совокупной пропускной способности 300 Гбит/с. ОС и приложениям адаптер «представляется» как чип Mellanox ConnectX-5, который и входит в его состав, а потому не требует каких-то особых драйверов или модулей ядра.

Rockport фактически занимается транспортировкой Ethernet и реализует уровень OSI 1/1.5, однако традиционной коммутации как таковой нет — адаптеры самостоятельно определяют конфигурацию сети и оптимальные маршруты передачи сигнала по отдельным волокнам с возможностью восстановления связности на лету при каких-либо проблемах. Весь трафик разбивается на маленькие кусочки (FLIT'ы) и отправляется по виртуальным каналам (VC) с чередованием, что позволяет легко управлять приоритизацией (в том числе на L2/L3) и снизить задержки.

SHFL имеет 24 разъёма для адаптеров и ещё 9 для объединения с другими SHFL и Ethernet-шлюзами для подключения к основной сети ЦОД (в ней сеть Rockport видна как обычная L2). Таким образом, в составе кластера каждый узел может быть подключён как минимум к 12 другим узлам на скорости 25 Гбит/с. Однако топологию можно менять по своему усмотрению. Компания-разработчик заявляет о преимуществе своего интерконнекта на классических HPC-задачах, могущем достигать почти 30% при сравнении c InfiniBand класса 100G и даже 200G. Кроме того, для Rockport требуется на 72% меньше кабелей.

Идея дезагрегации имеет ряд преимуществ, но также выдвигает и определённые требования к реализации, в частности — требуется высокая производительность и низкая латентность среды, объединяющей компоненты стойки или стоек. В роли такой среды компания Intel видит стандарт Сompute Express Link (CXL).

CXL, работающий поверх PCI Express 5.0, представляет собой унифицированный интерфейс, способный работать в различных топологиях и имеющий средства шифрования. Он подходит для реализации Load/Store-нагрузок, причём в сравнении с традиционными сетевыми решения он намного быстрее именно в плане времени отклика, обеспечивая задержки менее 10 нс против типовых 20 – 100+ нс.

CXL и PCIe 5.0: два стандарта, одна инфраструктура

Это уже позволяет напрямую работать с массивами оперативной памяти, но Intel говорит о том, что с помощью CXL память может быть вынесена и за пределы узла без потери производительности. В частности, обычная шина PCIe не занимается кешированием памяти, подключённой к ней, а не напрямую к CPU. Имеются проблемы с распределением ресурсов в гетерогенных и дезагрегированных системах. И всё это дополняет «зоопарк» из разных, несовместимых между собой типов памяти. Переход на CXL решает все эти проблемы.

CXL не требует DMA, поддерживает кеширование и позволяет использовать быструю модель Memory Load/Store

Новый стандарт является открытым, консорциум CXL уже включает в себя более 150 компаний-разработчиков и производителей оборудования; в него входят все игроки на рынке CPU и GPU. Возможности PCIe 5.0, лежащие в основе CXL, достаточны, чтобы вынести пул DRAM-памяти за пределы сервера, причём процессоры серверов в CXL-стойке смогут работать с таким пулом как с локальным благодаря поддержке write-back кеширования.

Архитектура дезагрегированной серверной стойки, использующей CXL

Такой подход позволит обойти традиционные ограничения, такие, как количество слотов DIMM на процессор, и, как мы знаем, первые CXL-модули памяти DDR5 уже существуют. И не только модули памяти — CXL предполагает единый стандарт и для подключения сетевых адаптеров, различных ускорителей на базе GPU и FPGA, а также и накопителей, как на базе Optane, так и привычной NAND-памяти. Иными словами, на уровне стойки масштабирование предельно упростится, а значит, и удешевится.

В перспективе речь может идти и о более высоком уровне, едином для всего кластера многоуровневым пуле памяти с объёмом, достигающем петайбайтного порядка, при этом поддерживающем горячую замену модулей. С такими преимуществами CXL может вытеснить из мира серверов традиционную архитектуру CPU-память-сеть, но для этого потребуется широкое внедрение CXL 2.0, а первые устройства, которые появятся в следующем году, пока поддерживают лишь CXL 1.0/1.1.

Пока что на пути в это светлое будущее есть целый ряд препятствий, касающихся инфраструктуры. Так, на рынке уже есть коммутаторы PCIe 4.0 вроде GigaIO FabreX. Но они недшёвы и предлагают относительно небольшое число портов. Помимо того, что для PCIe 5.0 понадобятся новые решения для сохранения целостности сигнала, придётся как-то решать задачу повышения отказоустойчивости, поскольку в такой архитектуре отказ единого пула памяти повлияет на несколько машин сразу.