Meta✴ представила MetaRoCE — новый транспортный RDMA-протокол на базе обычного Ethernet, созданный для крупных ИИ-кластеров. Компания разместила спецификации MetaRoCE, эталонную программную реализацию и набор тестов на соответствие требованиям (Compliance Test Suite, CTS) в рамках OCP, предоставив возможность его внедрения всем желающим. В Meta✴ настаивают на том, что Ethernet должен быть предпочтительной инфраструктурой для ИИ, продемонстрировав, что её реализация RoCE может обеспечивать распределённое обучение ИИ в масштабе, объединяя миллионы GPU.

Компания отметила, что в ходе инференса низкая задержка коммуникации между распределёнными сегментами модели напрямую влияет на время отклика для сотен миллионов пользователей. Даже небольшие сетевые помехи ограничивают вычислительную мощность. Протокол RoCE (RDMA over Converged Ethernet) предполагает, что сеть будет доставлять каждый пакет в определённом порядке, используя PFC и препятствуя распылению пакетов, обеспечивая производительность в многоплоскостных и крупномасштабных сетях. При использовании MetaRoCE в строгом выполнении очерёдности передачи данных нет необходимости. Главная задача — обеспечение высокой пропускной способности, низкой задержки в конце очереди распределения и простоты эксплуатации по мере роста сети при увеличении количества ускорителей и расстояний между ними.

Источник изображений: engineering.fb.com

Как указано в блоге Meta✴, суть MetaRoCE проста: сетевая фабрика видит пакеты, а сетевая карта (NIC) — намерения. Традиционные архитектуры ориентированы на «ум» фабрики, полагаясь на коммутаторы для обеспечения отсутствия потерь и поддержания порядка. Перенося интеллектуальные функции на конечную точку, MetaRoCE декомпозирует сеть на множество детализированных (мелкозернистых) логических путей, каждый из которых имеет свою собственную телеметрию в реальном времени — время приёма-передачи данных для каждого пути (Per-path RTT), состояние ECN и загрузку. Такая прозрачность открывает возможности, которые трудно достичь с помощью традиционного RDMA.

MetaRoCE распределяет пакеты по множеству путей, поэтому они поступают не в том порядке, в каком были отправлены. Транспортный уровень рассматривает неупорядоченное поступление как обычный случай. Каждый пакет имеет свой адрес назначения, а данные записываются непосредственно в конечную область памяти по мере их поступления, без буфера переупорядочивания и блокировок. При этом MetaRoCE всегда рассматривает Ethernet-фабрику как систему с потерями и не требует от неё иного поведения. Прикладной уровень практически не затрагивается — существующие RDMA-«глаголы» и программные стеки работают без изменений, а дополнительные функции поддерживаются с помощью расширений стандартных API.

MetaRoCE предоставляет каждому соединению несколько путей и распределяет по ним пакет за пакетом. Каждый путь имеет свой уникальный исходный UDP-порт в качестве энтропии ECMP, который сетевая карта может изменить в любой момент, чтобы перенаправить трафик с неподходящего маршрута. Выбор пути пакета полностью зависит от NIC, так что и эффективность работы всей фабрики зависит от NIC. Оценка каждого пути позволяет явно отличить перегрузку и от сбоя, и сделать перебалансировку, избавившись от плохо работающего пути без обрыва соединение целиком и с возможностью переотправки ровно того пакета, который потерялся из-за сбоя или перегрузки.

MetaRoCE сочетает в себе традиционный ECN-контроль перегрузки с AIMD у отправителя с обратной связью со стороны получателя, который при каждом ACK уведомляет отправителя о выделенной ему доле из общей доступной получателю полосы. MetaRoCE запрашивает у фабрики олько две функции, которые уже есть в каждом коммутаторе: ECN и ECMP. Протокол Meta✴ не требует обрезки пакетов, внутрисетевой телеметрии, управления потоком на основе кредитов или распыления пакетов на стороне коммутатора, но и наличие этих функций не мешает работе протокола. MetaRoCE совместим практически с любыми топологиями, в том числе с сегментами в облачных системах, конфигурацию которых нельзя контролировать. В протоколе нет проприетарных компонентов, поэтому фабрика может свободно оптимизироваться с точки зрения стоимости и кабельной разводки.

Очередь отправки и очередь приёма (Queue Pair, QP) отвечают как за упорядоченный поток сообщений, так и за пропускную способность. Традиционный RDMA получает больше того или другого путём открытия большего количества QP (по несколько десятков на каждую пару узлов), не знающих ничего ни о друг друге в плане перегрузки, ни об их состоянии в NIC. MetaRoCE использует одно соединение для множества независимых упорядоченных потоков (в т.ч. по одному на каждую коллективную операцию), использующее множественные пути под управлением одного контроллера перегрузки.

Чтобы ускорить проверку аппаратного обеспечения, Meta✴ совместно с AMD реализовала MetaRoCE на DPU Pensando. На 64-узловом кластере GPU AMD, работающем под управлением RCCL, компании напрямую сравнили MetaRoCE с RoCEv2 при выполнении коллективных операций All-Reduce и All-to-All.

Результаты, как утверждает Meta✴, соответствуют поставленным целям:

• MetaRoCE стабильно обеспечивал более высокую пропускную способность и меньшее время завершения потока по сравнению с RoCEv2.
• При потере пакетов, когда пропускная способность RoCEv2 снижается, MetaRoCE сохраняет около 86 % пропускной способности при потере 1 % пакетов и продолжает обеспечивать полезную пропускную способность даже при экстремальной потере 10 % пакетов, плавно снижаясь, а не коллапсируя.
• Multiplane-топология с 4 и 8 независимым физическими подключениями к коммутаторам для каждого NIC с поддержкой до 4000 одновременных подключений подтвердила, что пропускная способность линейно зависит от количества плоскостей.
• При имитации сбоев на отдельных физических подключениях в сценарии выше протокол демонстрирует плавное автономное восстановление — трафик перераспределяется без участия приложения или вмешательства оператора.

Эти результаты подтверждают правильность выбора, сделанного при разработке MetaRoCE, отметила Meta✴. Благодаря тому, что протокол с самого начала разрабатывался с учётом возможных потерь пакетов, а интеллектуальные функции вынесены на периферию, он обеспечивает более высокую производительность в идеальных условиях и плавно снижает нагрузку при сбоях. Компания подчеркнула, что протокол MetaRoCE является открытым, его спецификации добавлены в OCP, и любой поставщик может с их помощью создать и реализовать совместимое оборудование. Впрочем, во многом похожий протокол MRC (Multipath Reliable Connection) также передан в OCP, да и Ultra Ethernet тоже решает схожие задачи.

Участники многостороннего соглашения XPO MSA (eXtra-dense Pluggable Optics Multi-Source Agreement) под предводительством Arista Networks поделились планами по дальнейшему развитию оптических модулей XPO для высокоплотных ИИ-инфраструктур следующего поколения.

В оригинальном исполнении модуль XPO объединяет 64 канала с пропускной способностью 200 Гбит/с, что в сумме даёт 12,8 Тбит/с. Отмечается, что один XPO заменяет восемь модулей OSFP: это позволяет существенно сократить площадь под сетевые коммутаторы в дата-центрах, ориентированных на ресурсоёмкие задачи ИИ. Так, в шасси 1OU могут быть размещены 16 модулей XPO, что обеспечивает скорость передачи данных до 204,8 Тбит/с. При этом стойка стандарта ORv3 с такими устройствами способна поддерживать коммутационную ёмкость до 6,5 Пбит/с. Для XPO изначально предусмотрено применение жидкостного охлаждения.

Источник изображений: Arista

В перспективе участники XPO MSA намерены удвоить пропускную способность модулей. В частности, каждый из 64 каналов сможет работать в режиме 400 Гбит/с, или в совокупности 25,6 Тбит/с. Это поднимет плотность до 409,6 Тбит/с на шасси 1OU и до 13,1 Пбит/с на стойку ORv3. Говорится о поддержке медных кабелей и оптики с полным восстановлением синхронизации на базе DSP. Упомянута совместимость со стандартами DR, FR, LR, SR, ZR.

Архитектура новых модулей по-прежнему предусматривает наличие встроенного жидкостного охлаждения на основе водоблока с быстроразъёмными соединениями. Поддерживаются конфигурации с энергопотреблением до 500 Вт на модуль. Прямое подключение к источнику DC-питания 50 В избавляет от необходимости использования преобразователей напряжения на системной плате. В целом, изделия XPO занимают нишу между классическими съёмными модулями OSFP и интегрированной оптикой CPO.

Американская компания Credo Technology Group Holding Ltd, специализирующаяся на создании высокоскоростных решений для передачи данных, объявила о планах по разработке стандартного интерконнекта в рамках проекта OCP (Open Compute Project). Предполагается, что новая технология поможет в решении проблемы «стены памяти» в современных ИИ-системах.

В настоящее время наблюдается значительный разрыв в вычислительных мощностях ИИ-ускорителей и возможностях памяти. Производительность ИИ-ядер растет в разы быстрее, чем пропускная способность шин и модулей памяти. В результате, ускорители большую часть времени простаивают в ожидании данных. Это приводит к неэффективному использованию доступных ресурсов и падению быстродействия всей системы в целом. При этом чипы HBM, которыми оснащаются передовые GPU-карты, остаются не только очень дорогими, но и ограниченными по ёмкости.

Источник изображения: Credo

Для решения проблемы Credo сформировала рабочую группу OCP Open Chiplet Economy (OCE) Lightweight Serial Interconnect (LSI) Workstream. Она займётся стандартизацией высокоэффективного последовательного интерконнекта для связи чиплетов и модулей в составе ИИ-платформ. Предполагается, что новая технология снизит зависимость от НВМ и поможет более полно использовать доступные вычислительные мощности. Разработчики ИИ-систем смогут адаптировать архитектуру под разные модели, потоки данных и характеристики нагрузок. Такой подход, как утверждается, обеспечит увеличение плотности памяти до 25 раз по сравнению с нынешними решениями и позволит поднять пропускную способность на 5 % по отношению к HBM4.

В целом, инициатива будет способствовать переходу к компонуемой инфраструктуре, в которой вычислительные ресурсы, память и хранилища данных могут комбинироваться для достижения оптимальных показателей производительности и экономической эффективности. В рамках проекта Credo предоставит ОСР спецификацию OmniConnect Lightweight AXI Framer.

Компания Lightmatter объявила об официальном запуске инициативы «Открытая кремниевая фотоника для ИИ-систем» (Open Silicon Photonics for AI Systems), анонсированной ранее в этом году в рамках проекта Open Compute Project (OCP), в сотрудничестве с расширенной коалицией, которая помимо 10 компаний-учредителей теперь включает девять новых участников. В коалицию входят Celestica, Dell Technologies, Flex, Foxconn Interconnect Technology, Global Unichip Corporation, Hyve Solutions, Keysight, Lightmatter, Qualcomm, Quanta Cloud Technology и другие.

Также был опубликован основополагающий документ инициативы под названием «Архитектурное видение: открытая кремниевая фотоника для систем ИИ» (Architecture Vision: Open Silicon Photonics for AI Systems). Этот 300-страничный документ послужит руководством для разработки общей концепции CPO (Community-Outdoor Office) для масштабирования ИИ-кластеров, совместимых с MHS-платформами и ORv3-стойками, с 72–1024 (и более) узлов, обеспечивая при этом совместимость с оборудованием разных производителей и значительно более высокую загрузку вычислительных кластеров.

Источник изображения: Fujiphilm/unsplash.com

В отличие от подключаемой оптики, где трансиверы отделены от основных микросхем, CPO интегрирует оптические и электрические компоненты, такие как оптические модули и коммутирующие ASIC, на одной компактной подложке. Эталонная архитектура предлагает гиперскейлерам основу для поддержки перехода от медных подключений к фотонике, что необходимо для масштабируемости и совместимости между несколькими поколениями SerDes, циклами проектирования коммутаторов и XPU.

Технологически независимый подход архитектуры также обеспечивает поддержку разнообразных фотонных решений, включая кремниевую фотонику, VCSEL и MicroLED, способствуя созданию надёжной мультивендорной цепочки поставок, которая может масштабироваться для удовлетворения потребностей в производительности и энергопотреблении.

«Интерконнекты стали столь же фундаментальными для производительности ИИ-инфраструктуры, как и вычислительные ресурсы», — заявил основатель и генеральный директор Lightmatter. «Переход отрасли к кремниевой фотонике откроет следующий крупный скачок в возможностях передовых моделей. Этот документ закладывает основу, на которой это растущее сообщество OCP будет разрабатывать общую архитектуру стоек CPO на основе MHS, которая впишется в процессы гиперскейлеров», — добавил он.

Google, Microsoft и NVIDIA совместно работают в рамках Open Compute Project, чтобы сделать LVDC-питание (800 В постоянного тока) повсеместным стандартом для дата-центров нового поколения и обеспечить масштабное внедрение стандарта всей отраслью. Иногда такие системы также называли HVDC. Ранее Google, ABB и Siemens создали в OCP рабочую группу, изучающую стандартизацию LVDC-решений для дата-центров.

По мере усложнения моделей и роста потребностей в инференсе растёт и плотность размещения ИИ-ускорителей. Подобные системы требуют повышенной мощности на каждую стойку и масштабируемой архитектуры распределения энергии без необходимости создавать кастомные решения для каждого оператора ЦОД или поставщика оборудования.

Постепенно отрасль переходит к питанию LVDC 800 В, поскольку такой стандарт обеспечивает экономию проводников, в частности, меди, которая становится всё более дефицитной. В рамках OCP компании Google, Microsoft и NVIDIA работают с более широким сообществом разработчиков и производителей энергетического оборудования, систем охлаждения и инфраструктуры для согласования общих требований к архитектуре питания 800 В DC. Речь идёт не о разработке единой для всех конструкции, а о принятии общего набора интерфейсов и системных требований, позволяющего создавать совместимые продукты.

Источник изображения: Jakub Żerdzicki/unsplash.com

Google, Microsoft и NVIDIA продвигают рабочее направление, посвящённое преобразованию переменного тока среднего напряжения (MV AC) от 10 до 35 кВ в 800 В DC для согласования требований к оборудованию, которые проверяются отраслевыми партнёрами. Учитываются требования к качеству электроэнергии, сглаживанию колебаний мощности и системным интерфейсам. Параллельно заинтересованные стороны ведут работы с международными организациями по вопросам стандартизации, безопасности, сертификации и утверждения нормативных требований, необходимыми для внедрения технологии.

Сообществу OCP представлена спецификация Solid-State Transformer (SST) v0.3, посвящённая твердотельным трансформаторам. Она разработана Microsoft, Google, NVIDIA при участии других компаний. На основе предыдущих инициатив OCP вроде Mt. Diablo 400 начинается работа над согласованием требований к экосистеме и ускорением создания совместимых решений для преобразования электричества для новой ИИ-инфраструктуры.

Публикация крупнейшими игроками рынка ИИ общих требований позволяет производителям оборудования разрабатывать универсальные продукты. Это сокращает сроки разработки, снижает стоимость и приближает время массового внедрения архитектуры 800 В DC. Ранее поставщикам приходилось поддерживать разные архитектуры, создаваемые для отдельных заказчиков. Это не только замедляло разработку, но и увеличивало затраты. Принятие стандартной архитектуры позволит OEM-производителям выпускать меньшую номенклатуру продуктов, ускоряя сертификацию и инновации.

Источник изображения: OCP

Общие стандарты позволят цепочке поставок создавать и широко внедрять унифицированное оборудование, а операторам ЦОД не придётся одновременно поддерживать несколько несовместимых решений. Важно, что 800 В DC не заменяет действующую инфраструктуру переменного тока. Это дополнительный вариант электроснабжения, способный сосуществовать параллельно с более «зрелыми» AC-системами, постепенно заменяя их по мере роста плотности мощности ИИ-оборудования.

ИИ-фабрики находятся на разных этапах строительства с разными условиями в каждом случае. Поэтому, новая архитектура предусматривает два варианта внедрения. Существующие системы распределяют переменный ток среднего напряжения (MV AC) на трансформаторы, где напряжение понижается до 400/480 В AC.

Первый альтернативный вариант предполагает использование дополнительной силовой стойки LVDC, расположенной рядом с вычислительными стойками. Она на месте преобразует 480 В AC в ±400 В DC или 0–800 В DC. Такие решения доступны для платформ Mt Diablo (±400 В) или новых Mt Diablo 2.0 (800 В). Если в действующем ЦОД достаточно мощности AC и есть свободное место для стоек, менять электрическую инфраструктуру не нужно. Это простейший способ обеспечить поддержку 800 В DC в рамках уже работающей ИИ-фабрике.

Источник изображения: Current/OS

Ещё один вариант предусматривает прямое преобразование MV AC в 800 В DC с использованием нескольких выпрямительных трансформаторов или твердотельных трансформаторов мегаваттного уровня с дальнейшим распределением уже по машинным залам. Поскольку промежуточные этапы преобразования AC–AC устраняются, можно использовать «высокоплотные» силовые модули для быстрого внедрения. При этом создаётся общая магистраль 800 В DC для опционального подключения аккумуляторных энергохранилищ (BESS), ИБП и микросетей на постоянном токе. Прямая подача постоянного тока позволяет избежать повторяющихся преобразований AC/DC, отсутствует и необходимость синхронизации оборудования.

В обоих случаях безопасность системы обеспечена ещё на этапе проектирования с использованием технологий из других отраслей, от разъёмов до защитных устройств и современных систем мониторинга. Предлагаются решения, уже активно применяемые в электромобилях, в промышленной энергетике и др., с адаптацией под специфику работы ИИ-фабрик.

Над экосистемой, совместимой с 800 В DC, уже работают более 80 партнёров. Технические спецификации согласуются в ходе обсуждений в рамках OCP. Производители силовых стоек уже поставляют необходимое оборудование для внедрения новых технологий в ближайшем будущем, а поставщики шин и разъёмов стандартизируют интерфейсы распределения тока и пр. Согласно оценкам Wood Mackenzie, для удовлетворения спроса до 2040 года нужно около $9 трлн инвестиций в инфраструктуру. Её строительство на разрозненных закрытых стандартах замедлило бы развитие отрасли ЦОД, а создание на архитектуре 800 В DC, наоборот, ускорит прогресс.

SK Hynix и Sandisk представили первые спецификации высокоскоростной флеш-памяти (HBF), технологии хранения данных следующего поколения, разработкой которых они занимались с прошлого года. В феврале SK Hynix и Sandisk запустили проект по стандартизации HBF в рамках Open Compute Project (OCP). Google и Tensorrent уже присоединились к нему, и ожидается, что к ним подключатся и другие компании.

Теперь спецификации находятся в открытом доступе для любой компании, разрабатывающей системы ИИ-инференса или ускорители. Они охватывают до 512 Гбайт ёмкости на основе двух конфигураций стека с 8 и 16 слоями NAND с тремя уровнями пропускной способности (Класс 1–3) в пределах от 0,4 до 3,0 Тбайт/с. SK hynix отметила, что ключевым моментом является использование UCIe, это закладывает основу для гибкой интеграции технологии HBF в различные типы процессоров, включая GPU и CPU.

В документе определены интерфейс хоста xPU-HBF, электрические спецификации, базовые ожидания по производительности, рекомендации по надёжности и упаковке стека кристаллов HBF, а также руководство пользователя по ПО для операций чтения и записи. Компании разработали спецификацию таким образом, чтобы HBF мог сосуществовать с HBM в одной системе, а не заменять его, отметил ресурс StorageReview.com. Расчёт ёмкости такой же, что и при переносе KV-кеша на флеш-память: хранение контекста на более дешевом и плотном уровне увеличивает количество токенов и пользователей, которые может обслуживать каждый ускоритель.

Источник изображения: SK hynix

Sandisk и SK Hynix объявили свою стратегию: ранняя и открытая публикация в рамках OCP, чтобы позиционировать HBF как де-факто стандарт для рынка хранения данных для ИИ до того, как конкуренты создадут альтернативу. «Вычисления в ИИ создают новый набор требований к памяти, и технология HBF разработана для удовлетворения этих требований, — сообщила Sandisk, назвав спецификации важной вехой «для следующего поколения ИИ-систем, созданных для улучшения экономики токенов в масштабе».

«С быстрым распространением ИИ-приложений мы достигли точки, когда необходимо перепроектировать общие структуры обработки данных, — сказала SK hynix, — С помощью HBF SK hynix расширит границы между памятью и хранилищем и внесёт свой вклад в создание новых архитектур, повышающих общую эффективность системы».

Supermicro расширила ассортимент серверных стоек, анонсировав десять моделей для систем высокой плотности, ориентированных на ресурсоёмкие задачи ИИ и другие критические нагрузки. Дебютировали решения на базе стандартов OCP ORv3 и NVIDIA MGX, а также традиционные 19″ варианты.

Новинки входят в продуктовое семейство Supermicro Data Center Building Block Solutions (DCBBS). Стойки могут поставляться в предварительно сконфигурированном виде, что упрощает и ускоряет развёртывание: заказчикам и интеграторам не нужно монтировать на объекте вычислительные узлы, сетевые компоненты, а также элементы подсистем питания и охлаждения.

Все анонсированные устройства рассчитаны на статическую нагрузку до 2500 кг. Это позволяет размещать мощные ИИ-серверы с ускорителями на базе GPU, высокопроизводительное силовое оборудование и пр. Изделия проходят испытания на вибро- и сейсмическую устойчивость. Говорится о гибких возможностях в плане применения жидкостного охлаждения: стойки совместимы с блоками распределения охлаждающей жидкости (CDU) различных типов, теплообменниками на задней двери (RDHx) и пр. Силовые и сетевые кабели полностью изолированы.

Источник изображения: Supermicro

В число новинок входят стойки для платформ NVIDIA VR200/GB300 MGX в форматах 48U и 52U с вариантами ширины 600 и 750 мм. Кроме того, выпущены решения 44OU и 48OU стандарта ORv3 (типоразмера 21″). В традиционном 19″ исполнении доступны варианты 48U и 52U. Компания Supermicro отмечает, что её производственных возможностей достаточно для выпуска примерно 3 тыс. таких стоек в месяц. Из них около 2 тыс. могут комплектоваться СЖО.

Компания Astera Labs анонсировала ретаймеры и редрайверы семейства Taurus 3.2T: это, как утверждается, первые в отрасли изделия данного типа, соответствующие стандарту OCP Signal Conditioner Standard Footprint и поддерживающие скорость передачи данных до 3,2 Тбит/с.

Представленные чипы содержат 16 линий с пропускной способностью 200 Гбит/с каждая. Говорится о совместимости с Ethernet, UALink (UALink over Ethernet) и ESUN (Ethernet for Scale-Up Networking). Устройства ориентированы на гиперскейлеров, провайдеров неооблаков и разработчиков масштабных ИИ-систем.

В изделиях реализована технология Smart Swap. Она обеспечивает полную совместимость посадочного места по стандарту OCP, что позволяет менять ретаймеры на редрайверы и наоборот на одной и той же печатной плате. Иными словами, инженерам на этапе проектирования не требуется жёстко закреплять тип компонента. Впоследствии, опираясь на реальные замеры характеристик канала, можно выбирать ретаймер или редрайвер без необходимости перепроектирования самой печатной платы.

Источник изображений: Astera Labs

Это даёт гибкость настройки: ретаймер поддерживает улучшенное усиление слабого сигнала (40+ дБ), но потребляет больше энергии и увеличивает задержку (не более 24 нс), тогда как редрайвер работает с более низкими задержками (менее 50 пс) и энергопотреблением (23 дБ), но на меньшем расстоянии.

Ещё одна особенность новинок заключается в том, что они интегрированы в состав интеллектуальной программной платформы Astera COSMOS (COnnectivity System Management and Optimization Software). Она обеспечивает единый рабочий процесс для настройки, диагностики, проверки и мониторинга. В частности, интеллектуальные редрайверы Taurus предоставляют телеметрию и средства управления каналами связи, что помогает оптимизировать сетевую инфраструктуру, выявлять проблемы на ранних стадиях и поддерживать надёжную работу при изменении условий, включая температуру.

AMD представила ИИ-платформу Helios AI, объединяющую в одной ORW-стойке высотой 44OU процессоры EPYC Venice 9006 SP7 с ускорителями Instinct MI455X и NIC Pensando вместе с ПО AMD ROCm. Гендиректор Лиза Су (Lisa Su) объявила о начале полномасштабного производства Helios. 72 ускорителя MI455X размещены в 18 узлах, по четыре единицы в каждом. По данным AMD, пиковая производительность на стойку составляет 2,9 Эфлопс в режиме FP4 и 1,4 Эфлопс в режиме FP8.

Источник изображений: AMD

В основе масштабируемой архитектуры Helios лежит технология UALoE (UALink over Ethernet), которая объединяет 72 ускорителя AMD Instinct MI455X в стойке в единый домен. Разработанная с учётом суммарной пропускной способности до 260 Тбайт/с и доступа к 31 Тбайт памяти HBM4 с агрегированной пропускной способностью 1,7 Пбайт/с в одной стойке, платформа AMD Helios позволяет обрабатывать модели и рабочие нагрузки, требующие тесной связи между ускорителями.

Как сообщается, система Helios разработана с учётом пути, который проходит рабочая нагрузка ИИ через стойку. Нагрузка поступает через хост-уровень, перемещается в домен GPU, получает доступ к данным модели и активным данным в HBM4 и взаимодействует на уровне всей стойке через масштабируемую коммутационную сеть.

Сеть построена на одношаговой топологии с использованием стандартных микросхем коммутаторов Ethernet (ESUN), что обеспечивает связь GPU с другим GPU через один коммутатор — минимизируя задержку, улучшая управление перегрузкой и максимизируя эффективность связи в сети. Стойка обеспечивает агрегированную пропускную способность при вертикальном масштабировании (через UALoE) 260 Тбайт/с и 43 Тбайт/с при горизонтальном (по три 800GbE-подключения на GPU).

Компания также уделила внимание аппаратной отказоустойчивости AMD Helios. Каждый GPU подключается через 18 независимых линий UALoE, распределённых по разным коммутационным блокам. Когда аппаратный сбой затрагивает один путь, система автоматически поддерживает единую область GPU, используя альтернативные соединения.

Программный инструмент AMD Fabric Manager (AFM) обеспечивает операционный уровень для масштабируемой сети AMD Helios, управляя автоматизацией развёртывания, предоставлением ресурсов, телеметрией, мониторингом и управлением всей сетью в рамках единой платформы. Он предоставляет операторам видимость всей масштабируемой сети, упрощая развёртывание, мониторинг и обслуживание ИИ-инфраструктуры стоечного масштаба по мере роста сред.

В свою очередь, специализированная ОС AMD Fabric OS (AFOS) непосредственно функционирует на уровне коммутации масштабируемой сети, обеспечивая управление в реальном времени и видимость, необходимые для обнаружения и реагирования на аппаратные события внутри самой сети. Вместе AFM и AFOS преобразуют масштабируемую сеть AMD Helios из аппаратного соединения в управляемую, наблюдаемую операционную платформу.

Поскольку не всем нагрузкам требуется одновременное использование 72 ускорителей, компания предложила vPods — виртуальные кластеры (Virtual Pods), которые позволяют клиентам разделять масштабируемую область AMD Helios на более мелкие программно-определяемые среды, адаптированные к конкретным рабочим нагрузкам. Отдельные циклы обучения, среды тестирования и инференса могут сосуществовать в одной стойке, сохраняя при этом изоляцию и локализацию сбоев.

AMD Helios является прямым конкурентом стоечным системам GB300 NVL72 и Vera Rubin NVL72. По словам Су, AMD Helios обеспечивает на 15 % более высокую вычислительную производительность, чем Vera Rubin, и предлагает на 50 % больше высокоскоростной памяти. Она также отметила, что AMD Helios обеспечивает на 30 % больше токенов на доллар, чем серверы NVIDIA. Стойки Helios AI могу быть дополнены стойками Cererbras для дезагрегированного инференса.

Компания Chelsio Communications анонсировала интерконнект седьмого поколения для дата-центров, систем хранения и инфраструктур, ориентированных на ИИ. В состав представленной платформы AI Interconnect Platform входят сетевые адаптеры SmartNIC, контроллеры хранения и процессоры обработки данных (DPU).

В основу AI Interconnect Platform положена архитектура Chelsio Unified Wire: она обеспечивает поддержку стандарта 400GbE и технологии Unified RDMA, объединяющей несколько протоколов удалённого прямого доступа к памяти (iWARP и RoCEv2). Кроме того, задействованы средства ускорения работы систем хранения и оптимизации ИИ-инфраструктуры для облачных, корпоративных развёртываний и гиперскейлеров.

Среди ключевых особенностей платформы названы встроенные криптографические модули для протоколов QUIC, kTLS и IPsec/TLS/kTLS, различные варианты исполнения (PCIe 5.0, OCP 3.0) и лучшие в отрасли показатели производительности в расчёте на ватт потребляемой энергии. Говорится о поддержке виртуализации SR-IOV (Single Root I/O Virtualization), виртуальной коммутации vSwitch и пр.

Источник изображений: Chelsio Communications

В число анонсированных решений входят двух- и четырёхпортовые адаптеры S7250 / S7450 / S7450-OCP SmartNIC с поддержкой 1/10/25/50GbE. Эти изделия оптимизированы для виртуализации, встраиваемых систем и периферийных развёртываний. Кроме того, дебютировали решения S72200 / S72200-OCP SmartNIC с поддержкой 40/50/100/200GbE для масштабных облачных сред, HPC и ИИ-инфраструктур. Представлен также однопортовый адаптер S71400 SmartNIC класса 400GbE с возможностью работы в режимах 4 × 100GbE и 2 × 200GbE: устройство рассчитано на сверхмасштабные сетевые инфраструктуры.

Кроме того, Chelsio выпустит контроллеры хранения T72200/T7450. Они предназначены для ускорения выполнения задач, связанных с обработкой данных. Обеспечивается аппаратная разгрузка для NVMe/TCP, NVMe-oF, iSCSI, RDMA и пр. Устройства будут предлагаться в форм-факторах PCIe и OCP.

Все перечисленные изделия уже доступны для заказа. В декабре начнётся производство полностью программируемых карт T72200-DPU / T7450-DPU, которые сейчас доступны для ознакомления.