Компания NVIDIA, по информации SemiAnalysis, вынуждена пересмотреть планы по выпуску ИИ-продуктов следующего поколения. В частности, возникли сложности с проектом стоек Kyber, релиз которых откладывается примерно на год — до 2028-го.

Изначально предполагалось, что NVIDIA выпустит стоечное решение Kyber NVL144/NVL72 в 2027 году. Система объединит 144 ускорителя Rubin Ultra с NVLink 7, обеспечив четырёхкратное повышение производительности по сравнению с Blackwell NVL72 (Oberon). Однако теперь стало известно, что вывод Kyber на коммерческий рынок задержится примерно на 12 мес. Связано это с трудностями при разработке центральной коммутационной платы (midplane). Выпуск NVL576 — более крупной системы, объединяющей восемь стоек посредством оптических соединений CPO, — скорее всего, также будет отложен или же решение выйдет ограниченной партией.

Источник изображения: NVIDIA

Сообщается, что NVIDIA полностью отказалась от архитектуры NVL72×2, которая рассматривалась в качестве альтернативы Kyber. В случае NVL72×2 изучалась возможность размещения двух стоек Oberon «спина к спине». Однако проект пришлось отменить из-за критики со стороны облачных провайдеров и гиперскейлеров, которые посчитали такую конструкцию неудобной и слишком дорогой в эксплуатации. Вместе с тем в GB200 NVIDIA тоже изначально отказалась от NVL36×2, но в итоге партнёры реализовали такую конфигурацию.

Отменён также выпуск изделий Rubin Ultra с четырьмя вычислительными чиплетами, тогда как коммутаторы NVLink с интегрированной оптикой (СРО) станут доступны не ранее, чем состоится анонс ускорителей Feynman. На этом фоне ожидается увеличение объёмов поставок решений Oberon Rubin и Oberon Rubin Ultra. В целом, уже организовано масштабное производство изделий Rubin: предстоящей осенью NVIDIA начнёт поставлять их восьми облачным партнёрам, включая Amazon Web Services (AWS), Microsoft Azure и Google Cloud.

Поскольку современные ИИ-чипы нередко имеют TDP более 1000 Вт, классическое воздушное охлаждение не готово эффективно справляться с подобными тепловыми нагрузками. Однако установка контуров жидкостного охлаждения требует времени и больших затрат, поэтому Google предложила гибридную замкнутую стоечную систему Bezos, которая позволяет развернуть в ЦОД с воздушным охлаждением высокоплотные стойки с СЖО.

Brazos фактически представляет собой автономную СЖО, захватывающую тепло с помощью циркулирующей жидкости непосредственно от компонентов оборудования. После этого тепло отводится в «горячий коридор» через теплообменники. Подобные решения можно быстро развернуть практически в любом действующем ЦОД, стойка за стойкой проводя модернизацию инфраструктуры и сохраняя при этом простоту эксплуатации, характерную для обычных воздушных систем — лишь бы хватало холода и питания в зале.

Источник изображения: Google

Brazos представляет собой модульную систему, включающую три охлаждающих блока высотой 11OU и встроенные коллекторы для стоек. Модули совместимы со стандартными стойками OCP ORv3. По словам Google, Brazos отличают:

• поддержка номинальной тепловой нагрузки до 60 кВт на стойку при использовании трёх охлаждающих модулей;
• использование либо деионизированной воды (DI) или 25-% смеси пропиленгликоля (PG25);
• питание от шинопровода DC 40–60 В;
• сертификация UL/CSA/IEC/62368-1
• встроенный механизм выявления утечек, а также предохранительные клапаны сброса давления;
• локальный мониторинг посредством интегрированного HMI-модуля;
• удалённое управление посредством Modbus/TCP.

Источник изображения: Google

Систему конструировали с учётом удобства обслуживания непосредственно на площадке. Шасси имеет направляющие с низким трением, что позволяет легко выдвигать блоки. Ключевые элементы вроде насосов и вентиляторов выполнены в виде модулей с возможностью «горячей» замены (FRU), что даёт возможность свести к минимуму среднее время ремонта (MTTR). Похожие решения используют Meta✴ и Microsoft.

В ближайшие месяцы Google намерена выложить в open source технические спецификации, принципы разработки и «визуальные активы» Brazos. Наработки рассчитаны на архитекторов вычислительных систем, производителей оборудования, а также специалистов по теплотехнике. Партнёры Google уже готовы к производству решений на основе Brazos. Ранее компания поделилась с OCP проектом CDU Deschutes.

Компания Vertiv анонсировала семейство серверных стоек Rack Extreme для тяжёлого и громоздкого ИТ-оборудования. Новинки предназначены для построения ЦОД-инфраструктур нового поколения, ориентированных на ресурсоёмкие задачи ИИ.

Решения рассчитаны на статическую и динамическую нагрузку до 2045 кг. Это, как утверждается, примерно в 1,3 раза и 2 раза больше по сравнению с традиционными конструкциями. Используется полностью сварная конструкция, а рама изготовлена из высококачественной стали с большим запасом прочности. Предусмотрены вертикальные кабельные направляющие и угловые монтажные планки для блоков распределения питания (PDU), а также система вентиляции, включая сетчатую дверь.

Источник изображения: Vertiv

Платформа Vertiv Rack Extreme предлагает множество вариантов размеров и конфигураций. В частности, доступны модификации формата 42U, 45U, 48U и 52U шириной 600, 750 и 800 мм. Глубина при этом может составлять 1100, 1200, 1400 и 1600 мм. Предлагаются версии в чёрном и белом цветовых исполнениях.

Стойка поставляется в полностью собранном виде, что упрощает и ускоряет развёртывание. Говорится о совместимости с широким спектром различных аксессуаров, включая решения для организации кабелей и оптимизации воздушного потока. Новинка располагает большим количеством точек крепления, благодаря чему обеспечивается возможность монтажа самого разного оборудования.

В комплект Vertiv Rack Extreme входят рама с установленными регулируемыми ножками и колесиками, две кабельные направляющие для PDU, два вертикальных кабельных органайзера, передняя и задняя дверцы с запиранием, набор крепежных элементов и пр. Цена составляет $7178.

Intel совместно с SambaNova и Foxconn объявила о намерении создать референс-дизайн стоечной ИИ-инфраструктуры на базе процессоров Intel Xeon для ЦОД, гиперскейлеров и центров интеллектуального управления. Как сообщает The Register, подход основан на ранее разработанной Intel совместно с SambaNova концепции дезагрегированного ИИ. Архитектура распределяет ресурсоёмкие операции предварительного заполнения между ускорителями NVIDIA, используя чипы SambaNova для ресурсоёмких операций декодирования, что позволяет увеличить выход токенов для каждого пользователя в 2–3 раза.

Генеральный директор Intel Лип-Бу Тан (Lip-Bu Tan) представил два примера таких проектов. Один предназначен для агентных нагрузок, чувствительных к задержкам, а другой — для обеспечения максимальной плотности вычислений. Обе конфигурации поддерживают до 128 процессоров Intel: либо 128-ядерных Granite Rapids-AP, либо 288-ядерных Clearwater Forest, что в сумме составляет от 16 384 P-ядер до 36 864 E-ядер, а также до 384 Тбайт DDR5 при энергопотреблении 100 кВт. Тан сообщил, что системы на основе этого референс-дизайна будут широко доступны у ODM- и OEM-партнёров компании.

В рамках сотрудничества Foxconn предоставит возможности системной интеграции для новой стоечной ИИ-инфраструктуры. Компания также планирует выпускать вариант стоечной инфраструктуры с высокой плотностью процессоров для рабочих нагрузок, не требующих дополнительного ускорения, включая оптимизированные по стоимости задачи инференса, обработку данных и гибридный ИИ.

Intel объявила, что облачный провайдер Vector Core Compute, созданный Vista Equity Partners и Cambium Capital, станет одним из первых, кто развернёт эту платформу, а Together.AI — её первым коммерческим клиентом.

Источник изображения: Intel

Также на выставке Computex 2026 компании Intel, SambaNova, Vista Equity Partners и Cambium Capital представили первую реальную демонстрацию дезагрегированной системы инференса, использующей процессоры Intel Xeon 6 для оркестрации, блоки RDU SambaNova SN40 для декодирования и NVIDIA Blackwell для предварительного заполнения, работающую в ЦОД Vector Core Compute в Лос-Анджелесе.

Напомним, что ранее NVIDIA объявила о запуске аналогичной стоечной платформы, включающей 256 88-ядерных процессоров Vera, ускорители Rubin и LPU Groq 3. Arm также работает над парой референс-дизайнов стоечных систем для агентных рабочих нагрузок на основе своих новых процессоров Arm AGI: 36-кВт системой с воздушным охлаждением и 8160 ядрами, а также 200-кВт системой с жидкостным охлаждением и 45 696 ядрами.

Ирландский стартап Equal1 анонсировал квантовый компьютер RacQ, выполненный в виде стандартной 19″ серверной стойки. Устройство может быть интегрировано в существующий дата-центр без необходимости модернизации его архитектуры и внедрения дополнительных систем криогенного охлаждения.

В основу новинки положен специализированный сервер Bell-1. В нём задействована квантовая система на кристалле (QSoC) UnityQ, которая объединяет средства измерения, управления, считывания и коррекции ошибок в одном кремниевом чипе. Bell-1 работает от стандартной однофазной сети напряжением 110/220 В, а энергопотребление составляет 1600 Вт.

Комплекс RacQ получил встроенный автономный криоохладитель замкнутого цикла, поддерживающий внутреннюю температуру на уровне 0,3 К (-272,85 °C). Какие-либо вспомогательные внешние устройства для обеспечения работы этой установки не требуются. Квантовый стоечный компьютер может функционировать бок о бок с традиционными серверами на базе CPU и GPU. Таким образом, могут быть организованы гибридные квантово-классические вычисления.

Источник изображения: Equal1

Габариты RacQ составляют 600 × 1200 × 2000 мм, масса — около 400 кг. Заявленное энергопотребление — 3200 Вт. Диапазон рабочих температур простирается от -15 до +45 °C. Интервал технического обслуживания — 5000 часов.

Глава Equal1 отмечает, что для большинства организаций квантовые вычисления остаются недоступными. Связано это в том числе с высокой сложностью монтажа и обслуживания подобных систем. RacQ меняет ситуацию благодаря возможности интеграции в существующий ЦОД: на подключение и запуск системы требуются считаные дни. То есть, компании могут быстро перейти от экспериментальных проектов к практическим задачам, для решения которых требуются квантовые компьютеры.

Некоммерческая организация Open Compute Project (OCP) обнародовала спецификацию серверных стоек Open Rack Wide (ORW) от Meta✴, которая дополняет более общую базовую спецификацию. Стойки разработаны для дата-центров, ориентированных на ИИ и НРС, разработанную Meta✴ и дополняющую базовый вариант стандарта. Стандарт ORW положен в основу платформы AMD Helios. Габариты стоек ORW составляют 2390 мм в высоту, 1219 мм в глубину и 1200 мм в ширину. Таким образом, стойка ORW вдвое шире стандартных стоек Open Rack V3 (600 мм).

Конструкция ORW рассчитана на плотное размещение тяжёлого оборудования — крупногабаритных серверов с GPU-ускорителями, мощных СХД и пр. Грузоподъёмность рамы должна составлять 4700 кг (без учёта массы собственно стойки). Подчёркивается, что на показатель влияет множество факторов, включая пространственное распределение IT-оборудования, количество и расположение поперечных распорок и пр. Любые дополнительные элементы, установленные в стойку, необходимо учитывать при расчёте максимальной грузоподъёмности.

ORW-стойка рассчитана на 44OU-единицы для узлов удвоенной ширины или 47U для 19″ узлов. Возможно комбинирование различных типов оборудования — конструкция стойки предусматривает наличие вырезов для кронштейнов крепления серверов обоих типов. Также прописана поддержка обычных 21″ шасси, в этом случае ёмкость стойки составляет 88OU. Интересно, что NVIDIA в стойках Kyber перейдёт к вертикальным узлам. Впрочем, компания наверняка тоже отдаст спецификации OCP, как это было со стойкой Oberon.

Источник изображения: AMD

В стойках ORW обеспечивается циркуляция воздуха от фронтальной области к тыльной. В обычных условиях эксплуатации в верхней, нижней и боковых частях не предусмотрены отверстия, через которые горячий воздух может проникать в холодный коридор дата-центра. Конструкция должна включать передний и задний каналы для организации кабелей, которые могут укладываться вертикально во всех четырёх углах рамы.

Источник изображения: AMD

В спецификации сказано, что доступ к высоковольтным линиям на шине постоянного тока должен быть исключен, если она подключена к IT-оборудованию. Стойки ORW совместимы с различными конструкциями шин питания — как с воздушным, так и с жидкостным охлаждением. Интерфейс шинопровода аналогичен ORv3 HPR (High Power Rack). Предполагаемое номинальное входное напряжение, обеспечиваемое модулем питания ORv3, составляет 51 В DC. Вся подсистема питания IT-оборудования должна поддерживать входные напряжения в диапазоне от 46 В до 52 В. Требуются датчики напряжения и температуры, силовой (100 А) и обратный (100 А) каналы, а также заземление. Типовая мощность — до 4,8 кВт на коннектор (узел).

Источник изображения: OCP

Нужно отметить, что OCP продвигает перевод дата-центров на DC-питание. Предполагается, что такая архитектура позволит повысить плотность и энергоэффективность вычислений. Концепция предусматривает возможность выделение подсистемы питания в отдельную стойку и переход к 400/800 В DC с выносом AC/DC-преобразование AC/DC за пределы машинных залов. Передачу энергии планируется осуществлять через общую DC-шину, соединяющую все стойки, или по отдельным кабелям (либо комбинированно).

Между тем перед операторами ИИ-дата-центров встаёт проблема, связанная с ростом массы IT-оборудования. Современные стойки 42U с набором серверов весят 680–1150 кг, а для ORW предусмотрена нагрузка до почти 5 т. Из-за этого возникают сложности с обустройством полов и перекрытий. Из-за большой массы оборудования многие операторы предпочитают строить одноэтажные дата-центры вместо многоэтажных. Хотя как раз для ИИ-кластеров с точки зрения интерконнекта эффективнее именно последние. Однако для Meta✴, возможно, важнее скорость развёртывания — она даже обходится без капитального строительства.

NVIDIA занялась разработкой серверных стоек, подходящих для решений на основе сторонних ИИ-ускорителей, сообщает The Information со ссылкой на знакомые с вопросом источники. Компания стремится остаться ключевым игроком на рынке ИИ-систем даже по мере того, как всё больше её клиентов разрабатывают решения, прямо конкурирующие с продуктами самой NVIDIA.

На прошлой неделе компания представила новые стойки MGX ETL, специально разработанные для поддержки чипов как самой NVIDIA, так и поставщиков-конкурентов. Система основана на модульной архитектуре MGX (OCP), представленной в 2023 году и уже довольно распространённой. ETL предполагает использование сетевых решений NVIDIA Spectrum-X. Таким образом, «зелёные» чипы всё равно оказываются в инфраструктуре, даже если она базируется на сторонних решениях.

Похожим образом компания развивает и фирменный интерконнект NVLink. NVLink Fusion можно интегрировать в другие чипы, что опять-таки даёт NVIDIA возможность заработать на чужих ИИ-системах. Но в случае ETL применяются широко поддерживаемые в индустрии стандарты Ethernet, что снижает для клиентов «порог вхождения» при внедрении оборудования NVIDIA. Модульный дизайн позволяет облачным гиперскейлерам одновременно использовать ускорители разных производителей, при этом оставаясь в сетевой и программной экосистемах NVIDIA.

Источник изображения: NVIDIA

NVIDIA позиционировала MGX как открытую «эталонную» архитектуру, не мешающую партнёрам использовать альтернативные компоненты. Гибкость также позволяет NVIDIA «проложить дорогу» на китайский рынок, где компании смогут применять со стойками NVIDIA чипы домашней разработки. Новый дизайн стоек также может помочь NVIDIA устранить обеспокоенность регуляторов практикой, когда компания связывала использование сетевого оборудования с определёнными ИИ-чипами.

На этом фоне происходит ужесточение конкуренции на рынке технологий интерконнектов. Открытый стандарт UALink позиционируется как альтернатива NVLink и призван обеспечить высокоскоростную связь между ИИ-чипами без применения проприетарных технологий. Параллельно развивается и открытый стандарт Ultra Ethernet, который призван конкурировать и с технологией Infiniband, фактически единолично контролируемой NVIDIA.

Сетевые решения являются чрезвычайно важной частью бизнеса NVIDIA. По итогам последнего квартала выручка компании в этом сегменте достигла $10,98 млрд (а за год все $31 млрд) — она выросла год к году на 268 % и составила более 15 % от всей выручки компании. При этом значительная часть сетевого оборудования продаётся не сама по себе, а в составе платформенных решений NVIDIA.

Компания Dell в ходе мероприятия 2025 OCP Global Summit рассказала о разработке передовых систем для ресурсоёмких нагрузок ИИ и HPC. Речь идёт, в частности, о полностью модульных архитектурах на базе открытых спецификаций, оптимизированных для жидкостного охлаждения.

Ихаб Тарази (Ihab Tarazi), главный технический директор и старший вице-президент Dell Technologies, сообщил, что компания установила сотни тысяч GPU-ускорителей в кластерах, использующих оборудование на основе стандарта OCP ORv3. Благодаря достижениям в области водоблоков, термоинтерфейсов, блоков распределения охлаждающей жидкости (CDU) и быстроразъёмных коллекторов упрощается развёртывание масштабных ИИ-платформ, насчитывающих десятки тысяч GPU.

Источник изображений: Dell

Кроме того, Dell совместно с Национальной лабораторией имени Лоуренса в Беркли (LBNL) при Министерстве энергетики США (DoE) разработала модульную OCP-стойку мощностью 480 кВт с возможностью дальнейшего масштабирования до 1 МВт. Решение, ориентированное на экстремальные нагрузки ИИ, допускает установку высокопроизводительных серверов, насчитывающих в общей сложности до 27 тыс. CPU-ядер и до 144 ускорителей NVIDIA GB200.

В перспективе также могут использоваться чипы AMD и NVIDIA следующего поколения, такие как Instinct MI450 и Vera Rubin. По словам Тарази, аналогичная архитектура стоек применяется в рамках суперкомпьютерной программы Техасского университета в Остине (UT Austin) и при развёртывании суверенных облаков.

В целом, модульный подход обеспечивает возможность независимой модернизации вычислительных ресурсов, хранилищ и сетевых компонентов, сокращая время обновления инфраструктуры с нескольких лет до нескольких недель. Инновации в сфере СЖО повышают надёжность и удобство обслуживания платформ в рамках масштабных ИИ-кластеров.

Amazon Web Services (AWS) нашла выход, как использовать собственные Nitro DPU K2v5/6 (EFA) в новейших стоечных системах NVIDIA GB300 NVL72, которые, как считает гиперскейлер, превосходит адаптеры NVIDIA ConnectX-7/8 по производительности. В связи с тем, что в стойках NVIDIA Oberon используются укороченные лотки высотой 1U, AWS размещает NIC в отдельной стойке JBOK, предназначенной только для сетевых карт, пишет SemiAnalysis.

Причина кроется в невозможности установить в 1U сразу девять фирменных адаптеров (8 × EFA + 1 × ENA/EBS). Для серверных систем GB200 NVL предыдущего поколения AWS выбрала вариант NVL36×2, поскольку только в этом случае использовались 2U-узлы, где достаточно места для всех NIC. Однако сдвоенная конфигурация менее эффективна, чем нативная конструкция NVL72. NVIDIA сама была не очень довольна вариантами NVL36. Meta✴, например, и вовсе «растянула» NVL36×2 на шесть стоек, чтобы обойтись воздушным охлаждением.

Источник изображения: SemiAnalysis

AWS в случае Blackwell Ultra предпочла остановиться на NVL72-варианте, а DPU вынести в отдельную стойку — всего 18 узлов высотой 2U, по 9 NIC в каждом. С узлами NVIDIA они соединены активными электрическими кабелями (AEC) и портами OSFP-XD для передачи сигналов PCIe 6.0. По словам AWS, её адаптеры лучше справляются с нагрузками, чем ConnectX-8 (RoCEv2), что отчасти спорно. В любом случае таким образом компания снижается зависимость от NVIDIA.

Источник изображения: SemiAnalysis

С точки зрения SemiAnalysis, доработка GB300 в AWS помогает устранить единую точку отказа в референсной архитектуре NVIDIA, где каждый ускоритель взаимодействует только с одним сетевым адаптером ConnectX-8, тогда как в конфигурации AWS каждый ускоритель общается с двумя NIC.

У AWS накоплен богатый опыт разработки собственного оборудования для ЦОД. Ранее компания в партнёрстве с Broadcom разрабатывала специализированные сетевые коммутаторы. Также недавно представленные ею EC2-инстансы P6-B200 и P6e-GB200 оснащены собственным сетевым стеком Elastic Fabric Adapter (EFAv4) на базе собственных контроллеров Nitro, который оптимизирует обработку сетевых пакетов и снижает задержки для высокопроизводительных приложений.

Дата-центры намерены стандартизировать использование более крупных 21″ стоек вместо обычных 19″ к 2030 году. По данным Omdia, гиперскейлеры и производители серверов полностью поддерживают такой переход, а корпоративные ЦОД всё ещё будут придерживаться старого типоразмера, сообщает The Register.

По некоторым данным, 19″ стойки (EIA-310) ведут свою «родословную» от релейных шкафов на железных дорогах — там подобный стандарт появился ещё до того, как его приняли телефонные компании, а позже и IT-индустрия. Meta✴ (Facebook✴) ещё в 2012 году столкнулась с ограничениями старого формата и основала OCP для того, чтобы организовать разработку и принятие более эффективных индустриальных стандартов.

По прогнозам аналитиков, на более крупный формат, продвигаемый OCP, к концу десятилетия придётся более 70 % поставок, поскольку он активно внедряется крупными вендорами вроде Dell и HPE — одними из лидеров в гонке по выпуску ИИ-оборудования. По данным Omdia, на сегодня все крупнейшие сервис-провайдеры, включая Microsoft, Amazon, Meta✴, Google, ByteDance, Huawei и Oracle уже перешли на использование 21″ стоек в своих ЦОД. Так, Huawei ещё в 2019 году объявила, что её дата-центры будут опираться на 21″ стандарт.

Источник изображения: Meta✴

Преимуществами более крупных стоек является лучшая циркуляция воздуха и возможность устанавливать более крупные массивы вентиляторов, что улучшает охлаждение. Кроме того, такие стойки допускают установку более крупных модулей питания и трубок СЖО, что важно для ИИ-серверов. При этом сохраняется совместимость с 19″ решениями. В Omdia ожидают, что полностью укомплектованные стойки вроде NVIDIA DGX GB200 NVL72 станут фактическим стандартом.

Источник изображения: Omdia

Кроме того, Dell и HPE продвигают предложенную OCP модульную серверную архитектуру Data Center Modular Hardware System (DC-MHS), которая позволяет по отдельности обновлять IO-модули и остальное «железо». Omdia прогнозирует, что на долю ИИ-серверов будет приходиться всё большая часть расходов на серверы в целом. Уже в 2024 году речь шла о 66 %, причём ключевые игроки рынка, включая гиперскейлеров и облачных ИИ-провайдеров, поддерживают именно 21″ стандарт, поэтому победа OCP над другими стандартами стала лишь вопросом времени.