Компания Lenovo в ходе конференции по высокопроизводительным вычислениям SC24 в Атланте анонсировала сервер ThinkSystem SC750 V4 Neptune, предназначенный для технических вычислений и аналитики данных в различных областях, таких как аналитика, научные исследования, энергетика, проектирование и финансовое моделирование.

Система ThinkSystem SC750 V4 Neptune объединяет два узла, которые заключены в 19" корпус с возможностью вертикального монтажа. Каждый узел может нести на борту два процессора Intel Xeon 6900 поколения Granite Rapids (до 128 ядер) с показателем TDP до 500 Вт. В расчёте на узел доступны 24 слота для модулей оперативной памяти TruDDR5 RDIMM-6400 или MRDIMM-8800 (в сумме до 3 Тбайт).

Источник изображения: Lenovo

Каждый узел может комплектоваться шестью накопителями EDSFF E3.S NVMe SSD общей вместимостью до 92,16 Тбайт. Есть два сетевых порта 25GbE SFP28 на основе контроллера Broadcom 57414, один порт 1GbE RJ45 на базе Intel I210, два слота PCIe 5.0 x16. Габариты составляют 546 × 53 × 760 мм, масса — 37,2 кг. Говорится о совместимости с Red Hat Enterprise Linux, SUSE Linux Enterprise Server, Ubuntu и пр.

Применено прямое жидкостное охлаждение Lenovo Neptune. Утверждается, что по сравнению с аналогичной системой с воздушным охлаждением сервер ThinkSystem SC750 V4 Neptune обеспечивает увеличение общей производительности до 10 % благодаря постоянной работе процессоров в турбо-режиме. При этом энергопотребление ЦОД от серверов может быть уменьшено на 40 %, тогда как шум от вентиляторов устраняется полностью.

Восемь лотков ThinkSystem SC750 V4 Neptune могут быть установлены в шасси ThinkSystem N1380 формата 13U: в сумме это даёт 16 узлов. Шасси может быть оборудовано четырьмя узлами Power Conversion Stations (PCS) с сертификатом 80 PLUS Titanium. 

Компания Dell анонсировала серверы PowerEdge XE9685L и PowerEdge XE7740, предназначенные для НРС и ресурсоёмких рабочих нагрузок ИИ. Устройства могут монтироваться в 19" стойку высокой плотности Dell Integrated Rack 5000 (IR5000), что позволяет экономить место в дата-центрах.

Модель PowerEdge XE9685L в форм-факторе 4U рассчитана на установку двух процессоров AMD EPYC Turin. Применяется жидкостное охлаждение. Доступны 12 слотов для карт расширения PCIe 5.0. Говорится о возможности использования ускорителей NVIDIA HGX H200 или B200.

По заявлениям Dell, система PowerEdge XE9685L предлагает самую высокую в отрасли плотность GPU с поддержкой до 96 ускорителей NVIDIA в расчёте на стойку. Новинка подходит для организаций, решающих масштабные вычислительные задачи, такие как создание крупных моделей ИИ, запуск сложных симуляций или выполнение геномного секвенирования. Конструкция сервера обеспечивает оптимальные тепловые характеристики при высоких рабочих нагрузках, а наличие СЖО повышает энергоэффективность.

Источник изображений: Dell

Вторая модель, PowerEdge XE7740, также имеет типоразмер 4U, но использует воздушное охлаждение. Допускается установка двух процессоров Intel Xeon 6 на базе производительных ядер P-core (Granite Rapids). Заказчики смогут выбирать конфигурации с восемью ИИ-ускорителями двойной ширины, включая Intel Gaudi 3 и NVIDIA H200 NVL, а также с 16 ускорителями одинарной ширины, такими как NVIDIA L4. Сервер подходит для различных вариантов использования, например, для тонкой настройки генеративных моделей ИИ, инференса, аналитики данных и пр. Конструкция машины позволяет эффективно сбалансировать стоимость, производительность и масштабируемость.

Dell также готовит к выпуску новый сервер PowerEdge XE на базе NVIDIA GB200 Grace Blackwell NVL4. Говорится о поддержке до 144 GPU на стойку формата 50OU (Dell IR7000).

Основанный Илоном Маском (Elon Musk) стартап xAI, похоже, отнял все прежние заказы на ИИ-серверы у испытывающей не лучшие времена Supermicro, чтобы передать их её конкурентам. Как сообщает UDN, выгодоприобретателями станет Dell, а также её партнёры Inventec и Wistron. Для Supermicro, которой и без того грозит делистинг с Nasdaq, это станет очередным ударом.

Ранее Dell и Supermicro поставляли оборудования компаниям Илона Маска, в т.ч. xAI и Tesla. Официально сообщалось, что xAI закупила ИИ-серверы с жидкостным охлаждением у Supermicro. Но после того, как Министерство юстиции США начало расследование деятельности поставщика в связи с вероятными махинациями с бухгалтерской отчётностью и нарушением санкционного режима, акции компании обрушились. После этого, по данным UDN, компании Маска и приняли решения передать заказы другим исполнителям.

Среди поставщиков ИИ-серверов у Dell хорошие возможности получения заказов. Например, Wistron выпускает материнские платы для ИИ-серверов компании и выполняет некоторые задачи по сборке — партнёры станут одними из основных бенефициаров краха Supermicro. Фактически Wistron уже расширяет производственные мощности для удовлетворения спроса, в частности на трёх заводах на Тайване, а также в Мексике. В Wistron смотрят в будущее с большим оптимизмом и ожидают, что спрос на ИИ-серверы будет расти «трёхзначными» значениями в процентном отношении.

Источник изображения: Bermix Studio/unsplash.com

Inventec также является крупным поставщиком Dell и тоже получит свою долю «пирога» от заказа Supermicro. Компания давно участвует в производстве ИИ-систем и входит в тройку ведущих партнёров Dell, участвующих в сборке серверов. В 2024 году компания поставляла машины на чипах семейства NVIDIA Hopper, но в I квартале 2025 года она сможет поставлять уже варианты на платформе NVIDIA Blackwell — с ускорителями B200 и B200A. Считается, что у компании есть свободные производственные мощности в Мексике, поэтому она сможет нарастить выпуск ИИ-серверов для компаний, ранее работавших с Supermicro.

Фото: Michael Dell

Одной из ключевых причин проблем Supermicro считается задержка с подачей финансовых документов, из-за чего компания рискует покинуть биржу Nasdaq. Чтобы избежать делистинга, Supermicro должна была объяснить задержки с подачей материалов и подать доклад по форме K-10 к 16 ноября, но сделать этого не успела. Впрочем, первые неприятности у Supermicro начались значительно раньше, когда Hindenburg Research опубликовала разгромный доклад о финансовой отчётности компании.

Если Supermicro дождётся делистинга на бирже, это приведёт к серьёзными финансовыми последствиями, включая стремительное падение акций и необходимость немедленного погашения долга $1,725 млрд по конвертируемым облигациям — обычно такие «триггеры» учитываются в соглашениях и активируются при делистинге. Буквально на днях сообщалось, что Supermicro лишилась заказа от индонезийской YTL Group (YTLP) на поставку суперускорителей NVIDIA GB200 NVL72 для одного из крупнейших в Юго-Восточной Азии ИИ-суперкомпьютеров. Теперь поставками будет заниматься только Wiwynn, которая принадлежит всё той же Wistron. При этом сама Wiwynn сейчас судится с X (Twitter), которой владеет Илон Маск.

Министерство внутренних дел России (МВД), по сообщению газеты «Ведомости», столкнулось с серьёзными проблемами при замене вышедших из строя серверов на российских процессорах «Эльбрус», разработкой которых занимается АО «МЦСТ». Дело в том, что поставки этих чипов ограничены.

Как сообщил заместитель начальника департамента информационных технологий, связи и защиты информации МВД Игорь Кашпур, с 2020-го по 2024 год ведомство приобрело в общей сложности 709 серверов с процессорами «Эльбрус». В частности, в марте 2021-го МВД выделило 1,16 млрд руб. для закупки 298 систем. Позднее в том же году планировалось приобрести ещё 80 серверов на 350 млн руб. А в 2023-м ведомство получило 23 сервера на «Эльбрусах» общей стоимостью 86,3 млн руб.

Как отмечает Кашпур, серверы служат для поддержания работы сервисов автоматизации деятельности центров фиксации административных правонарушений в области дорожного движения в базе специального ПО «Паутина», а также единого информационного ресурса регистрационного иммиграционного учета. Проблема заключается в том, что эти машины демонстрируют невысокую отказоустойчивость. Причём у МВД фактически отсутствует возможность оперативной замены такого оборудования при выходе его из строя вследствие форс-мажорных обстоятельств, поскольку отгрузки новых серверов осуществляются исключительно в плановом порядке.

Источник изображения: МЦСТ

В МЦСТ говорят, что имеющийся на сегодняшний день резерв чипов «Эльбрус» распределён, тогда как новые партии «временно не производятся». Вместе с тем директор по развитию компании Константин Трушкин сообщил, что возможности и мощности для производства требуемого оборудования у МЦСТ имеются. По его словам, решаются вопросы, связанные с возобновлением поставок.

Говорится также, что проблемы с серверами на чипах «Эльбрус» испытывают и другие организации, в число которых входят банки, операторы и госкорпорации. Участники рынка говорят, что трудности с выпуском процессоров у МЦСТ возникли в связи с санкциями. От выпуска «Эльбрусов» отказался тайваньский контрактный производитель TSMC, который ранее занимался выполнением соответствующих заказов. У МЦСТ были планы по переносу производства на завод «Микрон», но они так и не были реализованы. Сейчас компания находится под внешним управлением.

Компания Cisco анонсировала сервер высокой плотности UCS C885A M8, предназначенный для решения задач в области ИИ, таких как обучение больших языковых моделей (LLM), тонкая настройка моделей, инференс, RAG и пр.

Источник изображения: Cisco

Устройство выполнено в форм-факторе 8U. В зависимости от модификации устанавливаются два процессора AMD EPYC 9554 поколения Genoa (64 ядра; 128 потоков; 3,1–3,75 ГГц; 360 Вт) или два чипа EPYC 9575F семейства Turin (64 ядра; 128 потоков; 3,3–5,0 ГГц; 400 Вт). Доступны 24 слота для модулей DDR5-600 суммарным объёмом 2,3 Тбайт.

В максимальной конфигурации могут быть задействованы восемь SXM-ускорителей NVIDIA H100, H200 или AMD Instinct MI300X. Каждый ускоритель дополнен сетевым адаптером NVIDIA ConnectX-7 или NVIDIA BlueField-3 SuperNIC. Кроме того, в состав сервера входит DPU BlueField-3. Слоты расширения выполнены по схеме 5 × PCIe 5.0 x16 FHHL плюс 8 × PCIe 5.0 x16 HHHL и 1 × OCP 3.0 PCIe 5.0 x8 (для карты X710-T2L 2x10G RJ45 NIC).

Источник изображения: Cisco

Новинка оборудована загрузочным SSD вместимостью 1 Тбайт (M.2 NVMe), а также 16 накопителями U.2 NVMe SSD на 1,92 Тбайт каждый. Установлены два блока питания мощностью 2700 Вт и шесть блоков на 3000 Вт с возможностью горячей замены.

Cisco также представила инфраструктурные стеки AI POD, адаптированные для конкретных вариантов использования ИИ в различных отраслях. Они объединяют вычислительные узлы, сетевые компоненты, средства хранения и управления. Стеки, как утверждается, обеспечивают хорошую масштабируемость и высокую эффективность при решении ИИ-задач.

Облачный провайдер Cloud.ru сообщил о запуске сервиса Evolution Bare Metal, с помощью которого пользователь может получить выделенный сервер из личного кабинета без обращения за помощью к службе техподдержки. Сервис позволит арендовать выделенные серверы для систем, которым требуется доступ к аппаратной части. Evolution Bare Metal интегрирован с кроссплатформенными сервисами Cloud.ru.

Пользователь может выбрать нужную из готовых конфигураций для разных типов задач, различающихся типом процессоров, объёмом памяти и характеристиками дисков. После заказа клиент получает доступ к серверу менее, чем за минуту без учёта времени на установку операционной системы. Для управления сервером доступны VNC и API.

Источник изображений: Cloud.ru

Сценарии использования сервиса Evolution Bare Metal:

• Размещение высоконагруженных приложений, баз данных и российских ЕRP-систем;
• Среда для разработки и тестирования: проведение нагрузочных тестов, требующих высокой производительности ресурсов, симуляции различных сценариев использования и проверку производительности ПО;
• Кластеры для работы с Big Data;
• Создание виртуализированных сред и контейнеров для рационального управления ресурсами и изолирования приложений и сервисов для их гибкости и безопасности.

Как указано в пресс-релизе, Evolution Bare Metal позволит использовать выделенные физические серверы с облачной инфраструктурой, гибкой конфигурацией и удобным управлением для аналитических задач, работы с высоконагруженными корпоративными приложениями и базами данных в цифровом банкинге, финтехе, e-commerce, онлайн-стриминге.

Впрочем, пока что на выбор предлагаются всего пять конфигураций готовых серверов серии Light на базе 12- и 22-ядерных CPU Intel Xeon поколения Haswell-EP/Broadwell-EP и Skylake-SP с 64 или 128 Гбайт RAM и SAS/SATA SSD/HDD. Для установки доступны ОС Ubuntu Linux и Oracle Linux.

Тендеры китайского телеком-гиганта China Telecom могут служить своеобразным индикатором настроений на локальном рынке. По данным The Register, в 2024 году большая часть из 156 тыс. серверов, согласно требованиям компании, придётся на местных производителей, использующих «домашние» технологии.

China Telecom относится к «большой тройке» принадлежащих государству телеком-провайдеров, доминирующих на китайском рынке услуг связи. По данным на сентябрь 2024 года у оператора насчитывалось 442 млн мобильных абонентов и 196 млн пользователей широкополосного интернета. Кроме того, компания управляет публичным облаком, а также многими другими сервисами.

Для обеспечения работы всей инфраструктуры требуется очень много оборудования. В этом году речь идёт о поставках 156 тыс. сереров, всего в 13 вариантах конфигурации. В большинстве случаев речь идёт о машинах «G-класса» — разработанных и выпускаемых в Китае серверах, использующих в том числе чипы местного производства. Это укладывается в общую правительственную политику поддержки местных технологий. Впрочем, компании из других стран тоже заработают, поскольку большинство серверов использует чипы на архитектуре Arm или C86 — лицензированном варианте x86.

Источник изображения: Kido Dong/unsplash.com

Так или иначе, для приблизительно 100 тыс. серверов чипы AMD или Intel не подойдут. В числе заявленных закупок — чипы производства китайской Loongson. В перечне одобренных China Telecom CPU значатся и процессоры компании Zhaoxin на архитектуре Yongfeng — они созданы с использованием интеллектуальной собственности VIA (лицензия на x86). Также будут использоваться и RISC-процессоры компании Shenwei (Sunway).

Некоторые участники рынка уже отвоевали место в списке закупок China Telecom: речь идёт о Lenovo, Inspur и H3C, а также более мелких местных производителей. Весной 2024 года сообщалось, что китайские телеком-операторы готовы потратить миллиарды долларов на закупку огромного количества ИИ-серверов.

Компания «Рикор» анонсировала серверы 7-й серии, которые, как утверждается, отличаются глубоким уровнем локализации: в России произведены печатные платы, некоторые внутренние компоненты и корпус. Устройства включены в Единый реестр российской промышленной продукции Минпромторга РФ.

В основу положена аппаратная платформа Intel Xeon Ice Lake-SP. На сегодняшний день в новом семействе представлены модели Rikor 7104 gen.3 PROP и Rikor 7212 gen.3 PROP типоразмера 1U и 2U соответственно. Они оснащены материнской платой на чипсете Intel C621A с возможностью установки двух процессоров с TDP до 175 и 270 Вт. Доступны 32 слота для модулей DDR4-3200 суммарным объёмом до 4 Тбайт.

Сервер 1U получил четыре фронтальных отсека для накопителей LFF/SFF с горячей заменой, вариант 2U — 12 отсеков. Кроме того, у старшей версии есть два посадочных места для SFF-устройств в тыльной части. Обе новинки располагают двумя коннекторами для SSD формата М.2. В оснащение входят контроллеры Aspeed AST2500/Rikor BMC, три слота PCIe 4.0, разъём OCP 3.0. Есть два сетевых порта 1GbE RJ45, выделенный сетевой порт управления, четыре порта USB 3.2 Gen1 и два порта USB 2.0, коннектор D-Sub. Питание обеспечивают два блока мощностью 1200 Вт.

Источник изображения: «Рикор»

Отмечается, что новая серверная платформа представляет собой результат трёхлетней работы команды инженеров и разработчиков «Рикор». Среди её ключевых преимуществ названы: полная локализация производства, модульная конструкция, возможность горячей замены компонентов (включая блоки питания) и удалённое управление.

Серверы, по заявлениям разработчика, подходят для широкого круга организаций — от корпораций федерального масштаба до небольших компаний, использующих оборудование вне дата-центров. Новинки ориентированы на облачные платформы, виртуализацию, терминальные сервисы и высокопроизводительные вычисления. Сейчас компания работает над серверами с Intel Xeon Sapphire Rapids и Emerald Rapids на базе тех же шасси, но с новыми материнскими платами.

Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Компания Dell Technologies анонсировала интегрированные стоечные масштабируемые системы для экосистемы AI Factory, рассчитанные на задачи НРС и ресурсоёмкие приложения ИИ. В частности, дебютировали решения Integrated Rack 7000 (IR7000), PowerEdge M7725 и PowerEdge XE9712.

Источник изображений: Dell

IR7000 — это высокоплотная 21″ стойка Open Rack Version 3 (Orv3) с поддержкой жидкостного охлаждения. Говорится о совместимости с мощными CPU и GPU с высоким значением TDP. Модификации 44OU и 50OU оснащены салазками, которые шире и выше традиционных: это гарантирует совместимость с несколькими поколениями архитектур процессоров и ИИ-ускорителей. Полки питания в настоящее время поддерживают мощность от 33 кВт до 264 кВт на стойку с последующим увеличением до 480 кВт.

Система Dell PowerEdge M7725 специально спроектирована для вычислений высокой плотности. В основу положены процессоры AMD серии EPYC 9005 (Turin), насчитывающие до 192 вычислительных ядер. Одна стойка IR7000 может вместить 72 серверных узла M7725, каждый из которых оборудован двумя CPU. Таким образом, общее количество вычислительных ядер превышает 27 тыс. на стойку. Возможно развёртывание прямого жидкостного охлаждения (DLC) и воздушного охлаждения. Доступны два IO-слота (PCIe 5.0 x16) в расчёте на узел с поддержкой Ethernet и InfiniBand.

В свою очередь, система Dell PowerEdge XE9712 разработана для обучения больших языковых моделей (LLM) и инференса в реальном времени. Эта новинка использует архитектуру суперускорителя NVIDIA GB200 NVL72. В общей сложности задействованы 72 чипа B200 и 36 процессоров Grace. Утверждается, что такая конфигурация обеспечивает скорость инференса до 30 раз выше по сравнению с системами предыдущего поколения.