Компания Hewlett Packard Enterprise (HPE) объявила о начале внедрения серверов, выпускаемых в рамках её плана Made in India, в проектах на территории страны. HPC Wire сообщает, что серверы индийского производства в больших масштабах используются для обслуживания растущего спроса со стороны индийских клиентов — процесс идёт с опережением графика.

План Make in India представили в июле 2023 года совместно с индийским производителем VVDN Technologies. HPE намеревается выпустить высокопроизводительные серверы на сумму $1 млрд за первые пять лет производства. Партнёры вместе построили крупное производство в городе Манесар (штат Харьяна), которое уже функционирует на полную мощность. Восемь предыдущих месяцев компании занимались организацией, настройкой автоматизации и контроля качества.

Источник изображения: HPE

Серверы Made in India подходят для самых разных целей и нагрузок, позволяя индийским компаниям и организациям модернизировать IT-инфраструктуру. В HPE India выразили признательность Министерству электроники и информационных технологий страны за программу Production Linked Incentive (PLI), предусматривающую стимулы для OEM-производителей. Именно она сыграла важную роль в привлечении компании к созданию производств на территории Индии, хотя и была поначалу не слишком успешной.

Процесс поверхностного монтажа печатных плат (PCBA) — один из технически сложных и критически важных для выпуска серверов, и возможность такой сборки непосредственно в Индии позволяет сделать производство ещё более рентабельным, чем если бы речь шла только о простой крупноузловой сборке. Благодаря этому компания получает статус доверенного предпочтительного поставщика для правительства и государственных организаций.

В VVDN Technologies подчеркнули, что сотрудничество с HPE вносит важный вклад в процесс достижения цели по превращению Индии в мировой производственный хаб. План HPE по выпуску серверов в Индии соответствует цели компании по диверсификации и обеспечению надёжности цепочки поставок. Компания активно изучает возможности дальнейшей локализации производств с помощью VVDN и расширения портфеля продуктов, выпускаемых на индийских заводах.

Государственная корпорация «Ростех» объявила о начале поставок оборудования нового поколения для создания отечественных суперкомпьютеров. Речь идёт о высокопроизводительных серверах, 24-портовых коммутаторах и адаптерах интерконнекта «Ангара».

В сообщении «Ростеха» говорится, что оборудование стало более компактным по сравнению с предыдущими модификациями. Адаптеры «Ангара» обеспечивают объединение серверов в единый вычислительный кластер для проведения расчётов с высокоинтенсивным обменом информацией и низкими задержками. Новинка разработана специалистами Научно-исследовательского центра электронной вычислительной техники (НИЦЭВТ) в составе холдинга «Росэлектроника» госкорпорации «Ростех».

На сайте НИЦЭВТ представлено изделие ЕС8431. Это FHFL-карта с интерфейсом PCIe 2.0 x16, которая обеспечивает до шести (или до восьми при использовании платы расширения) портов для соединения с соседними узлами. Пропускная способность достигает 75 Гбит/с на порт, задержка — 130 нс на хоп. Применяются Samtec-кабели. Поддерживаются топологии сети «кольцо», 2D, 3D и 4D-тор (либо решётка), причём возможно масштабирование до 32 тыс. узлов. Энергопотребление — 30 Вт.

Также доступен низкопрофильный 15-Вт адаптер ЕС8432, который по характеристикам в целом повторяет ЕС8431, но имеет только один порт (CXP). Он ориентирован на работу с коммутаторами. И НИЦЭВТ как раз предлагает такое решение — изделие ЕС8433 типоразмера 1U. Оно располагает 24 портами с пропускной способностью до 75 Гбит/с. Возможно масштабирование до 2 тыс. узлов. Энергопотребление не превышает 150 Вт.

Источник изображений: НИЦЭВТ

На мероприятии «Суперкомпьютерные дни в России 2023» НИЦЭВТ также анонсировал более компактный вариант адаптера ЕС8452.02 и 24-портовый коммутатор ЕС8453.03. В сообщении «Ростеха» не уточняется, о каких именно продуктах идёт речь. В маркетплейсе госкорпорации рекомендованная розничная цена коммутатора ЕС8433 составляет 2,8 млн руб., а адаптеров ЕС8431 и ЕС8432 — 396 тыс. руб. и 300 тыс. руб. соответственно.

В ассортименте НИЦЭВТ также значится сервер общего назначения Server-NICEVT-044 SP3 на платформе AMD. Он может оснащаться одним или двумя процессорами EPYC Naples/Rome/Milan (от 8 до 48 ядер), до 1 Тбайт RAM, двумя блоками питания с возможностью горячей замены. Возможна установка SSD суммарной вместимостью до 10 Тбайт и HDD общей ёмкостью до 80 Тбайт. Форм-фактор — 2U. Рекомендованная розничная цена составляет 1,2 млн руб.

«Мы произвели первые поставки нового поколения сетевого оборудования линейки "Ангара", разработка которого завершилась в 2023 году. Техника установлена на территории двух научно-исследовательских организаций. Устройства позволяют ещё более эффективно выполнять задачи по созданию современных российских суперкомпьютеров для решения сложных научных задач. Сегодня именно от такого оборудования во многом зависит успех и скорость научных изысканий, а значит — и развитие отечественной промышленности», — говорит генеральный директор НИЦЭВТ.

Компании Dell, по сообщению The Register, удалось сократить сроки поставок серверов для задач ИИ в несколько раз. Речь идёт о высокопроизводительных системах с ускорителями на основе GPU, в том числе NVIDIA H100. Спрос на них настолько высок, что производители не справляются с потоком заказов.

О текущей ситуации в отрасли рассказал руководитель тайваньского подразделения Dell Теренс Ляо (Terence Liao). В конце 2023 года срок поставок серверов Dell, оборудованных ускорителями H100, составлял в среднем 39 недель, или около 8–9 месяцев. По словам Ляо, с февраля 2024-го отгрузки продукции NVIDIA значительно улучшились, и Dell смогла уменьшить сроки поставок серверов до 8–12 недель, или 2–3 месяцев. Таким образом, время выполнения заказов уменьшилось в три–четыре раза.

Тем не менее, дефицит высокопроизводительных ИИ-ускорителей сохраняется. Связано это в том числе с возможностями TSMC по выпуску чипов с применением технологии CoWoS (Chip on Wafer on Substrate). Именно компоновка CoWoS применяется при изготовлении Н100.

Источник изображения: NVIDIA

В сентябре 2023 года спрос на передовые технологии упаковки чипов был настолько высоким, что TSMC заявила о способности удовлетворить только 80 % заказов. Вместе с тем TSMC сообщила о намерении расширить производственные мощности CoWoS на 20 % — это поможет смягчить проблему дефицита ИИ-ускорителей.

Между тем Dell приходится искать альтернативы ускорителям NVIDIA. В частности, она намерена использовать ИИ-ускорители Intel Gaudi3. Поддержка Gaudi3 заявлена для сервера Dell XE9680, который также поддерживает ускорители AMD Instinct MI300X. Эта ИИ-платформа наделена 32 слотами для модулей памяти DDR5, восемью разъёмами PCIe 5.0 и шестью портами OSFP 800GbE. Возможна установка 16 накопителей EDSFF3.

Компания «Ростелеком» в рамках комплексной программы импортозамещения полностью перевела свои ЦОД на отечественное оборудование. Об этом, как сообщает «Интерфакс», на форуме «Открытые инновации» объявил президент «Ростелекома».

В качестве альтернативы серверам и СХД зарубежного производства выбраны решения российского производителя IT-оборудования YADRO («КНС групп»). Эта компания предлагает такие продукты, как серверы Vegman, СХД Tatlin.Unified, объектные хранилища корпоративного уровня Tatlin.Object и системы резервного копирования Tatlin.Backup. Кроме того, в ассортименте YADRO представлены 25GbE-коммутаторы Kornfeld.

«Компания Yadro, с которой мы прошли тяжелейший, я бы сказал — кровавый — путь замещения серверов в наших ЦОД за последний год ценой ошибок, стрессов, круглосуточной работы. Но вот эта деятельность позволила нам на 100% отказаться от импортного оборудования, которое нам не продают, ну и по понятным причинам мы и сами не хотим покупать», — заявил Осеевский.

Источник изображения: YADRO

Несмотря на то, что сам «Ростелеком» полностью отказался от зарубежного оборудования в ЦОД, говорится, что в данной сфере наблюдаются «очень серьёзные проблемы с импортозамещением». По его словам, регулирование деятельности дата-центров, это та область, которая «требует дополнительного внимания». Глава «Ростелекома» также предложил распределить по годам стоимость подключения дата-центров к электросетям, а не производить оплату сразу. Речь идёт о введении специальных тарифов для ЦОД.

Компания Supermicro сообщила о подготовке серверов семейства X14, в основу которых лягут процессоры Intel Xeon Sierra Forest и Granite Rapids (Xeon 6). Речь идёт о стоечных системах, оптимизированных для обеспечения высокой производительности и энергетической эффективности.

Для устройств серии X14 заявлена поддержка GPU и DPU нового поколения, оперативной памяти DDR5, интерфейса PCIe 5.0, накопителей NVMe с поддержкой PCIe 5.0 и стандарта CXL 2.0.

Говорится о подготовке серверов с воздушным охлаждением и прямым жидкостным охлаждением Direct-to-chip. Системы рассчитаны на работу в дата-центрах с температурой окружающего воздуха до +40 °C. Серверы спроектированы в соответствии со стандартом NIST 800-193. Питание обеспечат надёжные блоки с сертификатом 80 Plus Titanium.

Источник изображения: Supermicro

В семейство Supermicro X14 войдут решения для задач ИИ с ускорителями на базе GPU, универсальные серверы, модели SuperBlade для НРС-задач, аналитики данных и облачных платформ, СХД формата 1U и 2U с поддержкой накопителей DSFF E1.S и E3.S, а также серверы серий Hyper, Hyper-E, CloudDC, BigTwin, GrandTwin и Edge.

Источник изображения: Supermicro

Компания Supermicro также сообщает, что будут доступны двухпроцессорные серверы общего назначения для решения повседневных задач корпоративного уровня. Помимо этого, готовятся рабочие станции для приложений ИИ, 3D-дизайна и пр.

В реестре радиоэлектронной продукции Минпромторга появился первый отечественный сервер для работы ИИ с поддержкой подключения нескольких ускорителей — Delta Sprut от ООО «Дельта компьютерс» (Delta Computers), позволяющий подключить до 16 ускорителей, пишет ресурс «Ведомости». С его помощью можно выполнять «тяжёлые» технические задачи, включая связанные с обучением генеративных ИИ-моделей, распознаванием и синтезом речи, работой цифровых ассистентов или распознаванием лиц в видеопотоке.

Delta Sprut включили в реестр 22 февраля 2024 года. До этого в перечне были только серверы с возможностью подключения одного ускорителя для выполнения более простых задач, таких как рендеринг фото- и видеоизображений. Следует отметить, что несмотря на включение в отечественный реестр, серверы Delta используют иностранные ускорители — в стране аналогов пока нет.

Источник изображения: Delta Computers

В России разработкой серверов с возможностью подключения ускорителей также занимаются компании «Тринити» и Yadro, но это более простые и маломощные устройства, сообщил лидер по ИИ и управлению данными ФКУ «Гостех» Михаил Федоров. По его мнению, в числе потребителей модуля Delta Computers могут быть госструктуры, поскольку он технически аттестован для использования федеральными и региональными органами власти. Также его можно использовать на «ГосТехе» при построении информсистем.

По словам представителя «ГосТеха», платформа пока не использует серверы с поддержкой ускорителей. В свою очередь, директор НОЦФНС России и МГТУ им. Н. Э. Баумана, эксперт рынка НТИ TechNet Алексей Бородулин отметил, что для дальнейшего развития «ГосТеха» потребуется большое количество ускорителей для решения высоконагруженных задач и распараллеливания вычислительных процессов. С 1 января 2024 г. на платформу «ГосТеха» перевели не только федеральные, но и региональные ведомства, в связи с чем назрела необходимость увеличения вычислительных мощностей.

По оценкам DIGITIMES Research, доходы тайваньского бизнеса, связанного с серверами, в 2023 году превысили 2 трлн тайваньских долларов, сократившись на 7 %. Согласно последнему отчету, снижение физического объёма поставок на 17,5 % привело к гораздо меньшим денежным потерям, чем ожидалось, так как в структуре экспорта выросла доля высокопроизводительных ИИ-серверов, стоящих чрезвычайно дорого.

В 2024 году DIGITIMES Research прогнозирует продолжение этой тенденции и спрос на замену серверов общего назначения, что приведёт к увеличению доходов тайваньских производителей серверов на 15 %.

Несмотря на сокращение заказов со стороны облачных провайдеров (CSP) на серверы общего назначения, а также связанные с ними услуги и оборудование, Foxconn (Hon Hai Precision Industry) в 2023 году осталась на первом месте по выручке от продаж серверов среди тайваньских производителей. По оценкам, в 2024 году Foxconn Group сохранит лидерство вследствие большого объема заказов на новые процессоры Amazon Graviton и роста продаж новых решений NVIDIA во II половине года. Ожидается, что доходы Foxconn от продаж серверов вырастут почти на 15 %.

Компания Wistron Group (включая Wiwynn), занявшая второе место, имела в 2023 году самые стабильные показатели выручки среди тайваньских компаний, снижение которой, по оценкам, составило всего 5,2 %. Wistron является основным поставщиком HGX-модулей NVIDIA A100/H100 и иных несущих плат для ускорителей, которые принесли существенный доход.

В 2024 году выручка Wistron Group также значительно вырастет благодаря таким благоприятным факторам, как увеличение поставок как ИИ-серверов для гиперскейлеров, так и фирменных ИИ серверов. Доходы Quanta Computer, занимающей третье место, в 2023 году по серверному направлени. сократились на 9,2 %, поскольку североамериканские облака перенесли часть своих расходов на приобретение дорогостоящих ИИ-серверов и значительно сократили закупки серверов общего назначения. В 2024 году, в связи со существенным увеличением доли ИИ-серверов с более высокой маржинальностью, выручка Quanta может вырасти на 14,5 %.

В 2023 году у компании Inventec первое место по объему поставок серверов в виде материнских плат, а по выручке — четвертое. В 2023 году, когда спрос на серверы общего назначения со стороны поставщиков фирменных решений и клиентов CSP после пандемии снизился, выручка Inventec от продажи серверов упала на 9,5 %, что стало самым значительным снижением среди четырех крупнейших тайваньских производителей. Ожидается, что в 2024 году заказы от крупных клиентов возобновятся, а продажи вырастут на 9 %.

IT-гиганты из США призвали Foxconn и других тайваньских партнёров организовать производство ИИ-серверов в Мексике. The Wall Street Journal сообщает, что, даже без учёта геополитических причин, мешающих сотрудничеству с материковым Китаем, вендоры только выиграют — благодаря соглашению о свободной торговле между США, Мексикой и Канадой от 2020 года выпускать продукцию на границе с Соединёнными Штатами просто выгоднее.

С момента подписания соглашения Мексика стала его ключевым бенефициаром наряду с США. Например, на объектах Foxconn в стране, по некоторым данным, уже выпускаются ИИ-серверы для Amazon, Google и NVIDIA.

По данным отраслевых источников, наладить производство в Мексике намерен и другой тайваньский производитель серверов — Inventec, якобы уже имеющий в партнёрах некий «топовый американский бренд». Снизить зависимость от Китая пытаются и Dell с HPE, развивая проекты в Юго-Восточной Азии и Мексике. Пытаются пустить корни в стране Pegatron, Wistron, Quanta и Compal. По последним данным, в Мексике уже действуют 300 тайваньских компаний, на которые работают 70 тыс. человек. Вместе они формируют рынок объёмом $15 млрд.

Источник изображения: ThisisEngineering RAEng/unsplash.com

Впрочем, у Мексики есть собственные недостатки — ей трудно конкурировать с Китаем по уровню заработной платы и здесь отсутствует надёжная инфраструктура. Но благодаря трансграничным соглашениям о свободной торговле и географической близости к США эти недостатки нивелируются, а в политическом аспекте проблем у США с Мексикой фактически нет. Это делает её во многих отношениях привлекательнее, чем Китай, где сегодня отмечаются большие проблемы с выпуском ИИ-серверов. В частности, с некоторых пор КНР не может получать передовые чипы для выпуска аналогичного оборудования, предназначенного для поставок американским компаниям, из-за введённых США антикитайских санкций. Запрещены даже поставки некоторых игровых видеокарт.

Охлаждение отношений между США и Китаем привело и к сокращению торговли между странами в целом. Например, в 2023 году доля китайских товаров в американском импорте составляла 13,9 %. Для сравнения — в 2015 году она была на уровне 21,5 %. На прошлой неделе появилась статистика Министерства экономики Тайваня (Ministry of Economic Affairs, MOEA), согласно которой местный бизнес производит 90 % всех ИИ-серверов в мире и 100 % серверов под американскими брендами. Такое положение дел не может не беспокоить США, поскольку многие допускают превращения региона в «горячую точку» уже в ближайшие годы.

Компания Supermicro анонсировала вычислительные кластеры SuperCluster с ускорителями NVIDIA, предназначенные для обработки наиболее ресурсоёмких приложений ИИ и обучения больших языковых моделей (LLM). Дебютировали системы, оснащённые жидкостным и воздушным охлаждением.

В частности, представлен комплекс SuperCluster в составе пяти стоек на основе 4U-узлов СЖО. Каждый из узлов может нести на борту два процессора Intel Xeon Sapphire Rapids / Xeon Emerald Rapids или два чипа AMD EPYC 9004 (Genoa), дополненные памятью DDR5-5600. Доступны восемь фронтальных отсеков для SFF-накопителей NVMe и два слота M.2 NVMe.

Каждый из узлов рассчитан на установку восьми ускорителей NVIDIA H100 или H200. Таким образом, в общей сложности SuperCluster с 32 узлами насчитывает до 256 ускорителей. Говорится о применении интерконнекта NVIDIA Quantum-2 InfiniBand, а также Ethernet-технологии NVIDIA Spectrum-X. Используется платформа для работы с ИИ-приложениями NVIDIA AI Enterprise 5.0, которая теперь включает микросервисы на базе загружаемых контейнеров.

Источник изображений: Supermicro

Ещё одна система SuperCluster предусматривает конфигурацию из девяти стоек с узлами в форм-факторе 8U с воздушным охлаждением. У таких узлов во фронтальной части находятся 12 отсеков для SFF-накопителей NVMe и три отсека для SFF-устройств с интерфейсом SATA. В остальном характеристики аналогичны решениям типоразмера 4U. Общее количество узлов в системе равно 32.

Кроме того, вышел комплекс SuperCluster с девятью стойками на основе узлов 1U с воздушным охлаждением. Эти узлы комплектуются суперчипом NVIDIA GH200 Grace Hopper. Есть восемь посадочных мест для накопителей E1.S NVMe и два коннектора M.2 NVMe. В кластере объединены 256 узлов. Отмечается, что данная система оптимизирована для задач инференса в облачном масштабе.

Компания ASRock Rack на конференции GTC 2024 анонсировала свои самые мощные серверы для обучения ИИ-моделей — системы 6U8X-EGS2 NVIDIA H100 и 6U8X-EGS2 NVIDIA H200. Кроме того, дебютировали решения с поддержкой новейших ускорителей NVIDIA Blackwell.

Серверы 6U8X-EGS2 NVIDIA H100 и 6U8X-EGS2 NVIDIA H200 выполнены в форм-факторе 6U. Они рассчитаны на установку восьми ускорителей NVIDIA H100 и H200 соответственно. Возможно использование двух процессоров Intel Xeon Sapphire Rapids или Xeon Emerald Rapids с показателем TDP до 350 Вт.

Доступны 32 слота для модулей оперативной памяти DDR5-5600, 12 отсеков для SFF-накопителей NVMe с интерфейсом PCIe 5.0 x4 (четыре также имеют поддержку SATA), два коннектора М.2 2280/22110 (PCIe 3.0 x4), восемь слотов HHHL PCIe5.0 x16 и пять слотов FHHL PCIe5.0 x16. Питание обеспечивают восемь блоков мощностью 3000 Вт с сертификатом 80 PLUS Platinum/Titanium.

ASRock Rack также представила двухсокетный barebone-сервер 4UMGX с поддержкой восьми ускорителей NVIDIA H100 NVL или H200 в форм-факторе 4U. Система может комплектоваться шестью DPU NVIDIA BlueField-3 или шестью сетевыми адаптерами NVIDIA ConnectX-7. Модель 4UMGX также поддерживает ускорители NVIDIA Blackwell. В основу сервера положена модульная архитектура NVIDIA MGX, предназначенная для создания ИИ-систем на базе CPU, GPU и DPU.

Источник изображений: ASRock Rack

Кроме того, дебютировали двухсокетные 4U серверы 4U8G-EGS2, 4U10G-EGS2, 4U8G-GENOA2 и 4U10G-GENOA2. Первые два рассчитаны на чипы Intel Xeon Sapphire Rapids или Xeon Emerald Rapids, два других — на процессоры AMD EPYC 9004 (Genoa). Они могут оснащаться ускорителями NVIDIA H100 NVL и H200 NVL, а в перспективе — NVIDIA Blackwell. Устройства 4U8G поддерживают восемь двухслотовых карт FHFL с интерфейсом PCIe 5.0 x16, решения 4U10G — десять. Intel-системы снабжены 32 слотами для модулей памяти DDR5, AMD-модели — 24-мя.

ASRock Rack также готовит суперускоритель GB200 NVL72, серверы с поддержкой конфигурации NVIDIA HGX B200 8-GPU и другие решения на основе аппаратных компонентов NVIDIA.