Компания Gigabyte анонсировала HGX-серверы G593-SD1-AAX3 и G593-ZD1-AAX3, предназначенные для задач ИИ и НРС. Устройства, выполненные в форм-факторе 5U, включают до восьми ускорителей NVIDIA H200. При этом используется воздушное охлаждение.

Источник изображений: Gigabyte

Модель G593-SD1-AAX3 рассчитана на два процессора Intel Xeon Emerald Rapids с показателем TDP до 350 Вт, а версия G593-ZD1-AAX3 располагает двумя сокетами для чипов AMD EPYC Genoa с TDP до 300 Вт. Доступны соответственно 32 и 24 слота для модулей оперативной памяти DDR5.

Серверы наделены восемью фронтальными отсеками для SFF-накопителей NVMe/SATA/SAS-4, двумя сетевыми портами 10GbE на основе разъёмов RJ-45 (выведены на лицевую панель) и выделенным портом управления 1GbE (находится сзади). Есть четыре слота FHHL PCIe 5.0 x16 и восемь разъёмов LP PCIe 5.0 x16. Модель на платформе AMD дополнительно располагает двумя коннекторами М.2 для SSD с интерфейсом PCIe 3.0 x4 и x1.

Питание у обоих серверов обеспечивают шесть блоков мощностью 3000 Вт с сертификатом 80 Plus Titanium. Габариты новинок составляют 447 × 219,7 × 945 мм. Диапазон рабочих температур — от +10 до +35 °C. Есть два порта USB 3.2 Gen1 и разъём D-Sub. Массовое производство серверов Gigabyte серии G593 запланировано на II половину 2024 года. Эти системы станут временной заменой (G)B200-серверов, выпуск которых задерживается.

На первый взгляд поставка серверного оборудования без процессоров может показаться бессмысленной, но представители AMD и Supermicro рассказали, почему готовы участвовать в подобных проектах. По данным CRN, топ-менеджеры компаний-партнёров заинтересованы в работе с небольшими компаниями, если у тех есть уникальные заказы.

В недавнем интервью на конференции SIGGRAPH 2024, один из топ-менеджеров AMD Джеймс Найт (James Knight) заявил, что AMD совместно с Supermicro неоднократно работали по подобной схеме со студиями, участвующими в создании компьютерной графики и другого контента. Сам Найт неоднократно участвовал в создании визуальных эффектов, в том числе для «Аватара», поэтому хорошо знает индустрию изнутри.

Источник изображения: Vardan Papikyan / Unsplash

По его словам, небольшие студии часто ограничены в средствах и просят о поставках серверов без процессоров, поскольку им ещё предстоит определить, какой именно вариант «железа» будет оптимальным по соотношению цена/производительность для их нагрузок. В качестве примера были приведены две (неназванные) студии, спросившие AMD, есть ли у той партнёры среди поставщиков серверов, согласные взяться за такие «полуготовые» решения. AMD в таком случае может предложить потенциальным покупателям несколько процессоров для выбора наилучшего варианта.

Многие партнёры AMD на такой запрос категорически отказывались реагировать, желая заранее знать, сколько ни смогут заработать на такой сделке. Тем не менее, в Supermicro, выручка которой выросла на 110 % до $14,9 млрд в 2024 фискальном году, встретили идею с энтузиазмом, не побоявшись работы с небольшими клиентами. Хотя подобные проекты не приносят ощутимой прямой прибыли, они чрезвычайно важны для AMD и Supermicro в медийном плане, причём в итоге всё выливается в рост прибылей обоих партнёров. «Это не капиталистический и не коммерческий подход, но это именно то, что повышает продажи», — заявляют в AMD, при этом, вероятно, немного лукавя.

В Supermicro сослались на одну из студий по созданию визуального контента, которая изначально хотела получить рабочую станцию с СЖО на базе новейших Ryzen AMD Threadripper. Однако в ходе общения с AMD и Supermicrco обсуждение перешло к созданию более дорогой кастомной стоечной системы. По словам одного из партнёров AMD и Supermicro, компании могут совместно решить любую проблему клиента, желая проверить и оценить каждую опцию, находящуюся в пределах их совместной компетенции. Утверждается, что у конкурентов совсем другое мировоззрение.

Компания MSI в ходе выставки Future of Memory and Storage 2024 (FMS) анонсировала сервер S2301, предназначенный для работы с резидентными базами данных, НРС-приложениями, платформами для автоматизации проектирования электроники (EDA) и пр.

Сервер поддерживает стандарт CXL 2.0 на основе интерфейса PCIe. Технология обеспечивает высокоскоростную передачу данных с малой задержкой между хост-процессором и такими устройствами, как серверные ускорители, буферы памяти и интеллектуальные IO-блоки.

На основе CXL 2.0 функционирует высокопроизводительный механизм доступа к памяти, который позволяет модулям расширения напрямую взаимодействовать с иерархией памяти CPU. При этом дополнительные блоки памяти работают так, как если бы они были частью собственной памяти системы. Подключив к серверу модули расширения CXL, можно с высокой эффективностью масштабировать ресурсы для обработки сложных задач.

Источник изображения: MSI

Сервер MSI S2301 поддерживает установку двух процессоров AMD EPYC поколения Turin. Доступны 24 слота для модулей ОЗУ. Возможно применение CXL-модулей в форм-факторе E3.S 2T (PCIe 5.0 x8). Такие решения, в частности, в августе 2023 года представила компания Micron Technology. Устройства имеют вместимость 128 и 256 Гбайт. Кроме того, память DRAM с поддержкой CXL 2.0 предлагает Samsung.

Во фронтальной части нового сервера располагаются отсеки для SFF-модулей. Говорится об использовании софта Memory Machine X разработки MemVerge, который оптимизирует затраты и помогает улучшить производительность ИИ-приложений и других ресурсоёмких рабочих нагрузок путём интеллектуального управления памятью.

Компания Supermicro расширила семейство высокопроизводительных вычислительных систем SuperCluster, предназначенных для обработки ресурсоёмких приложений ИИ/HPC. Представленные решения оптимизированы для платформы NVIDIA Omniverse, которая позволяет моделировать крупномасштабные виртуальные миры в промышленности и создавать цифровых двойников.

Системы SuperCluster for NVIDIA Omniverse могут строиться на базе серверов SYS-421GE-TNRT или SYS-421GE-TNRT3 с поддержкой соответственно восьми и четырёх ускорителей NVIDIA L40S. Обе модели соответствуют типоразмеру 4U и допускают установку двух процессоров Intel Xeon Emerald Rapids или Sapphire Rapids в исполнении Socket E (LGA-4677) с показателем TDP до 350 Вт (до 385 Вт при использовании СЖО).

Каждый из узлов в составе новых систем SuperCluster несёт на борту 1 Тбайт оперативной памяти DDR5-4800, два NVMe SSD вместимостью 3,8 Тбайт каждый и загрузочный SSD NVMe M.2 на 1,9 Тбайт. В оснащение включены четыре карты NVIDIA BlueField-3 (B3140H SuperNIC) или NVIDIA ConnectX-7 (400G NIC), а также одна карта NVIDIA BlueField-3 DPU Dual-Port 200G. Установлены четыре блока питания с сертификатом Titanium мощностью 2700 Вт каждый.

В максимальной конфигурации система SuperCluster for NVIDIA Omniverse объединяет пять стоек типоразмера 48U. В общей сложности задействованы 32 узла Supermicro SYS-421GE-TNRT или SYS-421GE-TNRT3, что в сумме даёт 256 или 128 ускорителей NVIDIA L40S.

Источник изображения: Supermicro

Кроме того, в состав такого комплекса входят три узла управления Supermicro SYS-121H-TNR Hyper System, три коммутатора NVIDIA Spectrum SN5600 Ethernet 400G с 64 портами, ещё два коммутатора NVIDIA Spectrum SN5600 Ethernet 400G с 64 портами для хранения/управления, два коммутатора управления NVIDIA Spectrum SN2201 Ethernet 1G с 48 портами.

При необходимости конфигурацию SuperCluster for NVIDIA Omniverse можно оптимизировать под задачи заказчика, изменяя масштаб вплоть до одной стойки. В этом случае применяются четыре узла Supermicro SYS-421GE-TNRT или SYS-421GE-TNRT3.

NVIDIA уже готовилась начать продажи систем на базе новейших ИИ-суперускорителей GB200, однако столкнулась с непредвиденной проблемой — TweakTown сообщает, что в системах жидкостного охлаждения этих серверов начали появляться протечки.

Судя по всему, серверы на основе GB200 использовали дефектные компоненты систем СЖО охлаждения, поставляемые сторонними производителями: разветвители, быстросъёмные соединители и шланги. Некорректная работа любого из этих компонентов может привести к утечке охлаждающей жидкости. В случае с моделью GB200 NVL72 стоимостью в $3 млн это может перерасти в большую проблему.

К счастью, нарушения в работе новых систем NVIDIA GB200 NVL36 и NVL72 обнаружили до начала массового производства в преддверии запуска поставок ключевым покупателям ИИ-решений. Предполагается, что на сроках поставок проблема не скажется, поскольку её успеют устранить. Впрочем, по данным источников, теперь крупные провайдеры облачных сервисов «нервничают».

Источник изображения: NVIDIA

NVIDIA предлагают свою продукцию всё больше тайваньских производителей, способных заменить бракованные компоненты для серверных систем с GB200. Однако сертификация компонентов — процесс довольно сложный, поскольку многие тайваньские компании не специализировались на их выпуске ещё в недавнем прошлом. Тем не менее, когда NVIDIA объявила, что ускорители следующего поколения получат жидкостное охлаждение, многие производители решили попробовать себя в этой сфере.

Тайваньские Shuanghong и Qihong уже имеют хороший опыт в выпуске водоблоков, а теперь расширили спектр разрабатываемых товаров, предлагая разветвители, быстросъемные соединители и шланги. Именно эти компании по некоторым данным сейчас предоставляют необходимые комплектующие для замены бракованных в новых суперускорителях NVIDIA GB200 NVL36 и NVL72. Лидером на рынке серверных СЖО остаётся CoolIT, но её услугами NVIDIA, видимо, решила не пользоваться.

Компания Gigabyte, по сообщению ресурса Tom's Hardware со ссылкой на ServeTheHome, готовит к выпуску двухпроцессорный сервер R283-ZK0 типоразмера 2U на аппаратной платформе AMD EPYC Genoa. Особенность данной модели заключается в наличии 48 слотов (24 на процессор) для модулей оперативной памяти DDR5, размещённых в уникальной конфигурации.

Сервер допускает установку двух чипов в исполнении SP5: в частности, говорится о возможности использования изделий со 128 ядрами (256 потоков) с показателем TDP до 300 Вт. Из-за ограниченного пространства внутри корпуса сформировать систему с 12 каналами DDR5 на процессорный сокет, располагая слоты ОЗУ рядом друг с другом, оказалось невозможно.

Gigabyte R283-ZK0

Поэтому соответствующие разъёмы на материнской плате Gigabyte MZK3-LM0 выполнены лесенкой: с одной стороны каждого процессора они имеют трёхступенчатую конфигурацию 6-2-4, с другой — четырёхступенчатую вида 4-2-2-4. Таким образом, удалось расположить 48 слотов DDR5 в стандартном форм-факторе 2U.

Сервер R283-ZK0 оснащён восемью фронтальными отсеками для SFF-накопителей NVMe, четырьмя посадочными местами для SFF-устройств в тыльной части и двумя внутренними коннекторами М.2. Есть четыре слота FHHL для карт расширения с интерфейсом PCIe 5.0 x16, два слота OCP 3.0 и два порта 1GbE. За питание отвечают два блока мощностью 2700 Вт с сертификатом 80 Plus Titanium.

Gigabyte R283-ZK0

Прочие характеристики сервера и сроки его поступления в продажу пока не раскрываются. Нужно отметить, что Gigabyte также готовит схожую модель R183-ZK0 в форм-факторе 1U, которая отличается от 2U-версии наличием всего четырёх слотов SFF NVMe, одного слота FHHL и БП мощностью 2000 Вт.

Согласно прогнозу аналитической компании TrendForce, высокий спрос на ИИ-серверы со стороны крупных провайдеров облачных услуг и других клиентов сохранится до конца 2024 года. Постепенное расширение производства компаниями TSMC, SK hynix, Samsung и Micron позволило значительно уменьшить дефицит во II квартале и, как следствие, время выполнения заказа на NVIDIA H100 сократилось с прежних 40–50 недель до менее чем 16.

По оценкам TrendForce, поставки ИИ-серверов во II квартале выросли почти на 20 % по сравнению с предыдущим кварталом. Аналитики в своём свежем отчёте пересмотрели прогноз поставок на весь год до 1,67 млн ИИ-серверов (рост на 41,5 % в годовом исчислении). Объём рынка ИИ-серверов в 2024 году в денежном выражении, как ожидают в TrendForce, превысит $187 млрд при темпах роста 69 %, что составит 65 % от рыночной стоимости всех поставленных серверов.

В отчёте также отмечено, что в этом году крупные провайдеры облачных услуг продолжают концентрироваться на закупке ИИ-серверов, что негативно отражается на темпах роста поставок серверов общего назначения. У последних ежегодные темпы роста поставок составят всего 1,9 %. Как ожидают в TrendForce, доля ИИ-серверов в штучном выражении в общем объёме поставок достигнет 12,2 %, что больше на 3,4 п.п. по сравнению с 2023 годом.

Аналитики отметили, что североамериканские гиперскейлеры постоянно расширяют выпуск собственных ASIC, впрочем, как и китайские компании, такие как Alibaba, Baidu и Huawei. Ожидается, что благодаря этому доля ASIC-серверов на рынке ИИ-серверов вырастет до 26 % в 2024 году, в то время как у ИИ-серверов с ускорителями доля будет около 71 %. При этом NVIDIA сохранит абсолютное лидерство с около 90 % рынка ИИ-серверов с ускорителями, в то время как доля AMD составит лишь около 8 %.

Если же учитывать вообще все чипы, используемые в ИИ-серверах (GPU, ASIC, FPGA), то доля рынка NVIDIA в этом году составит около 64 %, ожидают в TrendForce. По оценкам аналитической фирмы Tech Insights, NVIDIA в 2023 году отгрузила приблизительно 3,76 млн серверных ускорителей на базе GPU, захватив 98 % рынка GPU для ЦОД.

TrendForce считает, что спрос на передовые ИИ-серверы сохранится и в 2025 году, учитывая тот факт, что NVIDIA Blackwell (включая GB200, B100/B200) заменит Hopper. Это также будет стимулировать спрос на CoWoS (2.5D-упаковка от TSMC) и память HBM. Производственная мощность TSMC в области CoWoS, по оценкам TrendForce, достигнет 550–600 тыс. единиц к концу 2025 года, при этом темпы роста достигнут 80 %.

Источник изображения: TrendForce

Тем не менее, ускоритель H100 получит в 2024 году наибольшее распространение. К 2025 году такие ускорители, как Blackwell Ultra от NVIDIA или MI350 от AMD, будут оснащены HBM3e ёмкостью до 288 Гбайт, что утроит количество компонентов памяти. Ожидается, что общее предложение HBM удвоится к 2025 году на фоне высокого спроса на ИИ-серверы.

При этом не все уверены в светлом будущем ИИ. Так, венчурный фонд Sequoia Capital и аналитики Goldman Sachs указывают на сверхвысокие расходы на ИИ-оборудование и вместе с тем отсутсвие реальной финансовой отдачи от вложений в ИИ-решения. С другой стороны, венчурный фонд Andreessen Horowitz (a16z) уверен, что ИИ не станет очередным финансовым пузырём и сам закупает ИИ-ускорители, чтобы привлечь стартапы. А некоторые ИИ-стартапы сами приходят к крупным игрокам, поскольку не способны окупить затраты на оборудование.

Российский разработчик вычислительной техники «Гравитон» и производитель серверного оборудования OpenYard объявили о заключении соглашения о технологическом партнёрстве. В рамках договора на площадке OpenYard будет налажено контрактное производство комплектующих «Гравитона»: речь идёт о платах для серверов и клиентских устройств.

В конце 2023 года, напомним, «Центр открытых разработок» (бренд OpenYard) организовал на территории индустриального парка «Рязанский» неподалёку от Рязани массовое производство серверного оборудования. Предприятие может изготавливать свыше 60 тыс. единиц техники ежегодно.

Как сообщается, в рамках масштабирования заводских мощностей OpenYard принял решение об открытии доступа к производству для доверенных партнёров. Первой компанией, которая будет использовать площадку OpenYard для выпуска собственной продукции, стала «Гравитон». По условиям подписанного соглашения, «Гравитон» предоставляет спецификации и материалы, а OpenYard реализует производство «под ключ».

Источник изображения: «Гравитон»

Отмечается, что сотрудничество выгодно для обеих сторон. Так, «Гравитон» получает возможность существенно ускорить выпуск оборудования, а следовательно, сократить сроки выполнения заказов клиентов. В свою очередь, OpenYard сможет масштабировать бизнес в новом направлении.

«Потребность рынка в IT-решениях с подтверждённым российским происхождением продолжает расти. Отвечая на этот вызов, "Гравитон" наращивает выпуск продукции. Партнёрство с OpenYard в части контрактного производства печатных плат позволит существенно нарастить выпуск продукции», — говорит коммерческий директор «Гравитона».

В настоящее время ИИ является основным драйвером инвестиций в ЦОД, капитальные затраты на которые в этом году вырастут почти на 30 %, пишет The Register со ссылкой на исследование Omdia. Согласно прогнозу аналитиков, в течение нескольких лет ИИ станет основной серверной рабочей нагрузкой в ЦОД.

Приложения ИИ являются наиболее быстрорастущей категорией среди нагрузок, исходя из количества развёртываемых в год серверов. Согласно данным Omdia, рост расходов на серверы в прошлом году полностью приходится на ИИ-оборудование. В 2024 году спрос на использование ИИ ускорил инвестиции в ЦОД — капитальные затраты, «подкреплённые корпоративными денежными резервами крупных гиперскейлеров», как ожидает Omdia, вырастут на 28,5 %.

По подсчётам Omdia, продажи серверов в этом году вырастут на 74 % до $210 млрд с $121 млрд в 2023 году. В дальнейшем количество серверов для обучения ИИ будет расти примерно на 5 % в год до чуть менее 1 млн/год в 2029 году. А количество серверов для инференса будет расти со скоростью 17 % в год, и к 2029 году годовые поставки достигнут 4 млн шт. Это объясняется тем, что серверы для обучения ИИ в основном нужны небольшому количеству гиперскейлеров. Они сосредоточены на достижении максимальной эффективности своего ИИ-оборудования и у них нет потребности закупать много серверов.

Источник изображений: Omdia

В Omdia считают, что обучение ИИ можно классифицировать как деятельность в области НИОКР, и поэтому, оно будет подлежать плановому распределению бюджета, то есть реинвестированию доли доходов. А количество серверов, необходимых для инференса, наоборот, будет расти по мере увеличения аудитории пользователей приложений ИИ. Как утверждают в Omdia, в основном в течение следующих пяти лет будут продолжать быстро расти продажи ИИ-серверов, а рост поставок других типов серверов будет значительно меньше.

Прогнозируется, что расходы на управление температурным режимом в ЦОД вырастут в 2024 году на 22 % год к году до $9,4 млрд. Побочным эффектом роста спроса на более мощное серверное оборудование стал бум внедрения СЖО. По прогнозам Omdia, общий доход от СЖО превысит к концу этого года отметку в $2 млрд, а к 2028 году будет больше $5 млрд. Доходы от инфраструктуры распределения электроэнергии в этом году впервые превысят $4 млрд, а доходы от источников бесперебойного питания вырастут на 10 % до $13 млрд.

Компания Supermicro, по сообщению ресурса The Register, планирует развернуть дополнительные мощности по выпуску оборудования с жидкостным охлаждением для дата-центров. Спрос на такие решения растёт на фоне стремительного развития ИИ и платформ НРС.

Не так давно глава Supermicro Чарльз Лян (Charles Liang) заявил, что использование СЖО в ЦОД вырастет на тысячи процентов в ближайшие два года. Приблизительно 15 % стоек, отгруженных компанией в 2024 году, будут оснащены СЖО, а в 2025-м этот показатель может достичь 30 %.

На этом фоне Supermicro расширяет производство оборудования с СЖО в Кремниевой долине. В частности, планируется открытие трёх новых кампусов. Они станут частью новой экосистемы СЖО, нацеленной на удовлетворение потребностей клиентов по всему миру. Предприятия сосредоточат усилия на комплексных готовых решениях с жидкостным охлаждением, включая отдельные системы и стойки.

Источник изображения: Supermicro

«Многие операторы дата-центров присматриваются к энергосберегающим решениям с прямым жидкостным охлаждением (DLC). Supermicro разрабатывает модульные платформы с СЖО для фабрик ИИ и задач НРС», — отмечает Лян.

Говорится, что дополнительные мощности будут развёрнуты в Сан-Хосе (Калифорния, США) и в Азии. В частности, в Сан-Хосе Supermicro ранее в этом году приобрела около 8 га земли и различные объекты, которые будут использоваться для производства, сборки и складирования продукции. Кроме того, Supermicro арендует в этом регионе многофункциональные производственные и складские площади. Компания также строит современный комплекс в Малайзии.

В Supermicro заявляют, что продолжают тесно сотрудничать с операторами ЦОД для оптимизации характеристик оборудования под конкретные задачи и нагрузки. Многие из моделей серверов компании предназначены именно для жидкостного охлаждения.