Dell и AMD объявили о расширении портфеля решений Dell Generative AI Solutions с целью ускорения обработки сложных рабочих нагрузок и предоставления компаниям больше возможностей для развёртывания приложений генеративного ИИ. Новые решения включают серверы Dell PowerEdge XE9680 с ускорителями AMD Instinct MI300X. Сервер будет оснащён восемью ускорителями, что даст общую ёмкость HBM3 1,5 Тбайт и FP16-производительность более 10 Пфлопс.

Использование PowerEdge XE9680 с MI300X позволит компаниям сократить занимаемую площадь в ЦОД, снизить совокупную стоимость владения и получить конкурентное преимущество, говорит Dell. Для масштабирования нагрузок компания предлагет Ethernet-фабрику с 400G-коммутаторами PowerSwitch Z9664F-ON. PowerEdge XE9680 поставляется с приложением Dell OpenManage Enterprise для администрирования и мониторинга систем. Также сообщается, что сервер обеспечивает высокую защищённость данных благодаря интегрированной киберзащите и использованию концепции Zero Trust.

Источник изображения: Dell

Dell также пополнила платформу Dell Generative AI Solutions решением Dell Validated Design for Generative AI with AMD, которое упрощает надёжное развёртывание генеративного ИИ. Его выход ожидается в следующем году с ИИ-платформами на базе AMD ROCm и открытых больших языковых моделей (LLM). Dell PowerEdge XE9680 с ускорителями AMD Instinct MI300X и Dell Validated Design for Generative AI with AMD появится на рынке в I половине 2024 года.

«Центр открытых разработок», действующий под брендом OpenYard, по сообщению CNews, организовал на территории индустриального парка «Рязанский» неподалёку от Рязани массовое производство серверного оборудования. Завод способен изготавливать свыше 60 тыс. единиц техники ежегодно. Часть решений OpenYard входит в реестр промышленной продукции Минпромторга.

Проект предприятия, о котором идёт речь, был анонсирован в 2021 году. Изначально в создании производства участвовали «Яндекс», ГК «Ланит» и тайваньская компания Gigabyte, а также банк ВТБ. На заводе планировалось выпускать оборудование под маркой OpenYard — стоечные серверы, дисковые массивы, стойки OCP и пр. О завершении строительства предприятия было объявлено в начале мая нынешнего года. А в конце октября «Яндекс» и «Ланит» сообщили о продаже своих долей в проекте частным инвесторам. Данное решение связано со сформировавшейся геополитической обстановкой.

Источник изображения: OpenYard

Как теперь стало известно, в ноябре 2023-го OpenYard получила статус независимого производителя. При этом компания сохранила за собой ресурсы, необходимые для поддержки и дальнейшего развития серверных продуктов. Это не только производственные мощности на территории технопарка «Рязанский», но и команда специалистов, интеллектуальная собственность, а также разработки в рамках проекта OCP (Open Compute Project).

Генеральный директор OpenYard отметил, что компания начала серийное производство серверного оборудования и расширила штат сотрудников завода на 40 %. Среди заказчиков названы крупные российские банки, государственные структуры и маркетплейсы. Производство работает в «режиме полной загрузки», а серверы поставляются через дистрибьюторов.

Компания Cloudflare, предоставляющая услуги CDN, поделилась планами по модернизации своей инфраструктуры: речь идёт о переходе на серверы 12-го поколения (Gen 12), которые позволят решать в том числе ресурсоёмкие задачи в области ИИ. Развёртывание оборудования нового поколения запланировано на 2024 год.

Cloudflare отмечает, что, помимо применения более мощных процессоров, будут задействованы последние достижения в области памяти, хранения данных и безопасности. Каждый элемент проектируемых серверов тщательно оценивается, включая форм-фактор и средства охлаждения.

Серверы прошлого поколения (Источник изображений: Cloudflare)

Отмечается, что одной из основных проблем является постоянный рост TDP чипов. Так, серверы Cloudflare 9-го поколения были основан на Intel Xeon 6162 (Skylake) с TDP 150 Вт, серверы 10-го поколения — на AMD EPYC 7642 (Rome) с TDP до 240 Вт, а решения 11-го поколения — на AMD EPYC 7713 (Milan) с мощностью 240 Вт. У процессоров AMD EPYC Genoa значение TDP по умолчанию достигает 360 Вт и может быть настроено до 400 Вт, а у Intel Xeon Sapphire Rapids этот показатель составляет до 350 Вт. Следующее поколение процессоров x86 от AMD и Intel рассчитано на TDP до 500 Вт. Таким образом, возникает необходимость в более эффективном охлаждении.

Серверы Cloudflare Gen 10 и Gen 11 выполнены в форм-факторе 1U1N с воздушным охлаждением. При использовании процессоров с TDP более 350 Вт в таких серверах требуется задействовать 7–8 двухроторных вентиляторов, постоянно работающих на максимальной скорости — они могут справиться и с 400-Вт CPU. В таком режиме энергопотребление каждого из вентиляторов достигает 40 Вт, что в сумме даёт до 320 Вт только на охлаждение. При пиковых нагрузках общая потребляемая мощность сервера, включая компоненты охлаждения, собственно процессор и другие комплектующие, может превысить 750 Вт.

Однако многие площадки, где Cloudflare размещает серверы, имеют ограничение по мощности на уровне стойки. При энергопотреблении 750 Вт/узел компания может оказаться заполненной лишь наполовину. Поэтому принято решение перейти от серверов 1U1N к системам формата 2U1N. Это, как утверждается, обеспечит ряд преимуществ, в том числе:

• Поддержку вентиляторов диаметром до 80 мм, которые могут перемещать бо́льшие объёмы воздуха;
• Возможность установки более высокого и крупного радиатора, который может более эффективно рассеивать тепло;
• Меньшее сопротивление воздушным потокам внутри корпуса;
• Наличие дополнительного пространства для ускорителей и пр., в том числе полноразмерных.

Тепловое моделирование показало, что четырёх однороторных вентиляторов диаметром 60 или 80 мм мощностью менее 40 Вт каждый достаточно для охлаждения системы 2U с процессорами с показателем TDP более 350 Вт. В сравнении с восемью вентиляторами диаметром 40 мм в 1U-шассии экономия теоретически составляет минимум 150 Вт. Таким образом, переход на форм-фактор 2U даст Cloudflare возможность полностью использовать ресурсы CPU и стоечное пространство, а также поможет снизить затраты на энергию и совокупную стоимость владения.

Компания Allied Market Research опубликовала прогноз по глобальному рынку микросерверов до 2032 года. Аналитики полагают, что данный сегмент ждёт устойчивое развитие, что объясняется растущей потребностью в распределённых вычислениях, увеличением спроса на edge-решения и расширением Интернета вещей (IoT).

Отмечается, что по итогам 2022 года глобальные затраты на микросерверы составили $28,8 млрд. В дальнейшем ожидается значение CAGR (среднегодовой темп роста в сложных процентах) на уровне 15,8 %. Если этот прогноз оправдается, к 2032-му расходы поднимутся до $122,4 млрд, то есть, вырастут более чем в четыре раза по отношению к 2022-му.

В прошлом году, по оценкам, аппаратные компоненты обеспечили почти три пятых в общем объёме выручки на мировом рынке микросерверов. Вместе с тем до 2032 года наибольшие темпы роста будут наблюдаться в сегменте ПО с величиной CAGR около 17,8 %. Это связано с переходом к контейнеризации и проектированию микросервисов.

Источник изображения: HPE

В плане аппаратных платформ на традиционные решения, к которым относятся изделия Intel, в 2022 году пришлось более половины выручки на рынке микросерверов. В дальнейшем ожидается быстрый рост спроса на альтернативные системы (в том числе с архитектурой Arm) с показателем CAGR на уровне 19,5 % до 2032 года.

Крупные предприятия являются основными покупателями микросерверов: в 2022-м они обеспечили более двух третей от общей выручки. Вместе с тем, согласно прогнозам, в сегменте малых предприятий и среднего бизнеса будет наблюдаться самый высокий показатель CAGR — 17,7 % до 2032 года. Связано это с внедрением микросерверов в таких отраслях, как розничная торговля и гостиничный бизнес.

Сегмент облачных вычислений в 2022 году обеспечил более двух пятых выручки на рассматриваемом рынке. Самым крупным регионом сбыта является Северная Америка. Ожидается, что в Азиатско-Тихоокеанском регионе до 2032-го будет наблюдаться самое высокое значение CAGR — 19,3 %.

Компания HOSTKEY, оказывающая услуги по размещению, аренде и обслуживанию серверного оборудования, объявила о запуске новой хост-площадки, на этот раз не совсем обычной. Речь идёт о дата-центре Verne Global уровня Tier III в Исландии, полностью запитанному от возобновляемых источников энергии.

Благодаря тому, что исландский ЦОД питается исключительно от ГЭС и геотермальных станций с низкой стоимостью электроэнергии, а относительно низкая «забортная» температура упрощает и удешевляет охлаждение, его можно назвать действительно «зелёным». Сочетание этих качеств позволяет без лишних затрат размещать в ЦОД мощные серверы, в том числе с ускорителями для ИИ и HPC-задач. Собственно говоря, именно это теперь и предлагает HOSTKEY, причём, как и прежде, она готова принимать оплату в рублях.

Речь идёт о серверах — как выделенных (VDS), так и виртуальных (VPS) — с графическими ускорителями. В настоящее время сообщается только о решениях NVIDIA, но спектр доступных GPU достаточно широк — в него входят как игровые видеокарты GeForce RTX 3080/3090/4090, так и профессиональные RTX A4000/A5000/A6000. Некоторые конфигурации включают до четырёх GPU, в том числе с NVLink-подключением.

Источник: Verne Global

Объём оперативной памяти стартует с отметки 32 Гбайт (VPS) и может достигать 384 Гбайт (выделенный сервер), количество выделенных ядер в VPS-варианте — от 8. Все системы оснащены SSD, а в старших конфигурациях предлагаются NVMe-накопители. В зависимости от конфигурации в системе могут быть использованы процессоры Intel Core i9, AMD Ryzen или AMD EPYC. Доступны индивидуальные конфигурации, а выделенные серверы оснащены IPMI.

Источник: Verne Global

Кроме того, есть и традиционные VPS без ускорителей: 1–32 ядра (Intel Xeon E5-26xx или Cascade Lake-SP Refresh 6226R), 1–32 Гбайт RAM, 15–480 Гбайт SSD (в том числе NVMe). Время развёртывания для VPS, по словам HOSTKEY, начинается от 15 минут, а для выделенных вариантов со сложной конфигурации оно не превышает 4 часов. GPU-серверам по умолчанию полагается подключение 1 Гбит/с и 50 Тбайт трафика ежемесячно, а обычным VPS — такое же подключение, но только 3 Тбайт трафика. Как и во всех других регионах, в Исландии доступен маркетплейс, который позволяет быстро развернуть различное ПО.

ЦОД Verne Global оснащён системой резервного питания по схеме N+1, предусмотрено двойное резервирование (2N) от источника питания до стойки. Также Verne Global говорит, что на площадке развёрнуты высокочувствительная система HSSD/VESDA с газовым тушением, система круглосуточного наблюдения и обнаружения вторжения, а также предусмотрен зональный контроль доступа. Кампус подключён к кабельным системам DANICE, FARICE-1, Greenland Connect, Hibernia Express, Iceland Connect и Sea-Me-We 5. Заявлена защита от DDoS-атак.

В III квартале 2024 фискального года, завершившегося в октябре 2023-го, компания NVIDIA заработала впечатляющие $14,5 млрд на решениях для дата-центров. Как сообщает Tom’s Hardware, значительная часть выручки приходится на передовые ускорители H100 для ИИ и HPC-систем.

Данные опубликовала компания Omdia, отслеживающая активность на рынке IT-решений. Согласно её анализу, крупнейшими покупателями ускорителей H100 стали гиперскейлеры вроде Meta✴ и Microsoft, значительно обогнавших по объёмам закупок Google, Amazon, Oracle и Tencent. Если Microsoft и Meta✴ приобрели по 150 тыс. ускорителей, то их «коллеги» по IT-рынку — по 50 тыс. При этом гиперскейлерам отдаётся очевидный приоритет при выполнении заказов.

В Omdia пришли к выводу, что до конца года будет поставлено почти 650 тыс. H100. В то же время срок выполнения новых заказов на серверы на базе ускорителей компании вырос с 36 до 52 недель. Так, Dell, HPE и Lenovo не могут полностью удовлетворить свои потребности в ускорителях для своих серверов в кратчайшие сроки. В итоге год к году поставки серверов в количественном выражении рухнут на 17–20 %, однако общая выручка поднимется на 6–8 %.

Источник изображения: Omdia

В 2027 году рынок серверов должен вырасти до $195,6 млрд, причём основное предпочтение будет отдаваться специализированным вариантам под конкретные задачи, оснащённым специальными сопроцессорами. Запрос на серверы с кастомными конфигурациями становится новой нормой по мере того, как заказчики осознали экономическую эффективность применения сопроцессоров и ускорителей. Пионерами в этой сфере стали компании, связанные с ИИ и медиаконтентом, но привлекательность таких решений, как ожидается, в ближайшем будущем будет оценена и в других секторах.

Компания Omdia обнародовала предварительную статистику по мировому серверному рынку в 2023 году. Аналитики отмечают, что отрасль претерпевает трансформацию, что объясняется стремительным развитием технологий ИИ, растущей потребностью в системах со специализированными ускорителями и пр.

Специалисты Omdia называют наблюдающуюся тенденцию гипергетерогенными вычислениями (hyper heterogeneous computing). Речь идёт об увеличении спроса на серверы, которые оборудованы аппаратными компонентами для ускорения выполнения определённых задач. Это могут быть сопроцессоры для инференса, например, изделия NeuReality или карты для ускорения обработки сервисов, скажем, Nebulon Medusa2.

Источник изображения: Microsoft

По оценкам Omdia, в 2023 году глобальные поставки серверов в штучном выражении рухнут на 17–20 % по сравнению с прошлым годом. Вместе с тем из-за роста стоимости систем в связи с добавлением дополнительных аппаратных компонентов общая выручка поднимется на 6–8 %.

Аналитики полагают, что в свете развития гипергетерогенных вычислений к 2027 году на CPU и специализированные сопроцессоры будет приходиться более 30 % расходов дата-центров на оборудование по сравнению с менее чем 20 % десятью годами ранее. Если рассматривать сегмент GPU-серверов, то Microsoft и Meta✴ Platforms являются ведущими заказчиками: ожидается, что эти компании к концу 2023-го получат более 150 тыс. изделий NVIDIA H100. Это в три раза больше по сравнению с объёмом закупок Google, Amazon и Oracle.

Источник: Omdia (via aibusiness.com)

В отчёте Omdia также отмечается, что спрос на GPU-системы со стороны гиперскейлеров настолько высок, что традиционные поставщики в лице Dell, Lenovo и HPE попросту не в состоянии выполнять заказы на поставки серверов с ускорителями H100 из-за дефицита этих изделий. Время ожидания для клиентов может достигать 36–52 недель.

Из-за необходимости использования более мощных серверов операторам ЦОД приходится тратить больше денег на инфраструктуру электропитания и охлаждения. Так, выручка от стоечных средств распределения питания подскочила на 17 % в I полугодии 2023-го, а расходы на системы охлаждения увеличились на 7 % в годовом исчислении. При этом объём сегмента прямого жидкостного охлаждения вырастет на 80 % в нынешнем году.

В III квартале 2023 года мировые поставки серверов выросли поквартально на 1,5 %, в полном соответствии с прогнозами экспертов. Как сообщает DigiTimes со ссылкой на доклад своего аналитического подразделения, основным драйвером роста был запуск вендорами новых платформ. При этом общие объёмы закупок крупными облачными сервис-провайдерами США даже слегка упали, при одновременном росте интереса к более дорогим ИИ-серверам.

В IV квартале мировые поставки серверов по мнению экспертов должны вырасти на 3,8 % квартал к кварталу. Речь идёт как о восстановлении поставок обычных серверов общего назначения для крупных облачных провайдеров из США, так и увеличении поставок ИИ-серверов.

Изображение: Panumas Nikhomkhai / Pixabay

Высокие процентные ставки в III квартале 2023 года крайне негативно повлияли на корпоративные закупки и заставили вендоров вроде Dell и HPE снизить расходы на решения на базе новых платформ AMD и Intel. При этом провайдеры облачных сервисов из Северной Америки зарегистрировали неудовлетворительные результаты в сегменте серверов для традиционных вычислений, что привело к спаду закупок квартал к кварталу. В то же время облачные операторы увеличили закупки высокопроизводительных ИИ-серверов.

Поставки для Meta✴ и Google упали квартал к кварталу более чем на 10 % для каждой из компаний, а поставки для ЦОД в Китае слегка увеличились, но только в сравнении с уже низкими объёмами, зарегистрированными кварталом ранее.

Давая предварительный прогноз для IV квартала, эксперты пришли к выводу, что спрос среди крупных облачных провайдеров в Северной Америке в последнем квартале года восстановится, поскольку он уже достиг минимума и наметилась обратная тенденция. Кроме того, продолжают увеличиваться поставки ИИ-серверов, а Amazon агрессивно внедряет собственную платформу на базе Arm-архитектуры.

Поставки вендоров должны вырасти с октября по декабрь на 4,5 % квартал к кварталу, основным фактором роста стало появление новых процессорных платформ. Например, в прошлом месяце Dell заявила, что серверы станут основным драйвером роста компании в эпоху ИИ. Восстановятся и закупки облачными провайдерами, например, гиперскейлеров уровня Meta✴ и Amazon.

Компания MSI на конференции по высокопроизводительным вычислениям SC23 представила новые серверы на процессорах AMD EPYC Genoa и Intel Xeon Sapphire Rapids. Устройства ориентированы на дата-центры и подходят для НРС-нагрузок, генеративного ИИ и других ресурсоёмких задач.

Одна из новинок — платформа G4201, которая допускает установку двух чипов Xeon Sapphire Rapids и 32 модулей оперативной памяти DDR5. Этот сервер формата 4U располагает восемью слотами PCIe 5.0 x16 для ускорителей высотой в два слота, а также двумя PCIe 5.0 x16 для карт толщиной в один слот.

Дебютировал также сервер G4101 типоразмера 4U. Он рассчитан на один чип EPYC Genoa (до 128 ядер; TDP до 500 Вт) и 12 модулей DDR5-4800. Возможно применение жидкостного охлаждения. Доступны четыре разъёма PCIe 5.0 х16 для трёхслотовых ускорителей и ещё два разъёма PCIe 5.0 x16. Во фронтальной части расположены отсеки для 12 накопителей U.2 NVMe или SAS/SATA (SFF). Кроме того, предусмотрены два коннектора M.2 M-Key (2280/22110, PCIe 3.0 x4/x2). Питание обеспечивают два блока мощностью 3000 Вт каждый.

Источник изображений: MSI

Ещё одна новинка — модель G3101, получившая исполнение 3U. Она допускает установку одного процессора EPYC 7002/7003 с 64 ядрами (до 300 Вт) и восьми модулей DDR4-3200. Поддерживается развёртывание СЖО. Есть шесть отсеков для SFF-накопителей с интерфейсом SATA-3 и четыре слота PCIe 4.0 x16 для карт FHFL. Предусмотрены два сетевых порта 10GbE на базе Intel X710AT2. В оснащение включены два блока питания на 1600 Вт.

Кроме того, MSI анонсировала два сервера с поддержкой Compute Express Link (CXL) — модели S1301 и S2302, оптимизированные для задач с интенсивным использованием данных. Характеристики версии S1301 формата 1U таковы: два процессора EPYC 9004 (Genoa) с 32 ядрами и TDP до 210 Вт, 24 слота для модулей DDR5-4800, два разъёма PCIe 5.0 x16 для ускорителей HHHL, 10 отсеков для накопителей E3.S CXL, два коннектора M.2 M-Key 2280 (PCIe 3.0 x2) и два блока питания мощностью 1600 Вт.

В свою очередь, сервер S2302 стандарта 2U поддерживает два чипа Xeon Sapphire Rapids (до 60 ядер; 350 Вт), 32 модуля DDR5-4800, три ускорителя PCIe 5.0 x16  FHFL и две карты PCIe 5.0 x16 HHHL. Накопители могут устанавливаться по схеме 8 × E3.S CXL и 2 × E3.S PCIe 5.0 SSD или 10 × E3.S PCIe 5.0 SSD. Применены два блока питания на 1600 Вт.

Компания Liqid в партнёрстве с Dell Technologies анонсировала эталонную архитектуру UltraStack L40S для формирования систем с высокой плотностью компоновки GPU и иных ускорителей — до 16 шт. на один сервер. Такие платформы могут использоваться для ИИ-приложений, работы с большими языковыми моделями (LLM), задач НРС и пр.

Новинка доступна в конфигурациях UltraStack x8 и UltraStack x16. В качестве хост-сервера в составе решения выступает Dell PowerEdge R760xa на базе Intel Xeon Sapphire Rapids: применены два процессора Xeon Gold 6430 (32 ядра; 64 потока; 1,9 ГГц). Объём оперативной памяти в первом случае составляет 1 Тбайт, во втором — 2 Тбайт.

К серверу подключаются модули Liqid PCIe Chassis. Версия UltraStack x8 использует два таких модуля: задействованы восемь ускорителей NVIDIA L40S с 48 Гбайт памяти GDDR6 и SSD-хранилище вместимостью 30 Тбайт (NVMe). Вариант UltraStack x16 комплектуется тремя модулями Liqid PCIe Chassis: объединены 16 карт NVIDIA L40S, а ёмкость хранилища составляет 60 Тбайт.

Источник изображения: Liqid

Платформа UltraStack L40S предполагает применение восьми двухпортовых сетевых адаптеров NVIDIA ConnectX-7 (16 × 200 Гбит/с), DPU BlueField-3, двух хост-адаптеров Liqid Gen 4.0 x16 HBA, а также коммутатора PCIe 4.0 на 24/48 портов. Среднее энергопотребление UltraStack x8 заявлено на уровне 4,5 кВт, UltraStack x16 — 7,5 кВт.

Система базируется на ПО Liqid Matrix. Компания Liqid утверждает, что по сравнению с четырьмя серверами формата 2U, каждый из которых содержит четыре ускорителя NVIDIA L40S, её система UltraStack с 16 такими картами обеспечивает на 35 % более высокую производительность, сокращение энергопотребления на 35 % и снижение общей стоимости владения на 25 %.