Согласно прогнозу аналитической компании TrendForce, высокий спрос на ИИ-серверы со стороны крупных провайдеров облачных услуг и других клиентов сохранится до конца 2024 года. Постепенное расширение производства компаниями TSMC, SK hynix, Samsung и Micron позволило значительно уменьшить дефицит во II квартале и, как следствие, время выполнения заказа на NVIDIA H100 сократилось с прежних 40–50 недель до менее чем 16.

По оценкам TrendForce, поставки ИИ-серверов во II квартале выросли почти на 20 % по сравнению с предыдущим кварталом. Аналитики в своём свежем отчёте пересмотрели прогноз поставок на весь год до 1,67 млн ИИ-серверов (рост на 41,5 % в годовом исчислении). Объём рынка ИИ-серверов в 2024 году в денежном выражении, как ожидают в TrendForce, превысит $187 млрд при темпах роста 69 %, что составит 65 % от рыночной стоимости всех поставленных серверов.

В отчёте также отмечено, что в этом году крупные провайдеры облачных услуг продолжают концентрироваться на закупке ИИ-серверов, что негативно отражается на темпах роста поставок серверов общего назначения. У последних ежегодные темпы роста поставок составят всего 1,9 %. Как ожидают в TrendForce, доля ИИ-серверов в штучном выражении в общем объёме поставок достигнет 12,2 %, что больше на 3,4 п.п. по сравнению с 2023 годом.

Аналитики отметили, что североамериканские гиперскейлеры постоянно расширяют выпуск собственных ASIC, впрочем, как и китайские компании, такие как Alibaba, Baidu и Huawei. Ожидается, что благодаря этому доля ASIC-серверов на рынке ИИ-серверов вырастет до 26 % в 2024 году, в то время как у ИИ-серверов с ускорителями доля будет около 71 %. При этом NVIDIA сохранит абсолютное лидерство с около 90 % рынка ИИ-серверов с ускорителями, в то время как доля AMD составит лишь около 8 %.

Если же учитывать вообще все чипы, используемые в ИИ-серверах (GPU, ASIC, FPGA), то доля рынка NVIDIA в этом году составит около 64 %, ожидают в TrendForce. По оценкам аналитической фирмы Tech Insights, NVIDIA в 2023 году отгрузила приблизительно 3,76 млн серверных ускорителей на базе GPU, захватив 98 % рынка GPU для ЦОД.

TrendForce считает, что спрос на передовые ИИ-серверы сохранится и в 2025 году, учитывая тот факт, что NVIDIA Blackwell (включая GB200, B100/B200) заменит Hopper. Это также будет стимулировать спрос на CoWoS (2.5D-упаковка от TSMC) и память HBM. Производственная мощность TSMC в области CoWoS, по оценкам TrendForce, достигнет 550–600 тыс. единиц к концу 2025 года, при этом темпы роста достигнут 80 %.

Источник изображения: TrendForce

Тем не менее, ускоритель H100 получит в 2024 году наибольшее распространение. К 2025 году такие ускорители, как Blackwell Ultra от NVIDIA или MI350 от AMD, будут оснащены HBM3e ёмкостью до 288 Гбайт, что утроит количество компонентов памяти. Ожидается, что общее предложение HBM удвоится к 2025 году на фоне высокого спроса на ИИ-серверы.

При этом не все уверены в светлом будущем ИИ. Так, венчурный фонд Sequoia Capital и аналитики Goldman Sachs указывают на сверхвысокие расходы на ИИ-оборудование и вместе с тем отсутсвие реальной финансовой отдачи от вложений в ИИ-решения. С другой стороны, венчурный фонд Andreessen Horowitz (a16z) уверен, что ИИ не станет очередным финансовым пузырём и сам закупает ИИ-ускорители, чтобы привлечь стартапы. А некоторые ИИ-стартапы сами приходят к крупным игрокам, поскольку не способны окупить затраты на оборудование.

Российский разработчик вычислительной техники «Гравитон» и производитель серверного оборудования OpenYard объявили о заключении соглашения о технологическом партнёрстве. В рамках договора на площадке OpenYard будет налажено контрактное производство комплектующих «Гравитона»: речь идёт о платах для серверов и клиентских устройств.

В конце 2023 года, напомним, «Центр открытых разработок» (бренд OpenYard) организовал на территории индустриального парка «Рязанский» неподалёку от Рязани массовое производство серверного оборудования. Предприятие может изготавливать свыше 60 тыс. единиц техники ежегодно.

Как сообщается, в рамках масштабирования заводских мощностей OpenYard принял решение об открытии доступа к производству для доверенных партнёров. Первой компанией, которая будет использовать площадку OpenYard для выпуска собственной продукции, стала «Гравитон». По условиям подписанного соглашения, «Гравитон» предоставляет спецификации и материалы, а OpenYard реализует производство «под ключ».

Источник изображения: «Гравитон»

Отмечается, что сотрудничество выгодно для обеих сторон. Так, «Гравитон» получает возможность существенно ускорить выпуск оборудования, а следовательно, сократить сроки выполнения заказов клиентов. В свою очередь, OpenYard сможет масштабировать бизнес в новом направлении.

«Потребность рынка в IT-решениях с подтверждённым российским происхождением продолжает расти. Отвечая на этот вызов, "Гравитон" наращивает выпуск продукции. Партнёрство с OpenYard в части контрактного производства печатных плат позволит существенно нарастить выпуск продукции», — говорит коммерческий директор «Гравитона».

В настоящее время ИИ является основным драйвером инвестиций в ЦОД, капитальные затраты на которые в этом году вырастут почти на 30 %, пишет The Register со ссылкой на исследование Omdia. Согласно прогнозу аналитиков, в течение нескольких лет ИИ станет основной серверной рабочей нагрузкой в ЦОД.

Приложения ИИ являются наиболее быстрорастущей категорией среди нагрузок, исходя из количества развёртываемых в год серверов. Согласно данным Omdia, рост расходов на серверы в прошлом году полностью приходится на ИИ-оборудование. В 2024 году спрос на использование ИИ ускорил инвестиции в ЦОД — капитальные затраты, «подкреплённые корпоративными денежными резервами крупных гиперскейлеров», как ожидает Omdia, вырастут на 28,5 %.

По подсчётам Omdia, продажи серверов в этом году вырастут на 74 % до $210 млрд с $121 млрд в 2023 году. В дальнейшем количество серверов для обучения ИИ будет расти примерно на 5 % в год до чуть менее 1 млн/год в 2029 году. А количество серверов для инференса будет расти со скоростью 17 % в год, и к 2029 году годовые поставки достигнут 4 млн шт. Это объясняется тем, что серверы для обучения ИИ в основном нужны небольшому количеству гиперскейлеров. Они сосредоточены на достижении максимальной эффективности своего ИИ-оборудования и у них нет потребности закупать много серверов.

Источник изображений: Omdia

В Omdia считают, что обучение ИИ можно классифицировать как деятельность в области НИОКР, и поэтому, оно будет подлежать плановому распределению бюджета, то есть реинвестированию доли доходов. А количество серверов, необходимых для инференса, наоборот, будет расти по мере увеличения аудитории пользователей приложений ИИ. Как утверждают в Omdia, в основном в течение следующих пяти лет будут продолжать быстро расти продажи ИИ-серверов, а рост поставок других типов серверов будет значительно меньше.

Прогнозируется, что расходы на управление температурным режимом в ЦОД вырастут в 2024 году на 22 % год к году до $9,4 млрд. Побочным эффектом роста спроса на более мощное серверное оборудование стал бум внедрения СЖО. По прогнозам Omdia, общий доход от СЖО превысит к концу этого года отметку в $2 млрд, а к 2028 году будет больше $5 млрд. Доходы от инфраструктуры распределения электроэнергии в этом году впервые превысят $4 млрд, а доходы от источников бесперебойного питания вырастут на 10 % до $13 млрд.

Компания Supermicro, по сообщению ресурса The Register, планирует развернуть дополнительные мощности по выпуску оборудования с жидкостным охлаждением для дата-центров. Спрос на такие решения растёт на фоне стремительного развития ИИ и платформ НРС.

Не так давно глава Supermicro Чарльз Лян (Charles Liang) заявил, что использование СЖО в ЦОД вырастет на тысячи процентов в ближайшие два года. Приблизительно 15 % стоек, отгруженных компанией в 2024 году, будут оснащены СЖО, а в 2025-м этот показатель может достичь 30 %.

На этом фоне Supermicro расширяет производство оборудования с СЖО в Кремниевой долине. В частности, планируется открытие трёх новых кампусов. Они станут частью новой экосистемы СЖО, нацеленной на удовлетворение потребностей клиентов по всему миру. Предприятия сосредоточат усилия на комплексных готовых решениях с жидкостным охлаждением, включая отдельные системы и стойки.

Источник изображения: Supermicro

«Многие операторы дата-центров присматриваются к энергосберегающим решениям с прямым жидкостным охлаждением (DLC). Supermicro разрабатывает модульные платформы с СЖО для фабрик ИИ и задач НРС», — отмечает Лян.

Говорится, что дополнительные мощности будут развёрнуты в Сан-Хосе (Калифорния, США) и в Азии. В частности, в Сан-Хосе Supermicro ранее в этом году приобрела около 8 га земли и различные объекты, которые будут использоваться для производства, сборки и складирования продукции. Кроме того, Supermicro арендует в этом регионе многофункциональные производственные и складские площади. Компания также строит современный комплекс в Малайзии.

В Supermicro заявляют, что продолжают тесно сотрудничать с операторами ЦОД для оптимизации характеристик оборудования под конкретные задачи и нагрузки. Многие из моделей серверов компании предназначены именно для жидкостного охлаждения.

Компания H3C Technologies, базирующаяся в Китае, по информации ресурса DigiTimes, заключила соглашение о сотрудничестве с Foxconn с целью открытия своего первого зарубежного завода. Предприятие расположится в Малайзии: выпуск продукции на нём планируется начать в сентябре нынешнего года.

H3C, принадлежащая Tsinghua Unigroup и HPE, является крупнейшим в Китае поставщиком серверов и памяти HPE, а также технических услуг. По оценкам IDC, H3C занимала второе место в рейтинге производителей серверов x86 в КНР в течение трёх лет подряд — с 2021-го по 2023 год: доля этой компании оценивалась в 15,8 %. Кроме того, H3C удерживала в Китае первое место (51,7 %) в сегменте блейд-серверов с 2019-го по 2023 год и второе место (20,5%) в области GPU-серверов с первой половины 2020-го по 2023 год.

Партнёрство с Foxconn является частью стратегии H3C по выходу на международный рынок. В течение следующих двух-трёх лет H3C намерена запустить производственные мощности в США, Мексике и Европе. План состоит в том, чтобы использовать передовые технологии Тайваня для развития бизнеса в других регионах. В частности, в Малайзии H3C намерена предоставлять цифровые решения и техническую поддержку, используя свой опыт в области ИИ, IoT, облачных вычислений, больших данных и информационной безопасности. Предполагается, что это будет способствовать цифровой трансформации страны.

Источник изображения: H3C

H3C планирует задействовать мощности Foxconn по производству чипов в Малайзии. Последняя приобрела примерно 5,03 % акций малазийской компании Dagang Nexchange Bhd (DNex), которой принадлежит доля в размере 60 % в SilTerra — местном производителе полупроводниковой продукции.

Между тем HPE намерена избавиться от оставшейся доли в совместном китайском предприятии H3C. Недавно Tsinghua Unigroup приобрела у НРЕ 30 % акций H3C примерно за $2,14 млрд, увеличив свою долю с 51 % до 81 %. В дальнейшем Tsinghua Unigroup может купить оставшиеся 19 % бумаг H3C.

В ходе конференции Worldwide Developer Conference (WWDC), состоявшейся в понедельник, компания Apple упомянула о том, что её серверы на собственных чипах и ОС используются для новых ИИ-сервисов Apple Intelligence. Как отмечает The Register, прямо компания не говорила ни о CPU, ни об ОС и никогда не подтверждала слухи об ИИ-серверах собственной разработки, но отсылки ко всем этим компонентам оказались разбросаны по презентациям на WWDC.

Новые функции завязаны на Apple Private Cloud Compute — серверную экосистему, где IT-гигант применяет большие ИИ-модели, которые справляются с некоторыми задачами намного лучше, чем компактные модели на пользовательских устройствах. В компании отмечают, что Private Cloud Compute использует мощные и безопасные кастомные серверы в своих ЦОД. Также упоминается термин «вычислительный узел», но нет точных данных о том, является ли он синонимом слова «сервер».

Источник изображения: Apple

Подчёркивается, что облачные мощности используют те же аппаратные технологии обеспечения безопасности, что и, например, iPhone, включая Secure Enclave и Secure Boot. Машины используют новую защищённую ОС на базе iOS и macOS, где отсутствуют некоторые административные компоненты. К минимуму свели даже телеметрию, обычно критически важную для поддержания работы облака. Другими словами, доступ к данным получит только пользователь, доступа не будет даже у системных администраторов.

Если в ряде случаев возможностей смартфона или планшета будет не хватать для конкретной ИИ-задачи, Apple будет определять, какой необходимый минимум данных нужен для решения задачи и отправлять их в зашифрованным виде в облаке. В облаке для каждой такой задачи будет создавать зашифрованный же анклав, который после обработки данных и отправки результата пользователю (тоже с шифрованием) будет полностью удалён. Другими словами, исходные фото, видео и другой контент никогда не будут покидать устройства пользователя, а их отслеживание и расшифровка весьма проблематичны.

Уже сейчас в своих облаках Arm-чипы AWS, Google, Oracle и Microsoft. По соотношению цена/производительность они нередко лучше, чем чипы Intel или AMD, во всяком случае при решении некоторых задач, в том числе инференса, поэтому вполне логично, если к таким же решениям прибегнет и Apple.

Компания ASUS анонсировала мощный вычислительный комплекс ESC AI POD, предназначенный для решения ресурсоёмких задач в области ИИ и НРС. В основу новинки положена платформа NVIDIA GB200 NVL72 на архитектуре Blackwell. Решение ESC NM2N721-E1 использует 72 ускорителя NVIDIA Blackwell и 36 процессоров NVIDIA Grace, объединённых интерконнекта NVIDIA NVLink 5.

Источник изображений: ASUS

Утверждается, что ESC AI POD поддерживает работу с большими языковыми моделями (LLM), насчитывающими до триллиона параметров. В состав системы входят вычислительные узлы, коммутаторы, а также полки питания 1U мощностью 33 кВт. Возможно развёртывание воздушно-жидкостного или полностью жидкостного охлаждения.

Кроме того, ASUS продемонстрировала в рамках Computex 2024 другие новинки. В их числе — системы, выполненные на модульной архитектуре NVIDIA MGX. Это, в частности, сервер ESC NM1-E1 типоразмера 2U, комплектующийся суперчипом NVIDIA Grace Hoppe GH200. Он использует технологию NVIDIA NVLink-C2C и поддерживает воздушное охлаждение. Кроме того, показаны серверы ESC NM2-E1 и ESR1-511N-M1 (стандарта 1U).

Среди других решений упоминаются серверы ESC N8 на платформе Intel Xeon Emerald Rapids и ESC N8A на базе AMD EPYC 9004 (Genoa). Эти системы несут на борту ускорители NVIDIA Blackwell. Кроме того, ASUS готовит новые ИИ-решения, оснащённые сетевым ускорителем NVIDIA BlueField-3 SuperNIC.

Компания Supermicro анонсировала серверы нового поколения X14 на аппаратной платформе Intel Xeon 6. Дебютировало большое количество стоечных систем разного класса для облачных приложений, периферийных вычислений, телекоммуникационных сервисов и пр.

Как и ожидалось, в серию X14 вошли модели SuperBlade для НРС-задач и аналитики данных, высокопроизводительные серверы Hyper для масштабируемых облачных рабочих нагрузок, решения CloudDC для дата-центров, системы Hyper-E для периферийных задач, а также устройства WIO, BigTwin, GrandTwin и Edge/Telco.

Кроме того, дебютировали серверы хранения Petascale Storage, которые, по заявлениям Supermicro, обеспечивают лучшие в отрасли показатели плотности и производительности. Эти решения в формате 1U или 2U поддерживают работу с накопителями EDSFF E1.S и E3.S.

Новые серверы комплектуются процессорами Intel Xeon 6, ранее известными под кодовым именем Sierra Forest. Чипы могут содержать до 144 энергоэффективных E-ядер. В дальнейшем Supermicro выпустит серверы с процессорами Xeon 6 с производительными P-ядрами (ранее — Granite Rapids). Готовятся GPU-системы для ИИ-нагрузок, обучения больших языковых моделей (LLM) и ресурсоёмких приложений НРС. Кроме того, будут представлены многоузловые платформы. Для некоторых новинок предусмотрено использование СЖО.

На выставке Computex 2024 компания Supermicro также демонстрирует ИИ-системы SuperCluster на базе NVIDIA Blackwell и NVIDIA HGX H100/H200. Эти мощные комплексы могут оснащаться воздушным или жидкостным охлаждением.

Корпорация IBM анонсировала компактный сервер POWER S1012 на платформе POWER10, предназначенный для решения ИИ-задач на периферии. Новинка будет предлагаться в двух вариантах исполнения — в корпусе башенного типа и в виде системы формата 2U половинной ширины, что позволит размещать в стандартной стойке два устройства бок о бок.

Решение оснащается модулем POWER10 eSCM с одним, четырьмя или восемью ядрами (3,0–3,9 ГГц) и 256 Гбайт памяти. Каждое ядро способно выполнять до восьми потоков инструкций одновременно (SMT8), благодаря чему максимальная конфигурация обеспечивает до 64 потоков. Заявленная пропускная способность памяти — до 102 Гбайт/с.

Источник изображений: IBM

Конфигурация POWER S1012 (Bonnell) может включать два слота PCIe 5.0 x8 или один слот PCIe 4.0 x16, а также дополнительный разъём PCIe 5.0 x8. Допускается установка четырёх накопителей NVMe U.2.

По заявлениям IBM, в плане производительности новинка втрое превосходит сервер POWER S814, поддержка которого закончится буквально на днях. Модификация в формате 2U половинной ширины позволяет сократить пространство для оборудования до 75 % по сравнению со стоечным сервером POWER S1014 (4U). Применение POWER S1012 на периферии даёт возможность выполнять определённые ИИ-задачи непосредственно в точке получения данных, что снижает задержки и уменьшает нагрузку на сетевые каналы.

Сервер POWER S1012 станет доступен у IBM и сертифицированных бизнес-партнёров 14 июня 2024 года. Клиенты смогут выбрать оптимальный для себя период поддержки в диапазоне от трёх до пяти лет. Кроме того, в зависимости от потребностей будут доступны дополнительные варианты обслуживания.

Корпорация HPE сообщила о вводе в эксплуатацию новой производственной площадки в Саудовской Аравии: завод в Эр-Рияде специализируется на выпуске серверов ProLiant Gen11. Партнёром в рамках данного проекта, о котором впервые было объявлено в начале 2023 года, выступает компания Alfanar.

Инициатива получила поддержку со стороны Министерства связи и информационных технологий Саудовской Аравии, Министерства инвестиций, Управления по развитию экспорта и Комиссии по коммуникациям, космосу и технологиям. Предприятие поможет удовлетворить растущий спрос на серверы и вычислительные системы со стороны клиентов на территории Королевства.

Источник изображения: HPE

На заводе работают преимущественно местные женщины, которые проходят «строгую программу высокотехнологичного обучения под руководством мировых экспертов HPE». Это, как отмечается, отражает приверженность HPE так называемой программе саудизации, то есть замены иностранной рабочей силы. На начальном этапе на площадке будут изготавливаться ИИ-серверы ProLiant DL360 и DL380 Gen11 объёмом «тысячи единиц в год». Серверы будут нести на борту логотип Saudi Tech.

Партнёры инвестировали в создание предприятия миллионы долларов и уже обсуждают возможность значительного увеличения производственных мощностей, а также расширения спектра выпускаемой продукции. Речь идёт, в частности, о серверах, оптимизированных для телекоммуникационной отрасли и поставщиков облачных услуг. В целом, как ожидается, спрос на IT-инфраструктуры в Саудовской Аравии будет быстро увеличиваться, а поэтому продукция завода будет востребована на рынке.