Компании Dell, по сообщению The Register, удалось сократить сроки поставок серверов для задач ИИ в несколько раз. Речь идёт о высокопроизводительных системах с ускорителями на основе GPU, в том числе NVIDIA H100. Спрос на них настолько высок, что производители не справляются с потоком заказов.

О текущей ситуации в отрасли рассказал руководитель тайваньского подразделения Dell Теренс Ляо (Terence Liao). В конце 2023 года срок поставок серверов Dell, оборудованных ускорителями H100, составлял в среднем 39 недель, или около 8–9 месяцев. По словам Ляо, с февраля 2024-го отгрузки продукции NVIDIA значительно улучшились, и Dell смогла уменьшить сроки поставок серверов до 8–12 недель, или 2–3 месяцев. Таким образом, время выполнения заказов уменьшилось в три–четыре раза.

Тем не менее, дефицит высокопроизводительных ИИ-ускорителей сохраняется. Связано это в том числе с возможностями TSMC по выпуску чипов с применением технологии CoWoS (Chip on Wafer on Substrate). Именно компоновка CoWoS применяется при изготовлении Н100.

Источник изображения: NVIDIA

В сентябре 2023 года спрос на передовые технологии упаковки чипов был настолько высоким, что TSMC заявила о способности удовлетворить только 80 % заказов. Вместе с тем TSMC сообщила о намерении расширить производственные мощности CoWoS на 20 % — это поможет смягчить проблему дефицита ИИ-ускорителей.

Между тем Dell приходится искать альтернативы ускорителям NVIDIA. В частности, она намерена использовать ИИ-ускорители Intel Gaudi3. Поддержка Gaudi3 заявлена для сервера Dell XE9680, который также поддерживает ускорители AMD Instinct MI300X. Эта ИИ-платформа наделена 32 слотами для модулей памяти DDR5, восемью разъёмами PCIe 5.0 и шестью портами OSFP 800GbE. Возможна установка 16 накопителей EDSFF3.

Расширение использования ИИ-технологий и увеличение потребности в вычислительных мощностях ЦОД повлекут за собой рост спроса к 2030 году на медь на 1 млн тонн в год, пишет агентство Reuters со ссылкой на исследование компании Trafigura.

В Trafigura утверждают, что переход на возобновляемые источники энергии, внедрение технологий ИИ и реализация программ по сокращению выбросов углекислого газа, включая отказ от выпуска автомобилей с ДВС в пользу электромобилей, усугубят дефицит поставок меди. Ожидается, что в этом году мировой спрос на медь составит около 26 млн тонн. Согласно январскому исследованию Reuters, это выше предложения рынка на 35 тыс. тонн. Аналитики агентства ожидают, что дефицит меди вырастет к 2025 году до 100 тыс. тонн.

Фото: Rich Smith / Unsplash

Джереми Вейр (Jeremy Weir), генеральный директор Trafigura, отметил, что внедрение ИИ и развёртывание ЦОД значительно увеличат спрос на медь из-за необходимости строительства большего количества электропроводов и сетевых подключений. Он добавил, что недостаток инвестиций в медные рудники также будет способствовать дефициту.

Согласно отчёту Linesight, опубликованному ранее в этом месяце, цены на медь в этом году должны увеличиться из-за роста сектора возобновляемых источников энергии. Крупнейшим в мире производителем и потребителем меди в настоящее время является Китай. Он также доминирует в мировых поставках других металлов, используемых в промышленности.

Энергетический кризис в Ирландии, во многом связанный с концентрацией большого числа ЦОД в окрестностях Дублина, может привести к тому, что Amazon Web Services (AWS) начнёт рационировать предоставляемые клиентам облачные ресурсы, передаёт The Register. Некоторые пользователи жалуются на то, что им уже начали ограничивать облачные ресурсы в регионе eu-west-1. В частности, речь идёт об GPU-инстансах, необходимых для ИИ-вычислений.

В случае возникновения проблем в AWS Europe предлагают перенести нагрузки в другие европейские регионы, например, в Швецию. AWS подчёркивает, что Ирландия остаётся ядром мировой инфраструктуры компании, поэтому она в любом случае продолжит обслуживание клиентов в этом регионе. Представители национальной энергетической компании EirGrid прямо заявили, что могут время от времени требовать у крупных потребителей ограничить энергопотребление, чтобы избежать проблем во всей сети. Впрочем, обращались ли с такими просьбами к гиперскейлерам, в компании не уточняли.

Уклончивость вполне объяснима, поскольку ЦОД вносят огромный вклад в экономику Ирландии. Сейчас в стране насчитывается более 80 дата-центров, включая объекты крупнейших операторов вроде AWS, Microsoft и Google, заодно создающих и многочисленные рабочие места, платящих налоги и обеспечивающих стране доходы. Ещё полтора десятка объектов находятся на стадии строительства, а около 40 ждут разрешения властей. При этом политика властей уже привела к закрытию некоторых ЦОД.

Источник изображения: Heri Susilo/unsplash.com

Местные СМИ отмечают, что роль ЦОД в ирландской экономике весьма спорная. В 2021–2022 гг. энергопотребление ЦОД выросло почти на треть, достигнув 18 % от всех расходов электричества в стране. Более того, Международное энергетическое агентство (International Energy Agency, IEA) утверждает, что без регулирования доля ЦОД может вырасти до 32 % к 2026 году. По оценкам EirGrid этот показатель будет держаться на уровне «всего» 25,7 %, что тоже очень немало.

Проблема связана не только с AWS и Ирландией. Энергетические ограничения могут коснуться в будущем Европы и других регионов. По данным IDC, уже ходят слухи об энергетических квотах для клиентов Microsoft Azure, способных повлиять на их бизнесы. Операторы ряда ЦОД уже столкнулись с нехваткой энергии, и расширить её поставки в соответствии со спросом будет довольно трудно. По мнению экспертов, это — одна из причин того, что большинство европейских организаций не спешат закрывать собственные ЦОД и переходить в публичные облака, поскольку те не смогут удовлетворить спрос на мощности десятилетиями.

Источник изображения: Ilse Orsel/unsplash.com

В прошлом году сообщалось, что европейским операторам ЦОД всё труднее обеспечить надёжное и экономически целесообразное энергоснабжение, а в прошлом месяце глава британской энергокомпании National Grid предупредил, что в следующие 10 лет потребление электричества ЦОД в стране может вырасти на 500 %. Один из экспертов, пожелавший остаться анонимным, подчеркнул, что Ирландия, Нидерланды и Сингапур уже опустошили свои энергетические резервы.

А в Северной Вирджинии (США) новым дата-центрам, например, попросту не хватает ЛЭП. Операторы идут на отчаянные меры для обеспечения своего бизнеса энергией. Например, AWS недавно купила кампус в Пенсильвании, расположенный вблизи АЭС. Атомными проектами вообще активно интересуются многие операторы дата-центров, включая Microsoft. Пока что в Ирландии и Amazon, и Microsoft вынуждены довольствоваться временными решениями.

Компания Samsung Electronics поставит в этом году ведущей южнокорейской интернет-компании Naver Corp. ИИ-ускорители Mach-1 следующего поколения собственной разработки. Сумма контракта составит до ₩1 трлн (около $752 млн), сообщил ресурс KED Global со ссылкой на отраслевые источники. Это позволит Naver значительно сократить зависимость от поставок ускорителей NVIDIA.

В октябре прошлого года Naver вынужденно стала использовать процессоры Intel Xeon вместо ускорителей NVIDIA. Смена оборудования Naver происходит на фоне роста недовольства технологических компаний увеличением цен на ускорители NVIDIA и их глобальной нехваткой. По словам Samsung, Mach-1 был разработан для поддержки Transformer-моделей и позволяет выполнять инференс больших языковых моделей (LLM) даже с маломощной памятью вместо энергоёмкой HBM, что делает его в восемь раз энергоэффективнее традиционных ускорителей на базе GPU. При этом Mach 1 на порядок дешевле чипов NVIDIA.

По словам источников, бизнес-подразделение Samsung System LSI и Naver находятся в заключительной стадии переговоров о поставке 150–200 тыс. ИИ-ускорителей Mach-1, цена которых может составить ₩5 млн ($3756) за штуку. Цены и точный объём поставок пока не согласованы. Сообщается, что Naver будет использовать Mach-1 для инференса вместо ускорителей NVIDIA в картографическом сервисе AI Naver Place. Naver готова покупать эти чипы и в дальнейшем, если первая партия покажет «хорошую производительность», отметили источники, по словам которых Samsung также ведёт переговоры о поставках Mach-1 с Microsoft и Meta✴.

Источник изображения: Samsung

Для Samsung сделка с Naver важна с точки зрения конкуренции с SK hynix, доминирующей в сегменте памяти HBM, спрос на которую в связи с популярностью генеративного ИИ резко вырос. Samsung сообщила о разработке первой в отрасли памяти HBM3E 12-Hi, массовое производство которой начнётся в I половине этого года. Кроме того, SK Group поддерживает разработку ИИ-ускорителей Sapeon, а Samsung сотрудничает с Rebellions. По оценкам Omdia, глобальный рынок ИИ-ускорителей вырастет с $6 млрд в 2023 году до $143 млрд к 2030 году.

HPC-инфраструктура NASA нуждается в серьёзной модернизации, поскольку в текущем виде не в состоянии удовлетворить потребности организаций в составе национального управления по аэронавтике и исследованию космического пространства США. К такому выводу, как сообщает The Register, пришло в ходе аудита Управление генерального инспектора.

Отмечается, что НРС-инфраструктура NASA морально устарела и не в состоянии эффективно поддерживать современные рабочие нагрузки. Например, в Центре передовых суперкомпьютеров NASA задействованы 18 тыс. CPU и только 48 ускорителей на базе GPU.

Источник изображения: NASA

Кроме того, текущих вычислительных мощностей не хватает для всех потребителей. Поэтому некоторые отделы и научные центры NASA вынуждены закупать собственное оборудование и формировать локальную НРС-инфраструктуру. В частности, одна только команда Space Launch System ежегодно тратит на эти цели $250 тыс. вместо того, чтобы подключаться к централизованной системе. Фактически каждое структурное подразделение NASA, за исключением Центра космических полетов Годдарда и Космического центра Стенниса, имеет собственную независимую вычислительную инфраструктуру.

Ещё одной причиной развёртывания локальных мощностей является путаница вокруг облачных ресурсов и политики NASA, из-за которой возникают сложности с планированием и оценкой финансовых затрат. Аудит также показал, что есть вопросы к безопасности суперкомпьютерного парка NASA. Например, нет должного мониторинга некоторых систем, доступ к которым имеют иностранные пользователи.

В целом, наблюдающаяся картина приводит к задержкам в реализации космических миссий и дополнительным расходам. Для устранения недостатков руководству NASA рекомендовано провести комплексную реформу НРС-сектора, включающую инвентаризацию активов, выявление технологических пробелов и киберрисков. Необходимо также разработать стратегию по улучшению распределения имеющихся вычислительных мощностей.

Спрос на дата-центры в Северной Америке и не думает снижаться. По данным JLL и CBRE, цены на их использование взлетели до рекордных отметок. Datacenter Dynamics сообщает, что рост спроса совокупно с нехваткой энергетической ёмкости привели к дефициту мощностей и росту числа предварительных договоров об аренде. Повышенный спрос эксперты во многом связывают с развитием ИИ и больших языковых моделей (LLM), набирающих популярность и требующих много энергии. В результате растут запросы на энергию и инфраструктуру.

В докладе JLL сообщается, что спрос буквально бьёт все рекорды, и запрос на новые ЦОД распространяется за пределы ключевых рынков в поисках доступной энергии. При этом большая часть вводимых в текущем году мощностей уже забронирована. Недостаток свободных мощностей привёл к тому, что операторы обращаются к «вторичным» рынкам, на которые теперь приходится почти 20 % строящихся кампусов. Самым быстрорастущим рынком в плане строительства стал Солт-Лейк-Сити (Юта), город готов как минимум удвоить ёмкость ЦОД.

Фото: Taylor Vick / Unsplash

В 2023 году объёмы строительства уже достигли рекордных значений, сейчас на первичных рынках строятся ЦОД на 3,01 ГВт, причём 83 % из них уже арендованы. Уровень свободных мощностей в 2023 году оставался рекордно низким — 3,7 %, а в январе 2024 года в Северной Вирджинии этот показатель был и вовсе критическим — 0,2 %. По мере заполнения первичных рынков, внимание переключается на второстепенные. Особенно это актуально для ИИ-проектов, для которых время задержки обычно не играет существенной роли. Осваиваются территории даже в странах Латинской Америки. Предполагается, что в некоторых регионах в ЦОД будет перенаправляться энергия, ранее предназначавшаяся для других задач.

Строительство с нуля — лишь часть новых проектов. Часто расширяются уже существующие объекты, во всяком случае повышается их плотность в мегаваттах на единицу площади. Недостаток земли привёл к необходимости строить многоэтажные ЦОД, а современные технологии позволяют создавать объекты с типовой ёмкостью более 100 МВт. ЦОД стали привлекать внимание инвесторов в качестве объекта альтернативных вложений, растут и требования клиентов к размерам дата-центров, а с ними и запросы на инвестиции и увеличение скорости строительства.

Источник изображения: JLL Research

По информации CBRE, восемь первичных рынков ЦОД США выросли в 2023 году на 26 %. Северная Вирдижиния продолжает оставаться крупнейшим, в том числе в мире. Ёмкость ЦОД на первичном и вторичном рынках превышает 5,3 ГВт. По данным Newmark, к концу десятилетия энергопотребление ЦОД в США достигнет и вовсе 35 ГВт.

Как сообщает CBRE, средняя запрашиваемая стоимость аренды снизилась на 16,9 % с 2013 по 2021 гг. Но уже в 2023 году этот показатель вырос на 18,6 % на первичных оптовых рынках колокейшн-сервисов, с $137,86 кВт/мес до $163,44 кВт/мес при аренде 250–500 кВт, а годом ранее цены выросли на 14,5 %. По словам представителя CBRE, на рынке ЦОД в прошлом году наблюдался рекордный рост цен.

Hewlett Packard Enterprise (HPE) сообщила результаты I квартала 2024 финансового года, завершившегося 31 января 2024 года. Выручка компании составила $6,75 млрд, что ниже результата аналогичного квартала предыдущего года на 14 % и на 8 % меньше показателя предыдущих трёх месяцев. Выручка оказалась ниже консенсус-прогноза Zacks Investment Research в $7,06 млрд и собственного прогноза в диапазоне $6,9–7,3 млрд. Вместе с тем величина ARR (годовой регулярный доход) выросла год к году на 41 % до $1,4 млрд, что является вторым по величине показателем роста за период с 2019 года.

Несмотря на глобальный спрос на вычислительные мощности для поддержки рабочих нагрузок ИИ, в сегменте Server, объединившем сегменты Compute и HPC & AI, наблюдалось наибольшее снижение продаж — на 23 % год к году и на 7 % последовательно до $3,35 млрд. Антонио Нери (Antonio Neri), гендиректор и президент HPE сообщил, что у компании «не было необходимого объёма поставок GPU, что ограничивало потенциал роста доходов». Он добавил, что на сроки «также влияет увеличение времени, которое требуется клиентам для настройки пространства в ЦОД, а также обеспечения требований к электропитанию и охлаждению, необходимых для работы этих систем».

У HPE сейчас задолженность по выполнению заключённых контрактов на $3 млрд. И даже если у компании будет достаточное количество ускорителей вычислений, клиенты не будут готовы к их использованию. В свою очередь, финансовый директор Мари Майерс (Marie Myers) сообщила, что HPE предпринимает «срочные меры для устранения этих препятствий», добавив, что «поставки GPU, хотя и ограничены, но улучшаются».

В I квартале выручка сегмента гибридного облака HPE, включающего СХД и часть серверного бизнеса, на который также приходится HPE GreenLake, упала на 10 % до $1,2 млрд, в то время как выручка Intelligent Edge, отвечающего в том числе за продажи IoT-продукции и сетевой бизнес Aruba, выросла на 3 % год к году до $1,2 млрд, хотя последовательно снизилась на 15 %. Снижение произошло из-за насыщения товарных запасов клиентов за счёт покупок в прошлом году, отмечает компания. Выручка от финансовых сервисов составила $873 млн, оставшись на прошлогоднем уровне. Доходы от корпоративных инвестиций и других поступлений составили $238 млн, что на 9,5 % меньше, чем в прошлом году.

Прибыль на акцию (GAAP) за квартал равняется $0,29, что на 24 % меньше прошлогоднего показателя и на 41 % меньше, чем в предыдущем квартале. Скорректированная прибыль на акцию (Non-GAAP) упала год к году на 24 % до $0,48, что на 8 % меньше показателя предыдущего квартала, но больше консенсус-прогноза Zacks на 6,3 %.

По словам Нери, на сетевом рынке наблюдается спад спроса на комплекты для кампусов — клиентам «требуется больше времени, чтобы обработать предыдущие заказы, чем мы ожидали». Нери отметил, что снижение спроса на сетевом рынке сохранится и в дальнейшем, что скажется на итогах года. Вместе с тем он выразил мнение, что растущий спрос на рабочие нагрузки, связанные с инференсом, создаст спрос на новые сети: «Это одна из причин, почему мы так рады предстоящему приобретению Juniper Networks <…> эта сделка удвоит размер нашего сетевого бизнеса». Нери считает, что сделка позволит HPE закрепиться на рынке объёмом до $180 млрд.

В текущем квартале 2024 финансового года HPE ожидает получить выручку в пределах от 6,6 до 7 млрд, разводнённую чистую прибыль на акцию (EPS) по GAAP и Non-GAAP в диапазоне $0,20–0,25 и $0,36–0,41 соответственно. HPE также пересмотрела прогноз на весь 2024 финансовый год. Так, выручка должна вырасти на 0–2 % по сравнению с предыдущим прогнозом роста на 2–4%. Скорректированная прибыль на акцию (Non-GAAP) должна составить $1,82–1,92 (предыдущий прогноз — $1,82–2,02). Также был снижен прогноз прибыли на акцию (GAAP) до $1,81–1,91 с $1,81–2,01.

Сроки поставок ускорителей NVIDIA H100 значительно сократилось, с 8–11 мес. до всего 3-4. По данным Tom’s Hardware, в результате многие компании, ранее сделавшие огромные запасы, пытаются продать излишки. Кроме того, стало намного легче арендовать ускорители в облаках Amazon, Google и Microsoft. Впрочем, разработчики ИИ-моделей до сих пор испытывают проблемы с доступом к ресурсам ускорителей, поскольку спрос превышает предложение.

Как сообщают СМИ, некоторые компании пытаются перепродать доставшиеся им H100, а другие стали заказывать меньше в связи с высокой стоимостью обслуживания складских запасов и окончанием паники на рынке. В прошлом году приобрести подобные ускорители было чрезвычайно сложно. Отчасти улучшение ситуации на рынке связано с тем, что провайдеры облачных сервисов вроде Amazon (AWS) и других крупных игроков упростили аренду H100.

Источник изображения: NVIDIA

Несмотря на то, что доступ к H100 упростился, желающим обучать LLM добраться до ресурсов по-прежнему непросто, во многом потому, что им требуются ускорители в невероятных количествах, в некоторых случаях речь идёт о сотнях тысяч экземпляров, поэтому цены на них до сих пор не упали, а NVIDIA продолжает получать сверхприбыли.

При этом рост доступности привёл к тому, что компании всё чаще пытаются сэкономить, ведут себя более избирательно при выборе предложений продажи или аренды, стараются приобрести более мелкие кластеры и внимательнее оценивают их экономическую целесообразность для бизнеса. Кроме того, альтернативные решения становятся все более распространёнными и всё лучше поддерживаются ПО. Это ведёт к формированию сбалансированной ситуации на рынке.

Так или иначе, спрос на ИИ-чипы по-прежнему высок, а с учётом того, что LLM становятся всё масштабнее, требуется больше вычислительных мощностей. Поэтому крупные игроки, которые зависят от поставок решений NVIDIA, занялись созданием собственных ускорителей. Среди них Microsoft, Meta✴ и OpenAI.

Спрос на колокейшн-пространства в дата-центрах Европы превышает предложение. В докладе экспертов по недвижимости компании CBRE, говорится, что даже большого количества новых строящихся объектов регионе будет не хватать для полного удовлетворения потребностей клиентов.

В CBRE заявляют, что второй раз за последние пять лет объём аренды в Европе превысил площади введённых в эксплуатацию новых объектов. Согласно данным доклада за IV квартал 2023 года, на 14 крупнейших рынках Европы в 2023 году был освоен 601 МВт, тогда как новых объектов ввели в эксплуатацию за тот же период лишь на 561 МВт.

Как потребление, так и предложение увеличились даже в сравнении с 2022 годом — год к году рост составил для каждого из направлений 10 % и 2 % соответственно. Один из источников дисбаланса — рынки FLAPD (Франкфурт, Лондон, Амстердам, Париж и Дублин), где только в последней четверти прошлого года было освоено 252 МВт, что на 41 % выше в сравнении с предыдущим кварталом (179 МВт). Основной рост пришёлся на Дублин, Лондон и Париж.

Источник изображения: Pedro Lastra/unsplash.com

Как заявляют в CBRE, одним из ключевых факторов роста стала потребность гиперскейлеров во всё больших объектах, оптимизированных под их специфические запросы. Средний размер новых «оптовых» объектов в Европе за последние два года чрезвычайно вырос и спрос будет увеличиваться и дальше. Новые стройки станут вести по всей Европе, в том числе, конечно, в городах кластера FLAPD.

Источник: CBRE

Ранее появилась новость о намерении Global Switch построить новый ЦОД в Лондоне — пятиуровневый объект London South ёмкостью 40 МВт и площадью 27 тыс. м². А в этом месяце Mercury передала Digital Realty в Париже 19-МВт ЦОД PAR9 с 12 залами. В CBRE считают, что спрос в Европе только увеличится из-за роста сегмента ИИ, поскольку многие организации намерены повысить эффективность своих операций с помощью систем ИИ и машинного обучения. Главной проблемой остаётся нехватка электроэнергии и подходящих для внедрения ИИ дата-центров в Европе.

Компания NVIDIA, по сообщению ресурса Seeking Alpha, прогнозирует высокий спрос на ИИ-ускорители следующего поколения Blackwell. Поэтому сразу после выхода на рынок эти изделия окажутся в дефиците, и их поставки будут ограничены. «На все новые продукты спрос превышает предложение — такова их природа. Но мы работаем так быстро, как только можем, чтобы удовлетворить потребности заказчиков», — говорит глава NVIDIA Дженсен Хуанг (Jensen Huang).

Из-за стремительного развития генеративного ИИ на рынке сформировалась нехватка нынешних ускорителей NVIDIA H100 поколения Hopper. Срок выполнения заказов на серверы с этими изделиями достигает 52 недель. Аналогичная ситуация, вероятно, сложится и с ускорителями Blackwell, анонс которых ожидается в течение нынешнего года. «Полагаем, что отгрузки наших продуктов следующего поколения будут ограниченными, поскольку спрос намного превышает предложение», — сказала Колетт Кресс (Colette Kress), финансовый директор NVIDIA.

Главный вопрос заключается в том, насколько быстро NVIDIA сможет организовать массовое производство Blackwell B100, а также серверов DGX на их основе. Дело в том, что это совершенно новые продукты, в которых используются другие компоненты. По имеющейся информации, Blackwell станет первой архитектурой NVIDIA, предусматривающей чиплетную компоновку. Это может упростить производство ускорителей на уровне кремния, но в то же время усложнит процесс упаковки.

Источник изображения: NVIDIA

В дополнение к флагманскому чипу B100 для ИИ и HPC-задач компания готовит решение B40 для корпоративных заказчиков, гибридный ускоритель GB200, сочетающий ускоритель B100 и Arm-процессор Grace, а также GB200 NVL для обработки больших языковых моделей.