Аналитики The Next Platform считают, что обучение и инференс ИИ в ЦОД также относятся к высокопроизводительным вычислениям (HPC), хотя в некоторых случаях могут значительно отличаться от их традиционного определения.

HPC используют небольшой набор данных, расширяя его до огромных симуляций, таких как прогнозы погоды или климата, в то время как ИИ анализирует массу данных о мире и преобразует их в модель, в которую можно добавлять новые данные для ответа на вопросы, сообщается на ресурсе The Next Platform.

HPC и ИИ имеют разные потребности в вычислительных ресурсах, памяти и пропускной способности на разных этапах обработки приложений. Но в конечном итоге как при HPC, так и при обучении ИИ компании стремятся объединить множество узлов в единую систему для выполнения больших объёмов работы, которые невозможно выполнить иначе.

Источник изображений: Hyperion Research

Для получения «реальных» данных о рынке HPC необходимо добавить к расходам на традиционные платформы ModSim (моделирование и симуляция) средства, потраченные на применение технологий генеративного ИИ, традиционное обучение и инференс ИИ в ЦОД. Исходя из этого, Hyperion Research значительно пересмотрела оценку рынка, учтя продажи серверов ИИ, которые ранее не включались в расчёты, в том числе решения компаний NVIDIA, Supermicro и других.

В обновлённом прогнозе рынка HPC, представленном Hyperion Research в минувший вторник, расходы на серверы значительно выросли благодаря добавлению «нетрадиционных поставщиков». В 2021 году было продано серверов в объединённом секторе HPC/ИИ на $1,34 млрд, в 2022 году расходы на их покупку составили $3,44 млрд, а в 2023 году, благодаря буму на генеративный ИИ, они подскочили до $5,78 млрд. Hyperion Research ожидает, что эти производители заработают на серверах $7,46 млрд в 2024 году, и их доходы почти удвоятся к 2028 году, достигнув $14,97 млрд.

Историческая часть рынка серверов HPC/ИИ (согласно прежней методике), показанная синим цветом на диаграмме, как ожидается, составит $17,93 млрд в этом году и вырастет до $26,81 млрд к 2028 году. Объединённый рынок HPC/ИИ с учётом нового подхода составит в этом году $25,39 млрд и будет расти ежегодно на 15 %, достигнув $41,78 млрд к 2028 году.

Как отметили в Hyperion Research, теперь не все расходы на вычисления HPC и ИИ осуществляются локально (on-premise). Большая часть ИТ-бюджета на рабочие нагрузки HPC и ИИ переносится в облако.

Hyperion подсчитала, что приложения HPC и ИИ, работающие в облаке, в совокупности «потребили» $7,18 млрд виртуальных серверных мощностей в 2023 году и что эти цифры вырастут на 21,2 % до $8,71 млрд в 2024 году. К 2028 году расходы на вычислительные мощности HPC и ИИ в облаке составят $15,11 млрд, а совокупные годовые темпы роста с 2023 по 2028 год составят 16,1 %.

Помимо затрат на вычисления, бюджет HPC и ИИ включает расходы на хранение, ПО и сервисы. Hyperion ожидает, что в 2024 году общие расходы на HPC и ИИ вырастут на 22,4 %, с $42,4 млрд до $51,9 млрд. При совокупном годовом темпе роста в 15 % в период с 2023 по 2028 год все затраты на HPC и ИИ составят к 2028 году $85,5 млрд, что в два раза превышает показатель нынешнего года.

Согласно данным Hyperion, в 2021 году в Китае было установлено две экзафлопсные системы стоимостью $350 млн каждая. Также по одной системе с такой же стоимостью было установлено в 2023 году и нынешнем году. Hyperion ожидает, что в 2025 году Китай установит ещё одну или две экзафлопсные системы с оценочной стоимостью $300 млн за штуку и ещё две с такой же стоимостью в 2026 году.

Общая стоимость девяти экзафлопсных систем составит около $2,95 млрд — примерно столько стартап xAI, курируемый Илоном Маском (Elon Musk), израсходовал на создание кластера Colossus из 100 000 ускорителей NVIDIA H100.

В Японии до сих пор нет суперкомпьютера эксафлопсного класса (речь об FP64-производительности), и она получит свой первый такой суперкомпьютер стоимостью $200 млн в 2026 году. В 2027 и 2028 годах, как ожидает Hyperion, Япония построит две или три такие суперкомпьютерные системы стоимостью около $150 млн за единицу, потратив в общей сложности $300–450 млн.

В Европе есть несколько преэкзафлопсных систем, и в 2025 году она получит две экзафлопсные системы по оценочной стоимости $350 млн каждая, а в 2026 году здесь появится ещё две или три системы стоимостью около $325 млн. Также следует ожидать строительство двух или трёх машин в 2027 году стоимостью $300 млн каждая и двух или трёх в 2028 году стоимостью $275 млн каждая. То есть в предстоящие несколько лет в Европе будет построено одиннадцать экзафлопсных суперкомпьютеров общей стоимостью $3,4 млрд.

Источник изображения: LLNL

В США установили одну экзафлопсную систему в 2022 году (Frontier в Ок-Риджской национальной лаборатории, ORNL) и две — в 2024 году (Aurora в Аргоннской национальной лаборатории и El Capitan в Ливерморской национальной лаборатории им. Э. Лоуренса). По оценкам The Next Platform, за последние годы Соединённые Штаты потратили $1,4 млрд на установку трёх экзафлопсных машин.

Согласно прогнозу Hyperion Research, в Соединённых Штатах в 2025 году установят две экзафлопсные системы стоимостью около $600 млн каждая, в 2026 году — одну или две стоимостью $325 млн каждая и одну или две стоимостью $275 млн каждая в 2027 и 2028 годах. В общей сложности будет потрачено $4,35 млрд на одиннадцать экзафлопсных систем.

Компания Canalys подвела итоги исследования глобального рынка облачных инфраструктур в III квартале 2024 года. Расходы в данной области продолжают быстро увеличиваться на фоне стремительного внедрения ИИ и расширения мощностей гиперскейлеров.

В период с июля по сентябрь включительно объём отрасли достиг $82 млрд. Это на 21 % больше результата за III четверть прошлого года. Причём на трёх ведущих поставщиков облачных услуг — Amazon Web Services (AWS), Microsoft Azure и Google Cloud — пришлось 64 % от суммарных затрат, или приблизительно $52,5 млрд.

Источник изображения: Canalys

Крупнейшим игроком на мировом рынке остаётся AWS с долей 33 % по итогам III квартала 2024 года: компания получила примерно $27,1 млрд. При этом в годовом исчислении выручка поднялась на 19 %. AWS объявила о планах по дальнейшему увеличению инвестиций в облачном сегменте: прогнозируемые расходы составят около $75 млрд в 2024 году. Средства пойдут в первую очередь на расширение технологической инфраструктуры для удовлетворения растущего спроса на услуги ИИ.

На втором месте в рейтинге находится Microsoft Azure с 20 % отрасли, что соответствует $16,4 млрд. Редмондский гигант нарастил показатель на треть (33 %) по отношению к III четверти прошлого года. Существенный рост обусловлен востребованностью сервисов в сегменте ИИ.

Замыкает тройку Google Cloud с 10 % ($8,2 млрд) и ростом на 36 % год к году. Таким образом, Google показала самую существенную прибавку среди лидеров. Компания, как отмечается, активно разрабатывает новые сценарии применения ИИ. Все три облачных гиперскейлера сообщили о положительной отдаче от инвестиций в сервисы ИИ, которые начали вносить значительный вклад в общую эффективность бизнеса.

Компания TrendFocus, по сообщению StorageNewsletter, подвела итоги исследования глобального рынка SSD в III квартале 2024 года. Поставки в натуральном выражении зафиксированы на отметке 62,443 млн единиц: это на 8 % меньше по сравнению с предыдущим кварталом.

Вместе с тем в ёмкостном плане отмечен рост: суммарная вместимость отгруженных за три месяца SSD поднялась в квартальном исчислении примерно на 10 %, достигнув 99,187 Эбайт. Таким образом, средний объём поставляемых накопителей существенно увеличился.

Рейтинг ведущих игроков мирового рынка SSD возглавляет Samsung с долей 24,2 % по итогам III четверти 2024-го. На втором месте находится Western Digital, показавшая результат в 16,5 %. Замыкает тройку Micron с 12,9 %. Если рассматривать отрасль с точки зрения общей вместимости поставленных накопителей, то первое место также принадлежит Samsung — 34,0 %. Далее идут Solidigm с 14,4 % и Micron с 14,2 %.

Источник изображения: TrendFocus / StorageNewsletter

Продажи SSD корпоративного класса с интерфейсом PCle подскочили в квартальном исчислении на 29 % — до 10,954 млн штук. Их суммарная вместимость при этом поднялась на 25 %, достигнув 55,654 Эбайт. Оба показателя являются рекордными. Вместе с тем отгрузки корпоративных SATA-изделий уменьшились на 23 % в штуках и на 45 % в ёмкостном плане — до 2,642 млн и 2,546 Эбайт соответственно. Поставки твердотельных SAS-накопителей снизились на 11 % — до 0,705 млн, но их общая ёмкость подросла на 0,9 %, составив 3,270 Эбайт.

В клиентском сегменте из-за сохраняющегося слабого спроса со стороны OEM-производителей и наличия складских запасов отгрузки SSD снизились квартал к кварталу на 12 %, оказавшись на отметке 48,142 млн единиц. Общая вместимость упала на 1% — до 37,716 Эбайт.

Компания AMD быстро укрепляет позиции на рынке процессоров с архитектурой х86. Причём, как сообщает ресурс Tom's Hardware, ссылаясь на данные аналитиков Mercury Research, речь идёт обо всех ключевых сегментах — серверном, настольном и мобильном.

По итогам III квартала 2024 года доля AMD на глобальном рынке CPU с учётом всех сегментов достигла 24,0 % в штучном выражении. Для сравнения: во II четверти 2024-го этот показатель равнялся 21,3 %, а годом ранее — 23,1 %. Если рассматривать продажи в денежном исчислении, то AMD заняла 26,5 % против 24,2 % во II квартале текущего года и 25,9 % в III квартале 2023-го.

AMD наращивает долю на рынке серверных чипов: показатель достиг 24,2 % в натуральном выражении. Во II четверти 2024 года компания контролировала 24,1 % сегмента, а годом ранее — 23,3 %. Если оценивать отгрузки в деньгах, то доля AMD зафиксирована на отметке 33,9 %. Кварталом ранее это значение составляло 33,8 %, а год назад — 31,2 %.

Источник изображения: AMD/Mercury Research

В исследовании отмечается, что Intel остаётся лидером в области серверных процессоров с архитектурой х86: доля корпорации в III квартале 2024 года равна 75,8 %. Тем не менее, AMD смогла реализовать больше чипов высокого класса, на что указывает более высокая доля рынка в денежном выражении по сравнению с натуральным. Кроме того, впервые подразделение дата-центров AMD превзошло по выручке группу DCAI в составе Intel — $3,549 млрд против $3,3 млрд по итогам III квартала 2024 года.

Отчёт не включает заказные чипы AMD, которые устанавливаются в игровые консоли, а также процессоры для оборудования IoT. Успехи AMD отчасти связаны с проблемами Intel, которая оказалась в очень сложном положении: она борется с жёсткой конкуренцией, а прогресс в сфере ИИ оставляет желать лучшего. Intel вынуждена сокращать тысячи сотрудников по всему миру, уменьшать офисные площади и отказываться от неактуальных продуктов ради улучшения финансовых показателей.

По оценкам аналитиков Synergy Research Group, к концу II квартала 2022 года число дата-центров гиперскейлеров превысило 800 шт., а к концу 2026 года их станет в полтора раза больше. Причём расти будет не только количество таких ЦОД, но и их мощность. При этом 53 % ёмкости ЦОД гиперскейлеров приходится на США, а оставшаяся доля практически поровну поделена между Европой, Китаем и остальным миром.

Наиболее крупные игроки на этом рынке — «большая тройка» облачных провайдеров (Amazon, Google, Microsoft). У каждой из этих компаний имеется более 130 дата-центров, причем не менее 25 в каждом из трёх основных регионов, Североамериканском, Азиатско-Тихоокеанском и Европейском. По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. Всего же в исследовании Synergy Research Group учитывались дата-центры 19 крупнейших компаний, оказывающих облачные и иные интернет-услуги.

Источник: Synergy Research Group

По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. При этом, как и прежде, более трети мощностей в США приходится на один-единственный штат — Вирджинию, которая обгоняет по этому показателю Европу и Китай. Здесь находится так называемая Аллея дата-центров, охватывающая округи Лаудон (Loudoun), Принс-Уильям (Prince William) и Фэрфакс (Fairfax). ЦОД в основном концентрируются вокруг городов Эшберн (Ashburn), Стерлинг (Sterling), Манассас (Manassas) и Шантийи (Chantilly).

Источник: Cushman & Wakefield Research

Суммарная ёмкость ЦОД в штате достигла 1,7 ГВт. В частности, Amazon именно здесь размещает значительную часть своих ЦОД. Другими крупными игроками на локальном рынке являются Microsoft, Meta✴, Google, ByteDance. Столь привлекательной для операторов ЦОД Вирджиния стала в силу доступности площадей и энергии, развитой инфраструктуры, а также особенностей местного законодательства, в том числе налоговых послаблений. Правда, теперь местные жители жалуются на «катастрофический шум» от дата-центров, а возможностей энергосети стало не хватать.

Что касается других регионов, то в Европе ведущими рынками для гиперскейлеров остаются Ирландия и Нидерланды, где в последнее время также наметился кризис — обе страны больше не рады крупным игрокам, которые один за другим отменяют или приостанавливают проекты по созданию и развитию ЦОД. Китайский рынок остаётся относительно изолированным, поскольку он включает по большей части дата-центры местных IT-гигантов: Alibaba, Tencent и Baidu. В целом же аналитики прогнозируют, что в течение следующих пяти лет важность ключевых на текущий момент рынков ЦОД несколько снизится.

Одни из крупнейших в США операторов дата-центров — компании CyrusOne и CoreSite будут приобретены за рекордные суммы $15 и $10 млрд. Это крупнейшие сделки на рынке ЦОД в этом году, а по состоянию на середину ноября общее число закрытых сделок в отрасли намного превысило показатели прошлого года.

Хотя их суммарная стоимость пока не достигла объёмов 2020 года, именно покупка CoreSite, если она будет официально завершена до конца года, кардинально изменит ситуацию — только благодаря ей общая сумма сделок превысит показатели прошлого года на 16%. Если учитывать более мелкие сделки, которые планируется закрыть до конца года, процент будет ещё выше. Таким образом, 2021 год снова станет рекордным для мирового рынка дата-центров.

CyrusOne и CoreSite являются соответственно третьим и четвёртым по размеру операторами ЦОД в США, а в начале этого года состоялась смена хозяев у компаний, занимающих пятое и шестое места — QTS и Cyxtera. CoreSite и QTS почти полностью ориентированы на рынок США, тогда как CyrusOne и Cyxtera активно действуют и на международном рынке. Тем не менее, CyrusOne, Cyxtera и CoreSite входят и в мировой Топ-10.

Источник изображения: Synergy Research Group

CoreSite была приобретена American Tower, впервые делающей столь масштабные инвестиции в ЦОД. CyrusOne совместно купили инвестиционные фонды KKR и Global Investment Partners. До этого наиболее значимыми были сделки Blackstone и QTS ($10 млрд), Digital Realty и Interxion ($8,4 млрд), Digital Realty и DuPont Fabros ($7,6 млрд), Jiangsu Shagang Group и Global Switch ($8+ млрд с рассрочкой на три года). Более мелкие сделки также провели Equinix, EQT, Digital Bridge (Colony), CyrusOne, GDS, Macquarie и Mapletree.

Интерес к приобретению как дата-центров, так и сетевой инфраструктуры не ослабевает. На днях появились новости о возможном выкупе оператора Global Switch Holdings Ltd. компаниями Blackstone, KKR, DigitalBridge, Equinix и Digital Realty. Оператор владеет 13 ЦОД в Европе, Австралии и Азии. Сумма сделки может составить до $11 млрд. Одновременно KKR захотел приобрести TIM/Telecom Italia за $12 млрд, но сделка ещё не заключена, т.к. крупнейшие акционеры считают предложенную сумму заниженной.

По словам главного аналитика Synergy Research Group Джона Динсдейла (John Dinsdale), по мере роста спроса на облака уровень необходимых инвестиций превысил возможности даже крупных операторов, поэтому в этот бизнес входят сторонние инвесторы. Четыре из шести ведущих в США операторов ЦОД в последнее время сменили собственников, а крупнейшие компании Equinix и Digital всё чаще вынуждены прибегать к сотрудничеству со сторонними инвесторами, причём за последние 1,5 года инвесторы были активнее операторов.

Когда говорят о противостоянии серверных процессоров, как правило, называют AMD и Intel, а с недавних пор ещё и ARM. Некогда крупный игрок, IBM со своими процессорами серии POWER, упоминается существенно реже, и на то есть причины — за прошедшее десятилетие дела у компании шли не слишком хорошо. Но, если верить аналитикам IT Jungle, ситуация с POWER не так проста и не так плоха.

Если верить отчётам самой IBM, доходы снизились на рекордную величину за последние пять лет, упали даже продажи мейнфреймов. Доходы в сегменте аппаратного обеспечения за прошедший год у IBM упали на 18% относительно 2019 года, а у подразделения Power Systems называют даже цифру 43,3%. Однако как считают некоторые аналитики, дела в секторе серверов на базе процессоров POWER могут обстоять не так плохо, как это может показаться на первый взгляд.

Платформа IBM POWER самобытна и весьма интересна сама по себе: так, уже не новые процессоры POWER9 поддерживают четыре потока на ядро против традиционных двух у x86, а в некоторых вариантах способны работать даже в режиме SMT8. Более новые POWER10 также поддерживают восьмипоточный режим; кроме того, они работают с прогрессивным форматом оперативной памяти OMI и имеют контроллер PCI Express 5.0.

Планы развития архитектуры POWER

Здесь следует немного углубиться в историю. Китайская компания Inspur, один из крупнейших среднеазиатских производителей серверного оборудования, всегда мечтала о «большом железе». В 2014 году ей удалось добиться договорённости с IBM о праве запускать фирменное ПО последней (в частности, базы данных DB2 и сервер приложений WebSphere) на 32-процессорных Itanium-системах. А месяцем позднее Inspur присоединилась к консорциуму OpenPower с целью создания серверов уже на базе архитектуры POWER.

В 2017 начинается «война санкций», при этом приличного самостоятельного открытого клона POWER-процессора консорциум так и не создал. Известно, что китайская Suzhou PowerCore Technology, входящая в OpenPower, занималась адаптацией POWER под более «толстые» техпроцессы. Сейчас компания активно нанимает сотрудников и открывает новое подразделение в США. Однако чем именно она занимается и связан ли этот рост с полным открытием POWER ISA, не до конца ясно.

Структура продаж POWER-систем по мнению ресурса IT Jungle

До ввода санкций IBM и Inspur успевают создать совместное предприятие (51% Inspur + 49% IBM), которое, что интересно, тоже называется IBM — Inspur Business Machines. Цель новой компании, в которую вложили порядка 1 млрд юаней ($150 млн) — создание мощных серверных систем на базе архитектуры POWER для крупного бизнеса. Поставками же POWER-процессоров для Inspur занималась, в частности, всё та же Suzhou.

Судя по косвенным данным, сделка для Inspur оказалась весьма успешна. Кроме того, компания вообще чувствует себя отлично, поставляя также x86-серверы как малому и среднему бизнесу, так и китайским гигинтам Alibaba, Baidu и Tencent. К сентябрю 2020 года продажи Inspur составят $7,71 млрд, что на 43% больше, нежели у IBM с её $5,4 млрд.

С учётом поставок Inspur общий объём продаж POWER-серверов может выглядеть так по мнению IT Jungle

К настоящему моменту IBM публикует только свои цифры продаж систем на базе POWER, и графики выглядят достаточно удручающе. Из-за санкций IBM не может продавать POWER-системы в КНР напрямую, а Inspur Business Machines — может. Из $8 млрд продаж Inspur примерно 10-12% может приходиться на системы с процессорами POWER, а это от $800 до $960 млн, и эти цифры сопоставимы с продажами серверов самой IBM.

Иными словами, платформа POWER, скорее всего, отнюдь не находится в процессе вымирания. Более того, после неудачных 2016 и 2017 годов объёмы продаж таких серверов могли, как минимум, вернуться к показателям 2015 года. Также вполне вероятно, что и Google производит для себя серверы на базе POWER — соответствующие предложения появились в Google Cloud уже достаточно давно. Похожее решение есть и в Microsoft Azure.