Аналитики The Next Platform считают, что обучение и инференс ИИ в ЦОД также относятся к высокопроизводительным вычислениям (HPC), хотя в некоторых случаях могут значительно отличаться от их традиционного определения.

HPC используют небольшой набор данных, расширяя его до огромных симуляций, таких как прогнозы погоды или климата, в то время как ИИ анализирует массу данных о мире и преобразует их в модель, в которую можно добавлять новые данные для ответа на вопросы, сообщается на ресурсе The Next Platform.

HPC и ИИ имеют разные потребности в вычислительных ресурсах, памяти и пропускной способности на разных этапах обработки приложений. Но в конечном итоге как при HPC, так и при обучении ИИ компании стремятся объединить множество узлов в единую систему для выполнения больших объёмов работы, которые невозможно выполнить иначе.

Источник изображений: Hyperion Research

Для получения «реальных» данных о рынке HPC необходимо добавить к расходам на традиционные платформы ModSim (моделирование и симуляция) средства, потраченные на применение технологий генеративного ИИ, традиционное обучение и инференс ИИ в ЦОД. Исходя из этого, Hyperion Research значительно пересмотрела оценку рынка, учтя продажи серверов ИИ, которые ранее не включались в расчёты, в том числе решения компаний NVIDIA, Supermicro и других.

В обновлённом прогнозе рынка HPC, представленном Hyperion Research в минувший вторник, расходы на серверы значительно выросли благодаря добавлению «нетрадиционных поставщиков». В 2021 году было продано серверов в объединённом секторе HPC/ИИ на $1,34 млрд, в 2022 году расходы на их покупку составили $3,44 млрд, а в 2023 году, благодаря буму на генеративный ИИ, они подскочили до $5,78 млрд. Hyperion Research ожидает, что эти производители заработают на серверах $7,46 млрд в 2024 году, и их доходы почти удвоятся к 2028 году, достигнув $14,97 млрд.

Историческая часть рынка серверов HPC/ИИ (согласно прежней методике), показанная синим цветом на диаграмме, как ожидается, составит $17,93 млрд в этом году и вырастет до $26,81 млрд к 2028 году. Объединённый рынок HPC/ИИ с учётом нового подхода составит в этом году $25,39 млрд и будет расти ежегодно на 15 %, достигнув $41,78 млрд к 2028 году.

Как отметили в Hyperion Research, теперь не все расходы на вычисления HPC и ИИ осуществляются локально (on-premise). Большая часть ИТ-бюджета на рабочие нагрузки HPC и ИИ переносится в облако.

Hyperion подсчитала, что приложения HPC и ИИ, работающие в облаке, в совокупности «потребили» $7,18 млрд виртуальных серверных мощностей в 2023 году и что эти цифры вырастут на 21,2 % до $8,71 млрд в 2024 году. К 2028 году расходы на вычислительные мощности HPC и ИИ в облаке составят $15,11 млрд, а совокупные годовые темпы роста с 2023 по 2028 год составят 16,1 %.

Помимо затрат на вычисления, бюджет HPC и ИИ включает расходы на хранение, ПО и сервисы. Hyperion ожидает, что в 2024 году общие расходы на HPC и ИИ вырастут на 22,4 %, с $42,4 млрд до $51,9 млрд. При совокупном годовом темпе роста в 15 % в период с 2023 по 2028 год все затраты на HPC и ИИ составят к 2028 году $85,5 млрд, что в два раза превышает показатель нынешнего года.

Согласно данным Hyperion, в 2021 году в Китае было установлено две экзафлопсные системы стоимостью $350 млн каждая. Также по одной системе с такой же стоимостью было установлено в 2023 году и нынешнем году. Hyperion ожидает, что в 2025 году Китай установит ещё одну или две экзафлопсные системы с оценочной стоимостью $300 млн за штуку и ещё две с такой же стоимостью в 2026 году.

Общая стоимость девяти экзафлопсных систем составит около $2,95 млрд — примерно столько стартап xAI, курируемый Илоном Маском (Elon Musk), израсходовал на создание кластера Colossus из 100 000 ускорителей NVIDIA H100.

В Японии до сих пор нет суперкомпьютера эксафлопсного класса (речь об FP64-производительности), и она получит свой первый такой суперкомпьютер стоимостью $200 млн в 2026 году. В 2027 и 2028 годах, как ожидает Hyperion, Япония построит две или три такие суперкомпьютерные системы стоимостью около $150 млн за единицу, потратив в общей сложности $300–450 млн.

В Европе есть несколько преэкзафлопсных систем, и в 2025 году она получит две экзафлопсные системы по оценочной стоимости $350 млн каждая, а в 2026 году здесь появится ещё две или три системы стоимостью около $325 млн. Также следует ожидать строительство двух или трёх машин в 2027 году стоимостью $300 млн каждая и двух или трёх в 2028 году стоимостью $275 млн каждая. То есть в предстоящие несколько лет в Европе будет построено одиннадцать экзафлопсных суперкомпьютеров общей стоимостью $3,4 млрд.

Источник изображения: LLNL

В США установили одну экзафлопсную систему в 2022 году (Frontier в Ок-Риджской национальной лаборатории, ORNL) и две — в 2024 году (Aurora в Аргоннской национальной лаборатории и El Capitan в Ливерморской национальной лаборатории им. Э. Лоуренса). По оценкам The Next Platform, за последние годы Соединённые Штаты потратили $1,4 млрд на установку трёх экзафлопсных машин.

Согласно прогнозу Hyperion Research, в Соединённых Штатах в 2025 году установят две экзафлопсные системы стоимостью около $600 млн каждая, в 2026 году — одну или две стоимостью $325 млн каждая и одну или две стоимостью $275 млн каждая в 2027 и 2028 годах. В общей сложности будет потрачено $4,35 млрд на одиннадцать экзафлопсных систем.

Компания Hyperion Research, по сообщению ресурса HPC Wire, сделала прогноз по мировому рынку облачных HPC-решений. По мнению аналитиков, спрос на такие услуги в ближайшие годы будет быстро расти, что объясняется стремительным внедрением ИИ, генеративных сервисов и других современных решений.

Говорится, что значение CAGR (среднегодовой темп роста в сложных процентах) на рынке облачных НРС-сервисов в перспективе пяти лет составит 18,1 %. При этом, как отмечается, данный показатель не в полной мере учитывает значительное влияние ИИ на увеличение спроса на технические вычисления в облаке.

Аналитики отмечают, что обучение ИИ-моделей, имеющее большое значение, может быть отодвинуто на второй план из-за роста потребностей в инференсе. Дело в том, что обучение требует значительных вычислительных ресурсов, но на относительно небольшие периоды времени. Кроме того, обучение выполняет сравнительно небольшое количество пользователей. Вместе с тем инференс востребован среди широкого круга заказчиков для самых разных приложений.

Источник изображения: pixabay.com

В исследовании также говорится, что рост использования генеративного ИИ продолжится, тогда как его темпы внедрения стабилизируются. В сегменте больших языковых моделей (LLM) популярность начнут обретать фреймворки.

В плане аппаратного обеспечения, как полагают аналитики Hyperion Research, резко возрастёт востребованность Arm-процессоров. В сегменте НРС выручка от Arm-систем в 2024 году поднимется в два раза по отношению к предыдущему году. Кроме того, ожидается рост популярности чипов с открытой архитектурой RISC-V. Прогнозируется также увеличение интереса к локальным квантовым компьютерам, которые будут дополнять квантовые вычисления через облако.

Компания Hyperion Research опубликовала прогноз по глобальному рынку квантовых вычислений на ближайшие годы. Аналитики считают, что отрасль будет демонстрировать устойчивый рост и уже в следующем году превысит знаковую отметку в $1 млрд.

По оценкам, в 2023-м глобальные затраты в сегменте квантовых вычислений составили приблизительно $848 млн. В дальнейшем показатель CAGR (среднегодовой темп роста в сложных процентах) ожидается на уровне 22,1 %. В результате, в 2024 году расходы поднимутся до $1,036 млрд, в 2025-м — до $1,264 млрд. По итогам 2026 года объём рынка может составить $1,544 млрд.

Источник изображений: Hyperion Research

Hyperion Research отмечает, что экосистема квантовых вычислений становится всё более сложной на фоне появления специализированных аппаратных решений и развития технологий. Вместе с тем остаётся большое количество неопределённостей: от определения архитектуры квантовых элементов до реализации необходимой коррекции ошибок и масштабирования систем. Кроме того, требуется создание библиотеки квантовых алгоритмов и приложений для выполнения практических задач.

Из всех компаний, деятельность которых проанализировали специалисты Hyperion Research, только две сообщили о том, что их выручка от квантового бизнеса в 2023 году превысила $50 млн. Ещё два игрока рынка заявили о поступлениях в размере $25–$50 млн, пять — от $10 млн до $25 млн, девять — от $5 млн до $10 млн. У 20 компаний, развивающих квантовые вычисления, выручка оказалась в диапазоне от $1 млн до $5 млн, у девяти — от $500 тыс. до $1 млн. Ещё 17 участников опроса сообщили о поступлениях менее $500 тыс.

Исследование показало, что приблизительно 57 % всех компаний и организаций, ведущих исследования и разработки в области квантовых вычислений, в 2023 году находились в Северной Америке. Около 23 % игроков рынка базировались в Европе, примерно 10 % — в Азиатско-Тихоокеанском регионе. Доля Японии составила 7 %, Ближнего Востока и Африки — 2 %.

Согласно исследованию Hyperion Research, о результатах которого было объявлено в ходе конференции ISC 2023, рынок HPC-вычислений вырос в 2022 году в годовом исчислении на 4 %. Гендиректор Hyperion Эрл Джозеф (Earl Joseph) отметил, что на фоне всех проблем цепочек поставок и экономических последствий темпы роста рынка оказались ниже прогнозов аналитиков.

В своей оценке роста Hyperion Research учла показатели последнего квартального отчёта лидера рынка ускорителей NVIDIA, результаты которого значительно превзошли прогнозы, благодаря чему акции NVIDIA выросли на 25 %. Согласно расчётам Hyperion Research, ключевым драйвером отрасли HPC в течение следующих четырёх лет будет долгосрочный рост использования генеративного ИИ, в результате чего среднегодовой темп роста сектора в период 2021–2026 годов составит 17,9 %.

Источник изображений: Hyperion Research

По словам Джозефа, 4-процентный рост HPC относится ко всему рынку, включая локальные серверы, СХД, промежуточное ПО и сервисы приложений, а также расходы на выполнение рабочих нагрузок HPC в облаке. Он отметил, что ожидания роста рынка на 6 или 7 % не оправдались, поскольку «некоторые показатели (например, реальные поступления) сократились с 2022 по 2023 год». Общие выручка отрасли выросла за счёт сегмента суперкомпьютеров на сумму $7,3 млрд (системы стоимостью более $500 тыс.), а доходы от экзафлопсных и предэкзафлопсных систем стимулировали рост рынка.

По данным Hyperion Research, HPE сохранила лидерство на рынке HPC-серверов, на втором месте — Dell. Выручка HPE от продажи серверов в 2022 году составила $5,1 млрд, а у Dell — $3,6 млрд. За ними следуют Lenovo ($1,2 млрд), Inspur ($1,1 млрд) и Sugon с $600 млн. Замыкают рейтинг IBM, Atos (Eviden), Fujitsu, NEC и Penguin.

Если рассматривать сегментам локальных систем, то крупнейшим был сектор государственных лабораторий ($3,3 млрд), за ним следуют университеты и академические учреждения ($2,7 млрд), CAE ($1,8 млрд), оборонная отрасль ($1,6 млрд) и биологические науки ($1,1 млрд). Если государственные лаборатории и оборонную отрасль объединить в одну государственную категорию, её объём составил бы почти $5 млрд.

Hyperion Research прогнозирует «пристойный рост» HPC-рынка в 2023 году, чему будет способствовать запуск нескольких систем эксафлопсного класса, а также рост расходов на ИИ и облачные HPC-решения. В этом году на HPC-рынке выручка от продажи локальных систем, как ожидается, составит примерно $17 млрд, а общие расходы на локальные HPC — $33 млрд.

Как ожидают аналитики Hyperion Research, расходы на облачные HPC-решения вырастут с $6,3 млрд в 2022 году до $7,4 млрд в этом году, к 2026 году этот показатель достигнет $11,6 млрд. В период 2020–2026 гг. облачные HPC будут иметь среднегодовой темп роста в пределах 17,9 %.

Джозеф заявил, что Hyperion Research ожидает «поворотный момент» в росте облачных HPC-решений, частично обусловленный расширением использования ИИ. «Мы ожидаем примерно 18-процентный рост за пятилетний период, что является просто феноменальным ростом на рынке. Мы ожидаем, что к 2026 году расходы на высокопроизводительные вычисления в облаке составят порядка $12 млрд», — сообщил он.

В 2022 году Европа оставалась растущим регионом HPC (две из четырёх лучших систем в списке TOP500 самых мощных суперкомпьютеров мира находятся на континенте). Hyperion Research сообщила, что в 2023 году в целом по региону EMEA (Европа, Ближний Восток и Африка) сектор суперкомпьютерных серверов достигнет $2,2 млрд, составив $2,9 млрд в 2026 году при среднегодовом темпе роста в 2022–2026 годах на уровне 9,3 %.

В апреле 2023 года Hyperion Research при поддержке Dell, Intel и NVIDIA провела опрос относительно экологической устойчивости высокопроизводительных вычислений (HPC). В опросе приняли участие менеджеры и руководители ЦОД HPC и провайдеров облачных услуг (CSP), а также учёные, исследователи и инженеры.

По словам Жаклин Лудема (Jaclyn Ludema), ведущего аналитика по устойчивому развитию Hyperion Research, исследование свидетельствует о значительном повышении важности показателей экоустойчивости и энергоэффективности в списках приоритетов для многих планов закупок, уступающих лишь показателю производительности, и обладающих даже более высоким приоритетом, чем цена.

Согласно опросу, 57 % респондентов нацелены на то, чтобы выполнить больше работ с меньшими затратами энергии. По мере роста числа рабочих нагрузок, связанных с искусственным интеллектом (ИИ), машинным обучением (ML) и высокопроизводительным анализом данных (HPDA) стремление к расширению вычислительных возможностей сталкивается с увеличением затрат на энергию. 55 % респондентов, включая промышленный сектор, госучреждения и научные организации, отметили, что затраты на электроэнергию влияют на уровень инвестиций в новые системы HPC.

Источник изображения: Hyperion Research

О непомерно высоких затратах на электроэнергию сообщили 33 % участников опроса. Вместем с тем 48 % респондентов назвали экологические, социальные и управленческие цели (ESG) важными именно в контексте экологически устойчивого развития, а не только в контексте затрат. Впрочем, госрегулирование также является мотиватором устойчивого развития.

Отвечая на вопрос по поводу влияния расходов на электроэнергию на работу ЦОД HPC, 58 % респондентов указали несколько последствий воздействия этого фактора. В том числе:

• 60 % сообщили, что рост затрат на электроэнергию отсрочит покупку новых систем;
• 43 % считает, что это ограничит возможности существующих систем;
• 34 % указали, что из-за этого сократят время работы своих систем.

Исследователи отметили, что рост использования облачных сервисов HPC обусловлен целым рядом факторов, в том числе возможностью передать на аутсорсинг операционные вопросы, такие как затраты на электроэнергию и ресурсы. Также сообщается, что всё больше предприятий обращаются к провайдерам облачных услуг для удовлетворения новых требований к энергоэффективности.

Респонденты распределили главные приоритеты при решении задач устойчивого развития следующим образом:

• 52 % отдают предпочтение эффективной конфигурации оборудования (более высокая производительность на Ватт);
• 42 % — оптимизации охлаждению и распределению энергии;
• 34% — оптимизации рабочих нагрузок (выявление эффективных нагрузок для работы локально и в облаке).

Исследователи ожидают, что закупка более экологичного оборудования будет частью регулярных планов закупок для 48 % площадок. Также отмечено, что использование интеллектуального управления питанием (телеметрии) находится на подъёме. В течение следующих 18 месяцев количество объектов, внедряющих телеметрию, увеличится до 40 % с нынешних 27 %.

Почти половина (49 %) руководителей ЦОД, участвовавших в опросе, сообщили, что в настоящее время они имеют возможность измерять углеродный след, потребление энергии или воздействие на окружающую среду, что повышает вероятность успеха в реализации планов по обеспечению устойчивого развития.

Согласно исследованию Hyperion Research, для создания энергоэффективного ЦОД требуются:

• Возобновляемые источники энергии;
• Эффективная конфигурация оборудования;
• Оптимизированная технология охлаждения;
• Интеллектуальное управление платформой;
• Управление питанием центра обработки данных;
• Оптимизированные рабочие нагрузки;
• Ответственный вывод оборудования из эксплуатации.