Исследование, проведённое компанией TrendForce, говорит о том, что многие поставщики облачных услуг (CSP) начали крупномасштабные инвестиции в ИИ-оборудование. Связано это с развитием платформ интеллектуального Интернета вещей (AIoT), периферийных вычислений и появлением приложений вроде ChatGPT.

По оценкам TrendForce, в 2022 году на ИИ-серверы, оснащённые GPGPU-ускорителями, приходилось менее 1 % от суммарного объёма поставок серверов в мировом масштабе. В текущем году, как ожидается, отгрузки таких систем вырастут на 8 %. В целом, в период с 2022 по 2026 гг. прогнозируется показатель CAGR (среднегодовой темп роста в сложных процентах) на уровне 10,8 %.

В 2022-м примерно 66,2 % от всех закупок ИИ-серверов пришлось на четырёх IT-гигантов — Google, AWS, Meta* и Microsoft. Среди китайских гиперскейлеров лидером по закупкам таких серверов в 2022 году стала компания ByteDance с долей 6,2 %. Далее следуют Tencent, Alibaba и Baidu с результатом 2,3 %, 1,5 % и 1,5 % соответственно.

Источник изображения: TrendForce

В плане аппаратного обеспечения, как отмечается, для ИИ-нагрузок применяются преимущественно ускорители H100, A100 и A800 разработки NVIDIA, а также решения MI250 и MI250X производства AMD. Причём изделие A800 разработано специально для китайского рынка. По оценкам TrendForce, NVIDIA контролирует около 80 % соответствующего сегмента, а AMD — оставшиеся 20 %.

ИИ-ускорители используют HBM. По оценкам TrendForce, на долю такой памяти в настоящее время приходится около 1,5 % от общего объёма рынка DRAM. Ведущими поставщиками HBM являются Samsung, SK hynix и Micron. Согласно прогнозам TrendForce, рынок HBM будет устойчиво расти: показатель CAGR здесь составит более 40–45 % в период с 2023 по 2025 год. Ожидается, что SK hynix станет доминирующим поставщиком HBM3, поскольку только она способна массово производить такие решения, которые взяты на вооружение компанией NVIDIA.

Если объединить потребности ChatGPT и других приложений Microsoft, то в 2023 году корпорация может заказать около 25 000 ИИ-серверов. Baidu, в свою очередь, может закупить около 2000 ИИ-серверов для своего бота ERNIE и других интеллектуальных приложений.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Концепция вычислений в памяти (in-memory computing) имеет ряд преимуществ при построении HPC-систем, и компания Samsung сделала в этой области важный шаг. Впервые на практике южнокорейский гигант совместил в экспериментальном суперкомпьютере свои чипы in-memory с ускорителями AMD Instinct. Согласно заявлениям Samsung, такое сочетание даёт существенный прирост производительности при обучении «тяжёлых» ИИ-моделей. При этом улучшаются и показатели энергоэффективности.

Новая система насчитывает 96 ускорителей AMD Instinct MI100, каждый из которых дополнен фирменной памятью HBM-PIM с функциями processing-in-memory. В состав системы входит 12 вычислительных узлов с 8 ускорителями в каждом. Шестёрка узлов связана с другой посредством коммутаторов InfiniBand. Используется 16 линков со скоростью 200 Гбит/с.

Здесь и далее источник изображений: Samsung

Кластер Samsung нельзя назвать рекордсменом, но результаты получены весьма обнадёживающие: в задаче обучения языковой модели Text-to-Test Transfer Transformer (T5), разработанной Google, использование вычислительной памяти позволило снизить время обучения в 2,5 раза, а потребление энергии при этом сократилось в 2,7 раза.

Технология весьма дружественна к экологии: по словам Samsung, такой кластер с памятью HBM-PIM способен сэкономить 2100 ГВт·час в год, что в пересчёте на «углеродный след» означает снижение выбросов на 960 тыс. т за тот же период. Для поглощения аналогичных объёмов углекислого газа потребовалось бы 10 лет и 16 млн. деревьев.

Компания уверена в своей технологии вычислений в памяти и посредством SYCL уже подготовила спецификации, позволяющие разработчикам ПО использовать все преимущества HBM-PIM. Также Samsung активно работает над похожей концепцией PNM (processing-near-memory), которая найдёт своё применение в модулях памяти CXL.

Устройство Samsung HBM-PIM

Работы по внедрению PIM и PNM Samsung ведёт давно, ещё на конференции Hot Chips 33 в прошлом году она объявила, что намерена оснастить вычислительными ускорителями все типы памяти — не только HBM2/3, но и DDR4/5. Тогда же впервые был продемонстрирован рабочий образец HBM-PIM, где каждый чип был оснащён ускорителем с FP16-производительностью 1,2 Тфлопс.

Таким образом, первая HPC-система с технологией PIM полностью доказала работоспособность концепции вычислений в памяти. Samsung намеревается активно продвигать технологии PIM и PNM как в ИТ-индустрии, так и в академической среде, главном потребителе ресурсов суперкомпьютеров и кластерных систем.

То, что грядущие серверные процессоры Intel Xeon Sapphire Rapids помимо контроллера DDR5 получат ещё и поддержку памяти HBM, уже давно не секрет. Соответствующие изменения в документации для разработчиков были опубликованы ещё в конце прошлого года.

Эти процессоры будут трудиться вместе с укорителями Intel Xe HPC (Ponte Vecchio), причём объединять блоки ускорителей, HBM-память и CPU будет отдельная шина XEMF (XE Memory Fabric) с поддержкой когерентности. AMD тоже воспользуется когерентностью шины Infinity Fabric для связи EPYC и Radeon Instinct. В обоих случаях речь идёт о суперкомпьютерных системах.

И, надо полагать, именно для таких систем будут подготовлены процессоры Xeon Sapphire Rapids с набортной HBM-памятью. На это прямо указывают свежие патчи Intel для ядра Linux, на которые обратил внимание ресурс Phoronix. Патчи относятся к драйверу EDAC (Error Detection And Correction, выявление и коррекция ошибок). В них же содержится упоминание SoC Ice Lake Neural Network Processor for Deep Learning Inference (ICL-NNPI) — Intel Nervana NNP-I (Spring Hill).