Материалы по тегу: hbm

22.06.2023 [14:41], Владимир Мироненко

TrendForce: рост популярности ИИ подстегнёт спрос на память HBM и продвинутые методы упаковки чипов

TrendForce отметила в своём новом исследовании, что в связи с резким ростом популярности приложений генеративного ИИ ведущие провайдеры облачных решений, включая Microsoft, Google, AWS, а также китайские технологические гиганты, такие как Baidu и ByteDance, значительно увеличили приобретение ИИ-серверов, необходимых для обучения и оптимизации ИИ-моделей.

Ажиотаж вокруг генеративного ИИ стал стимулом для разработки более мощных ИИ-серверов и роста этого сегмента рынка. Как полагают аналитики TrendForce, производители будут расширять использование в ИИ-системах передовых технологий, применяя мощные ускорители вычислений и высокопроизводительную память HBM в сочетании с современными методами упаковки чипов. Согласно прогнозу TrendForce, в течение 2023–2024 гг. вырастет спрос на HBM, а также на 30–40 % увеличатся мощности для выпуска чипов с использованием передовых методов упаковки.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

TrendForce отметила, что для повышения вычислительной эффективности ИИ-серверов и увеличения пропускной способности памяти ведущие производители ИИ-микросхем, включая NVIDIA, AMD и Intel, наращивают использование HBM. В настоящее время у чипов NVIDIA A100/H100 имеется 80 Гбайт памяти HBM2e/HBM3. В суперчипе GH200 Grace Hopper используется ускоритель NVIDIA H100 с 96 Гбайт памяти HBM3.

В чипах серии AMD Instinct MI300 тоже используется память HBM3: у версии MI300A её ёмкость составляет 128 Гбайт, а у более продвинутой версии MI300X — 192 Гбайт. Также ожидается, что Google в рамках расширения ИИ-инфраструктуры начнёт в конце 2023 года в партнёрстве с Broadcom производство обновлённых тензорных чипов TPU, тоже с использованием памяти HBM.

 Источник изображения: AMD

Источник изображения: AMD

Согласно прогнозу TrendForce, в 2023 году будет выпущено ИИ-ускорителей с общим объёмом памяти HBM в пределах 290 млн Гбайт, что означает рост год к году на 60 %. В 2024 рост объёмов выпуска памяти HBM составит 30 % или более. Также будет расти спрос на передовые технологии упаковки чипов для сферы ИИ и высокопроизводительных вычислений (HPC). При этом преобладающим методом для ИИ-чипов будет Chip on Wafer on Substrate (CoWoS) от TSMC, позволяющий разместить на одной подложке до 12 стеков памяти HBM.

По оценкам TrendForce, с начала 2023 года спрос на CoWoS вырос почти на 50 % на фоне роста популярности ускорителей NVIDIA A100 и H100. Ожидается, что к концу года ежемесячный выпуск TSMC чипов с применением CoWoS вырастет до 12 тыс. Во второй половине 2023 года возможности заказа выпуска чипов с применением CoWoS будут ограничены в связи с растущим спросом на ИИ-чипы со стороны AMD, Google и других компаний.

Высокий спрос на использование CoWoS сохранится до 2024 года с прогнозируемым ростом производственных мощностей по упаковке этим методом на 30–40 % с учётом готовности соответствующего оборудования. Аналитики TrendForce не исключают возможности использования NVIDIA альтернативных технологий упаковки для производства ускорителей в случае сохранения высокого спроса на системы ИИ. Речь идёт о разработках компаний Samsung и Amkor.

Постоянный URL: http://servernews.ru/1088776
11.03.2023 [12:32], Сергей Карасёв

TrendForce: облака и гиперскейлеры готовятся к массовому внедрению ИИ-серверов

Исследование, проведённое компанией TrendForce, говорит о том, что многие поставщики облачных услуг (CSP) начали крупномасштабные инвестиции в ИИ-оборудование. Связано это с развитием платформ интеллектуального Интернета вещей (AIoT), периферийных вычислений и появлением приложений вроде ChatGPT.

По оценкам TrendForce, в 2022 году на ИИ-серверы, оснащённые GPGPU-ускорителями, приходилось менее 1 % от суммарного объёма поставок серверов в мировом масштабе. В текущем году, как ожидается, отгрузки таких систем вырастут на 8 %. В целом, в период с 2022 по 2026 гг. прогнозируется показатель CAGR (среднегодовой темп роста в сложных процентах) на уровне 10,8 %.

В 2022-м примерно 66,2 % от всех закупок ИИ-серверов пришлось на четырёх IT-гигантов — Google, AWS, Meta и Microsoft. Среди китайских гиперскейлеров лидером по закупкам таких серверов в 2022 году стала компания ByteDance с долей 6,2 %. Далее следуют Tencent, Alibaba и Baidu с результатом 2,3 %, 1,5 % и 1,5 % соответственно.

 Источник изображения: TrendForce

Источник изображения: TrendForce

В плане аппаратного обеспечения, как отмечается, для ИИ-нагрузок применяются преимущественно ускорители H100, A100 и A800 разработки NVIDIA, а также решения MI250 и MI250X производства AMD. Причём изделие A800 разработано специально для китайского рынка. По оценкам TrendForce, NVIDIA контролирует около 80 % соответствующего сегмента, а AMD — оставшиеся 20 %.

ИИ-ускорители используют HBM. По оценкам TrendForce, на долю такой памяти в настоящее время приходится около 1,5 % от общего объёма рынка DRAM. Ведущими поставщиками HBM являются Samsung, SK hynix и Micron. Согласно прогнозам TrendForce, рынок HBM будет устойчиво расти: показатель CAGR здесь составит более 40–45 % в период с 2023 по 2025 год. Ожидается, что SK hynix станет доминирующим поставщиком HBM3, поскольку только она способна массово производить такие решения, которые взяты на вооружение компанией NVIDIA.

Если объединить потребности ChatGPT и других приложений Microsoft, то в 2023 году корпорация может заказать около 25 000 ИИ-серверов. Baidu, в свою очередь, может закупить около 2000 ИИ-серверов для своего бота ERNIE и других интеллектуальных приложений.

Постоянный URL: http://servernews.ru/1083242
14.12.2022 [20:39], Алексей Степин

AMD и Samsung создали уникальный экспериментальный ИИ-суперкомпьютер, скрестив «умную» память HBM-PIM и ускорители Instinct

Концепция вычислений в памяти (in-memory computing) имеет ряд преимуществ при построении HPC-систем, и компания Samsung сделала в этой области важный шаг. Впервые на практике южнокорейский гигант совместил в экспериментальном суперкомпьютере свои чипы in-memory с ускорителями AMD Instinct. Согласно заявлениям Samsung, такое сочетание даёт существенный прирост производительности при обучении «тяжёлых» ИИ-моделей. При этом улучшаются и показатели энергоэффективности.

Новая система насчитывает 96 ускорителей AMD Instinct MI100, каждый из которых дополнен фирменной памятью HBM-PIM с функциями processing-in-memory. В состав системы входит 12 вычислительных узлов с 8 ускорителями в каждом. Шестёрка узлов связана с другой посредством коммутаторов InfiniBand. Используется 16 линков со скоростью 200 Гбит/с.

 Здесь и далее источник изображений: Samsung

Здесь и далее источник изображений: Samsung

Кластер Samsung нельзя назвать рекордсменом, но результаты получены весьма обнадёживающие: в задаче обучения языковой модели Text-to-Test Transfer Transformer (T5), разработанной Google, использование вычислительной памяти позволило снизить время обучения в 2,5 раза, а потребление энергии при этом сократилось в 2,7 раза.

 Здесь и далее источник изображений: Samsung

Технология весьма дружественна к экологии: по словам Samsung, такой кластер с памятью HBM-PIM способен сэкономить 2100 ГВт·час в год, что в пересчёте на «углеродный след» означает снижение выбросов на 960 тыс. т за тот же период. Для поглощения аналогичных объёмов углекислого газа потребовалось бы 10 лет и 16 млн. деревьев.

Компания уверена в своей технологии вычислений в памяти и посредством SYCL уже подготовила спецификации, позволяющие разработчикам ПО использовать все преимущества HBM-PIM. Также Samsung активно работает над похожей концепцией PNM (processing-near-memory), которая найдёт своё применение в модулях памяти CXL.

 Устройство Samsung HBM-PIM

Устройство Samsung HBM-PIM

Работы по внедрению PIM и PNM Samsung ведёт давно, ещё на конференции Hot Chips 33 в прошлом году она объявила, что намерена оснастить вычислительными ускорителями все типы памяти — не только HBM2/3, но и DDR4/5. Тогда же впервые был продемонстрирован рабочий образец HBM-PIM, где каждый чип был оснащён ускорителем с FP16-производительностью 1,2 Тфлопс.

Таким образом, первая HPC-система с технологией PIM полностью доказала работоспособность концепции вычислений в памяти. Samsung намеревается активно продвигать технологии PIM и PNM как в ИТ-индустрии, так и в академической среде, главном потребителе ресурсов суперкомпьютеров и кластерных систем.

Постоянный URL: http://servernews.ru/1078884

Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»;

Система Orphus