Материалы по тегу: habana

28.03.2024 [14:31], Сергей Карасёв

Intel Gaudi2 остаётся единственным конкурентом NVIDIA H100 в бенчмарке MLPerf Inference

Корпорация Intel сообщила о том, что её ИИ-ускоритель Habana Gaudi2 остаётся единственной альтернативой NVIDIA H100, протестированной в бенчмарке MLPerf Inference 4.0. При этом, как утверждается, Gaudi2 обеспечивает высокое быстродействие в расчёте на доллар, хотя именно чипы NVIDIA являются безоговорочными лидерами.

Отмечается, что для платформы Gaudi2 компания Intel продолжает расширять поддержку популярных больших языковых моделей (LLM) и мультимодальных моделей. В частности, для MLPerf Inference v4.0 корпорация представила результаты для Stable Diffusion XL и Llama v2-70B.

Согласно результатам тестов, в случае Stable Diffusion XL ускоритель H100 превосходит по производительности Gaudi2 в 2,1 раза в оффлайн-режиме и в 2,16 раза в серверном режиме. При обработке Llama v2-70B выигрыш оказывается более значительным — в 2,76 раза и 3,35 раза соответственно. Однако на большинстве этих задач (кроме серверного режима Llama v2-70B) решение Gaudi2 выигрывает у H100 по показателю быстродействия в расчёте на доллар.

 Источник изображений: Intel

Источник изображений: Intel

В целом, ИИ-ускоритель Gaudi2 в Stable Diffusion XL показал результат в 6,26 и 6,25 выборок в секунду для оффлайн-режима и серверного режима соответственно. В случае Llama v2-70B достигнут показатель в 8035,0 и 6287,5 токенов в секунду соответственно.

Говорится также, что серверные процессоры Intel Xeon Emerald Rapids благодаря улучшениям аппаратной и программной составляющих в бенчмарке MLPerf Inference v3.1 демонстрируют в среднем в 1,42 раза более высокие значения по сравнению с чипами Xeon Sapphire Rapids. Например, для GPT-J с программной оптимизацией и для DLRMv2 зафиксирован рост быстродействия примерно в 1,8 раза.

Постоянный URL: http://servernews.ru/1102394
15.12.2023 [16:57], Сергей Карасёв

Intel показала ИИ-ускоритель Habana Gaudi3

Корпорация Intel на мероприятии AI Everywhere показала ИИ-ускоритель следующего поколения — изделие Gaudi3, которое появится на коммерческом рынке в 2024 году. Новинка призвана составить конкуренцию решению NVIDIA H100, которое применяется в составе многих ИИ-платформ по всему миру.

Gaudi3 придёт на смену ускорителю Gaudi2, который дебютировал в мае 2022 года. Данное устройство оснащено 96 Гбайт памяти HBM2e с пропускной способностью 2,45 Тбайт/с. Показатель TDP достигает 600 Вт. Gaudi3 будет существенно лучше Gaudi2, хотя полные характеристики пока не раскрываются. Однако демонстрация чипа говорит о высокой степени готовности продукта.

 Источник изображений: Intel

Источник изображений: Intel

В целом, ничего существенно нового глава Intel о новинке не рассказал. Так, производительность BF16-вычислений увеличена приблизительно в четыре раза по сравнению с Gaudi2. Пропускная способность HBM-памяти выросла в полтора раза, а пропускная способность сети — вдвое. Ускоритель Gaudi3 будет изготавливаться с применением 5-нм технологии против 7-нм у предшественника. В конструкцию Gaudi3 входят восемь сборок HBM, тогда как у решения второго поколения их шесть.

Ранее говорилось, что Gaudi3 можно будет применять в серверах с воздушным и жидкостным охлаждением. Во втором случае речь идёт о двухфазной системе на основе хладагента среднего давления. Причём в этой СЖО не будут использоваться полифторалкильные вещества (PFAS, «вечные химикаты»).

Постоянный URL: http://servernews.ru/1097534
02.12.2023 [23:17], Сергей Карасёв

ИИ-ускорители Intel Gaudi3 получат двухфазное жидкостное охлаждение Vertiv

Компании Intel и Vertiv объявили о заключении соглашения о сотрудничестве, в рамках которого планируется разработка эффективной СЖО для ускорителей Gaudi3: эти решения, предназначенные для ресурсоёмких ИИ-задач, увидят свет в 2024 году.

Сообщается, что Gaudi3 можно будет использовать в составе серверов с воздушным и жидкостным охлаждением. В первом случае допускается работа при тепловой нагрузке до 40 кВт с температурой окружающего воздуха на входе до +35 °C.

В качестве альтернативы предлагается применять двухфазное жидкостное охлаждение. Такое решение протестировано при совокупной мощности ИИ-ускорителей до 160 кВт с использованием на входе воды с температурой от +17 до +45 °C. Эта система на основе хладагента среднего давления, как утверждается, поможет заказчикам реализовать повторное использование тепла, одновременно улучшив показатели эффективности использования воды (WUE) и энергии (PUE). Кроме того, клиенты смогут снизить совокупную стоимость владения (TCO).

 Источник изображения: Vertiv

Источник изображения: Vertiv

Системы двухфазного жидкостного охлаждения отводят тепло более эффективно по сравнению с другими решениями. Однако в последнее время технология столкнулась с критикой. Проблема заключается в том, что в таких системах используются фтористые соединения, такие как Novec от 3M, который недавно был снят с производства из-за опасений по поводу того, что состав может представлять угрозу для здоровья людей.

Как сообщает ресурс Datacenter Dynamics, ссылаясь на заявления представителей Vertiv, в СЖО для Gaudi3 не будут применяться полифторалкильные вещества (PFAS, «вечные химикаты»), будущее которых находится под вопросом. Однако пока не уточняется, какую именно альтернативную жидкость намерена использовать компания.

Постоянный URL: http://servernews.ru/1096850
14.11.2023 [03:20], Алексей Степин

Intel показала результаты тестов ускорителя Max 1550 и рассказала о будущих чипах Gaudi3 и Falcon Shores

В рамках SC23 корпорация Intel продемонстрировала ряд любопытных слайдов. На них присутствуют результаты тестирования ускорителя Max 1550 с архитектурой Xe, а также планы относительно следующего поколения ИИ-ускорителей Gaudi.

 Изображение: Intel

Изображение: Intel

При этом компания применила иной подход, нежели обычно — вместо демонстрации результатов, полученных в стенах самой Intel, слово было предоставлено Аргоннской национальной лаборатории Министерства энергетики США, где летом этого года было завершён монтаж суперкомпьютера экза-класса Aurora, занимающего нынче второе место в TOP500.

В этом HPC-кластере применены OAM-модули Max 1550 (Ponte Vecchio) с теплопакетом 600 Вт. Они содержат в своём составе 128 ядер Xe и 128 Гбайт памяти HBM2E. Интерфейс Xe Link позволяет общаться напрямую восьми таким модулям, что обеспечивает более эффективную масштабируемость.

 Источник изображений здесь и далее: Intel via ServeTheHome

Источник изображений здесь и далее: Intel via ServeTheHome

Хотя настройка вычислительного комплекса Aurora ещё продолжается, уже имеются данные о производительности Max 1550 в сравнении с AMD Instinct MI250 и NVIDIA A100. В тесте физики высоких частиц, использующих сочетание PyTorch+Horovod (точность вычислений FP32), ускорители Intel уверенно заняли первое место, а также показали 83% эффективность масштабирования на 512 узлах Aurora.

В тесте, симулирующем поведение комплекса кремниевых наночастиц, ускорители Max 1550, также оказались первыми как в абсолютном выражении, так и в пересчёте на 128-узловой тест в сравнении с системами Polaris (четыре A100 на узел) и Frontier (четыре MI250 на узел). Написанный с использованием Fortran и OpenMP код доказал работоспособность и при масштабировании до более чем 500 вычислительных узлов Aurora.

 Источник изображения: Intel via Phoronix

Источник изображения: Intel via Phoronix

В целом, ускорители Intel Max 1550 демонстрируют хорошие результаты и не уступают NVIDIA H100: в некоторых задачах их относительная эффективность составляет не менее 0,82, но в большинстве других тестов этот показатель варьируется от 1,0 до 3,76. Очевидно, что у H100 появился достойный соперник, который, к тому же, имеет меньшую стоимость и большую доступность. Но сама NVIDIA уже представила чипы (G)H200, а AMD готовит Instinct MI300.

Системы на базе Intel Max доступны в различном виде: как в облаке Intel Developer Cloud, так и в составе OEM-решений. Supermicro предлагает сервер с восемью модулями OAM, а Dell и Lenovo — решения с четырьями ускорителями в этом же формате. PCIe-вариант Max 1100 доступен от вышеуказанных производителей, а также у HPE.

Помимо ускорителей Max, Intel привела и новые данные о производительности ИИ-сопроцессоров Gaudi2. Компания продолжает активно совершенствовать и оптимизировать программную экосистему Gaudi. В результате, в инференс-системе на базе модели GPT-J-6B результаты ускорителей Gaudi2 уже сопоставимы с NVIDIA H100 (SXM 80 Гбайт), а A100 существенно уступает как Gaudi2, так и Max 1550.

Но самое интересное — это сведения о планах относительно следующего поколения Gaudi. Теперь известно, что Gaudi3 будет производиться с использованием 5-нм техпроцесса. Новый чип будет в четыре раза быстрее в вычислениях BF16, а также получит вдвое более мощную подсистему памяти и в 1,5 раза больше памяти HBM. Увидеть свет он должен в 2024 году.

Заодно компания напомнила, что процессоры Xeon Emerald Rapids будут представлены ровно через месяц, а Granite Rapids появятся в 2024 году. В 2025 появится чип Falcon Shores, который теперь должен по задумке Intel сочетать в себе GPU и ИИ-сопроцессор. Он объединит архитектуры Habana и Xe в единое решение с тайловой компоновкой, памятью HBM3 и полной поддержкой CXL.

 Источник изображения: Intel via Phoronix

Источник изображения: Intel via Phoronix

Следует отметить, что такая унификация вполне реальна: Intel весьма активно развивает универсальный, гибкий и открытый стек технологий в рамках проекта oneAPI. В него входят все необходимые инструменты — от компиляторов и системных библиотек до средств интеграции с популярными движками аналитики данных, моделями и библиотеками искусственного интеллекта.

Постоянный URL: http://servernews.ru/1095910
11.11.2023 [15:23], Сергей Карасёв

MLPerf: Intel улучшила производительность Gaudi2, но лидером остаётся NVIDIA H100

Консорциум MLCommons обнародовал результаты тестирования различных аппаратных решений в бенчмарке MLPerf Training 3.1, который оценивает производительность на ИИ-операциях. Отмечается, что корпорация Intel смогла существенно увеличить быстродействие своего ускорителя Habana Gaudi2, но безоговорочным лидером остаётся NVIDIA H100.

Тесты проводились на платформе Xeon Sapphire Rapids. Отмечается, что для некоторых задач Intel реализовала поддержку FP8-вычислений, благодаря чему производительность поднялась в два раза по сравнению с показателями, которые этот же ускоритель демонстрировал ранее.

Согласно результатам тестов, в бенчмарке GPT-3 ускоритель Gaudi2 ровно в два раза проигрывает решению NVIDIA H100. То же самое касается теста Stable Diffusion: при этом нужно отметить, что Gaudi2 использовал формат BF16, а H100 — FP16. В ResNet эти ускорители демонстрируют сопоставимую производительность. В тесте BERT чип H100 при использовании FP8-вычислений показал значительное преимущество перед Gaudi2, который использовал формат BF16.

 Источник изображения: MLCommons

Источник изображения: MLCommons

Сама Intel отмечает, что с внедрением поддержки FP8 система с 384 ускорителями Gaudi2 способна завершить обучение GPT-3 за 153,58 мин. При использовании 64 чипов Gaudi2 тест Stable Diffusion может быть завершён за 20,2 мин (BF16). Для тестов BERT и ResNet-50 на восьми ускорителях Gaudi2 (BF16) результат составляет 13,27 и 15,92 мин соответственно. Вместе с тем стоимость и доступность ускорителей Intel, как считается, существенно лучше, чем у решений NVIDIA.

Постоянный URL: http://servernews.ru/1095829
30.09.2023 [23:18], Алексей Степин

Intel отказалась от ИИ-ускорителей Habana Greco

Одним из столпов своей ИИ-платформы Intel сделала разработки поглощённой когда-то Habana Labs. Но если ускорители Gaudi2 оказались конкурентоспособными, то ветку инференс-решений Goya/Greco было решено свернуть.

Любопытно, что на мероприятии Intel Innovation 2023 имя Habana Labs не упоминалось, а использовалось исключительно название Intel Gaudi. Дела у данной платформы, базирующейся на ускорителе Gaudi2, обстоят неплохо. Так, в частности, она имеет поддержку FP8-вычислений и, согласно данным Intel, не только серьёзно опережает NVIDIA A100, но успешно соперничает с H100. Фактически в тестах MLPerf только Intel смогла составить хоть какую-то серьёзную конкуренцию NVIDIA.

 Изображение: Intel

Изображение: Intel

Однако не все разработки Habana имеют счастливую судьбу. В 2022 году одновременно с Gaudi2 был анонсирован и инференс-ускоритель Greco, поставки которого должны были начаться во II полугодии 2023 года. Но сейчас, похоже, данная платформа признана бесперспективной. Intel не только убрала все упоминания Greco со своего сайта и ни словом не обмолвилась о них на мероприятии, но и подчистила Linux-драйвер несколько дней назад. А вот появление Gaudi3 уже не за горами.

Постоянный URL: http://servernews.ru/1093830
22.09.2023 [10:59], Сергей Карасёв

Intel создаст мощнейший ИИ-суперкомпьютер с тысячами ускорителей Habana Gaudi2

Корпорация Intel, по сообщению сайта Datacenter Dynamics, намерена создать один из самых мощных в мире суперкомпьютеров для работы с генеративным ИИ. Ресурсы платформы будет использовать компания Stability AI, реализующая проекты в соответствующей сфере. В основу НРС-платформы лягут процессоры Xeon. Кроме того, говорится об использовании приблизительно 4000 ускорителей Gaudi2.

Проект Intel и Stability AI поможет компаниям укрепить позиции на рынке генеративного ИИ. О сроках запуска системы в эксплуатацию и её предполагаемой производительности ничего не сообщается. Ранее Intel обнародовала результаты тестирования Gaudi2 в бенчмарке GPT-J (входит в MLPerf Inference v3.1), основанном на большой языковой модели (LLM) с 6 млрд параметров. По оценкам, Gaudi2 может стать альтернативой решению NVIDIA H100 на ИИ-рынке.

 Источник изображения: pixabay.com

Источник изображения: pixabay.com

Тем не менее, H100 по-прежнему превосходит конкурентов в плане обработки ИИ-задач. Ранее NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B. При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x.

Постоянный URL: http://servernews.ru/1093430
14.09.2023 [16:55], Сергей Карасёв

Конкуренцию NVIDIA H100 в MLPerf пока может составить только Intel Habana Gaudi2

Корпорация Intel обнародовала результаты тестирования ускорителя Habana Gaudi2 в бенчмарке GPT-J (входит в MLPerf Inference v3.1), основанном на большой языковой модели (LLM) с 6 млрд параметров. Полученные данные говорят о том, что это изделие может стать альтернативой решению NVIDIA H100 на ИИ-рынке.

В частности, в тесте GPT-J ускоритель H100 демонстрирует сравнительно небольшое преимущество в плане производительности по сравнению с Gaudi2 — ×1,09 в серверном режиме и ×1,28 в оффлайн-режиме. При этом Gaudi2 превосходит ускоритель NVIDIA A100 в 2,4 раза в режиме server и в 2 раза в оффлайн-режиме.

Кроме того, решение Intel опережает H100 на моделях BridgeTower. Этот тест обучен на 4 млн изображений. Говорится, что точность Visual Question Answering (VQAv2) достигает 78,73 %. При масштабировании модель имеет ещё более высокую точность — 81,15 %, превосходя модели, обученные на гораздо более крупных наборах данных.

 Источник изображений: Intel

Источник изображений: Intel

Тест GPT-J говорит о конкурентоспособности Habana Gaudi2. При онлайн-обработке запросов этот ускоритель достигает производительности 78,58 выборки в секунду, а в автономном режиме — 84,08 выборки в секунду. Для сравнения: у NVIDIA H100 эти показатели равны соответственно 85,57 и 107,33 выборки в секунду.

В дальнейшем Intel планирует повышать производительность и расширять охват моделей в тестах MLPerf посредством регулярных обновлений программного обеспечения. Но Intel всё равно остаётся в догоняющих — NVIDIA подготовила открытый и бесплатный инструмент TensorRT-LLM, который не только вдвое ускоряет исполнение LLM на H100, но и даёт некоторый прирост производительности и на старых ускорителях.

Постоянный URL: http://servernews.ru/1093009
28.07.2023 [12:58], Сергей Карасёв

Серверное подразделение Intel продолжает терять выручку и терпеть убытки

Корпорация Intel отчиталась о работе во II четверти 2023 финансового года, которая была закрыта 1 июля. Общая выручка составила $12,9 млрд, что примерно на 15 % меньше результата годичной давности, когда компания получила $15,3 млрд. В текущем квартале Intel рассчитывает выручить от $12,9 млрд до $13,9 млрд.

Чистая квартальная прибыль, рассчитанная в соответствии с общепризнанными принципами бухгалтерского учёта (GAAP), зафиксирована на уровне $1,5 млрд. Для сравнения: годом ранее корпорация понесла чистые убытки в размере $454 млн.

Выручка подразделения Datacenter and AI Group (DCAI), которое отвечает за решения для ЦОД и платформ ИИ, продолжает сокращаться. В течение рассматриваемого трёхмесячного периода она составила приблизительно $4,0 млрд против $4,7 млрд годом ранее. Таким образом, падение выручки составило 15 %. При этом операционные убытки подскочили в два раза, достигнув $200 млн.

 Источник изображений: Intel

Источник изображений: Intel

Группа Network and Edge Group (NEX), специализирующееся на сетевых продуктах и периферийных вычислениях, по итогам II квартала 2023 года показала выручку около $1,4 млрд. Это на 38 % меньше результата годичной давности, составлявшего $2,2 млрд. Операционные убытки подразделения достигли $200 млн, тогда как годом ранее была зафиксирована операционная прибыль на уровне $300 млн.

Подразделение Intel Foundry Service, которое специализируется на контрактном производстве чипов, получило $232 млн выручки против $57 млн годом ранее. Операционные убытки по данному направлению составили около $143 млн.

Нужно отметить, что под руководством нынешнего генерального директора Пэта Гелсингера (Pat Gelsinger) Intel избавилась от ряда бизнес-направлений в рамках комплексной программы реструктуризации. В частности, корпорация продала свой бизнес по производству серверов тайваньской MiTAC (Tyan) и свернула разработку накопителей Optane. Кроме того, Intel отказалась от развития коммутаторов, а также закрыла программу Pathfinder for RISC-V. Вместе с тем корпорация намерена продолжить разработку ИИ-ускорителей семейства Habana Gaudi, даже несмотря на существенное ухудшение финансового положения.

Постоянный URL: http://servernews.ru/1090679
14.07.2023 [20:00], Владимир Мироненко

Intel представила урезанные версии ИИ-ускорителей Habana Gaudi2 для Китая

Компания Intel провела 11 июля в Пекине мероприятие для клиентов и партнёров на китайском рынке, а также местных СМИ, на котором объявила о доступности ускорителей вычислений Habana Gaudi2, модифицированных с учётом ограничений, наложенных властями США в рамках санкционной политики, сообщил The Register. Таким образом, не желая терять громадный китайский рынок, Intel последовала примеру NVIDIA, выпустившей ускорители A800 и H800, представляющие собой урезанные модификации A100 и H100 соответственно.

Представленный весной 2022 года Gaudi2 позиционируется в качестве конкурента ускорителей A100, популярных у компаний, обучающих большие языковые модели (LLM). Gaudi2 изготовлен с использованием 7-нм техпроцесса и имеет 24 тензорных блока, 96 Гбайт HBM2e и 24 порта 100GbE. Несмотря на то, что согласно внутренним данным Intel, ускоритель Gaudi2 превзошёл в два раза по производительности в тестах ResNet-50 и BERT ускоритель A100, он пока не получил такого широкого распространения, как решения NVIDIA.

 Фото: Intel

Фото: Intel

По словам Digitimes, Intel также оптимизировала ПО Gaudi2 для обучения LLM. Примечательно, что в последнем раунде MLPerf Training v3.0 только ускорители Habana смогли потягаться с чипами NVIDIA в тесте GPT-3. Ожидается, что китайские партнёры Intel, такие как Inspur, New H3C и xFusion, выпустят серверные продукты с Gaudi2. Ранее также сообщалось, что Intel планирует выпустить ускоритель Data Center GPU Max 1450 с меньшей I/O-производительностью, представляющий собой урезанную версию Data Center GPU Max 1550. Как полагает The Register, эта модель тоже в первую очередь предназначена для Китая.

Постоянный URL: http://servernews.ru/1089998
Система Orphus