Корпорация Intel, по сообщению сайта Datacenter Dynamics, намерена создать один из самых мощных в мире суперкомпьютеров для работы с генеративным ИИ. Ресурсы платформы будет использовать компания Stability AI, реализующая проекты в соответствующей сфере. В основу НРС-платформы лягут процессоры Xeon. Кроме того, говорится об использовании приблизительно 4000 ускорителей Gaudi2.

Проект Intel и Stability AI поможет компаниям укрепить позиции на рынке генеративного ИИ. О сроках запуска системы в эксплуатацию и её предполагаемой производительности ничего не сообщается. Ранее Intel обнародовала результаты тестирования Gaudi2 в бенчмарке GPT-J (входит в MLPerf Inference v3.1), основанном на большой языковой модели (LLM) с 6 млрд параметров. По оценкам, Gaudi2 может стать альтернативой решению NVIDIA H100 на ИИ-рынке.

Источник изображения: pixabay.com

Тем не менее, H100 по-прежнему превосходит конкурентов в плане обработки ИИ-задач. Ранее NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B. При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x.

Корпорация Intel обнародовала результаты тестирования ускорителя Habana Gaudi2 в бенчмарке GPT-J (входит в MLPerf Inference v3.1), основанном на большой языковой модели (LLM) с 6 млрд параметров. Полученные данные говорят о том, что это изделие может стать альтернативой решению NVIDIA H100 на ИИ-рынке.

В частности, в тесте GPT-J ускоритель H100 демонстрирует сравнительно небольшое преимущество в плане производительности по сравнению с Gaudi2 — ×1,09 в серверном режиме и ×1,28 в оффлайн-режиме. При этом Gaudi2 превосходит ускоритель NVIDIA A100 в 2,4 раза в режиме server и в 2 раза в оффлайн-режиме.

Кроме того, решение Intel опережает H100 на моделях BridgeTower. Этот тест обучен на 4 млн изображений. Говорится, что точность Visual Question Answering (VQAv2) достигает 78,73 %. При масштабировании модель имеет ещё более высокую точность — 81,15 %, превосходя модели, обученные на гораздо более крупных наборах данных.

Источник изображений: Intel

Тест GPT-J говорит о конкурентоспособности Habana Gaudi2. При онлайн-обработке запросов этот ускоритель достигает производительности 78,58 выборки в секунду, а в автономном режиме — 84,08 выборки в секунду. Для сравнения: у NVIDIA H100 эти показатели равны соответственно 85,57 и 107,33 выборки в секунду.

В дальнейшем Intel планирует повышать производительность и расширять охват моделей в тестах MLPerf посредством регулярных обновлений программного обеспечения. Но Intel всё равно остаётся в догоняющих — NVIDIA подготовила открытый и бесплатный инструмент TensorRT-LLM, который не только вдвое ускоряет исполнение LLM на H100, но и даёт некоторый прирост производительности и на старых ускорителях.

Корпорация Intel отчиталась о работе во II четверти 2023 финансового года, которая была закрыта 1 июля. Общая выручка составила $12,9 млрд, что примерно на 15 % меньше результата годичной давности, когда компания получила $15,3 млрд. В текущем квартале Intel рассчитывает выручить от $12,9 млрд до $13,9 млрд.

Чистая квартальная прибыль, рассчитанная в соответствии с общепризнанными принципами бухгалтерского учёта (GAAP), зафиксирована на уровне $1,5 млрд. Для сравнения: годом ранее корпорация понесла чистые убытки в размере $454 млн.

Выручка подразделения Datacenter and AI Group (DCAI), которое отвечает за решения для ЦОД и платформ ИИ, продолжает сокращаться. В течение рассматриваемого трёхмесячного периода она составила приблизительно $4,0 млрд против $4,7 млрд годом ранее. Таким образом, падение выручки составило 15 %. При этом операционные убытки подскочили в два раза, достигнув $200 млн.

Источник изображений: Intel

Группа Network and Edge Group (NEX), специализирующееся на сетевых продуктах и периферийных вычислениях, по итогам II квартала 2023 года показала выручку около $1,4 млрд. Это на 38 % меньше результата годичной давности, составлявшего $2,2 млрд. Операционные убытки подразделения достигли $200 млн, тогда как годом ранее была зафиксирована операционная прибыль на уровне $300 млн.

Подразделение Intel Foundry Service, которое специализируется на контрактном производстве чипов, получило $232 млн выручки против $57 млн годом ранее. Операционные убытки по данному направлению составили около $143 млн.

Нужно отметить, что под руководством нынешнего генерального директора Пэта Гелсингера (Pat Gelsinger) Intel избавилась от ряда бизнес-направлений в рамках комплексной программы реструктуризации. В частности, корпорация продала свой бизнес по производству серверов тайваньской MiTAC (Tyan) и свернула разработку накопителей Optane. Кроме того, Intel отказалась от развития коммутаторов, а также закрыла программу Pathfinder for RISC-V. Вместе с тем корпорация намерена продолжить разработку ИИ-ускорителей семейства Habana Gaudi, даже несмотря на существенное ухудшение финансового положения.

Компания Intel провела 11 июля в Пекине мероприятие для клиентов и партнёров на китайском рынке, а также местных СМИ, на котором объявила о доступности ускорителей вычислений Habana Gaudi2, модифицированных с учётом ограничений, наложенных властями США в рамках санкционной политики, сообщил The Register. Таким образом, не желая терять громадный китайский рынок, Intel последовала примеру NVIDIA, выпустившей ускорители A800 и H800, представляющие собой урезанные модификации A100 и H100 соответственно.

Представленный весной 2022 года Gaudi2 позиционируется в качестве конкурента ускорителей A100, популярных у компаний, обучающих большие языковые модели (LLM). Gaudi2 изготовлен с использованием 7-нм техпроцесса и имеет 24 тензорных блока, 96 Гбайт HBM2e и 24 порта 100GbE. Несмотря на то, что согласно внутренним данным Intel, ускоритель Gaudi2 превзошёл в два раза по производительности в тестах ResNet-50 и BERT ускоритель A100, он пока не получил такого широкого распространения, как решения NVIDIA.

Фото: Intel

По словам Digitimes, Intel также оптимизировала ПО Gaudi2 для обучения LLM. Примечательно, что в последнем раунде MLPerf Training v3.0 только ускорители Habana смогли потягаться с чипами NVIDIA в тесте GPT-3. Ожидается, что китайские партнёры Intel, такие как Inspur, New H3C и xFusion, выпустят серверные продукты с Gaudi2. Ранее также сообщалось, что Intel планирует выпустить ускоритель Data Center GPU Max 1450 с меньшей I/O-производительностью, представляющий собой урезанную версию Data Center GPU Max 1550. Как полагает The Register, эта модель тоже в первую очередь предназначена для Китая.

Группа MLCommons, разработчик набора тестов для ИИ-систем MLPerf, опубликовала результаты MLPerf Training v3.0. Среди протестированных устройств есть и ускорители Habana Gaudi2, и процессоры Intel Xeon Sapphire Rapids.

В индустрии распространено мнение о том, что генеративный ИИ и большие языковые модели (LLM) создаются практически исключительно на аппаратном обеспечении NVIDIA. Но как показывают опубликованные результаты, в этом секторе Intel готова конкурировать с NVIDIA.

Программная экосистема Habana, по словам Intel, достигла необходимой степени зрелости, а решения компании позволяют говорить о конкурентоспособности даже с NVIDIA H100. Производительность и масштабируемость Gaudi2 была протестирована с помощью GPT-3 (целиком LLM обучать в рамках бенчмарка не требуется) — покорить этот рубеж в MLPerf смогли только NVIDIA и Intel. Кластер из 384 ускорителей Gaudi2 смог завершить обучение за 311 минут, а при росте количества ускорителей с 256 до 384 показал 95 % эффективность масштабирования.

Изображения: Intel

Также заслуживает упоминания тот факт, что по сравнению с ноябрьскими результатами Gaudi2 демонстрируют 10-% и 4-% прирост производительности в BERT и ResNet соответственно, причём обошлось без специальной отладки и оптимизации. Кластер из 32 процессоров Intel Xeon Sapphire Rapids тоже заработал «из коробки», показав неплохие в своём классе результаты. Так, в «закрытом» дивизионе он смог «справиться» BERT и ResNet-50 за 48 и 88 минут соответственно. Поддержка матричных расширений Intel Advanced Matrix Extensions (AMX) обеспечила солидный прирост производительности.

Корпорация Intel, по сообщению ресурса HPCwire, намерена продолжить разработку ИИ-ускорителей семейства Habana Gaudi, даже несмотря на существенное ухудшение финансового положения и различные рыночные препятствия. Как сообщил Эйтан Медина (Eitan Medina), главный операционный директор Habana Labs, компания раскроет детали о решении Gaudi3 позднее в текущем году.

В мае 2022 года Intel анонсировала ускоритель Gaudi2 (на изображении). Он несёт на борту 96 Гбайт памяти HBM2e с пропускной способностью до 2,45 Тбайт/с и 48 Мбайт памяти SRAM. Предусмотрены два основных типа вычислительных блоков — Matrix Multiplication Engine (MME) и Tensor Processor Core (TPC). Изделие выпускается в форм-факторе OAM с применением 7-нм техпроцесса.

Источник изображения: Intel

Как рассказал господин Медина, для ускорителя Gaudi3 предусмотрено применение 5-нм технологии производства. По сравнению с предшественником новинка получит больше памяти, предоставит более мощные вычислительные ресурсы и расширенные сетевые возможности. Кроме того, планируется реализация дополнительных функций.

«Мы также работаем над оценкой возможностей объединить лучшее из двух миров —архитектур Intel GPU и Habana Gaudi. Такой подход может быть реализован в четвертом поколении ускорителя», — сказал Медина. Не исключено, что Gaudi получит некоторые элементы Intel Xe, ориентированные на высокопроизводительные вычисления. Gaudi3 нацелен на глубокое обучение в корпоративных средах. По всей видимости, объединение компонентов двух изделий позволит будущим версиям Gaudi лучше конкурировать с передовыми ускорителями NVIDIA.

Компания Intel уже несколько раз переносила сроки начала масштабных поставок нескольких новейших чипов, таких как Sapphire Rapids и Habana Gaudi2. И пока что Intel предложила клиентам опробовать новинки в облаке, чтобы те уже сейчас могли начать работать с ними.

Указанные чипы будут доступны на платформе Intel Developer Cloud, анонсированной компанией на мероприятии Intel Innovation, которое проходит сейчас в Сан-Хосе (Калифорния). Облачный сервис позиционируется как услуга «попробуй и купи». Developer Cloud включает инструменты разработчика, библиотеки и пакеты разработчика, а также примеры кода.

«Вы получите доступ к процессорам Xeon-D, процессорам Habana Gaudi 2… и нашим графическим процессорам», — пообещала Лиза Спелман (Lisa Spelman), корпоративный вице-президент и гендиректор по продуктам Intel Xeon во время пресс-брифинга перед мероприятием.

Изображения: Intel

Запуск массового производства серверных процессоров Xeon Scalable 4-го поколения (Sapphire Rapids) уже несколько раз откладывался. Согласно последним данным, массовые поставки продукта стартуют в начале следующего года. Задержки с Sapphire Rapids, которая поддерживает новые технологии, в том числе PCIe 5.0, заставили облачные компании и производителей серверов изменить планы выпуска своих новых решений.

Целью нового облачного сервиса является предоставление клиентам доступа к новейшему оборудованию, чтобы те могли разработать приложения к старту массовых поставок чипов. Разработчики получат доступ к таким инструментам, как OneAPI и уровень абстракции SYCL, чтобы можно было развертывать стандартные приложения C++ без запуска конкретных графических процессоров или чипов ИИ для ускорения.

Аналогичным образом поступает NVIDIA, чей сервис Launchpad предлагает доступ к новейшим чипам компании, таким как GPU Hopper, для разработки и тестирования приложений ИИ.

Облачные развёртывания на платформе Intel позволят клиентам далее переносить окончательные версии приложений в другие публичные и частные облачные сервисы, использующие чипы Intel. Компания сообщила, что на этой неделе начнется бета-тестирование платформы Intel Developer Cloud, которая будет включать процессоры Sapphire Rapids в качестве раннего предложения. Intel добавит уникальные функции в Sapphire Rapids для таких приложений, как ИИ и базы данных, которые разработчики смогут тестировать в облаке.

Несмотря на то, что буквально на днях было анонсировано второе поколение ИИ-ускорителей Intel Habana, только сейчас первый действительно серьёзный ИИ-суперкомпьютер Voyager, основанный ещё на первом поколении этих чипов, был окончательно смонтирован и подготовлен к эксплуатации.

В 2021 году Суперкомпьютерный центр Калифорнийского университета в Сан-Диего (SDSC) выбрал ускорители от Habana Labs, к тому моменту уже приобретённой Intel, для своего экспериментального ИИ-суперкомпьютера Voyager. Фактически это первая система подобного класса, которая использует исключительно ИИ-решения Intel. Пока что она предназначена для обкатки технологий, в том числе более глубокого изучения поведения аппаратной части, адаптации ПО, оценке и тюнингу производительности.

Суперкомпьютер Voyager. Источник: SDSC

Voyager включает 42 узла Supermicro X12, каждый из которых оснащена парой обычных процессоров Intel Xeon Scalable третьего поколения и парком из восьми ускорителей Habana Gaudi первого поколения. Каждый ускоритель располагает 32 Гбайт памяти HBM с пропускной способностью 1 Тбайт/с. Также в состав входит пара узлов SuperServer 4029GP-T с восемью инференс-ускорителями Habana Goya HL-100. Поскольку машина рассчитана на работу со сверхбольшими ИИ-моделями, в качестве основного интерконнекта используется 400GbE-фабрика с RDMA: каждый сервер имеет по шесть таких портов, а для связи используются неблокирующие коммутаторы Arista.

Фазы проекта Voyager. Источник: Intel

Несмотря на достаточно серьёзные параметры рекордов от Voyager ждать не стоит. Первые три года работы машины придутся на тестовую фазу, во время которой доступ к ней получат избранные группы исследователей и учёных, а вся информация о работе будет тщательно собираться и изучаться. Следующая фаза продлится уже два года, и в этот период доступ к Voyager станет намного более свободным. К этому момент SDSC надеется отловить все баги, адаптировать ПО и выработать наиболее оптимальные методики работы с суперкомпьютером.