Корпорация Intel, по сообщению ресурса HPCwire, намерена продолжить разработку ИИ-ускорителей семейства Habana Gaudi, даже несмотря на существенное ухудшение финансового положения и различные рыночные препятствия. Как сообщил Эйтан Медина (Eitan Medina), главный операционный директор Habana Labs, компания раскроет детали о решении Gaudi3 позднее в текущем году.

В мае 2022 года Intel анонсировала ускоритель Gaudi2 (на изображении). Он несёт на борту 96 Гбайт памяти HBM2e с пропускной способностью до 2,45 Тбайт/с и 48 Мбайт памяти SRAM. Предусмотрены два основных типа вычислительных блоков — Matrix Multiplication Engine (MME) и Tensor Processor Core (TPC). Изделие выпускается в форм-факторе OAM с применением 7-нм техпроцесса.

Источник изображения: Intel

Как рассказал господин Медина, для ускорителя Gaudi3 предусмотрено применение 5-нм технологии производства. По сравнению с предшественником новинка получит больше памяти, предоставит более мощные вычислительные ресурсы и расширенные сетевые возможности. Кроме того, планируется реализация дополнительных функций.

«Мы также работаем над оценкой возможностей объединить лучшее из двух миров —архитектур Intel GPU и Habana Gaudi. Такой подход может быть реализован в четвертом поколении ускорителя», — сказал Медина. Не исключено, что Gaudi получит некоторые элементы Intel Xe, ориентированные на высокопроизводительные вычисления. Gaudi3 нацелен на глубокое обучение в корпоративных средах. По всей видимости, объединение компонентов двух изделий позволит будущим версиям Gaudi лучше конкурировать с передовыми ускорителями NVIDIA.

Компания Intel уже несколько раз переносила сроки начала масштабных поставок нескольких новейших чипов, таких как Sapphire Rapids и Habana Gaudi2. И пока что Intel предложила клиентам опробовать новинки в облаке, чтобы те уже сейчас могли начать работать с ними.

Указанные чипы будут доступны на платформе Intel Developer Cloud, анонсированной компанией на мероприятии Intel Innovation, которое проходит сейчас в Сан-Хосе (Калифорния). Облачный сервис позиционируется как услуга «попробуй и купи». Developer Cloud включает инструменты разработчика, библиотеки и пакеты разработчика, а также примеры кода.

«Вы получите доступ к процессорам Xeon-D, процессорам Habana Gaudi 2… и нашим графическим процессорам», — пообещала Лиза Спелман (Lisa Spelman), корпоративный вице-президент и гендиректор по продуктам Intel Xeon во время пресс-брифинга перед мероприятием.

Изображения: Intel

Запуск массового производства серверных процессоров Xeon Scalable 4-го поколения (Sapphire Rapids) уже несколько раз откладывался. Согласно последним данным, массовые поставки продукта стартуют в начале следующего года. Задержки с Sapphire Rapids, которая поддерживает новые технологии, в том числе PCIe 5.0, заставили облачные компании и производителей серверов изменить планы выпуска своих новых решений.

Целью нового облачного сервиса является предоставление клиентам доступа к новейшему оборудованию, чтобы те могли разработать приложения к старту массовых поставок чипов. Разработчики получат доступ к таким инструментам, как OneAPI и уровень абстракции SYCL, чтобы можно было развертывать стандартные приложения C++ без запуска конкретных графических процессоров или чипов ИИ для ускорения.

Аналогичным образом поступает NVIDIA, чей сервис Launchpad предлагает доступ к новейшим чипам компании, таким как GPU Hopper, для разработки и тестирования приложений ИИ.

Облачные развёртывания на платформе Intel позволят клиентам далее переносить окончательные версии приложений в другие публичные и частные облачные сервисы, использующие чипы Intel. Компания сообщила, что на этой неделе начнется бета-тестирование платформы Intel Developer Cloud, которая будет включать процессоры Sapphire Rapids в качестве раннего предложения. Intel добавит уникальные функции в Sapphire Rapids для таких приложений, как ИИ и базы данных, которые разработчики смогут тестировать в облаке.

Несмотря на то, что буквально на днях было анонсировано второе поколение ИИ-ускорителей Intel Habana, только сейчас первый действительно серьёзный ИИ-суперкомпьютер Voyager, основанный ещё на первом поколении этих чипов, был окончательно смонтирован и подготовлен к эксплуатации.

В 2021 году Суперкомпьютерный центр Калифорнийского университета в Сан-Диего (SDSC) выбрал ускорители от Habana Labs, к тому моменту уже приобретённой Intel, для своего экспериментального ИИ-суперкомпьютера Voyager. Фактически это первая система подобного класса, которая использует исключительно ИИ-решения Intel. Пока что она предназначена для обкатки технологий, в том числе более глубокого изучения поведения аппаратной части, адаптации ПО, оценке и тюнингу производительности.

Суперкомпьютер Voyager. Источник: SDSC

Voyager включает 42 узла Supermicro X12, каждый из которых оснащена парой обычных процессоров Intel Xeon Scalable третьего поколения и парком из восьми ускорителей Habana Gaudi первого поколения. Каждый ускоритель располагает 32 Гбайт памяти HBM с пропускной способностью 1 Тбайт/с. Также в состав входит пара узлов SuperServer 4029GP-T с восемью инференс-ускорителями Habana Goya HL-100. Поскольку машина рассчитана на работу со сверхбольшими ИИ-моделями, в качестве основного интерконнекта используется 400GbE-фабрика с RDMA: каждый сервер имеет по шесть таких портов, а для связи используются неблокирующие коммутаторы Arista.

Фазы проекта Voyager. Источник: Intel

Несмотря на достаточно серьёзные параметры рекордов от Voyager ждать не стоит. Первые три года работы машины придутся на тестовую фазу, во время которой доступ к ней получат избранные группы исследователей и учёных, а вся информация о работе будет тщательно собираться и изучаться. Следующая фаза продлится уже два года, и в этот период доступ к Voyager станет намного более свободным. К этому момент SDSC надеется отловить все баги, адаптировать ПО и выработать наиболее оптимальные методики работы с суперкомпьютером.

На мероприятии Intel Vision было анонсировано второе поколение ИИ-ускорителей Habana: Gaudi2 для задач глубокого обучения и Greco для инференс-систем. Оба чипа теперь производятся с использованием 7-нм, а не 16-нм техпроцесса, но это далеко не единственное улучшение.

Gaudi2 выпускается в форм-факторе OAM и имеет TDP 600 Вт. Это почти вдвое больше 350 Вт, которые были у Gaudi, но второе поколение чипов значительно отличается от первого. Так, объём набортной памяти увеличился втрое, т.е. до 96 Гбайт, и теперь это HBM2e, так что в итоге и пропускная способность выросла с 1 до 2,45 Тбайт/с. Объём SRAM вырос вдвое, до 48 Мбайт. Дополняют память DMA-движки, способные преобразовывать данные в нужную форму на лету.

Изображения: Intel/Habana

В Gaudi2 имеется два основных типа вычислительных блоков: Matrix Multiplication Engine (MME) и Tensor Processor Core (TPC). MME, как видно из названия, предназначен для ускорения перемножения матриц. TPC же являются программируемыми VLIW-блоками для работы с SIMD-операциями. TPC поддерживают все популярные форматы данных: FP32, BF16, FP16, FP8, а также INT32, INT16 и INT8. Есть и аппаратные декодеры HEVC, H.264, VP9 и JPEG.

Особенностью Gaudi2 является возможность параллельной работы MME и TPC. Это, по словам создателей, значительно ускоряет процесс обучения моделей. Фирменное ПО SynapseAI поддерживает интеграцию с TensorFlow и PyTorch, а также предлагает инструменты для переноса и оптимизации готовых моделей и разработки новых, SDK для TPC, утилиты для мониторинга и оркестрации и т.д. Впрочем, до богатства программной экосистемы как у той же NVIDIA пока далеко.

Интерфейсная часть новинок включает PCIe 4.0 x16 и сразу 24 (ранее было только 10) 100GbE-каналов с RDMA ROcE v2, которые используются для связи ускорителей между собой как в пределах одного узла (по 3 канала каждый-с-каждым), так и между узлами. Intel предлагает плату HLBA-225 (OCP UBB) с восемью Gaudi2 на борту и готовую ИИ-платформу, всё так же на базе серверов Supermicro X12, но уже с новыми платами, и СХД DDN AI400X2.

Наконец, самое интересное — сравнение производительности. В ряде популярных нагрузок новинка оказывается быстрее NVIDIA A100 (80 Гбайт) в 1,7–2,8 раз. На первый взгляд результат впечатляющий. Однако A100 далеко не новы. Более того, в III квартале этого года ожидается выход ускорителей H100, которые, по словам NVIDIA, будут в среднем от трёх до шести раз быстрее A100, а благодаря новым функциям прирост в скорости обучения может быть и девятикратным. Ну и в целом H100 являются более универсальными решениями.

Gaudi2 уже доступны клиентам Habana, а несколько тысяч ускорителей используются самой Intel для дальнейшей оптимизации ПО и разработки чипов Gaudi3. Greco будут доступны во втором полугодии, а их массовое производство намечено на I квартал 2023 года, так что информации о них пока немного. Например, сообщается, что ускорители стали намного менее прожорливыми по сравнению с Goya и снизили TDP с 200 до 75 Вт. Это позволило упаковать их в стандартную HHHL-карту расширения с интерфейсом PCIe 4.0 x8.

Объём набортной памяти всё так же равен 16 Гбайт, но переход от DDR4 к LPDDR5 позволил впятеро повысить пропускную способность — с 40 до 204 Гбайт/с. Зато у самого чипа теперь 128 Мбайт SRAM, а не 40 как у Goya. Он поддерживает форматы BF16, FP16, (U)INT8 и (U)INT4. На борту имеются кодеки HEVC, H.264, JPEG и P-JPEG. Для работы с Greco предлагается тот же стек SynapseAI. Сравнения производительности новинки с другими инференс-решениями компания не предоставила.

Впрочем, оба решения Habana выглядят несколько запоздалыми. В отставании на ИИ-фронте, вероятно, отчасти «виновата» неудачная ставка на решения Nervana — на смену так и не вышедшим ускорителям NNP-T для обучения пришли как раз решения Habana, да и новых инференс-чипов NNP-I ждать не стоит. Тем не менее, судьба Habana даже внутри Intel не выглядит безоблачной, поскольку её решениям придётся конкурировать с серверными ускорителями Xe, а в случае инференс-систем даже с Xeon.

Обучение сложных нейросетей, в отличие от запуска уже натренированных, требует огромных вычислительных ресурсов, включая специализированные ИИ-ускорители. Компания Intel, в своё время купившая стартап Habana Labs, такими ускорителями располагает и на днях объявила о доступности новой, готовой к использованию мощной платформы машинного обучения.

Процессоры Habana Gaudi изначально проектировались с прицелом на задачи машинного обучения, а вычислительная часть спроектирована с учётом вычислений, характерных для задач ИИ. При этом Gaudi — единственный сопроцессор подобного класса, располагающий встроенными 100GbE-контроллерами с поддержкой RoCE v2, что значительно упрощает развёртывание и масштабирование систем на его основе.

Supermicro X12 Gaudi AI Training System

Одной из первых сервер на базе ускорителей Gaudi представила Supermicro. X12 Gaudi AI Training System включает в себя пару процессоров Xeon Ice Lake-SP, но основной объём занимают модули Gaudi в формате OAM HL-205. Их в системе восемь, и каждый несёт на борту по 32 Гбайт памяти HBM2. Эти серверы стали основой суперкомпьютера SDSC Voyager.

Но это лишь часть платформы, представленной Intel: для полноценного обучения сложных сетей мало одних вычислительных ускорителей, огромные объёмы входных данных надо где-то хранить и эффективно ими управлять, не создавая «бутылочных горлышек». Поэтому вторым важным компонентом новой платформы стала новейшая СХД DDN AI400X2. Новая платформа Intel/Habana может поставляться в вариантах с одним, двумя или четырьмя серверами X12 и минимум одной AI400X2.

DDN AI400X2

DDN AI400X2 — новинка, пополнившая на днях серию решений DDN A3I и наследница AI400X. Один 2U-узел AI400X2 вдвое быстрее прошлого поколения и способен выдать 90 Гбайт/с. На случайных операциях производительность составляет 3 млн IOPS. Для того чтобы обеспечить такой поток данных, в системе используются NVMe SSD с поддержкой PCIe 4.0, суммарным объёмом до 720 Тбайт. Интересно, что данная СХД умеет использовать в своей ФС ExaScaler ресурсы клиентских узлов для хранения и дистрибуции самых «горячих» данных.

Поддерживаются также гибридные конфигурации с SSD и HDD, с автоматическим ранжированием данных, при этом HDD-часть может набираться отдельными дисковыми полками (до 22U) и предоставляет до 11,5 Пбайт. Весьма полезное качество, поскольку аналитики отмечают крайне быстрый рост объёмов данных, используемых для систем ИИ и машинного обучения. Причём более половины пользователей дополняют и переобучают свои ИИ-модели минимум раз в неделю.

Один из вариантов развёртывания новой платформы

При необходимости, начав с минимальной конфигурации, платформу легко превратить в серьёзный кластер с сотнями и тысячами ускорителей, объединённый быстрой сетью с поддержкой RDMA. В качестве основного коммутатора DDN рекомендует модель Arista 7170-32C с 32 портами 100GbE, а в крупных масштабах и при необходимости развёртывания Gaudi-сети — Arista DCS-7060DX-32 с 32 портами 400GbE и производительностью 25,6 Тбит/с.

Платформа прошла валидацию для использования с ПО Habana SynapseAI и включает в себя оптимизированные docker-контейнеры для нагрузок TensorFlow и PyTorch. За управление отвечает фирменная система Software Vault, а портал Habana Developer и открытые GitHub-репозитории упростят ввод платформы в эксплуатацию.

AWS объявила — надо сказать, с существенной задержкой — об общедоступности инстансов Amazon EC2 DL1, предназначенных для задачи глубокого обучения. Инстансы DL1 используют ИИ-ускорители Gaudi от Habana Labs, которые, как утверждает Amazon, обеспечивает до 40 % более высокую производительность на единицу стоимости при обучения ИИ-моделей по сравнению с актуальными инстансами на базе GPU.

С помощью DL1 клиенты смогут быстрее и с меньшими затратами обучать крупные ИИ-модели для таких сценариев использования, как обработка естественного языка, обнаружение и классификация объектов, обнаружение мошенничества, механизмы рекомендаций и персонализации, интеллектуальная обработка документов, бизнес-прогнозирование и т.д. Новинки доступны как инстансы по требованию, по модели Savings Plans, а также как зарезервированные или спотовые инстансы.

DL1 имеют восемь ускорителей Gaudi с суммарным объёмом HBM-памяти 256 Гбайт, 768 Гбайт RAM, 96 vCPU (Intel Xeon Cascade Lake), 4 Тбайт локального хранилища NVMe и сетевое подключение 400 Гбит/с. Между собой ускорители объединены прямым RDMA-подключением 100 Гбит/с. Новинки поддерживаются в Amazon EKS/ECS и SageMaker. В настоящее время DL1 доступны в облачных регионах us-east (Северная Вирджиния) и us-west (Орегон), где стоимость dl1.24xlarge при почасовой оплате составляет $13,1/час.

Суперкомпьютерный центр Калифорнийского университета в Сан-Диего (SDSC) выбрал ИИ-ускорители Habana Labs для суперкомпьютера Voyager, разработка которого финансируется из средств Национального научного фонда США (NSF). На реализацию этого проекта NSF выделил грант в размере $5 млн. Habana Labs была приобретёна Intel в 2019 году.

Ожидается, что Voyager станет доступен для использования осенью этого года. Суперкомпьютер является специализированным ИИ-кластером, содержащим как обучающие серверы, так и инференес-серверы, основанные на чипах Gaudi и Goya от Habana Labs соответственно. Проект направлен на продвижение исследований искусственного интеллекта в широком спектре научных и технических областей.

Серверы будут подготовлены компанией Supermicro, технологическим партнёром Voyager:

• Supermicro X12 Gaudi AI Training System — восемь OAM-модулей HL-205 в паре с двумя процессорами Intel Xeon Ice Lake-SP для обучения;
• Supermicro SuperServer 4029GP-T с восемью картами Goya HL-100 PCIe в сочетании с двуями Intel Xeon Cascade Lake-SP для инференса.

Voyager будет использовать уникальные возможности подключения ускорителей Habana для эффективного масштабирования возможностей тренировки нейронных сетей. Voyager имеет 42 узла для обучения в восьми стойках (всего 336 ускорителей Gaudi) и выделенную сетевую стойку, которая объединяет все чипы Gaudi через 100GbE-порты RoCE, а также СХД и два инференс-сервера (16 ускорителей Goya).

Gaudi — единственный в отрасли ИИ-ускоритель, который имеет сразу 10 встроенных контроллеров 100GbE с поддержкой RoCE v2 (RDMA over Converged Ethernet), что обеспечивает гибкость масштабирования и позволяет избежать проблем с пропускной способностью.

В течение первых трёх лет эксплуатации система будет находиться на этапе тестирования. В этот период SDSC будет работать с исследовательскими группами в сферах астрономии, климатологии, химии, физики элементарных частиц и т. д., а также создавать документацию.

Генеральный директор AWS Энди Ясси (Andy Jassy) представил во вторник на мероприятии AWS re: Invent 2020 инстансы EC2 с использованием до восьми ИИ-ускорителей Habana Gaudi, способные обеспечит рост производительности до 40 % по сравнению с текущими инстансами EC2 на базе графических процессоров для рабочих нагрузок машинного обучения.

Ускорители Habana Gaudi специально разработаны для тренировки моделей глубокого обучения для рабочих нагрузок, включающих обработку естественного языка, обнаружение объектов, классификацию, системы рекомендаций и персонализации.

Назвав инстансы EC2 на основе Habana Gaudi «идеальными» для таких рабочих нагрузок, AWS заявила, что рост сложности моделей машинного обучения увеличивает время и стоимость обучения ИИ. «Заказчики продолжают искать способы снизить стоимость обучения, чтобы выполнять итерации чаще и улучшать качество своих моделей машинного обучения, — заявила AWS. — Инстансы EC2 на основе Gaudi предназначены для удовлетворения таких потребностей клиентов, обеспечивая экономическую эффективность при тренировке моделей машинного обучения».

При этом экземпляры EC2 на основе Gaudi изначально поддерживают популярные программные платформы, такие как TensorFlow и PyTorch. А с помощью пакета SynapseAI от Habana разработчики смогут легко создавать новые или переносить существующие обучающие модели с графических процессоров на ускорители Gaudi.

Intel приобрела Habana в 2019 году в рамках стратегии по расширению использования искусственного интеллекта, и чтобы расширить портфолио ИИ-ускорителей для облака и центров обработки данных — категории чипов, в которой доминирует NVIDIA. Intel заявила, что это приобретение поможет её переходу к поставкам нового класса систем с XPU, объединяющих процессоры и ускорители с различной компоновкой.

Стартап Habana Labs планирует улучшить драйверы для ряда своих ИИ-продуктов в будущем релизе Linux 5.7. Эта компания ранее разработала специализированные ИИ-ускорители Goya и Gaudi, которые, как утверждается, вчетверо превосходят традиционные GPU в задачах искусственного интеллекта.

После того, как компанию в прошлом году купила Intel, она продолжила работать в том же направлении, дорабатывая открытые драйверы.

В Intel и Habana Labs пока не комментируют процесс разработки. Однако можно надеяться, что в будущем поддержка ИИ-ускорителей появится, учитывая длинный послужной список проектов Intel, где использовались open source наработки. Работа над драйверами для Linux стартовала в начале 2019 года, когда был запущен ускоритель Goya.

Отмечается, что в коде драйвера Habana Labs для ядра 5.7 уже есть улучшения MMU, оптимизации для будущей поддержки ASIC, новый интерфейс DebugFS, улучшенная поддержка HWMON sysfs с возможностью считывать показания датчиков, и так далее. А поддержка Gaudi запланирована в версиях 5.7 или 5.8.