Когда речь заходит о больших языковых моделях (LLM), то чаще всего подразумевается их обучение, дообучение и запуск на аппаратном обеспечении NVIDIA, как наиболее широко распространённом и лучше всего освоенном разработчиками. Но эта тенденция понемногу меняется — появляются либо специфические решения, могущие поспорить в эффективности с ускорителями NVIDIA, либо разработчики осваивают другое «железо».

К числу последних принадлежит ИИ-стартап Lamini, сделавший ставку на решения AMD: ускорители Instinct и стек ROCm. Главным продуктом Lamini должна стать программно-аппаратная платформа Superstation, позволяющая создавать и развёртывать проекты на базе генеративного ИИ, дообучая базовые модели на данных клиента.

Изображения: Lamini

Напомним, ROCm представляет собой своего рода аналог NVIDIA CUDA, но упор в решении AMD сделан на более широкую поддержку аппаратного обеспечения, куда входят не только ускорители и GPU, но также CPU и FPGA — всё в рамках инициативы Unified AI Stack. К тому же в этом году у ROCm появилась интеграция с популярнейшим фреймворком PyTorch, который в версии 2.0 получил поддержку ускорителей AMD Instinct.

Что же касается Lamini и её проекта, то, по словам основателей, он привлёк внимание уже более 5 тыс. потенциальных клиентов. Интерес к платформе проявили, например, Amazon, Walmart, eBay, GitLab и Adobe. В настоящее время платформа Lamini уже более года работает на кластере, включающем в себя более 100 ускорителей AMD Instinct MI250, и обслуживает клиентов. При этом заявляется возможность масштабирования до «тысяч таких ускорителей». Более того, AMD сама активно пользуется услугами Lamini.

На данный момент это единственная LLM-платформа, целиком работающая на аппаратном обеспечении AMD, при этом стоимость запуска на ней ИИ-модели Meta✴ Llama 2 с 70 млрд параметров, как сообщается, на порядок дешевле, нежели в облаке AWS. Солидный объём набортной памяти (128 Гбайт) у MI250 позволяет разработчикам запускать более сложные модели, чем на A100.

Согласно тестам, проведённым Lamini для менее мощного ускорителя AMD Instinct MI210, аппаратное обеспечение «красных» способно демонстрировать в реальных условиях до 89% от теоретически возможного в тесте GEMM и до 70% от теоретической пропускной способности функции ROCm hipMemcpy.

Выбор Lamini несомненно принесёт AMD пользу в продвижении своих решений на рынке ИИ. К тому же в настоящее время они более доступны, чем от NVIDIA H10. Сама AMD объявила на мероприятии AI Hardware Summit, что развитие платформы ROCm в настоящее время является приоритетным для компании.

В Аргоннской национальной лаборатории Министерства энергетики США (DOE) ведут разработку переносимых гетерогенных приложений для суперкомпьютеров следующего поколения. Это в определённой степени вынужденное решение, поскольку новые машины базируются на различном аппаратном обеспечении от AMD, Intel и NVIDIA.

В частности для будущего экзафлопсного суперкомпьютера Aurora от Intel ведётся работа по адаптации инструментария HIP (C++ Heterogeneous-Compute Interface for Portability), входящего в состав платформы AMD ROCm. Исходная версия уже поддерживает ускорители AMD и NVIDIA, потому ожидается, что многие HPC-приложения так или иначе будут использовать HIP при разработке и адаптации. А уже в этом году ожидается появление поддержки ещё и ускорителей Intel.

В целом, идея состоит в максимально возможной унификации гетерогенных приложений, чтобы их можно было легко запускать на разных конфигурациях суперкомпьютеров. Разработчики опираются на результаты более раннего проекта HIPCL, позволяющего HIP работать поверх OpenCL. Однако для Aurora основным низкоуровневым API будет Level Zero из состава oneAPI, так что теперь работа ведётся в рамках проекта HIPZL. Пока что проект находится на ранней стадии, хотя уже есть несколько тестовых приложений.

Программная платформа AMD ROCm существует уже несколько лет, но официально поддерживается компанией только для дистрибутивов SLES, RHEL/CentOS и LTS-выпусков Ubuntu. При этом самостоятельная сборка всего программного стека ROCm является нетривиальной задачей. Однако теперь, похоже, в списке поддерживаемых платформ появится ещё как минимум Debian и его ответвления.

Как сообщает Phoronix, сопровождающие Debian при поддержке разработчиков из AMD при добились прогресса в портировании ROCm в пакетную базу этого дистрибутива. Если всё пойдёт по плану, то поддержку ROCm получат и наследники Debian, включая Ubuntu (обычные выпуски), Linux Mint, Pop!_OS и т.д. Также ранее говорилось о подготовке пакетов с ROCm для Fedora, но инициатива, не найдя должной поддержки, фактически заглохла. Однако по счастливому стечению обстоятельств интерес к ней снова появился со стороны одного из сотрудников AMD, который интересуется, актуальна ли она.

Сам проект ROCm подразумевает создание и развитие открытой и универсальной программной платформы для CPU, GPU и FPGA, которая сможет упростить создание, перенос и адаптацию ПО. Фактически это стек для высокопроизводительных вычислений (HPC) и ИИ-решений, который позволяет задействовать сильные стороны чипов разных архитектур.

AMD анонсировала новую платформу для разработчиков AMD Accelerator Cloud (AAC). Это приватное облако, которое обеспечивает удалённый доступ к новейшим продуктам AMD для тестирования их возможностей в задачах высокопроизводительных вычислений (HPC) и искусственного интеллекта (ИИ).

Для начала работы с платформой необходимо пройти регистрацию и получить одобрение доступа со стороны AMD, после чего пользователи получат возможность формировать по запросу необходимую конфигурацию узлов, выбирая нужные им ускорители AMD Instinct, ОС, а также версию пакета ROCm, ради продвижения которого, судя по всему, всё и затевалось.

В ближайшие месяцы в облаке появятся ускорители Instinct MI200 и новейшие процессоры AMD EPYC, которые можно будет протестировать на пригодность для выполнения планируемых пользователем рабочих нагрузок. Это упростит перенос кода, бенчмаркинг ПО или тесты по масштабированию нагрузок на большее количество вычислительных узлов.

Изображение: AMD

Компания намерена дополнить этот сервис треннингами и хакатонами, в том числе приватными, для того, чтобы потенциальные клиенты смогли быстрее отточить свои навыки и получить максимальную отдачу от решений AMD. Это немаловажная для AMD инициатива, поскольку многие разработчики приложений HPC/ИИ не так хорошо осведомлены о текущих возможностях программных решений AMD.

Аналогичный сервис два года назад представила Intel — в облачной платформе DevCloud доступны процессоры, ускорители, GPU и FPGA компании, а также наборы средств разработки, программные пакеты, библиотеки и прочее ПО, необходимое для тестирования и оптимизации программных решений. Запуск DevCloud был приурочен к анонсу oneAPI и ускорителей Intel X^e.