Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) и консорциумом LUMI AI Factory выбрали французскую компанию Bull в качестве подрядчика для реализации проекта LUMI-AI — ИИ-суперкомпьютера стоимостью €387,8 млн. Ожидается, что этот комплекс существенно расширит возможности Европы в сфере HPC.

Система LUMI-AI расположится в IT-центре CSC в Каяани (Финляндия) рядом с действующим суперкомпьютером LUMI. Новая машина проектируется с прицелом на широкий спектр нагрузок — от обучения ИИ-моделей и инференса до масштабных научных симуляций, критически важных для поддержания прорывных исследований.

В основу суперкомпьютера LUMI-AI ляжет новейшая архитектура BullSequana XH3500 с жидкостным охлаждением. Говорится о применении 256-ядерных процессоров AMD EPYC Venice 9006 и ускорителей AMD Instinct MI430X. Платформа BullSequana XH3500 использует открытую модульную конструкцию: такой подход позволяет свободно комбинировать блоки CPU, GPU и сетевые компоненты от различных производителей. Так, в качестве технологических партнёров в рамках проекта LUMI-AI выступают IBM (отвечает за хранилище на основе Storage Scale) и Nokia (экспертиза в области сетевых технологий).

Ожидается, что LUMI-AI обеспечит десятикратный прирост производительности для нагрузок ИИ, а также почти двукратное увеличение быстродействия для HPC-задач по сравнению с существующим суперкомпьютером LUMI. Производительность последнего находится на отметке 379,7 Пфлопс. Новый вычислительный комплекс будет работать исключительно на возобновляемой энергии, соответствуя строгим экологическим стандартам. Генерируемое тепло планируется направлять в городскую систему теплоснабжения Каяани.

Источник изображения: Bull

Проект LUMI-AI финансируется на паритетных началах предприятием EuroHPC JU и консорциумом LUMI AI Factory, в который входят Финляндия, Чехия, Дания, Эстония, Норвегия и Польша. Развёртывание суперкомпьютера намечено на II половину 2027 года.

Компания AMD официально представила архитектуру CDNA 5 для серверных нагрузок. Вместо простого обновления архитектуры предыдущего поколения CDNA 4, она включает в себя некоторые элементы из ориентированной на потребителя архитектуры RDNA и вносит изменения в вычислительные блоки, кеш, технологию производства и память. Результатом стало заметное повышение эффективности для ИИ-задач.

С момента своего появления в качестве эволюции архитектуры GCN, CDNA отличалась от RDNA (Radeon DNA) только в своей ориентации на оптимизацию производительности. GCN уже была разработана для высокопроизводительных вычислительных задач на серверах и в исследовательских средах, и именно такой она и должна была оставаться. В свою очередь, RDNA ориентирована на потребительские игры. CDNA 5 — первая итерация, которая разрушает границы дизайна между двумя линейками. Более того, AMD публично заявила о своём намерении в будущем объединить CDNA и RDNA в единую архитектуру (UDNA).

Источник изображений: AMD

Вычислительные блоки (CU) в CDNA 5 переименованы в Workgroup Processor (WGP). Один WGP обеспечивает вдвое большую пропускную способность, чем CU предыдущего поколения, и более высокую производительность на такт. Его конструкция очень похожа на WGP, используемый в RDNA. Каждый чиплет вычислений XCD содержит 32 блока WGP.

Для быстрого перемещения ИИ-данных из памяти в кеш в WGP добавлен выделенный блок перемещения тензорных данных (Tensor Data Mover), который может загружать данные непосредственно из видеопамяти в локальное хранилище данных без дополнительных промежуточных шагов, что ещё больше снижает задержку. Также следует отметить такие нововведения, как функция многоадресной рассылки L2, которая позволяет использовать одну выборку из памяти для обслуживания нескольких WGP для устранения избыточного трафика памяти, барьеры для более эффективной синхронизации и кластеризацию WGP для взаимодействия нескольких WGP на матричных операциях.

Новая архитектура обеспечивает выполнение режима Wave32, снижая затраты на синхронизацию и улучшая использование SIMD, а также предоставляет усовершенствованный математический ИИ-движок с новыми инструкциями tanh и улучшенной пропускной способностью. Это позволяет снизить вычислительные затраты и улучшить реальное использование вычислительных блоков, причем эффект становится более заметным при переключении между различными форматами данных.

Новый техпроцесс N2 от TSMC предлагает преимущества, особенно с точки зрения энергопотребления, но меньше с точки зрения тактовой частоты или плотности транзисторов. MI455X содержит 320 млрд транзисторов, что более чем на 50 % больше, чем у NVIDIA B200 с 208 млрд, который производится с использованием 4NP (обозначения NVIDIA для модифицированного процесса N5). Это преимущество в техпроцессе может сохраниться как минимум до появления продуктов Vera Rubin во II половине 2026 года, что на данный момент выводит AMD на лидирующие позиции в сегменте серверных чипов.

В CDNA 5 компания отказалась от кеша Infinity Cache, использовавшегося в предыдущем поколении CDNA 4 для буферизации VRAM. Кеш L2, ранее интегрированный в XCD, полностью перемещён на выделенный чип FCD, что увеличивает общую ёмкость до 192 Мбайт и скорость доступа до 27 Тбайт/с. Упрощение иерархии кеша напрямую снижает задержку доступа для рабочих нагрузок ИИ.

Для соединения XCD используются два чипа Fabric and Cache Dies (FCD). На каждом FCD размещено четыре XCD. Четыре XCD совместно используют 96 Мбайт кеша L2 и не могут получить доступ к кешу другого FCD. Чип FCD, ориентированный на кеш и скорость доступа, производится по техпроцессу TSMC N3P. Что касается памяти, архитектура использует 12 стеков HBM4. Объём памяти увеличен с 288 до 432 Гбайт в сумме, а ПСП составляет 23,3 Тбайт/с. Такая компоновка с 12 стеками стала возможной благодаря использованию новой технологии упаковки CoWoS-L от TSMC. Вместо традиционного кремниевого интерпозера применён слой перераспределения для увеличения площади корпусировки и размещения большего количества стеков памяти.

Если 432 Гбайт на одной карте окажется недостаточно для обучения сверхбольших моделей, память всех GPU в стойке может быть объединена, что позволит получить до 31 Тбайт общей доступной памяти HBM4 в стойке Helios. В этом случае доступ будет ограничен скоростью сетевого соединения в 100 Гбайт/с, но встроенные коммутаторы обеспечат прямое подключение каждого GPU к каждому другому GPU, полностью соответствующее требованиям к памяти при обучении больших моделей.

В CDNA 5 также добавлена поддержка типов данных MXFP4/MXFP8. Эти форматы уменьшают избыточное использование на элемент данных за счёт совместного использования битов экспоненты, а MXFP4 также поддерживает совместное использование битов мантиссы. Это помогает экономить как объём памяти, так и пропускную способности. CDNA 5 также поддерживает функцию гиперболического тангенса (tanh) на аппаратном уровне. В машинном обучении он используется для активации следующего «шага» мышления. Поскольку он очень ресурсоёмкий с точки зрения вычислений, AMD теперь внедрила аппаратное ускорение, которое удваивает пропускную способность tanh.

AMD и Schneider Electric совместно разработали типовой проект для внедрения стоек HeliosAI в ИИ ЦОД, что позволит упростить и ускорить развёртывание и масштабирование ИИ-фабрик.

Helios AI представляет собой унифицированную платформу, разработанную для обучения передовых ИИ-моделей и крупномасштабного инфреренса. Утверждается, что она обеспечивает лидерство в плотности вычислений, пропускной способности памяти и горизонтальном масштабировании. Helios AI представляет собой стойку двойной ширины, полностью интегрированную с CPU AMD EPYC Venic, ускорителями MI400 и сетю Pensando Vulcano.

Новые референсные стандарты указывают, как именно Helios могут быть интегрированы с остальными системами ЦОД. Они включают информацию об электроснабжении объекта, охлаждении, IT-пространстве и ПО для управления жизненным циклом. Предполагается, что это позволит клиентам быстрее проходить путь от планирования до развёртывания.

Источник изображения: AMD

В Schneider Electric подчёркивают, что сотрудничество с AMD позволяет представить эталонный проект с инженерным обоснованием, способствующий связать передовые платформы для ИИ-вычислений, энергетические технологии и возможность практического внедрения новых решений в ЦОД.

Источник изображения: Schneider Electric

Дизайн рассчитан на типовые ИИ-кластеры мощностью 6,2–10,4 МВт на площадках Tier III и плотностью отдельных стоек до 246 кВт. Поддерживается передовое жидкостное охлаждение Motivair с CDU и гибридный подход с использованием решений на основе СЖО и воздушного охлаждения. В AMD подчёркивают важность того, чтобы, на фоне современных требований к ИИ-инфраструктуре, вычисления, сетевые системы, питание и охлаждения «с нуля» проектировались совместно.

Компания HPE обновила суперкомпьютерную платформу HPE Cray Supercomputing GX5000 нового поколения. Система высокой плотности ориентирована на НРС-задачи и ресурсоёмкие нагрузки, связанные с ИИ. В основу положены серверы с процессорами AMD EPYC Venice 9006. В конфигурации с чипами EPYC 9996 (256 вычислительных ядер) суммарное количество ядер на серверную стойку достигает 81 920. По заявлениям производителя, это на 40 % больше по сравнению с ближайшей конкурирующей системой высокой плотности.

Для новой платформы будут доступны серверы HPE Cray Supercomputing GX350a Accelerated Blade и HPE Cray Supercomputing GX250 Compute Blade. Первые ориентированы на смешанные вычисления: они объединяют один процессор AMD EPYC Venice и четыре ускорителя AMD Instinct MI430X. В одной стойке могут быть размещены до 28 таких узлов, что в сумме даст 112 ускорителей. В свою очередь, сервер GX250 рассчитан на FP64-операции: он несёт на борту восемь процессоров EPYC Venice 9006 (без ускорителей). В одной стойке могут размещаться до 40 узлов, содержащих в сумме 320 CPU.

Предусмотрена возможность использования прямого жидкостного охлаждения. По сравнению с системами предыдущего поколения новая платформа HPE Cray Supercomputing GX5000 обеспечивает возможность сокращения пространства в дата-центре на 25 % при сопоставимой вычислительной мощности.

Источник изображения: HPE

Отмечается, что в число первых пользователей платформы входят Окриджская национальная лаборатория (ORNL) Министерства энергетики США (DOE) и Центр высокопроизводительных вычислений Штутгартского университета (HLRS).

AMD представила ИИ-платформу Helios AI, объединяющую в одной ORW-стойке высотой 44OU процессоры EPYC Venice 9006 SP7 с ускорителями Instinct MI455X и NIC Pensando вместе с ПО AMD ROCm. Гендиректор Лиза Су (Lisa Su) объявила о начале полномасштабного производства Helios. 72 ускорителя MI455X размещены в 18 узлах, по четыре единицы в каждом. По данным AMD, пиковая производительность на стойку составляет 2,9 Эфлопс в режиме FP4 и 1,4 Эфлопс в режиме FP8.

Источник изображений: AMD

В основе масштабируемой архитектуры Helios лежит технология UALoE (UALink over Ethernet), которая объединяет 72 ускорителя AMD Instinct MI455X в стойке в единый домен. Разработанная с учётом суммарной пропускной способности до 260 Тбайт/с и доступа к 31 Тбайт памяти HBM4 с агрегированной пропускной способностью 1,7 Пбайт/с в одной стойке, платформа AMD Helios позволяет обрабатывать модели и рабочие нагрузки, требующие тесной связи между ускорителями.

Как сообщается, система Helios разработана с учётом пути, который проходит рабочая нагрузка ИИ через стойку. Нагрузка поступает через хост-уровень, перемещается в домен GPU, получает доступ к данным модели и активным данным в HBM4 и взаимодействует на уровне всей стойке через масштабируемую коммутационную сеть.

Сеть построена на одношаговой топологии с использованием стандартных микросхем коммутаторов Ethernet (ESUN), что обеспечивает связь GPU с другим GPU через один коммутатор — минимизируя задержку, улучшая управление перегрузкой и максимизируя эффективность связи в сети. Стойка обеспечивает агрегированную пропускную способность при вертикальном масштабировании (через UALoE) 260 Тбайт/с и 43 Тбайт/с при горизонтальном (по три 800GbE-подключения на GPU).

Компания также уделила внимание аппаратной отказоустойчивости AMD Helios. Каждый GPU подключается через 18 независимых линий UALoE, распределённых по разным коммутационным блокам. Когда аппаратный сбой затрагивает один путь, система автоматически поддерживает единую область GPU, используя альтернативные соединения.

Программный инструмент AMD Fabric Manager (AFM) обеспечивает операционный уровень для масштабируемой сети AMD Helios, управляя автоматизацией развёртывания, предоставлением ресурсов, телеметрией, мониторингом и управлением всей сетью в рамках единой платформы. Он предоставляет операторам видимость всей масштабируемой сети, упрощая развёртывание, мониторинг и обслуживание ИИ-инфраструктуры стоечного масштаба по мере роста сред.

В свою очередь, специализированная ОС AMD Fabric OS (AFOS) непосредственно функционирует на уровне коммутации масштабируемой сети, обеспечивая управление в реальном времени и видимость, необходимые для обнаружения и реагирования на аппаратные события внутри самой сети. Вместе AFM и AFOS преобразуют масштабируемую сеть AMD Helios из аппаратного соединения в управляемую, наблюдаемую операционную платформу.

Поскольку не всем нагрузкам требуется одновременное использование 72 ускорителей, компания предложила vPods — виртуальные кластеры (Virtual Pods), которые позволяют клиентам разделять масштабируемую область AMD Helios на более мелкие программно-определяемые среды, адаптированные к конкретным рабочим нагрузкам. Отдельные циклы обучения, среды тестирования и инференса могут сосуществовать в одной стойке, сохраняя при этом изоляцию и локализацию сбоев.

AMD Helios является прямым конкурентом стоечным системам GB300 NVL72 и Vera Rubin NVL72. По словам Су, AMD Helios обеспечивает на 15 % более высокую вычислительную производительность, чем Vera Rubin, и предлагает на 50 % больше высокоскоростной памяти. Она также отметила, что AMD Helios обеспечивает на 30 % больше токенов на доллар, чем серверы NVIDIA. Стойки Helios AI могу быть дополнены стойками Cererbras для дезагрегированного инференса.

AMD представила AMD Instinct MI455X — первый ускоритель, построенный на новой архитектуре AMD CDNA 5-го поколения и разработанный специально для стоечного решения AMD Helios, обеспечивая высокую производительность при обработке ИИ-нагрузок, включая ИИ-инференс, обучение и тонкую настройку. Созданный на базе комбинации 2-нм и 3-нм чиплетов, ускоритель имеет 432 Гбайт памяти HBM4 с пиковой пропускной способностью 23,3 Тбайт/с.

Вычислительные (XCD) чиплеты основаны на техпроцессе TSMC N2 — 2 нм с круговым затвором, — в то время как чиплеты FCD и MID используют техпроцесс N3P (3 нм FinFET). Упаковка объединяет 8 чиплетов XCD, 2 IOD и 2 FCD, а также 12 стеков HBM4, что в сумме составляет 320 млрд транзисторов. AMD Instinct MI455X поддерживает NUM до восьми NUMA-доменов. В режиме NPS1 адреса распределяются по 12 стекам HBM на двух чиплетах, а в профиле NPS2 адреса распределяются на два раздела по 6 стекам HBM без обмена данными между чиплетами.

Источник изображений: AMD

Четыре чиплета XCD размещены поверх каждого чиплета кеш-памяти (FCD) с использованием гибридного соединения. В свою очередь, два чиплета FCD соединены с шестью стеками HBM4, двумя чиплетами IO и друг с другом с помощью технологии CoWoS-L от TSMC. Каждый XCD включает по 32 активных процессора WGP (Work Group Processor), что в сумме составляет 256.

Чиплеты HBM4 соединены через 192-канальный интерфейс. Имеется 16 блоков кеша L2 по 16 Мбайт каждый, что в сумме составляет 192 Мбайт разделяемого кеша LLC. 16 линий AMD Infinity Fabric обеспечивает 256 Гбайт/с в двунаправленном режиме. Масштабирование в стойке обеспечивает 72 линии UALoE (3,6 Тбайт/с в двунаправленном режиме).

Согласно данным производителя, AMD Instinct MI455X обеспечивает 20 Пфлопс пиковой мощности в операциях MXFP6 и MXFP8, 40,3 Пфлопс пиковой мощности в операциях MXFP4. Также сообщается о поддержке типы данных FP4, FP6 и FP8. Для FP64-нагрузок будет представлена модификация MI430X

По сравнению с предыдущим поколением Instinct MI355X обеспечивает до 4 раз увеличение пиковой вычислительной мощности, до 2,9 раза увеличение пропускной способности памяти и 1,5-кратное увеличение ёмкости памяти. Благодаря этому обеспечивается увеличению пропускной способности токенов в 18 раз и до 34-кратного снижения стоимости токенов при использовании DeepSeek V4 Flash FP4, сообщил TechPowerUp.

Компании AMD и Anthropic объявили о стратегическом партнёрстве, в рамках которого Anthropic развернёт в ЦОД на 2 ГВт ускорителей Instinct MI450 в стоечных решениях AMD Helios AI, а AMD инвестирует в неё $5 млрд. Запуск ускорителей на первый ГВт начнётся в I половине 2027 года. Anthropic также использует ускорители Instinct MI355X. Соглашение является примером циклической сделки, когда производители чипов инвестируют в компании в сфере ИИ, которые входят в число их крупнейших клиентов.

Как сообщает The Wall Street Journal, часть приобретённых Anthropic чипов AMD будет развёрнута в её собственных ЦОД, часть — в арендованных. По словам генерального директора AMD Лизы Су (Lisa Su), Anthropic и AMD работают вместе над поиском ЦОД для размещения этих чипов. Инвестиции AMD в Anthropic будут связаны с достижением определённых этапов развёртывания, сообщило агентство Reuters. У OpenAI, прямого конкурента Anthropic, есть похожие сделки с AMD и NVIDIA.

Кроме того, AMD и Anthropic договорились о многолетнем инженерном сотрудничестве, в рамках которого модель Claude будет использоваться для ускорения разработки ПО AMD, в частности, для оптимизации рабочих нагрузок для ускорителей AMD Instinct и ускорения разработки ROCm. AMD также планирует широко внедрять Claude в работе своих инженерных и продуктовых команд.

Источник изображения: AMD

Крупные технологические компании с инвестиционным кредитным рейтингом всё чаще ведут переговоры о поддержке аренды или выделении заёмных средств ИИ-стартапам, которые в противном случае не смогли бы привлечь капитал на выгодных условиях. Например, Google согласилась поддержать некоторые сделки Anthropic по ЦОД и инвестировать в неё $40 млрд, чтобы помочь ей получить доступ к своим TPU.

Рост спроса на её ИИ-инструменты вынудил Anthropic ограничить возможности пользователей в использовании своих ИИ-сервисов и заняться поиском дополнительных вычислительных мощностей. В мае Anthropic заключила сделку со SpaceX Илона Маска (Elon Musk) на использование всех мощностей ЦОД Colossus 1. В апреле компания заключила многомиллиардное соглашение с Amazon, а также соглашение о предоставлении вычислительных мощностей на несколько гигаватт с Google и Broadcom. Также Anthropic ведёт предварительные переговоры об аренде вычислительных мощностей у Meta✴.

AMD объявила о расширении стратегического партнёрства с Microsoft, охватывающего ускорители, процессоры, сетевое оборудование и ПО на платформе Azure. AMD начнёт поставки Helios клиентам, включая Microsoft, во II половине 2026 года, но именно Microsoft первой среди «большой тройки» облаков публично заявила о массовом развёртывании новой платформы.

В рамках партнёрства Microsoft внедрит в ЦОД Azure платформу AMD Helios AI с EPYC Venice и MI455X. Эти решения будут лежать в основе трёх будущих семейств инстансов Azure: HDv2 для обработки данных, HXv2 для автоматизации проектирования электроники (EDA) и ND MI455X v7 для рабочих нагрузок ИИ-инференса.

Инстансы HDv2, разработанные совместно с AMD, предназначены для самых ресурсоёмких задач, связанных с ИИ, включая подготовку данных, поиск, обучение с подкреплением и координацию агентов. Благодаря почти 500 физическим ядрам в составе AMD EPYC Venice, 4 Тбайт RAM, 32 Тбайт локального NVMe-хранилища и 400GbE DPU Azure Boost, HDv2 способны удовлетворить потребности самых требовательных клиентов в области ИИ, отметила Microsoft.

Инстанcы HXv2 развивают сильные стороны виртуальных машин HX, запущенных в партнёрстве с AMD в 2023 году. HXv2 тоже предлагает дифференциацию для рабочих нагрузок моделирования на уровне RTL и тоже использует технологию 3D V-Cache, вместе с тем получив значительные улучшения в части производительности ядер и памяти в однопоточных задачах. ВМ HXv2 будут оснащены 176 ядрами процессоров EPYC Venice с тактовой частотой более 5 ГГц, наполовину большим кешем, доступному каждому ядре, и порядка 2 или 4 Тбайт RAM.

Источник изображения: Microsoft

При этом Azure HXv2 поддерживает более широкий спектр технических вычислительных задач, включая научное моделирование, инженерный анализ и другие приложения с распределённой памятью. Значительно повышенная производительность на ВМ и на ядро, а также наличие 800G-подключения InfiniBand, позволяют проводить крупномасштабные симуляции на основе MPI и делают HXv2 идеальным решением для широкого круга клиентов, использующих HPC, сообщила Microsoft.

В свою очередь, инстансы ND MI455X v7 разработаны для ИИ-инференса в производственных масштабах — для рабочих нагрузок рассуждений, поиска и агентных вычислений, лежащих в основе современных ИИ-сервисов. Сотрудничество также распространяется на сетевой уровень. DPU Pensando уже активно используются Microsoft, а теперь компании интегрируют Azure Boost с технологиями AMD для повышения производительности сети, эффективности и обработки подключений в облачном масштабе.

Сотрудничество расширяет доступ к ИИ-инфраструктуре AMD в Azure. Разработчики передовых моделей смогут использовать инфраструктуру на базе AMD для обучения и обслуживания крупномасштабных ИИ-моделей, а корпоративные клиенты могут развёртывать и масштабировать рабочие нагрузки ИИ в производственной среде с помощью управляемых вычислительных ресурсов Azure Foundry.

AMD поделилась информацией о производительности Instinct MI430X. Это не ИИ-ускоритель — чип ориентирован на задачи в сегменте высокопроизводительных вычислений (HPC): вычисления с двойной точностью (FP64) остаются чрезвычайно важными в науке, моделировании и многих других приложениях, пишет ресурс ComputerBase. AMD официально подтвердила выпуск чипа прошлой осенью, когда уже получила первые крупные заказы.

Теперь компания демонстрирует первые показатели решения с 432 Гбайт HBM4. Обладая производительностью более 200 TFLOPS в нативном режиме FP64, он будет «более чем в шесть раз быстрее» ускорителя NVIDIA Rubin. Однако следует отметить, что сравнение несколько некорректно. Во-первых, Rubin — это чистый ИИ-ускоритель, ориентированный на FP4 и аналогичные форматы, а не на FP64. Во-вторых, AMD прямо не уточняет, идёт ли речь о векторных и/или матричных вычислениях. Хотя, вероятно, речь всё-таки о векторных расчётах, поскольку в режиме эмуляции со схемой Озаки Rubin, как обещает NVIDIA, будет выдавать те же 200 Тфлопс в FP64.

Источник изображений: AMD

При этом реального конкурента, кроме Instinct M430X, у Rubin в FP64 нет. С другой стороны, Rubin, в свою очередь, по всей видимости, превосходит MI430X в приложениях FP4 — AMD пока не раскрыла его возможности в таких вычислениях. Кроме того, компания сама говорила о возможности поддержки схемы Озаки (Ozaki) для чипов Instinct. Фактически AMD в своих же чипах «отклонилась от курса», решив наращивать ИИ-производительность. В Instinct MI355X FP64-производительность и векторных, и матричных вычислений была на уровне 78,6 Тфлопс, тогда как вышедший ранее MI325X выдавал 81,6 Тфлопс, а ещё более «древний» MI300X — 81,7 Тфлопс.

О решении AMD нарастить нативную FP64-производительность ускорителя Instinct MI430X стало известно этой весной. До этого компания усомнилась в эффективности эмуляции научных расчётов на тензорных ядрах NVIDIA. NVIDIA же давно сделала ставку исключительно на ИИ, отказавшись от развития в новейших ускорителях FP64-блоков, но учёные указывают на то, что отказ от поддержки этого направления грозит лидерству США в HPC и дальнейшим инновациям. В Министерстве энергетики США (DoE) также отметили, что FP64-вычисления по-прежнему «очень важны» для «Миссии Генезис» (Genesis Mission) и для реализации её цели — ускорения научных открытий с помощью ИИ.

AMD добилась больших успехов в сегменте HPC, поставляя оборудование для самых быстрых в мире суперкомпьютеров. Именно этот рынок является целевым для Instinct MI430X, о чем свидетельствуют первые заказы, включая машину Discovery Национальной лаборатории Ок-Ридж (ORNL) в США и Alice Recoque во Франции. Как сообщается, производительность Alice Recoque составит более 1 Эфлопс в FP64, что сделает его одной из самых быстрых HPC-систем в Европе.

После анализа ограничений эмуляции FP64-вычислений с использованием схемы Озаки разработчики AMD пришли к выводу, что в настоящее время нет замены «сырой» производительности FP64. Как сообщил научный сотрудник AMD Николас Малайя (Nicholas Malaya) ресурсу HPCwire, чтобы обеспечить точность традиционных задач моделирования и симуляции, компания намерена нарастить нативную FP64-производительность ускорителя Instinct MI430X. Ускоритель станет основой суперкомпьютера Discovery, который будет установлен в Национальной лаборатории Ок-Ридж (ORNL) в 2028 году.

Как отметил Кацухиса Озаки (Katsuhisa Ozaki) и два других японских исследователя, схема Ozaki — это многообещающая новая техника эмуляции, призванная позволить учёным выполнять высокоточные умножения матриц на оборудовании с поддержкой INT8/FP8, к которому относятся современные ИИ-ускорители, путём многократных вычислений с более низкой точностью.

Текущие реализации Ozaki-I и Ozaki-II имеют ограничения, которые исключают их использование в реальных условиях, сообщил Малайя. Он указал на две основные проблемы. Во-первых, ПО не соответствует стандарту IEEE и не даёт того же результата, что и запуск кода на реальном оборудовании с поддержкой FP64. «В некоторых случаях это нормально, — сказал он. — Но во многих распространённых матрицах, которые мы наблюдали, влияние на точность довольно существенно.». Во-вторых, схема Озаки нацелена на квадратные матрицы. Если таковые в расчётах не используется, то итоговая производительность оказывается ниже, чем у нативного FP64-исполнения, говорит Малайя.

Источник изображения: AMD

Кроме того, HPC-приложения традиционно опираются на векторные вычисления, а не на тензорные или матричные, которые характерны для ИИ-нагрузок. Фактически ситуация ещё хуже — менее 10 % реальных HPC-приложений внесли изменения в DGEMM-коды, которые позволяют воспользоваться преимуществами Ozaki. «Насколько мне известно, с Ozaki-I, Ozaki-II или любой другой существующий метод нельзя применить к векторным инструкциям, — говорит Малайя. — Это ключевой нюанс, который, как мне кажется, упускается». На DGEMM действительно уходит много вычислительных ресурсов, что позволяет использовать схему Ozaki, «но она не решает 90 % HPC-задач».

AMD собирается поддерживать эмуляцию Ozaki на своих чипах, сообщил Малайя. «Нет причин этого не делать. Это ПО. <…> И у вас могут быть библиотеки, которые позволяют динамически переключаться между нативными расчётами и Ozaki и, вероятно, оценивать его», — сказал он, добавив, что программную эмуляцию можно иметь в виду в качестве резервного варианта для FP64-вычислений. Но в конечном итоге Ozaki не является работоспособной альтернативой «железу» с FP64, сказал Малайя, уточнив, что не он один так считает.

Источник изображения: AMD

В настоящее время компания разрабатывает MI430X, специализированную версию ускорителя следующего поколения MI450, который будет обладать значительной FP64-производительностью. По словам Малайи, она будет значительно больше, чем у ускорителя MI355X, который обеспечивает 78,6 Тфлопс. По факту, это меньше, чем у предыдущей модели MI325X, которая обеспечивала 81,7 Тфлопс — в обоих случаях речь и про векторные, и про матричные FP64-вычисления.

В любом случае, у всех этих чипов — от MI325 до MI430 — производительность больше, чем у чипов NVIDIA. И Hopper (34 Тфлопс), и Blackwell (40 Тфлопс) уже были медленнее в векторных FP64-вычислениях, но у Hopper хотя бы были нативные 67 Тфлопс в матричных расчётах, тогда как Blackwell в этом случае уже перешёл к схеме Озаки с «ненативными» 150 Тфлопс. Про Blackwell Ultra, где FP64-производительность упала до 1,3 Тфлопс, NVIDIA в данном контексте вообще не вспоминает, но обещает, что у Rubin будет 33 Тфлопс в векторных FP64-расчётах и 200 Тфлопс в матричных (тоже с Озаки).

Источник изображения: NVIDIA

NVIDIA обосновывает отказ от развития аппаратных FP64-блоков тем, что увеличение собственно вычислительной мощности FP64 на самом деле не ускорит научные приложения, поскольку на практике они упрутся в возможности регистров, кешей и HBM. Rubin обеспечит пропускную способность HBM до 22 Тбайт/с, что в 2,8 раза больше, чем у Blackwell. Instinct MI325X предлагает 6 Тбайт/с, MI355X — 8 Тбайт/с, а у MI430X будет уже 19,6 Тбайт/с, сообщил Малайя.

По словам Малайи, лучше всего синхронно «вкладываться» и в HBM, и в количество операций с плавающей запятой. «На самом деле важен коэффициент байт/флопс. С нашей точки зрения, необходимо поддерживать гораздо более близкое соотношение к тому, что мы видим в современных продуктах, — сказал он. — Необходимо значительно приблизиться к этому соотношению с точки зрения увеличения производительности FP64, чтобы сохранить тот же уровень, как это называют, арифметической интенсивности».

Источник изображения: NVIDIA

Поскольку AMD обеспечит 2,5-кратное увеличение ПСП HBM от MI355 до MI430X, аналогичное 2,5-кратное увеличение производительности FP64 также будет оправдано. Таким образом можно примерно прикинуть, что MI430X может обеспечить производительность FP64 от 192 до 204 Тфлопс в зависимости от того, какой из них будет базовым: более новый MI355 или более быстрый MI325, сообщил HPCwire, добавив, что это всего лишь предположение, поскольку компания пока не сообщила точные характеристики будущих чипов. Кроме того, не до конца ясно, будет ли FP64-производительность одинакова для векторных и матричных расчётов.

FP64-вычисления «очень важны» для «Миссии Генезис» (Genesis Mission), заявил ранее заместитель министра энергетики США (DoE) по науке и инновациям Дарио Гил (Darío Gil). Он отметил, что и глава AMD Лиза Су (Lisa Su), и глава NVIDIA Дженсен Хуанг (Jensen Huang), выразили твёрдую приверженность FP64, подтвердив, что поддержка формата будет продолжаться. «FP64 имеет решающее значение для поддержки рабочих нагрузок моделирования и симуляции, не только для дальнейшего развития традиционных научных исследований, но и для предоставления исходных данных для обучения новых ИИ-моделей», — добавил Гил.

Источник изображения: AMD

«Всегда существует баланс между тем, сколько требуется FP64- и FP16-вычислений», — сказал Малайя. «AMD утверждает, что нам необходимо поддерживать широкий спектр типов данных в зависимости от их потребностей. Не получится, чтобы всем были нужны FP64, которых хватит для всего.», — отметил он. Малайя сообщил, что всегда бывают исключения. Например, ИИ-симуляции сворачивания белков, такие как AlphaFold и Openfold, используют FP32. Да и некоторым традиционным HPC-задачам, таким как молекулярная динамика, не требуется FP64-точность.

Тем не менее, сейчас существует значительный неудовлетворенный спрос на FP64, утверждает учёный. «Что касается высокопроизводительных вычислений, мы считаем, что им по-прежнему потребуется много FP64, — сказал он. — Будут использоваться некоторые коды, которые полностью ограничены пропускной способностью памяти, и им не нужно так много. Но есть, например, коды вычислительной химии и некоторые другие, которые действительно имеют высокую арифметическую интенсивность, и они будут использовать FP64».