В своей опубликованной не так давно статье Сатоши Мацуока (Satoshi Matsuoka), директор Центра вычислительной науки RIKEN в Кобе (Япония), подверг сомнению устоявшиеся представления о необходимости FP64-вычислений для HPC-задач и встал на защиту схемы Озаки II. Мацуока, по сути, утверждает, что аппаратная поддержка FP64 — не лучший способ выполнения определённых HPC-нагрузок, требующих 64-бит точности, на новых моделях ускорителей NVIDIA. В подтверждение он демонстрирует возможность использования FP8-расчётов с использованием схемы Озаки II для ускорения вычислений при сохранении той же 64-бит точности.
Используя терминологию автомобильных гонок, Мацуока говорит: прекратите использовать автомобили «Формулы-1» (FP64) для максимально быстрого перемещения по трассе HPC и замените их множеством «электровелосипедов» (FP8). Как отметил ресурс HPCwire, формат FP64 десятилетиями отвечал за производительность вычислений с плавающей запятой для приложений HPC. Исторически сложилось так, что производители CPU и GPU неизменно демонстрировали рост производительности в FP64-расчётах на протяжении поколений.
Но на рынке, движимом ИИ нового поколения, предпочтение отдаётся увеличению FP8-производительности. В то время как HPC требуют FP64, для обучения и инференса в ИИ нового поколения достаточно низкой точности расчётов. Ориентируясь на более крупный рынок, NVIDIA снизила производительность FP64 в ускорителях нового поколения (у AMD таких планов нет) и создала разрыв, который, по мнению Мацуоки, может быть заполнен «электровелосипедами» FP8. В связи с этим сообщество HPC задаётся вопросом: «Где мы будем получать производительность в формате FP64? Похоже, мы стали второсортными участниками рынка NVIDIA».
Источник изображений: HPCwire
Следует отметить, что по сравнению с традиционной схемой Озаки I, Озаки II обеспечивает более высокую вычислительную эффективность и лучшую масштабируемость для крупномасштабных высокоточных численных вычислений. В начале 2026 года Кацухиса Озаки (Katsuhisa Ozaki) и два других японских исследователя отметили, что исходный алгоритм Озаки II не может быть напрямую адаптирован к матричным MAC-блокам (умножение и сложение) FP8. В связи с этим они ввели квантование, которое имитирует модульную арифметику в FP8. Благодаря этому Ozaki II поддерживается Blackwell Ultra и Rubin, которые ограничили развитие INT8-производительности в пользу FP8/FP4.
В качестве аргумента Мацуоки привёл графики работы HCP-приложений на конкретных чипах. В целом, на все приложения, работающие на GPU, действует одно из двух ограничений. Первое — это пропускная способность памяти (диагональная линия в левой части графика). Второе ограничение — это пиковая скорость, с которой может работать чип (горизонтальная линия в верхней части изображения).
В точке пересечения линий пропускной способности памяти и пиковой производительности GPU получает данные с той скоростью, с которой он может их обрабатывать, что представляет собой хороший баланс между характеристиками подсистемы памяти процессора. При этом, большинство HPC-приложений ограничены пропускной способностью памяти, т.е. диагональной линией на графике. Снижение FP64-производительности резко меняет эти «пределы» для новых GPU NVIDIA.
Мацуока указал на два важных следствия этих изменений. Во-первых, ранее ограничиваемые памятью ядра (kernel) теперь упираются в вычислительные ресурсы. У B300 соотношение производительности к пропускной способности памяти находится на уровне 0,16 флопс/байт (1,3 Тфлопс/8 Тбайт/с). Во-вторых, тензорные блоки низкой точности (FP4 и FP8) при работе с типичным HPC-ядром, поддерживающим только FP64, простаивают и никак не влияют на время, затрачиваемое ядром на решение. Эта ситуация является наглядным проявлением различия между ИИ-нагрузками и HPC.
Мацуока также отметил, что несмотря на быстрое развитие алгоритмов Ozaki-I и Ozaki-II для операций GEMM (General Matrix-Matrix Multiply), все опубликованные исследования производительности сосредоточены на режиме, ограниченном вычислительными ресурсами, когда метод Ozaki наиболее очевидно в выигрыше благодаря огромному количеству тензорных блоков. Исследователь указал, что ни в одном опубликованном анализе никто не задавался вопросом: когда Ozaki-II становится выгодным для ядер, ограниченных объёмом памяти? Общепринятое мнение заключается в том, что методы EFT, в т.ч. Ozaki-I и II, не могут помочь ядрам с ограниченной пропускной способностью.
Поэтому Мацуока категорически называет нативную FP64-обработку единственным способом достижения производительности уровня HPC при использовании NVIDIA B300 и более поздних версий лишь догмой. Для обоснования своего утверждения Мацуока анализирует производительность с использованием четырех стандартных примитивов HPC:
- GEMM (общее умножение матриц).
- Пакетное GEMV (общее умножение матриц на векторы).
- 7-point Stencil (метод конечных разностей).
- SpMV (разреженное умножение матриц на векторы).
В таблице ниже приведены данные об ускорении вычислений на GPU нескольких поколения при использовании Ozaki-II в FP8-режиме относительно производительности тех же GPU в нативном режиме FP64. За базовый уровень взята производительность H100, последнего ускорителя NVIDIA, архитектура которого сбалансированна и подходит для HPC, а не исключительно для ИИ-инференса.
Мацуока утверждает, что согласно приведённым данным, схема Ozaki-II не ухудшает производительность по сравнению с базовым уровнем H100; напротив, она восстанавливает или улучшает масштабируемость для каждой рабочей нагрузки. «Ozaki-II — это не просто механизм компенсации регрессии NVIDIA в FP64; это механизм, который преобразует экономию площади кремния в <…> более быстрый FP64 с точки зрения приложения», — заявил исследователь.
AMD же повышает FP64-производительность, «поскольку метод Озаки не оправдывает ожиданий». Ранее компания указала на несколько проблем с EFT-методами. Во-первых, такое ПО не соответствует стандарту IEEE и не дает тех же результатов, что запуск кода на реальном FP-64оборудовании. Во-вторых, схема Озаки нацелена на квадратные матрицы. Если таковые в расчётах не используется, то производительность оказывается ниже, чем у нативного FP64-исполнения. В-третьих, традиционные HPC-задачи основаны на векторных расчётах, для которых методы Озаки малоэффективны — менее 10 % таких приложений охвачены матричными расчётами, позволяющими использовать EFT-методы. Но и для тех, что поддерживают такие методы, всё равно придётся переписывать код. Вместе с тем AMD не собирается отказываться от поддержки эмуляции Озаки на своих чипах в качестве резервного варианта.
В правительстве США выразили поддержку обеим концепциям. «В ходе обсуждений с Лизой Су (Lisa Su) и Дженсеном Хуангом (Jensen Huang) я убедился в их твёрдой приверженности формату FP64 и его дальнейшему развитию, — сказал ранее в интервью СМИ заместитель министра энергетики США (DoE) по науке и инновациям. «Это взаимодополняющие технологии», которые будут работать вместе, чтобы поддержать цель миссии Genesis — расширение границ в науке и технике с использованием ИИ. Следует уточнить, что он никогда прямо не заявлял о методах Озаки как о «запасном варианте» по сравнению с традиционными методами FP64 и и не объявлял об использовании эмуляции Озаки в целом.
Источник:
