Спустя всего несколько дней после презентации совместно с SK hynix первых спецификаций стандарта High Bandwidth Flash (HBF), компания SanDisk объявила о завершении финального этапа проектирования (стадии tape-out) первого кристалла HBF, продемонстрировав его образец на слайде. Заодно компания сообщила подробности о своей стратегии роста и долговременной экономической модели.
В HBF используется многослойная архитектура NAND вместо DRAM с размещением её рядом с ускорителем, подобно HBM. HBF использует запатентованную технологию, которая помогает уменьшить напряжение и деформацию кристалла и улучшить теплопроводность, позволяя использовать многослойную структуру из 16 кристаллов для достижения целевой ёмкости и пропускной способности.
Источник изображений: SanDisk
Как сообщила SanDisk, первое поколение HBF нацелено на 512 Гбайт на один стек — 16 кристаллов по 256 Гбайт с общей пропускной способностью 1,6 Тбайт/с при чтении. SanDisk утверждает, что HBF обеспечивает в 8–16 раз большую ёмкость, чем HBM, при аналогичной стоимости и в упаковке, по размерам, высоте стека и энергопотреблению практически не уступающем HBM4. А поскольку это NAND-память, она энергонезависима.
Ожидается, что второе и третье поколение HBF обеспечат скорость чтения, превышающую 2 и 3,2 Тбайт/с соответственно, а ёмкость многослойной структуры достигнет 1 и 1,5 Тбайт на стек. При этом они будут потреблять соответственно в 0,8 и 0,64 раза меньше энергии, чем память первого поколения. Как сообщает StorageReview.com, в презентации SanDisk были чётко обозначены целевые рабочие нагрузки HBF: LLM с MoE-архитектурой, длинные контекстные окна и большие KV-кеши — всё с учётом предложений крупных клиентов в области облачных вычислений и ИИ.
В представленной презентации также указаны три варианта развёртывания памяти HBF в рамках одного XPU. Она может дополнять HBM, заполняя некоторые позиции в стеке вокруг xPU, или полностью заменять её, занимая аналогичную площадь. Либо же она будет хранить веса декодирования и KV-кеши, тогда как HBM (меньшего объёма) будет работать как кеш. Эта гибкость важнее, чем кажется на первый взгляд, поскольку позволяет использовать HBF, не требуя от производителя ускорителя отказа от HBM.
SanDisk показала результатов внутренних тестов генерации токенов для одного GPU c HBF, четырёх GPU с HBF и восемью GPU с HBM. На основе тестов компания сделала два заявления. Первое — о восьмикратном увеличении эффективности капитальных затрат исходя из минимальной конфигурации, необходимой для запуска модели: один GPU с HBF против восьми GPU с HBM. Второе — о двукратном увеличении эффективности GPU: четыре GPU с HBF выдают тот же объём токенов, что и восемь GPU с HBM.
HBF показывает результат, отличающийся от HBM с высокой пропускной способностью всего на 2,2 % при чтении весов для Llama 3.1 405B. Следует учесть, что речь идёт о предварительных данных самой SanDisk, где, например, не даны точные значения по скорость генерации токенов. Но в целом компания говорит о том, что увеличение объёма набортной памяти ускорителя в 8–16 раз при той же пропускной способности и примерно той же мощности, что у HBM, потребует меньшего количества ускорителей для хранения одной и той же модели, а сами ускорители будут тратить меньше времени на ожидание данных.
Как сообщает TrendForce со ссылкой на Mizuho Securities и Goldman Sachs, компания планирует выпустить первые образцы HBF в 2027 году, а массовое производство, как ожидается, начнётся в 2028 году. В Mizuho Securities полагают, что HBF вряд ли полностью заменит HBM, но позволит создавать дезагрегированные архитектуры для ИИ-инференса — консорциум HBF, куда входят Google, Meta✴, SK hynix и Tenstorrent, работает над развитием этого подхода.
TrendForce полагает, что в долгосрочной перспективе выиграет гибридная архитектура, где HBM будет использоваться для высокоскоростных вычислений, а HBF — для повышения плотности хранения. Такая иерархия памяти может стать ключевым фактором крупномасштабной коммерциализации ИИ.
Источник:
