Компания SanDisk, которая вскоре станет независимой, отделившись от Western Digital, предложила способ многократного увеличения объёма памяти ИИ-ускорителей. Как сообщает ресурс ComputerBase.de, речь идёт о замене HBM (High Bandwidth Memory) на флеш-чипы с высокой пропускной способностью HBF (High Bandwidth Flash).

На первый взгляд, идея может показаться абсурдной, поскольку флеш-память NAND значительно медленнее DRAM, которая служит основой HBM. Но, по заявлениям SanDisk, архитектура HBF позволяет обойти ограничения, присущие традиционным NAND-изделиям, что сделает память нового типа пригодной для применения в ИИ-ускорителях. При этом HBF планируется использовать прежде всего для задач инференса, а не обучения моделей ИИ.

С каждым новым поколением HBM растёт объём памяти, которым оснащаются ИИ-карты: у современных ускорителей AMD и NVIDIA он достигает 192 Гбайт. Благодаря внедрению HBF компания SanDisk рассчитывает увеличить показатель в 8 или даже 16 раз при сопоставимой цене. Компания предлагает две схемы использования флеш-памяти с высокой пропускной способностью: одна предусматривает полную замену HBM на HBF, а другая — совмещение этих двух технологий.

Источник изображений: ComputerBase.de

В качестве примера SanDisk приводит GPU со 192 Гбайт памяти HBM, которая разделена на восемь стеков по 24 Гбайт. В случае HBF каждый такой стек сможет иметь ёмкость 512 Гбайт. Таким образом, при полной замене HBM ускоритель сможет нести на борту 4 Тбайт памяти: это позволит полностью загрузить большую языковую модель Frontier с 1,8 трлн параметров размером 3,6 Тбайт. В гибридной конфигурации можно, например, использовать связку стеков 2 × HBM плюс 6 × HBF, что в сумме даст 3120 Гбайт памяти.

Архитектура HBF предполагает монтаж кристаллов NAND друг над другом поверх логического кристалла. Вся эта связка располагается на интерпозере рядом с GPU, CPU, TPU или SoC — в зависимости от предназначения конечного изделия. Обычная флеш-память NAND приближается к DRAM по пропускной способности, но не может сравниться с ней по времени доступа. SanDisk предлагает решить проблему путём разделения HBF на массив областей с большим количеством линий данных: это позволит многократно увеличить скорость доступа.

SanDisk разработала архитектуру HBF в 2024 году под «влиянием ключевых игроков в области ИИ». В дальнейшие планы входят формирование технического консультативного совета, включающего партнёров и лидеров отрасли, и создание открытого стандарта. Впрочем, есть и другие методы увеличения объёма памяти ускорителей. Один из них — использование CXL-пулов.

Флеш-память типа NOR появилась чуть раньше, чем NAND, но благодаря дешевизне и простоте масштабирования именно NAND получила более широкое распространение. Этому во многом помогло освоение технологии 3D NAND, благодаря которой удалось серьёзно нарастить ёмкости серийных накопителей.

NOR не умерла, поскольку у неё есть преимущества перед NAND — быстрый случайный доступ вкупе с надёжностью, благодаря чему она часто используется во встраиваемых и индустриальных решениях для хранения прошивок, BIOS и т.д. Однако отсутствие многослойности серьёзно сдерживало масштабирование данного типа флеш-памяти. Но тайваньская компания Macronix, специализирующаяся на создании нишевых NAND- и NOR-решений, собирается это изменить.

3D NOR. Источник: Macronix

Ещё в 2022 году Macronix объявила о том, что работает над созданием 32-слойной памяти 3D NOR, что позволит нарастить ёмкость в сравнении с 2D NOR в семь раз. Основными рыночными нишами для данной разработки были названы встраиваемые и промышленные приложения, а также сфера автомобильного транспорта.

Структурно 3D NOR состоит из многослойного «бутерброда» с чередующимися слоями оксидов и нитридов, который пронизывают так называемые «пробки» — довольно сложные вертикальные структуры, состоящие из двух столбцов полупроводника, легированного по n-типу, с прокладкой из нитрида кремния между ними. Две такие «пробки» на каждую ячейку служат в качестве стока и истока для транзисторов, составляющих каналы бит-столбцов. Строки слов (и затворы вышеупомянутых транзисторов) расположены ортогонально.

Источник: Macronix

Новая память рассчитана на 100 тыс. циклов перезаписи с полным стиранием, имеет задержку доступа в районе 100 нс и линейную скорость доступа 400 Мбайт/с на кристалл (DDR-200). Она также характеризуется низким энергопотреблением (питание 1,8 или 3 В), может иметь интерфейсы QSPI/Octal и отвечает стандартам надёжности AECQ-100 и ISO 26262 ASIL уровня B. Упаковываются кристаллы в стандартные корпуса 24-BGA.

В опубликованных ранее материалах компании говорилось о планах начать массовое производство 3D NOR ёмкостью 1, 2, 4 и 8 Гбит в 2024 году. В реальности новинки несколько задержатся — опытные поставки начнутся в этом году, а широкой доступности чипов раньше 2025 года ждать не стоит.

Корпорация Kioxia объявила о начале пробных поставок чипов QLC NAND максимальной на сегодняшний день ёмкости — 2 Тбит. Изделия, выполненные по технологии BiCS Flash 3D восьмого поколения, лягут в основу SSD большой вместимости, рассчитанных в том числе на нагрузки ИИ.

Отмечается, что Kioxia смогла добиться вертикального и горизонтального масштабирования кристалла памяти с помощью запатентованных процессов и инновационных архитектур. В частности, задействована технология CBA (CMOS directly Bonded to Array), которая обеспечивает более высокую плотность и скорость интерфейса до 3,6 Гбит/с.

Источник изображения: Kioxia

По заявлениям разработчика, изделия 3D QLC NAND ёмкостью 2 Тбит позволяют увеличить плотность хранения информации примерно в 2,3 раза и поднять эффективность записи на 70 % по сравнению с нынешними изделиями Kioxia QLC пятого поколения. В корпусе с размерами 11,5 × 13,5 × 1,5 мм упакованы 16 кристаллов на 2 Тбит, что в сумме даёт вместимость в 4 Тбайт.

Корпорация Kioxia отмечает, что изделия на 2 Тбит оптимизированы для достижения максимальной ёмкости. Вместе с тем анонсированы QLC-решения на 1 Тбит, оптимизированные для обеспечения наилучшей производительности. У них скорость последовательной записи информации увеличена на 30 %, тогда как задержка при чтении уменьшена на 15 %. Такие решения найдут применение в высокоскоростных устройствах хранения информации, включая потребительские SSD.