SK Hynix и Sandisk представили первые спецификации высокоскоростной флеш-памяти (HBF), технологии хранения данных следующего поколения, разработкой которых они занимались с прошлого года. В феврале SK Hynix и Sandisk запустили проект по стандартизации HBF в рамках Open Compute Project (OCP). Google и Tensorrent уже присоединились к нему, и ожидается, что к ним подключатся и другие компании.

Теперь спецификации находятся в открытом доступе для любой компании, разрабатывающей системы ИИ-инференса или ускорители. Они охватывают до 512 Гбайт ёмкости на основе двух конфигураций стека с 8 и 16 слоями NAND с тремя уровнями пропускной способности (Класс 1–3) в пределах от 0,4 до 3,0 Тбайт/с. SK hynix отметила, что ключевым моментом является использование UCIe, это закладывает основу для гибкой интеграции технологии HBF в различные типы процессоров, включая GPU и CPU.

В документе определены интерфейс хоста xPU-HBF, электрические спецификации, базовые ожидания по производительности, рекомендации по надёжности и упаковке стека кристаллов HBF, а также руководство пользователя по ПО для операций чтения и записи. Компании разработали спецификацию таким образом, чтобы HBF мог сосуществовать с HBM в одной системе, а не заменять его, отметил ресурс StorageReview.com. Расчёт ёмкости такой же, что и при переносе KV-кеша на флеш-память: хранение контекста на более дешевом и плотном уровне увеличивает количество токенов и пользователей, которые может обслуживать каждый ускоритель.

Источник изображения: SK hynix

Sandisk и SK Hynix объявили свою стратегию: ранняя и открытая публикация в рамках OCP, чтобы позиционировать HBF как де-факто стандарт для рынка хранения данных для ИИ до того, как конкуренты создадут альтернативу. «Вычисления в ИИ создают новый набор требований к памяти, и технология HBF разработана для удовлетворения этих требований, — сообщила Sandisk, назвав спецификации важной вехой «для следующего поколения ИИ-систем, созданных для улучшения экономики токенов в масштабе».

«С быстрым распространением ИИ-приложений мы достигли точки, когда необходимо перепроектировать общие структуры обработки данных, — сказала SK hynix, — С помощью HBF SK hynix расширит границы между памятью и хранилищем и внесёт свой вклад в создание новых архитектур, повышающих общую эффективность системы».

Kioxia анонсировала CXL-модули XL1, предназначенные для расширения памяти в ИИ-системах. В основу изделий положена фирменная флеш-память Kioxia XL-Flash (SCM). Она отличается низкой задержкой и высокой производительностью. По заявлениям разработчика, XL-Flash создана, чтобы устранить разрыв в быстродействии между энергозависимой памятью (включая DRAM) и обычной флеш-памятью. Как и любая флеш-память, XL-Flash способна сохранять данные при отключении питания.

Полностью характеристики CXL-модулей XL1 пока не раскрываются. Но известно, что память XL-Flash использует технологию BiCS FLASH 3D. В случае SLC применяются кристаллы на 128 Гбит, а в случае MLC — на 256 Гбит. Возможны исполнения с двумя, четырьмя и восемью кристаллами в одном корпусе.

Источник изображения: Kioxia

Идея XL1 заключается в том, что эти модули берут на себя хранение «холодных» данных, к которым система обращается сравнительно редко. Вместе с тем часто используемые «горячие» данные остаются в более быстрой DRAM. Иными словами, XL-Flash выступает в качестве слоя расширения оперативной памяти. Для обмена информацией служит интерфейс CXL на основе PCIe. Таким образом, изделия XL1 помогут решить проблему нехватки памяти в составе ИИ-платформ и снизить затраты на масштабирование инфраструктуры. Пробные поставки новых модулей отдельным заказчикам начнутся в текущем месяце.

Компания Kioxia анонсировала SSD семейства GP1, спроектированные с прицелом на ИИ-системы. Новинки будут предлагаться в различных вариантах исполнения, включая E3.S и E1.S с толщиной корпуса 9,5 и 15 мм. Устройства используют флеш-память Kioxia XL-Flash второго поколения с низкой задержкой и улучшенной производительностью. Для обмена данными служит интерфейс PCIe 6.0 (NVMe 2.2). Накопители, как утверждается, выдерживают до 50 полных перезаписей в сутки (значение DWPD).

Изделия GP1 стали первыми продуктами серии Super High IOPS SSD. Их особенностью является то, что графический ускоритель в составе системы может получать прямой доступ к SSD. Таким образом, флеш-память используется для расширения встроенной памяти HBM. В результате, улучшается быстродействие на операциях ИИ и повышается эффективность использования имеющихся вычислительных ресурсов.

«Устройства Kioxia GP1 — это прорывной продукт, который позволит создать новую, передовую топологию памяти для ИИ-систем», — отмечает Невилл Ичхапория (Neville Ichhaporia), старший вице-президент и генеральный директор подразделения твердотельных накопителей Kioxia America.

Источник изображения: Kioxia

Решения GP1 обеспечивают показатель IOPS (количество операций ввода-вывода в секунду) до 10 млн при произвольном чтении данных блоками по 512 байт. Более того, применённая в устройствах архитектура предусматривает возможность повышения значения до 100 млн IOPS в будущих поколениях SSD.

Новые накопители будут предлагаться в вариантах с воздушным и жидкостным (только у версий толщиной 9,5 мм) охлаждением. Вместимость и прочие технические характеристики пока не раскрываются. Поставки опытных образцов отдельным заказчикам будут организованы к концу текущего года.

Бренд TRUSTA, принадлежащий компании ADATA Technology, анонсировал программно-аппаратную платформу AI Scaler Extended Memory Solution. Она нацелена на решение проблемы нехватки памяти в ускорителях на базе GPU в таких сценариях, как ИИ-инференс и точная настройка больших языковых моделей (LLM).

По оценкам аналитиков, мировой рынок ИИ-инфраструктур будет расти в среднем на 26 % в год до 2034-го. Причём ИИ-нагрузки всё чаще переносятся из традиционных облаков в локальный контур и на периферию. При таких подходах компаниям приходится решать вопросы, связанные с конфиденциальностью данных, соответствием нормативным требованиям и оптимизацией затрат. Новая архитектура TRUSTA призвана помочь организациям уменьшить расходы при внедрении ИИ в собственной среде.

В отличие от традиционных ИИ-систем, которые полностью полагаются на память GPU-ускорителей, платформа TRUSTA AI Scaler Extended Memory Solution, как и Phison aiDAPTIV+, предполагает распределение нагрузки между памятью GPU, DRAM и SSD-накопителями, что позволяет более эффективно использовать доступные ресурсы. Утверждается, что задачи инференса, которые обычно требуют наличия нескольких GPU-карт, могут быть оптимизированы для работы на одном ускорителе в сочетании с использованием других типов памяти. При этом нагрузки динамически перераспределяются между высокоскоростной памятью GPU, оперативной памятью и твердотельными накопителями. В результате, как отмечается, затраты на развёртывание ИИ могут быть снижены более чем на 50 % по сравнению с обычными инфраструктурами.

Источник изображения: ADATA

Для новой программно-аппаратной платформы создан набор инструментов TRUSTA AI Scaler Toolkit. Это бесплатный продукт с открытым исходным кодом, не привязанный к конкретным аппаратным конфигурациям. С его помощью компании, исследовательские организации и независимые разработчики смогут настраивать ресурсы в соответствии со своими потребностями и выполняемыми задачами. Заявлена совместимость с такими LLM, как Llama, Qwen, Mistral, Mixtral, GPT-OSS, DeepSeek, Phi и Gemma, а дальнейшем список будет расширяться. Кроме того, поддерживаются различные приложения для ИИ-агентов, включая OpenClaw, NemoClaw и Hermes Agentic. Набор инструментов TRUSTA AI Scaler Toolkit уже доступен для загрузки.

Кроме того, TRUSTA представила SSD корпоративного класса TD7P51 ECO с интерфейсом PCIe 5.0. Он имеет вместимость до 15,36 Тбайт. Заказчикам будут предлагаться варианты в трёх форм-факторах — U.2, E1.S и E3.S. 

Компания Samsung Electronics возрождает технологию памяти Z-NAND после семилетнего перерыва, позиционируя её как высокопроизводительное решение для ИИ-нагрузок. По данным DigiTimes, следующее поколение памяти Z-NAND получит 15-кратное увеличение производительности по сравнению с современными NVMe SSD и даст ускорителю возможность напрямую обращаться к накопителю Z-NAND с минимальными задержками.

Как пишет Tom's Hardware, исполнительный вице-президент Samsung по производству памяти сообщил, что при значительном росте производительности с помощью технологии Z-NAND энергопотребление накопителей будет на 80 % ниже по сравнению с традиционной флеш-памятью NAND. Кроме того, в новом поколении упор сделан на минимизацию задержек. Для этого Samsung внедряет новую технологию GPU-Initiated Direct Storage Access (GIDS), которая позволит ускорителям напрямую обращаться к устройствам хранения Z-NAND, минуя CPU и RAM, тем самым значительно сокращая время доступа.

Samsung представила технологию Z-NAND в 2016 году в качестве альтернативы памяти Intel 3D XPoint (Optane). Вышедший в 2018 году твердотельный накопитель Samsung 983 ZET на базе 64-слойной SLC 3D V-NAND предлагал значительно более низкую задержку и высокие скорости в сравнении с обычными NVMe SSD. По производительности он вплотную приблизился к Intel Optane SSD 900P. Обе технологии фактически относятся к SCM (Storage Class Memory), хотя только Intel предлагала PMem-модули в виде DIMM. Однако в итоге разработку 3D XPoint последняя (вместе с Micron) забросила, да и Samsung, ответив выпуском Z-SSD на появление Optane, решила свою технологию не развивать.

Примерно в то же время Kioxia (тогда ещё Toshiba) представила свой вариант сверхбыстрой SLC NAND — XL-Flash. Её она тоже довольно долго особенно не развивала, но планирует уже в следующем году представить XL-Flash SSD с переработанным контроллером, который обеспечит более 10 млн IOPS, особенно на небольших транзакциях. Для точной настройки SSD с целью повышения производительности при запуске ресурсоёмких ИИ-приложений компания сотрудничает с ведущими производителями ускорителей. Phison также предлагает eSLC-накопители PASCARI с технологией aiDAPTIV+. SLC-накопители также есть у Solidigm и Micron.

Впрочем, широкая востребованность Z-SSD может оказаться под вопросом. Уже анонсированы быстрые SSD с интерфейсом PCIe 6.0. CXL же позволяет относительно недорого наращивать объём памяти, хотя и в ущерб задержкам. Так что Samsung придётся сделать новые Z-SSD не только быстрыми, но и экономически эффективными.

Sandisk объявила о подписании Меморандума о взаимопонимании (МОВ) с SK hynix, предусматривающего совместную разработку спецификации высокоскоростной флеш-памяти (HBF). В рамках сотрудничества компании планируют стандартизировать спецификацию, определить технологические требования и изучить возможность создания технологической экосистемы для высокоскоростной флеш-памяти.

Технология HBF, анонсированная Sandisk в феврале этого года, обеспечит ускорители быстрым доступом к большим объёмам памяти NAND, что позволит ускорить обучение и инференс ИИ без длительных обращений к PCIe SSD. Как и HBM, чип HBF состоит из слоёв, в данном случае NAND, с TSV-каналами, соединяющими каждый слой с базовым интерпозером, что обеспечивает быстрый доступ к памяти — на порядки быстрее, чем в SSD.

При сопоставимой с HBM пропускной способности и аналогичной цене HBF обеспечит в 8–16 раз большую, чем у HBM, ёмкость на стек. Вместе с тем HBF имеет более высокую задержку, чем DRAM, что ограничивает её применение определёнными рабочими нагрузками. На этой неделе Sandisk представила прототип памяти HBF, созданный с использованием фирменных технологий BiCS NAND и CBA (CMOS directly Bonded to Array).

Источник изображения: Sandisk

Меморандум о взаимопонимании подразумевает, что SK hynix может производить и поставлять собственные модули памяти HBF. Как отметил ресурс Blocks & Files, это подтверждает тот факт, что Sandisk осознаёт необходимость наличия рынка памяти HBF с несколькими поставщиками. Такой подход позволит гарантировать клиентам, что они не будут привязаны к одному поставщику. Также это обеспечит конкуренцию, которая ускорит разработку HBF.

Sandisk планирует выпустить первые образцы памяти HBF во II половине 2026 года и ожидает, что образцы первых устройств с HBF для инференса появятся в продаже в начале 2027 года. Это могут быть как портативные устройства, так и ноутбуки, десктопы и серверы.

Kioxia представила стратегию развития SSD в среднесрочной и долгосрочной перспективе с акцентом на инновации, направленные на повышение производительности и ёмкости хранилища. Одним из ключевых проектов Kioxia назвала создание SSD с использованием SLC-памяти XL-FLASH в сочетании с переработанным контроллером. Ожидается, что эта комбинация обеспечит более 10 млн IOPS, особенно для небольших транзакций данных. Образцы продвинутых SSD увидят свет ко II половине 2026 года.

Kioxia сообщила, что тесно сотрудничает с основными производителями GPU для точной настройки SSD с целью повышения производительности в приложениях с интенсивным использованием ИИ и графики. Выпускаемые сейчас компанией SSD построены на чипах 3D NAND BiCS FLASH TLC 8-го поколения с использованием технологии CBA (CMOS directly Bonded to Array), обеспечивающей повышение энергоэффективности, производительности, плотности и стабильности по сравнению с решениями предыдущего поколения.

Источник изображений: Kioxia

Семейство SSD корпоративного класса CM9 нацелено на ИИ-системы, которым требуется как высокая скорость, так и высочайшая надёжность, чтобы максимально использовать дорогостоящее оборудование с ИИ-ускорителями. В свою очередь, семейство накопителей LC9 предлагает большую ёмкость, достигающую 122 Тбайт, для поддержания нагрузок, связанных с крупномасштабными базами данных для систем ИИ-инференса. Также чипы BiCS FLASH TLC 8-го поколения используются в смартфонах. Kioxia отметила, что в настоящее время увеличивает производство линейки продуктов BiCS FLASH 8-го поколения.

Компания сообщила, что использует два подхода при разработке флеш-памяти. Один из них основан на традиционном методе увеличения количества слоев для создания более высокой ёмкости и производительности в таком продукте, как BiCS FLASH 10-го поколения. А при разработке флеш-памяти BiCS FLASH 9-го поколения компания использует преимущества технологии CBA, объединяя проверенные конструкции ячеек с передовой технологией CMOS.

В целом, стратегия Kioxia направлена как на постепенное усовершенствование SSD, так и на инновации в архитектуре для удовлетворения меняющихся потребностей рынка в сфере ИИ и хранлищ. Так, для QLC-памяти компания ставит целью вытеснение Nearline HDD путём уменьшения стоимости SSD.

Компания SMART Modular Technologies объявила о начале пробных поставок улучшенных энергонезависимых модулей памяти CXL (Non-Volatile CXL Memory Module, NV-CMM), соответствующих стандарту CXL 2.0. Изделия ориентированы на применение в дата-центрах, которые поддерживают такие нагрузки, как резидентные базы данных, аналитика в реальном времени и приложения НРС.

Новинка (NV-CMM-E3S) объединяет память DDR4-3200 DRAM, флеш-память NAND и источник резервного питания в форм-факторе E3.S 2T (EDSFF). Задействован интерфейс PCIe 5.0 x8. Применяются контроллеры на базе ASIC и FPGA.

Устройство NV-CMM имеет ёмкость 32 Гбайт, а максимальная пропускная способность заявлена на уровне 32 Гбайт/с. Поддерживается шифрование информации по алгоритму AES-256. Интегрированный источник аварийного питания обеспечивает сохранность критически важных данных при непредвиденных отключениях электроэнергии, что повышает надёжность и доступность системы в целом. В случае сбоя в центральной сети энергоснабжения производится копирование данных из DRAM в NAND, а после восстановления подачи энергии выполняется обратный процесс. Изделие обеспечивает более быструю перезагрузку виртуальных машин и сокращает время простоя в облачных инфраструктурах.

Источник изображения: SMART Modular Technologies

Устройство имеет размеры 112,75 × 15 × 76 мм. Эксплуатироваться модуль может при температурах окружающей среды до +40 °C. Отмечается, что внедрение NV-CMM на основе стандарта CXL знаменует собой важную веху в удовлетворении растущих потребностей платформ ИИ, машинного обучения и аналитики больших данных. 

Компания SanDisk, которая вскоре станет независимой, отделившись от Western Digital, предложила способ многократного увеличения объёма памяти ИИ-ускорителей. Как сообщает ресурс ComputerBase.de, речь идёт о замене HBM (High Bandwidth Memory) на флеш-чипы с высокой пропускной способностью HBF (High Bandwidth Flash).

На первый взгляд, идея может показаться абсурдной, поскольку флеш-память NAND значительно медленнее DRAM, которая служит основой HBM. Но, по заявлениям SanDisk, архитектура HBF позволяет обойти ограничения, присущие традиционным NAND-изделиям, что сделает память нового типа пригодной для применения в ИИ-ускорителях. При этом HBF планируется использовать прежде всего для задач инференса, а не обучения моделей ИИ.

С каждым новым поколением HBM растёт объём памяти, которым оснащаются ИИ-карты: у современных ускорителей AMD и NVIDIA он достигает 192 Гбайт. Благодаря внедрению HBF компания SanDisk рассчитывает увеличить показатель в 8 или даже 16 раз при сопоставимой цене. Компания предлагает две схемы использования флеш-памяти с высокой пропускной способностью: одна предусматривает полную замену HBM на HBF, а другая — совмещение этих двух технологий.

Источник изображений: ComputerBase.de

В качестве примера SanDisk приводит GPU со 192 Гбайт памяти HBM, которая разделена на восемь стеков по 24 Гбайт. В случае HBF каждый такой стек сможет иметь ёмкость 512 Гбайт. Таким образом, при полной замене HBM ускоритель сможет нести на борту 4 Тбайт памяти: это позволит полностью загрузить большую языковую модель Frontier с 1,8 трлн параметров размером 3,6 Тбайт. В гибридной конфигурации можно, например, использовать связку стеков 2 × HBM плюс 6 × HBF, что в сумме даст 3120 Гбайт памяти.

Архитектура HBF предполагает монтаж кристаллов NAND друг над другом поверх логического кристалла. Вся эта связка располагается на интерпозере рядом с GPU, CPU, TPU или SoC — в зависимости от предназначения конечного изделия. Обычная флеш-память NAND приближается к DRAM по пропускной способности, но не может сравниться с ней по времени доступа. SanDisk предлагает решить проблему путём разделения HBF на массив областей с большим количеством линий данных: это позволит многократно увеличить скорость доступа.

SanDisk разработала архитектуру HBF в 2024 году под «влиянием ключевых игроков в области ИИ». В дальнейшие планы входят формирование технического консультативного совета, включающего партнёров и лидеров отрасли, и создание открытого стандарта. Впрочем, есть и другие методы увеличения объёма памяти ускорителей. Один из них — использование CXL-пулов.

Китайский полупроводниковый стартап Numemory из Уханя, также известный как Xincun Technology, объявил о создании 64-Гбит чипа памяти NM101 типа SCM (Storage Class Memory). Новинка в 10 раз превышает чипы NAND по скорости чтения и записи и в 5 раз — по продолжительности службы, передаёт ресурс Blocks and Files. Скорость IO у чипа равна 3200 MT/с — такая же, как была у Intel Optane PMem 200.

SCM в иерархии памяти занимает промежуточное место между NAND и DRAM, совмещая и плохие, и хорошие стороны обеих. Именно такой была память 3D XPoint, предлагавшаяся Intel под брендом Optane. Увы, Intel и Micron прекратили выпуск данного типа памяти, а оставшиеся альтернативы фактически являются разновидностью SLC NAND.

Источник изображения: Numemory

Numemory была основана в июле 2022 года. Сейчас у неё около 180 сотрудников, 80 % которых занимаются исследованиями и разработками, и 60 % имеют степень магистра или более высокую квалификацию. В 2023 году Numemory заявила, что у неё есть в общей сложности 273 патента, включая 60 международных и 213 зарегистрированных в Китае.

Numemory разработала технологию 3D Selector-Only Memory (SOM) с использованием памяти с изменением фазового состояния (Phase-change memory) с архитектурой Crossbar. Ровно на тех же принципах был построена и 3D XPoint, но Numemory заявляет, что её память значительно отличается. Numemory утверждает, что SOM имеет низкую задержку, хорошую масштабируемость (в том числе доступно вертикально стекирование), длительный срок жизни и т.д.

По данным ресурса South China Morning Post, Numemory заявила, что накопители, созданные с использованием технологии SCM, могут предложить ЦОД и поставщикам услуг облачных вычислений решение для хранения данных с большой ёмкостью, высокой плотностью, высокой пропускной способностью и низкой задержкой.