Компания Meta✴ анонсировала кабель Petal, названный «первой трансокеанской системой с пропускной способностью 1 Пбит/с». Кабель через Атлантику протяжённостью порядка 7 тыс. км свяжет США и Францию, ввод в эксплуатацию запланирован на 2029 год. Кабель получит 24 пары волокон, но отличительной особенностью Petal станет использование волокна с двумя сердцевинами в трансокеанском масштабе.

Это позволит удвоить максимальную пропускную способность в сравнении с современными трансатлантическими системами, например — системой Aurora той же Meta✴, прокладка которой предусмотрена между США и Данией. В то же время в новом кабеле не предусмотрен двукратный рост энергопотребления и сопутствующей физической инфраструктуры. Также можно сравнить кабель с системой Meta✴ Anjana на 24 пары, тоже обеспечивающей около 500 Тбит/с.

Из-за такого строения волокна пришлось поработать над снижением затухания сигнала при сохранении стандартного внешнего диаметра оптоволокна на уровне 125 мкм. Кроме того, потребовалась минимизация перекрёстных помех между сердцевинами. Для этого используется сверхчистый синтетический кварц и некоторые другие технические решения. За выпуск волокна отвечает японская Sumitomo. Каждая из сердцевин будет передавать трафик только в одном направлении, от Франции к США или от США к Франции. Для передачи данных используются C- и L-диапазоны.

Источник изображения: Meta✴

Также компания разработала систему передовых усилителей-ретрансляторов. Обычно для маршрута длиной 7 тыс. км требуется порядка 100 модулей. Используемые в Petal ретрансляторы имеют по 96 усилителей. Сигнал из каждой сердцевины выводится и усиливается по отдельности, после чего снова «зашивается» в волокно. При этом ретрансляторы совместимы с существующими подсистемами питания на 18 кВ. Генеральным подрядчиком выбрана NEC, а за вывод кабеля на берег во Франции отвечает Orange.

Источник изображения: Sumitomo Electric

Meta✴ утверждает, что 1 Пбит/с хватит на то, чтобы около ¾ населения мира могли одновременно слушать музыку в стриминговых аудиосервисах. Подчёркивается, что при этом новые решения с высокой пропускной способностью позволяют сократить расход материалов и углеродный след, связанный с прокладкой системы — если сравнить его со строительством двух по 500 Тбит/с.

Источник изображения: Meta✴

Meta✴ не единственная, запустившая проект крупного масштаба в последнее время. На днях объявлено, что компания EXA Infrastructure взялась за прокладку подводного кабеля протяжённостью 6552 км, соединяющего Нью-Джерси (США) и Брин (Великобритания). Кабель EXA Meridian представляет собой систему из 24 оптоволоконных пар общей пропускной способностью около 500 Тбит/с. Её должны ввести в эксплуатацию в IV квартале 2029 года.

Компания Unigen анонсировала SSD серий Cheetah Storage Class Memory (SCM) и Cheetah High Capacity (HC). Устройства первого семейства рассчитаны на ИИ-нагрузки, которым требуются минимальные задержки при доступе к данным, второго — на хранение обширных массивов информации, например, при обучении больших языковых моделей (LLM).

Изделия Cheetah SCM будут предлагаться в исполнениях E1.L, E3.S, E1.S и U.2. Применяются чипы флеш-памяти pSLC/eTLC NAND, а для подключения служит интерфейс PCIe 5.0 x4 (NVMe 2.0). Вместимость составляет 1,6 и 3,2 Тбайт. Скорость последовательного чтения достигает 14 700 Мбайт/с, скорость последовательной записи — 11 100 Мбайт/с. Величина IOPS (операций ввода/вывода в секунду) при произвольном чтении блоками по 4 Кбайт — до 3,37 млн, при произвольной записи — до 1,01 млн. Накопители выдерживают до 60 полных перезаписей в сутки (показатель DWPD) при произвольных нагрузках и до 80 перезаписей при последовательны операциях.

Источник изображений: Unigen

В свою очередь, устройства Cheetah HC доступны в форм-факторах E1.L и U.2. Предусмотрены модификации с чипами флеш-памяти QLC NAND и TLC NAND. Задействован интерфейс PCIe 5.0 x4 (NVMe 2.0). В серию входят варианты ёмкостью 16, 32, 64 и 128 Тбайт. Скорость последовательного чтения составляет до 14,17 Гбайт/с, скорость последовательной записи — до 2,355 Гбайт/с. Показатель IOPS — до 836 тыс. при произвольном чтении и до 36,8 тыс. при произвольной записи. Значение DWPD при произвольных нагрузках находится на отметке 0,3, при последовательных — 1,8.

Все накопители имеют 16 каналов NAND и поддерживают интерфейс DDR5. Средняя наработка на отказ (MTTF) указана на уровне 2 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C. Реализованы средства безопасности TCG Opal и Secure Boot, сквозная защита данных (End-to-End Data Protection), а также функция защиты от потери питания (Power Loss Protection). Массовое производство новых SSD уже началось.

Компания Meta✴ и южнокорейский стартап Panmnesia, специализирующийся на разработке интерконнекта для ИИ-инфраструктур, представили архитектуру ИИ ЦОД нового поколения, в которой весь дата-центр функционирует как единый чип. Описание архитектуры опубликовано в журнале Nature Reviews Electrical Engineering (NREE), входящем в портфолио издательства Nature.

В исследовании отмечено, что в современных дата-центрах ускорители внутри одной стойки могут взаимодействовать через высокоскоростные интерфейсы для вертикального масштабирования (scale-up), тогда как трафик, выходящий за пределы стойки, обычно опирается на более медленные сети с горизонтальным масштабированием (scale-out), такие как Ethernet или InfiniBand.

Источник изображений: Panmnesia

Компании отметили, что для эффективной работы ИИ ЦОД необходимы контроль и координация как внутри стоек с GPU, памятью и СХД, так и между ними. В масштабной ИИ-инфраструктуре снижение вариативности задержек (джиттера) между устройствами — чтобы весь ЦОД функционировал предсказуемо — имеет такое же значение, как и повышение производительности отдельных устройств или скорости каналов связи.

Meta✴ и Panmnesia предлагают взять за основу стандарт CXL, дополнив его новыми возможностями по объединению нескольких стоек с GPU для минимизации колебаний задержки при передаче данных за пределы каждой отдельной стойки. Конечная цель — создать дата-центр, работающий столь же предсказуемо, как отдельный чип.

В этой схеме расширенный CXL обеспечивает когерентность кеш-памяти между стойками ускорителей, поддерживая большее количество устройств по сравнению со стоечными решениями NVIDIA уровня GB200 NVL72 (на базе NVLink) и UALink. Для минимизации и ограничения вариативности задержек предлагается использовать три специализированных аппаратных компонента: неблокирующий коммутатор с высокой плотностью портов, блок ускорения передачи данных и контроллер сетевой фабрики.

Неблокирующий коммутатор с большим количеством портов (high-fan-out) обеспечивает одновременное подключение множества устройств, сокращая количество переходов (hop) и выравнивая длину путей прохождения сигнала независимо от источника. Блок ускорения передачи (Link Acceleration Unit, LAU) переносит повторяющиеся операции обработки протокола в каждой точке соединения на специализированный аппаратный конвейер, обеспечивая стабильность системы на уровне отдельных этапов передачи и ограничивая колебания задержки.

Контроллер фабрики (Fabric Controller) применяет единую политику упорядочивания запросов во всей системе, обеспечивая согласованную обработку транзакций через все устройства. Для преодоления физических ограничений дальности передачи электрических сигналов рассматривается использование оптических каналов связи (CXL-over-optics) для увеличения радиуса действия фабрики CXL. Консорциум PCI-SIG уже работает над оптической версией PCIe, да и первые чипы тоже уже были анонсированы.

По словам Panmnesia, комбинированный контроллер фабрики CXL/PCIe и блок LAU уже прошли проверку работоспособности на кремниевых чипах; также изготовлен коммутатор фабрики, и начаты поставки предсерийных образцов.

Архитектура решения предусматривает группировку CPU, ускорителей, памяти и коммутаторов по функциональному признаку в модули (узлы), объединение модулей в группы (поды) и объединение подов посредством коммутационной фабрики. Такая упорядоченная иерархия призвана обеспечить стабильные пути передачи данных с фиксированным количеством сетевых переходов и предсказуемыми временными характеристиками.

По сравнению с NVIDIA GB200 NVL72 данная схема:

• увеличивает в 8 раз количество ускорителей, непосредственно управляемых одним CPU (с 2 до 16);
• позволяет объединить до 960 ускорителей для совместной работы в рамках единого домена когерентности;
• сокращает задержку доступа к данным с микросекундного уровня до нескольких сотен наносекунд (примерно на порядок);
• повышает отказоустойчивость, поскольку при сбоя замене подлежит не весь сервер, а лишь отдельное устройство.

«Объединение устройств такого масштаба в единую среду выполнения позволит обучать гораздо более крупные ИИ-модели без прерывания процесса или одновременно запускать несколько сервисов на общей инфраструктуре, исключая взаимное замедление их работы», — отметили компании. При этом платформы с PCIe/CXL-интерконнектом уровня стойки уже есть — например, Liqid UltraStack.

Meta✴ представила MetaRoCE — новый транспортный RDMA-протокол на базе обычного Ethernet, созданный для крупных ИИ-кластеров. Компания разместила спецификации MetaRoCE, эталонную программную реализацию и набор тестов на соответствие требованиям (Compliance Test Suite, CTS) в рамках OCP, предоставив возможность его внедрения всем желающим. В Meta✴ настаивают на том, что Ethernet должен быть предпочтительной инфраструктурой для ИИ, продемонстрировав, что её реализация RoCE может обеспечивать распределённое обучение ИИ в масштабе, объединяя миллионы GPU.

Компания отметила, что в ходе инференса низкая задержка коммуникации между распределёнными сегментами модели напрямую влияет на время отклика для сотен миллионов пользователей. Даже небольшие сетевые помехи ограничивают вычислительную мощность. Протокол RoCE (RDMA over Converged Ethernet) предполагает, что сеть будет доставлять каждый пакет в определённом порядке, используя PFC и препятствуя распылению пакетов, обеспечивая производительность в многоплоскостных и крупномасштабных сетях. При использовании MetaRoCE в строгом выполнении очерёдности передачи данных нет необходимости. Главная задача — обеспечение высокой пропускной способности, низкой задержки в конце очереди распределения и простоты эксплуатации по мере роста сети при увеличении количества ускорителей и расстояний между ними.

Источник изображений: engineering.fb.com

Как указано в блоге Meta✴, суть MetaRoCE проста: сетевая фабрика видит пакеты, а сетевая карта (NIC) — намерения. Традиционные архитектуры ориентированы на «ум» фабрики, полагаясь на коммутаторы для обеспечения отсутствия потерь и поддержания порядка. Перенося интеллектуальные функции на конечную точку, MetaRoCE декомпозирует сеть на множество детализированных (мелкозернистых) логических путей, каждый из которых имеет свою собственную телеметрию в реальном времени — время приёма-передачи данных для каждого пути (Per-path RTT), состояние ECN и загрузку. Такая прозрачность открывает возможности, которые трудно достичь с помощью традиционного RDMA.

MetaRoCE распределяет пакеты по множеству путей, поэтому они поступают не в том порядке, в каком были отправлены. Транспортный уровень рассматривает неупорядоченное поступление как обычный случай. Каждый пакет имеет свой адрес назначения, а данные записываются непосредственно в конечную область памяти по мере их поступления, без буфера переупорядочивания и блокировок. При этом MetaRoCE всегда рассматривает Ethernet-фабрику как систему с потерями и не требует от неё иного поведения. Прикладной уровень практически не затрагивается — существующие RDMA-«глаголы» и программные стеки работают без изменений, а дополнительные функции поддерживаются с помощью расширений стандартных API.

MetaRoCE предоставляет каждому соединению несколько путей и распределяет по ним пакет за пакетом. Каждый путь имеет свой уникальный исходный UDP-порт в качестве энтропии ECMP, который сетевая карта может изменить в любой момент, чтобы перенаправить трафик с неподходящего маршрута. Выбор пути пакета полностью зависит от NIC, так что и эффективность работы всей фабрики зависит от NIC. Оценка каждого пути позволяет явно отличить перегрузку и от сбоя, и сделать перебалансировку, избавившись от плохо работающего пути без обрыва соединение целиком и с возможностью переотправки ровно того пакета, который потерялся из-за сбоя или перегрузки.

MetaRoCE сочетает в себе традиционный ECN-контроль перегрузки с AIMD у отправителя с обратной связью со стороны получателя, который при каждом ACK уведомляет отправителя о выделенной ему доле из общей доступной получателю полосы. MetaRoCE запрашивает у фабрики олько две функции, которые уже есть в каждом коммутаторе: ECN и ECMP. Протокол Meta✴ не требует обрезки пакетов, внутрисетевой телеметрии, управления потоком на основе кредитов или распыления пакетов на стороне коммутатора, но и наличие этих функций не мешает работе протокола. MetaRoCE совместим практически с любыми топологиями, в том числе с сегментами в облачных системах, конфигурацию которых нельзя контролировать. В протоколе нет проприетарных компонентов, поэтому фабрика может свободно оптимизироваться с точки зрения стоимости и кабельной разводки.

Очередь отправки и очередь приёма (Queue Pair, QP) отвечают как за упорядоченный поток сообщений, так и за пропускную способность. Традиционный RDMA получает больше того или другого путём открытия большего количества QP (по несколько десятков на каждую пару узлов), не знающих ничего ни о друг друге в плане перегрузки, ни об их состоянии в NIC. MetaRoCE использует одно соединение для множества независимых упорядоченных потоков (в т.ч. по одному на каждую коллективную операцию), использующее множественные пути под управлением одного контроллера перегрузки.

Чтобы ускорить проверку аппаратного обеспечения, Meta✴ совместно с AMD реализовала MetaRoCE на DPU Pensando. На 64-узловом кластере GPU AMD, работающем под управлением RCCL, компании напрямую сравнили MetaRoCE с RoCEv2 при выполнении коллективных операций All-Reduce и All-to-All.

Результаты, как утверждает Meta✴, соответствуют поставленным целям:

• MetaRoCE стабильно обеспечивал более высокую пропускную способность и меньшее время завершения потока по сравнению с RoCEv2.
• При потере пакетов, когда пропускная способность RoCEv2 снижается, MetaRoCE сохраняет около 86 % пропускной способности при потере 1 % пакетов и продолжает обеспечивать полезную пропускную способность даже при экстремальной потере 10 % пакетов, плавно снижаясь, а не коллапсируя.
• Multiplane-топология с 4 и 8 независимым физическими подключениями к коммутаторам для каждого NIC с поддержкой до 4000 одновременных подключений подтвердила, что пропускная способность линейно зависит от количества плоскостей.
• При имитации сбоев на отдельных физических подключениях в сценарии выше протокол демонстрирует плавное автономное восстановление — трафик перераспределяется без участия приложения или вмешательства оператора.

Эти результаты подтверждают правильность выбора, сделанного при разработке MetaRoCE, отметила Meta✴. Благодаря тому, что протокол с самого начала разрабатывался с учётом возможных потерь пакетов, а интеллектуальные функции вынесены на периферию, он обеспечивает более высокую производительность в идеальных условиях и плавно снижает нагрузку при сбоях. Компания подчеркнула, что протокол MetaRoCE является открытым, его спецификации добавлены в OCP, и любой поставщик может с их помощью создать и реализовать совместимое оборудование. Впрочем, во многом похожий протокол MRC (Multipath Reliable Connection) также передан в OCP, да и Ultra Ethernet тоже решает схожие задачи.

Meta✴ тестирует роботов, способных менять в дата-центрах кабели, перезагружать серверы и выполнять другие задачи. В перспективе такие решения помогут компании обслуживать растущую сеть дата-центров с меньшим количеством сотрудников-людей и сокращать затраты на персонал на фоне быстрого роста расходов на ИИ-инфраструктуру, сообщает Wired.

Источники сообщают, что компания использует роботов и вспомогательное оборудование компаний Watney Robotics, Kinova и ABB. Так, в рамках одного из испытаний Meta✴ проверяет, можно ли использовать роборуку Kinova Gen3 для отключения и последующего восстановления электропитания для серверов. А если использование робота для замены кабелей увенчается успехом, с помощью роботов можно будет выполнять до 80 % обязанностей некоторых сотрудников. На некоторых объектах внедряется совсем уж простой робот, способный нажимать кнопку питания на Mac Mini или другом устройстве, удалённо перезапуская его.

В самой Meta✴ испытания не комментируют, но ранее компания подтверждала, что активно инвестирует в обучение и найм сотрудников для своих ЦОД, поскольку квалифицированных кадров не хватает. Ежегодно компания бесплатно обучает тысячи человек с любыми навыками электротехническим, механическим и сантехническим специальностям, а также гарантирует трудоустройство в штатах Луизиана, Огайо, Индиана и Техас тем, кто успешно завершит обучение, заодно сотрудничая со строительными профсоюзами.

Источник изображения: Jochen van Wylick/unsplash.com

Впрочем, на одной из конференций по робототехнике в 2025 году представитель компании заявлял, что её долгосрочная цель — использовать в ЦОД роботов, которые смогут ускорить реагирование на инциденты, контролировать окружающую среду и обеспечат профилактическое обслуживание. До недавних пор роботы не подходили для сложных задач в ЦОД. Машины были не просто дороги, но в ходе даже повреждали серверы, пытаясь выполнить простейшие задачи. Тем не менее, оборудование подешевело, а эффективность управляющих роботами ИИ-моделей выросла. Над созданием коммерческих вариантов роботов, способных собирать серверы, заменять компоненты и менять кабели работают многие стартапы.

Роботы способны обеспечить большую стабильность при меньших затратах в сравнении с людьми, особенно в регионах, где населения и ценных кадров мало, а ЦОД только растут. В отдалённой перспективе отказ от человеческого персонала позволит активнее размещать дата-центры под водой, в космосе и иных средах, непригодных для постоянного нахождения живых существ: при высоких температурах, в темноте и др.

Вместе с тем меняется и сама инфраструктура. Стойки NVIDIA становятся всё более интегрированными, требуя гораздо меньшей ручной работы при сборке, установке и эксплуатации. SoftBank предложила бескабельные стойки, которые могут обслуживать машины. Одна из основных проблем автоматизации — это действительно работа с кабелями. В 2023 году Meta✴ и MIT разработали роборуки TopoOpt для переключения кабелей оптических патч-панелей. Microsoft пошла по иному пути, дав роботу отдельный манипулятор для переключения трансиверов.

Источник изображения: Nick Fewings/unsplash.com

В 2023 году Meta✴ говорила уже о роботах-тягачах для перемещения укомплектованных стоек в пределах ЦОД, а также колёсных роботов, сканирующих штрих-коды для отслеживания запасов комплектующих и др. — они уже используются в ЦОД в Айове и Вирджинии. Причём робота-«завхоза» научили искать и некоторые неисправности. Отзывы в целом хорошие, хотя такой робот довольно медлительный, не всегда успешно проходит повороты и движется по кабелям, оказывающимся на пути. Кроме того, роботов мало, а для их перемещениями между зданиями требуется человек, открывающий двери и удалённо управляющий роботом. По некоторым данным, сотрудники Meta✴ жаловались на то, что роботы часто «бездельничали», тратя время на заряд АКБ.

Комплекс ЦОД в Алтуне (Altoona, Пенсильвания) часто используется для тестирования прототипов новых технологических решений. Успешные варианты переносятся в другие ЦОД. С прошлого июня Meta✴ испытывает там пару двуруких роботов Watney для работы с кабелями. Пока машины контролируются людьми и не способны работать так же быстро, как человек, но перспективы имеются. В 2023 году Watney продемонстрировала робота, умеющего складывать бельё, а в начале 2025 года переключилась на разработку роботов для ЦОД. Также Meta✴ испытывает роботов в Нью-Олбани (New Albany, Огайо), в новейшем ЦОД Prometheus. Четырёхколёсные роботы ABB, оснащённые специальным подъёмным механизмом и шестикоординатной роборукой используются для установки комплектующих, а в будущем смогут выполнять и другие задачи. В распоряжении Meta✴ есть и роботы покрупнее — компания использует на строительстве кампуса Hyperion десяток 65-тонных машин для забивания свай.

Пока активисты и НКО обращают мало внимания на проблему замены людей роботами, хотя стоило бы. Часто строители дата-центров называют создание рабочих мест одним из преимуществ реализации подобных проектов и используют соответствующий довод для обоснования получения налоговых льгот. При этом чиновники на местах часто оправдывают соответствующие сделки именно тем, что рабочие места Meta✴, в частности, «повышают престиж» населённых пунктов, но в реальности жители чаще несут прямые потери.

Консорциум NVM Express объявил об обновлении всех 11 спецификаций NVMe, добавив такие улучшения, как поддержка постквантовой криптографии, виртуализация SSD и миграция в реальном времени для лучшей поддержки виртуализированных сред. Согласно пресс-релизу, эти обновления представляют собой следующий шаг в эволюции технологии NVMe, с расширениями в области безопасности, управления и устойчивости для удовлетворения растущих потребностей ресурсоёмких приложений в средах ИИ, облачных вычислений, корпоративных и клиентских средах.

Как известно, протокол NVMe (Non-volatile memory express) перешёл на ежегодный цикл выпуска. Майк Эллисон (Mike Allison), старший директор компании Samsung и член совета директоров NVM Express, сообщил ресурсу EE Times, что обновление объединяет результаты работы за год по существующим спецификациям, а не вводит совершенно новые.

Обновлённые спецификации включают базовую спецификацию NVMe 2.4, спецификации наборов команд (NVM Command Set 1.3, ZNS Command Set 1.5, Key Value Command Set 1.4, Subsystem Local Memory Command Set 1.3, Computational Programs Command Set 1.3), спецификации транспортного уровня (NVMe over PCIe Transport 1.4, NVMe over RDMA Transport 1.3, NVMe over TCP Transport 1.3), спецификации интерфейса управления NVMe-MI (NVM Express Management Interface 2.2) и загрузки NVMe Boot 1.4.

Источник изображения: NVM Express

«Последние спецификации NVMe вводят фундаментальные средства обеспечения безопасности в постквантовую эпоху, одновременно упрощая управление устройствами и повышая устойчивость, обеспечивая перспективность хранилищ NVMe в корпоративных, облачных, ИИ и клиентских средах», — заявила Амбер Хаффман (Amber Huffman), президент NVM Express.

Это первая версия NVMe, в которой одобренные NIST постквантовые криптографические алгоритмы встроены непосредственно в канал передачи данных между хостом и SSD. В документе также формализуется шифрование Key-Per-I/O (KPIO), безопасность передачи данных TLS 1.3 для сетевых хранилищ и новая архитектура виртуализации, позволяющая локальным PCIe SSD участвовать в миграции ВМ в режиме реального времени без вмешательства гипервизора — предоставляя корпоративным покупателям хранилищ стандартизированную цель для включения в спецификации закупок до наступления сроков соблюдения федеральных требований, которые начнут действовать через 149 дней, пишет ресурс Techtimes.

Наиболее значимым обновлением ресурс The Register назвал возможность миграции NVM-подсистемы, экспортируемой через PCIe, что расширяет существующую виртуализацию NVMe на локально подключаемые PCIe SSD. Это достигается путём абстрагирования физических дисков в виртуализированные NVM-подсистемы, определяемые хостом, что позволяет перемещать виртуальные машины без переконфигурации хранилища. «Благодаря миграции подсистем NVM, твердотельные накопители NVMe могут предоставлять экспортированные подсистемы NVM, скрывающие сложность базового оборудования», — говорит Майк Эллисон (Mike Allison), старший директор компании Samsung и член совета директоров NVM Express. «Вместо взаимодействия с физическими контроллерами и пространствами имен, хост видит только экспортированные контроллеры и пространства имен. Это создает чёткое разделение между тем, что видит ВМ, и тем, что происходит “под капотом”», — пояснил он.

Источник изображения: NVM Express

Также появилось ограничение производительности. Эта функция направлена на оптимизацию производительности хранилища за счёт QoS на стороне контроллера, что позволяет устанавливает ограничения на пропускную способность и IOPS непосредственно на NVMe-накопителях. QoS на аппаратном уровне обеспечивает стабильную производительность приложений, защищает от конфликтов ресурсов и повышает эффективность в многопользовательских средах. Функция добавляет новые элементы управления для распределения полосы пропускания PCIe и IOPS между несколькими контроллерами, совместно использующими этот транспорт. Эллисон отметил, что ранее NVMe не имел возможности определять, какой контроллер получит какую часть пропускной способности PCIe и IOPS.

Дополнительные улучшения NVMe в управлении включают адресацию подсистемы на хосте, отчёты об объёме памяти блока высвобождения, отчёты о состоянии NVMe-MI и переработанную архитектуру NVMe-MI, которая уменьшает избыточные структуры данных и потребление памяти. В релизе также добавлена поддержка нового форм-фактора EDSFF E2 и улучшено поведение управления посредством I2C.

Также был добавлен мониторинг напряжения (Voltage Monitoring), обеспечивающий более полную информацию о состоянии устройств NVMe благодаря встроенной телеметрии, позволяя выявлять аномалии до того, как они повлияют на производительность или надёжность. Также появилась функция восстановления подсистемы NVMe до заводских настроек по умолчанию, которая упрощает сброс и конфигурирование устройства хостами. Кроме того, были внесены улучшения в функциональность блокировки. Если ранее настройки блокировки терялись после выключения и включения питания, то теперь они сохраняются после перезагрузки. Также были добавлены отдельные элементы управления блокировкой для виртуализированных сред.

Корпорация IBM анонсировала систему Storage DS8000 Release 10.2 — обновлённую версию флагманской платформы хранения данных, разработанной специально для мейнфреймов IBM Z и IBM LinuxONE. В этой СХД применяются новейшие фирменные накопители — устройства FlashCore Module пятого поколения (FCM5).

Источник изображений: IBM

SSD семейства FCM5, заключённые в усовершенствованный корпус High-Performance Flash Enclosure (HPFE) Gen 3 E3, выполнены в форм-факторе EDSFF. Говорится об улучшенной циркуляции воздуха и интеграции с системой AEM (Active Energy Management) для мониторинга энергопотребления и охлаждения в реальном времени.

Накопители выполнены на чипах флеш-памяти QLC NAND с pSLC-кешированием. Задействован интерфейс PCIe 4.0 (NVMe). Скорости чтения/записи и показатель IOPS не раскрываются. «Сырая» ёмкость составляет до 76,8 Тбайт, эффективная доступная ёмкость — до 134 Тбайт. Впрочем, FCM5 включает аппаратные ускорителя сжатия (до 3:1) и шифрования (с поддержкой постквантового шифрования), ИИ-детектор программ-шифровальщиков и механизм глубокой телеметрии, а также — впервые в семействе — аппаратную фоновую дедупликацию. Накопитель оснащён FGPA Xilinx с четырьмя Arm-ядрами.

В состав IBM Storage DS8000 Release 10.2 интегрирована телеметрия IBM Storage Insights: мониторинг состояния, а также показатели производительности системы хранения и сетей SAN совмещены в единый интерфейс. При развёртывании на мэйнфреймах доступна расширенная статистика производительности zHyperLink. Упомянуты развитые средства обнаружения угроз. Так, например, система Copy Services Manager (CSM) при обнаружении аномальной активности запускает автоматический сценарий для изоляции затронутых сред и защиты данных.

Клиенты также могут повысить уровень кибербезопасности благодаря сервисам IBM Z Cyber ​​Vault и IBM Expert Labs Cyber ​​Vault. Первый предназначен для защиты от программ-вымогателей, вредоносного ПО и повреждения данных, тогда как второй предусматривает привлечение экспертов IBM для проектирования, развёртывания, настройки и тестирования СХД в инфраструктуре заказчика.

Meta✴ сообщила новые подробности о 667-Вт ИИ-ускорителе MTIA 300 — своём первом чипе, оптимизированном для обучения DLRM-моделей. В отличие от LLM, требующих огромной пропускной способности вычислений с плавающей запятой, рекомендательные модели сталкиваются с проблемой необходимости быстрого и эффективного взаимодействия ускорителей в сочетании с большой ёмкостью памяти и высокой пропускной способностью интерконнекта.

Их таблицы эмбеддингов могут содержать более 99 % параметров модели, что требует гибридного параллелизма, генерирующего частые коллективные операции AllReduce, AllToAll и AllGather на сотнях ускорителей. На таких чипах, как GPU, эти коммуникационные операции конкурируют с вычислениями за одни и те же ресурсы, часто приводя к неэффективному использованию дорогостоящего оборудования.

Для решения этой проблемы разработчики, используя совместную разработку MTIA 300 с HCCL, библиотекой коммуникационных интерфейсов, созданной на основе разработанного с нуля оборудования, сделали коммуникацию первостепенной задачей в проектировании микросхем. На практике HCCL обеспечивает пропускную способность передачи данных до 940 Гбайт/с в пределах одной стойки. На модели со 150 млрд параметров, работающей на 40 ускорителях, общее время обмена данными при использовании MTIA 300 в 3,9 раза меньше, чем у эквивалентного кластера на базе GPU.

Источник изображения: Meta✴

В MTIA 300 сетевой интерфейс находится внутри самой упаковки микросхемы. Два 5-нм сетевых чиплета, каждый из которых содержит по шесть специализированных 800GbE RoCE-адаптеров, обеспечивают общую пропускную способность I/O 1,2 Тбайт/с без пересечения c шиной PCIe. Это устраняет узкое место в цепочке «хост-устройство-NIC», присутствующей в традиционных архитектурах GPU, где CPU должен выступать посредником между ускорителем и сетью, и позволяет избежать перегрузки PCIe между ускорителем и NIC. При этом NIC можно гибко использовать для масштабирования.

Поскольку используются одни и те же 12 NIC на базе Ethernet для вертикального масштабирования (внутри стойки из 16 узлов, до 1 Тбайт/с) и горизонтального масштабирования (между стойками, до 200 Гбайт/с), можно гибко распределять NIC в соответствии с меняющимися потребностями. По мере изменения требований модели можно переконфигурировать сеть, а не само оборудование. Для минимизации задержки транзакций разработчики внедрили экспресс-оповещения (doorbell). Сама запись запроса на выполнение служит оповещением, исключая дополнительное чтение из памяти и экономя около 800 нс на операцию.

Источник изображения: Meta✴

В случае GPU библиотеки вроде NCCL реализуют операции коллективных коммуникаций в виде вычислительных ядер (kernel), которые используют те же ресурсы, что нужны для вычислений при обучении. Пересечение коллективных операций и операций обучения приводит к замедлению обоих и того, и другого. В MTIA 300 использовали другой подход. Наряду с матрицей из 72 3-нм вычислительных элементов (PE), чип включает 16 выделенных механизмов обработки сообщений (ME), которые обрабатывают всю коммуникацию независимо.

ME содержит ядро RISC-V для оркестрации; сетевой интерфейс, который направляет запросы к нужному NIC; вычислительный блок Near-Memory Computing (NMC), который выполняет операции редукции со скоростью 128 байт/цикл. Расположенные по краям чипа, рядом с HBM и кешем, NMC в совокупности обеспечивают пропускную способность редукции более 2,8 Тбайт/с — более чем вдвое превышающую пропускную способность I/O. Это позволяет выполнять коллективные операции AllReduce и ReduceScatter на линейной скорости NIC без использования ресурсов PE.

Источник изображения: Meta✴

В результате обеспечивается практически идеальная изоляция операций. Одновременное выполнение больших GEMM-операций с коллективными операциями приводит к снижению вычислительной пропускной способности менее чем на 0,5 %, в отличие от традиционных GPU, где снижение может превышать 20 % из-за использования одних и тех же ресурсов на обмен данными и вычисления.

Разработанная совместно с MTIA 300 библиотека HCCL вместо управления обменом данными с хостом во время выполнения компилирует каждую коллективную операцию в полный набор подграфов (массивы очередей задач с явным указанием зависимостей), которые отправляются на ME для полностью автономного выполнения. Таким образом, хост лишь единожды отправляет ускорителю набор сетевых инструкций и более не вмешивается в работу сети.

Источник изображения: Meta✴

По словам Meta✴, такая архитектура естественным образом интегрируется с PyTorch. Коллективные операции компилируются в единый граф вместе с вычислительными задачами. HCCL сама выбирает алгоритмы, учитывающие топологию сети и асимметричность полос пропускания, по возможности минимизируя межстоечный трафик. Для инференса были разработаны дополнительные пути: односторонняя коммуникация, когда PE используют экспресс-оповещения, и параллельный запуск коллективных операций по сигналу от kernel'а без прерывания работы последнего.

Компания отметила, что MTIA 300 имеет и другие плюсы 216 Гбайт HBM3E (6,1 Тбайт/с) позволяют разместить больше данных на одном чипе, а не загружать их лишний раз извне; на каждый ускоритель приходится всего один CPU, что позволяет нагружать его интенсивными вычислениями на некоторых этапах; высокая пропускная способность сети позволяет при необходимости использовать форматы данных с более высокой точностью.

Хотя сочетание умеренной FP-производительности с ёмкой и быстрой HBM в MTIA 300 изначально было оптимизировано для обучения DLRM, эти качества позволяет эффективно использовать чипа для более широкого спектра нагрузок, включая инференс моделей генеративного ИИ. Стоит отметить, что подход Meta✴ с внедрением NIC непосредственно в чип не нов сам по себе. Например, чипы Intel/Habana Gaudi2, представленные в 2022 году, использовали 24 100GbE-интерфейса RoCE для вертикального и горизонтального масштабирования.

Meta✴ Platforms планирует строительство ещё одной подводной кабельной системы — Aurora. При посредничестве Edge Cable Holdings USA она подала заявку в Федеральную комиссию по связи (FCC) заявку на лицензию для посадочных станций, связывающих США и Данию, сообщает Datacenter Dynamics.

Согласно документам, поданным в FCC 17 августа 2026 года, «посадку» кабеля должны осуществить в Манаскуане (Manasquan, Нью-Джерси) и Блобьерге (Blaabjerg, Дания). Фактически посадочные станции уже существуют, площадка в Нью-Джерси принадлежит NJFX, а в Дании — Arelion. Речь идёт о создании открытой кабельной системы, позволяющей разным владельцам оптоволоконных пар отдельно управлять ими и контролировать оконечное оборудование на посадочных станциях.

Протяжённость кабеля составит 7268 км, он будет состоять из 24 оптоволоконных пар, каждая с пропускной способностью 20,7 Тбит/с, совокупная ёмкость должна составить порядка 497 Тбит/с. В заявке не упоминается, какая именно пропускная способность будет активирована на момент ввода кабеля в эксплуатацию. Заработать система должна 15 января 2028 года. Для того, чтобы уложиться в расписание, лицензию на посадочные станции просят выдать к ноябрю 2026 года.

Источник изображения: Matt Hardy/unsplash.com

В документе уточняется, что Edge USA может предоставить сторонним заказчиками доступ к «тёмному» волокну, обеспечив новые возможности для передовых сервисов ЦОД в США и за рубежом. Также отмечается, что система усилит конкуренцию среди операторов инфраструктуры, проложенной между США и Данией, а также на других трансатлантических направлениях: AEC-1, Amitié/Dunant, Apollo, Atlantic Crossing-1, EXA North and South, FLAG Atlantic-1, Grace Hopper, Marea, TGN Atlantic, Yellow и запланированные Nuvem, Fastnet и Sol.

У Meta✴ имеются многочисленные действующие кабели, а также проекты в стадии прокладки. Реализация осуществляется компанией как самостоятельно, так и в составе консорциумов. В феврале 2025 года компания подала заявку на прокладку кабеля протяжённостью 50 тыс. км, связывающего пять континентов и известного как Project Waterworth. Meta✴ стоит и за известным кабелем 2Africa протяжённостью 45 тыс. км (33 страны и 46 посадочных станций), который ранее считался самым длинными в мире.

Компании Smart IOPS и H3 Platform, по сообщению ресурса Storage Review, разработали высокопроизводительную систему хранения данных, ориентированную на наиболее требовательные рабочие нагрузки в области ИИ. Платформа обеспечивает показатель IOPS на уровне 1 млрд при произвольном чтении.

В основу СХД положены накопители Smart IOPS Unobtanium T50 в форм-факторе E3.S 2T. Эти SSD выполнены на чипах флеш-памяти TLC NAND, которые функционируют в режиме pseudo-SLC. Для подключения служит интерфейс PCIe 6 x4 (NVMe 2.0). Вместимость составляет 9, 18 и 36 Тбайт. Заявленная скорость передачи информации достигает 28 Гбайт/с при последовательном чтении и 24 Гбайт/с при последовательной записи. Величина IOPS при произвольном чтении данных блоками по 512 байт составляет до 50 млн, при произвольной записи — до 10 млн.

Собственно СХД несёт на борту четыре ускорителя NVIDIA RTX PRO 6000 Blackwell Server Edition с 96 Гбайт GDDR7 и четыре сетевых адаптера NVIDIA ConnectX-8. Доступны 20 посадочных мест для накопителей E3.S 2T с бюджетом питания 60 Вт на каждый слот. Задействовано воздушно охлаждение. При установке 20 изделий семейства Unobtanium T50 достигается суммарное значение IOPS до 1 млрд.

Источник изображения: Storage Review

Платформа ориентирована на такие рабочие нагрузки, как графовые нейронные сети, векторный поиск, рекомендательные системы, генерация с дополненной выборкой (RAG) и аналитические задачи, при которых формируются огромные объёмы случайных запросов небольшого размера. Пробные поставки новых SSD и самой платформы хранения начнутся в I квартале 2027-го, а массовое производство намечено на II четверть следующего года.