Компания Anthropic официально подтвердила появившиеся ранее в СМИ сообщения о планах начать разработку собственного ИИ-чипа. В интервью ресурсу Business Insider её представитель заявил, что компания формирует собственную команду разработчиков для создания кастомных чипов для ИИ-моделей Claude, присоединяясь к разрабатывающих собственные чипы Amazon (Trainium), Alibaba (Zhenwu), Google (TPU), Meta✴ (MTIA), Microsoft (Maia) и OpenAI (Jalapeño).

Издание The Information в прошлом месяце сообщило, что Anthropic вела переговоры с Samsung по поводу возможности сотрудничества в производстве чипов. Согласно недавно опубликованному объявлению о вакансии Anthropic ищет инженеров с опытом работы в широком спектре областей проектирования и верификации микросхем для команды по разработке чипов.

Источник изображения: Brecht Corbeel/unsplash.com

Вакансия инженера с зарплатой от $320 до $485 тыс. предполагает, что претенденты должны продемонстрировать «непосредственный личный вклад» в завершение и выпуск полупроводниковых разработок. «Эта должность для человека, который уже выпускал микросхемы, имеет реалистичное представление о сроках и готов принимать важные решения без поддержки крупной организации», — указано в объявлении. В нём также сообщается, что Anthropic планирует автоматизировать некоторые задачи верификации с помощью ИИ. Также компания намерена разработать симуляции, в которых Claude смогут научить тестировать новые конструкции микросхем.

Особое внимание будет уделено формальной верификации, в ходе которой конструкция микросхемы проверяется на наличие недостатков путём моделирования всевозможных сценариев эксплуатации. OpenAI также использует ИИ для ускорения разработки микросхем. Разработка ускорителя Jalapeño заняла всего 9 мес. благодаря тому, что некоторые задачи были автоматизированы с помощью ИИ.

Представитель Anthropic сообщил, что компания будет разрабатывать чип совместно со своими будущими LLM. Хотя разработка ИИ-чипа собственными силами — дорогостоящий и сложный процесс, она позволяет настраивать вычислительные мощности в соответствии с потребностями своих моделей. К тому же, это позволит компании снизить зависимость от дорогостоящих ускорителей NVIDIA, которая доминирует на рынке ИИ-чипов. Тем не менее, Anthropic будет и дальше придерживаться «многочипового подхода», в рамках которого будет использовать для своих задач оборудование AWS, Google, Microsoft, NVIDIA и AMD.

Как сообщил в начале июня ресурс The Information, компания может выбрать Samsung в качестве партнёра для производства своего чипа. Недавно Samsung представила технологию zHBM, которая может значительно повысить эффективность ИИ-чипов. Как утверждает компания, технология zHBM позволяет размещать память непосредственно поверх логических ядер. Такая компоновка позволяет ускорить обмен данными между памятью и логическими схемами, что, в свою очередь, снижает энергопотребление. Вполне возможно, что Anthropic могла бы использовать zHBM в своём ИИ-ускорителе.

Тысячи серверов могут быть взломаны с помощью уязвимостей, имеющихся в BMC-контроллерах, причём, о некоторых из них известно более десяти лет, сообщается в исследовании компании runZero. runZero обнаружила в BMC, поставляемых HPE, Supermicro, Avocent, Huawei, Lenovo, Dell и другими компаниями, в дополнение к уязвимостям, о которых сообщалось ещё в 2013 году, более десятка новых брешей, пишет Ars Technica.

Чтобы оценить масштабы угрозы, runZero провела два сканирования. В первом случае сканировались все BMC, подключённые к интернету, а во втором было проведено внутреннее обследование устройств в корпоративных сетях. Внешнее сканирование выявило более 86 тыс. BMC, которые предоставляли доступ к сервису управления для широкой публики. Более 54 % из них содержали одну или несколько критических уязвимостей. До 75 тыс. BMC содержали баг CVE-2013-4786, уязвимость в протоколе аутентификации IPMI 2.0, которая позволяет взламывать пароли учётных записей BMC администратора в автономном режиме. В свою очередь, внутреннее сканирование 126 761 BMC выявило, что почти 29 % из них имели одну или несколько критических уязвимостей.

Источник изображения: Kevin Ku/unsplash.com

runZero не будет раскрывать подробности об уязвимостях до тех пор, пока они не будут исправлены. Уязвимости относятся к следующим классам:

• Недостатки в процессе аутентификации IPMI. Хакеры могут изменить предписанную последовательность обмена сообщениями, чтобы обойти требования аутентификации. Получив ограниченный доступ к BMC, злоумышленник может получить административный доступ, используя другие уязвимости. К затронутым продуктам относятся решения HPE iLO, Supermicro, OpenBMC и продукты на основе OpenBMC от H3C и NVIDIA.
• Неспособность IPMI обеспечить целостность и защиту шифрования в рамках сеанса. Уязвимость затронула оборудование HPE, Supermicro и Intel (устаревшие системы).
• Предсказуемые идентификаторы сеансов. Токены сеансов генерируются на основе таймеров или времени, а не из безопасных случайных источников, что позволяет злоумышленнику предсказать и захватить активный сеанс BMC другого пользователя как через службу IPMI, так и через браузерные KVM-консоли. Эти ошибки присутствуют в системах Supermicro.
• Вызов сбоя памяти до аутентификации — код, обрабатывающий входящие запросы, не проводит должную проверку данных, что может привести к выполнению вредоносного кода. Проблема обнаружена в системах HPE iLO.
• Возможность установки неподписанного ПО. Злоумышленник может использовать установку вредоносного ПО или замену ключа, используемого для проверки ПО, для обхода аутентификации и повышения привилегий. В числе подверженных этим багам — серверы Supermicro, H3C и Dell.
• Использование данных из общедоступного ПО, которые могут использоваться для аутентификации или расшифровки трафика с BMC. Проблема затронула решения Supermicro, OpenBMC, Huawei и Dell.
• Использование учётных данных по умолчанию и заводских случайных учётных данных, которые могут быть скомпрометированы путем раскрытия хеша благодаря уязвимости CVE-2013-4786. Проблема обнаружена у серверов HPE, Supermicro и Dell.

runZero выпустила инструмент с открытым исходным кодом OOBscan для сканирования всего парка серверов компании с целью обнаружения растущего списка уязвимостей BMC, которые она каталогизировала. Помимо запуска OOBscan, администраторы могут обеспечить защиту, установив длинные, уникальные имена пользователей и сложные пароли, отключив IPMI и KCS, где это возможно, изолировав BMC, избегая размещения нескольких адаптеров в общей VLAN.

«BMC по-прежнему представляют собой недооценённый риск», — сообщила runZero, отметив, что исследование указывает на то, что «экосистема значительно отстаёт с точки зрения качества кода и архитектуры». Вместе с тем нельзя не отметить, что доступ к сетевым интерфейсам BMC из Сети крайне не рекомендуется всеми поставщиками оборудования. Кроме того, рекомендуется использовать для них выделенную сеть и открывать доступ к контроллерам только по необходимости.

SK Hynix и Sandisk представили первые спецификации высокоскоростной флеш-памяти (HBF), технологии хранения данных следующего поколения, разработкой которых они занимались с прошлого года. В феврале SK Hynix и Sandisk запустили проект по стандартизации HBF в рамках Open Compute Project (OCP). Google и Tensorrent уже присоединились к нему, и ожидается, что к ним подключатся и другие компании.

Теперь спецификации находятся в открытом доступе для любой компании, разрабатывающей системы ИИ-инференса или ускорители. Они охватывают до 512 Гбайт ёмкости на основе двух конфигураций стека с 8 и 16 слоями NAND с тремя уровнями пропускной способности (Класс 1–3) в пределах от 0,4 до 3,0 Тбайт/с. SK hynix отметила, что ключевым моментом является использование UCIe, это закладывает основу для гибкой интеграции технологии HBF в различные типы процессоров, включая GPU и CPU.

В документе определены интерфейс хоста xPU-HBF, электрические спецификации, базовые ожидания по производительности, рекомендации по надёжности и упаковке стека кристаллов HBF, а также руководство пользователя по ПО для операций чтения и записи. Компании разработали спецификацию таким образом, чтобы HBF мог сосуществовать с HBM в одной системе, а не заменять его, отметил ресурс StorageReview.com. Расчёт ёмкости такой же, что и при переносе KV-кеша на флеш-память: хранение контекста на более дешевом и плотном уровне увеличивает количество токенов и пользователей, которые может обслуживать каждый ускоритель.

Источник изображения: SK hynix

Sandisk и SK Hynix объявили свою стратегию: ранняя и открытая публикация в рамках OCP, чтобы позиционировать HBF как де-факто стандарт для рынка хранения данных для ИИ до того, как конкуренты создадут альтернативу. «Вычисления в ИИ создают новый набор требований к памяти, и технология HBF разработана для удовлетворения этих требований, — сообщила Sandisk, назвав спецификации важной вехой «для следующего поколения ИИ-систем, созданных для улучшения экономики токенов в масштабе».

«С быстрым распространением ИИ-приложений мы достигли точки, когда необходимо перепроектировать общие структуры обработки данных, — сказала SK hynix, — С помощью HBF SK hynix расширит границы между памятью и хранилищем и внесёт свой вклад в создание новых архитектур, повышающих общую эффективность системы».

Marvell анонсировала набор CXL-продуктов, призванных решить проблему дефицита памяти в системах, ориентированных на ресурсоёмкие ИИ-нагрузки. В частности, дебютировали специализированные контроллеры расширения памяти Structera X, чипы-ускорители Structera A и коммутаторы Structera S.

Платформа Structera X оптимизирована специально для развёртывания на площадках гиперскейлеров. Изделия, как отмечается, разработаны в партнёрстве с ведущими мировыми компаниями в сфере облачных вычислений. В данное семейство вошли чипы Structera X 2404 и Structera X 2504, предназначенные для работы с памятью DDR4 и DDR5 соответственно.

В свою очередь, решения Structera A предназначены для организации вычислений вблизи памяти (near-memory). В частности, представлен чип Structera A 2504, который объединяет 16 ядер Arm Neoverse V2, работающих на частоте 3,2 ГГц. Изделие поддерживает до 4 Тбайт памяти с пропускной способностью до 200 Гбайт/с, сжатие LZ4 и 256-бит шифрование XTS-AES. Чип позволяет снять часть нагрузки с CPU сервера, беря на себя такие задачи, как ИИ-инференс, обслуживание моделей рекомендаций на основе глубокого обучения (DLRM), векторный поиск и запуск резидентных баз данны. Вместе решения Structera X и Structera A предоставляют крупным компаниям комплексный инструментарий для масштабирования и оптимизации памяти в условиях дезагрегированной инфраструктуры ИИ.

Источник изображения: Marvell

Наконец, в серию Structera S вошло устройство 30260 — это коммутатор PCIe 6.0 / CXL 3.x на 260 линий, который позволяет подключать до 16 или 32 CPU или GPU к общему пулу памяти объёмом до 48 Тбайт. При этом обеспечивается суммарная пропускная способность до 4 Тбайт/с, тогда как задержки составляют менее 460 нс. Говорится о совместимости с памятью DDR4 и DDR5. По заявлениям Marvell, Structera S демонстрирует до 16 раз лучшую масштабируемость по сравнению с локальной памятью и на 72 % меньшую задержку, чем при использовании пула на основе RDMA. В конфигурациях на базе GPU достигается до 4,8 раза более высокая пропускная способность при инференсе, тогда как время до получения первого токена сокращается на 82,7 %.

Разработчик ИИ-ускорителей для инференса Etched привлёк $300 млн в раунде финансирования серии C при оценке капитализация в $10,3 млрд — и это менее чем через месяц после выхода из «стелс-режима», сообщает Storage Review. Раунд возглавила Sequoia Capital, также в нём приняли участие a16z, Jane Street, Diffusion и SK Hynix. Утверждается, что это наивысшая оценка, достигнутая в раунде C, возглавленном Sequoia.

В предыдущем раунде в конце 2025 года компания привлекла $500 млн, а её оценка составляла $5 млрд. Etched уже похвасталась, что заключила контракты на поставку чипов для ИИ-инференса более чем на $1 млрд. Привлечённые средства компания направит на расширение производства, а также ускорение внедрения решений среди заказчиков. Помимо предприятия на Тайване, компания открыла объект площадью 7,4 тыс. м² в непосредственной близости от штаб-квартиры в Сан-Хосе, где уже работает 2-МВт ЦОД с её чипами.

Источник изображения: Etched

Новый кампус в Милпитасе (Milpitas) мощностью 10 МВт будет включать лабораторию для вывода на рынок новых продуктов (NPI), линию монтажа электронных компонентов (SMT), площадку прототипирования инфраструктуру для развёртывания оборудования. По данным Etched, спрос на системы уже превысил предложение, поскольку клиенты стремятся перейти от тестирования к промышленной эксплуатации. В результате компании пришлось увеличить штат до 400 сотрудников, нанимая специалистов из NVIDIA, Broadcom, Google TPU, SK Hynix и прочих компаний.

По словам представителя Etched, компании ещё предстоит выйти на гигаваттный уровень, поэтому она взаимодействует с инвесторами, готовыми вкладывать средства в ИИ-инфраструктуру. Сообщается, что компания «круглосуточно» работает с первыми заказчиками, чтобы вывести свой первый продукт на рынок.

Компании Samsung Heavy Industries и американская Mousterian Corporation (M3) активно взялись за строительство плавучих ЦОД. От предварительных договорённостей они перешли к реализации проекта на практике, подписав инженерный контракт на создание и развёртывание первого «дата-судна» в Техасе, сообщает The Register. Ожидается, что Американское бюро судоходства (American Bureau of Shipping, ABS) обеспечит классификацию новых плавучих объектов. Ранее Samsung подписала соглашение с Supermicro об испытании серверных ИИ-систем на реках и в море.

Новые плавучие ЦОД для американского рынка рассчитаны на швартовку у берегов рек и морей. Каждый из них будет обеспечивать 50 МВт IT-мощности. В рамках соглашения, компании совместно разработают базовую концепцию плавучего ЦОД, обеспечат детальное проектирование и подготовку документации для производства. Работы призваны подготовить почву для заключения полноценного EPC-контракта, включающего проектирование, закупку оборудования и строительство.

Создание плавучих ЦОД позволяет избежать конкуренции за дефицитные земельные участки под строительство дата-центров, а их мобильность позволяет избежать и дефицитам энергии — судно можно перегнать поближе к другим электростанциям. Для охлаждения объектов используется забортная вода самого водоёма, причём без испарителей. Такие системы не потребляют питьевую воду и не сбрасывают сточные воды в водоём присутствия. Также утверждается, что отказ от воздушных чиллеров и вентиляторов обеспечит низкий уровень шума.

Источник изображения: Samsung Heavy Industries

Направление плавучих ЦОД компания Samsung Heavy Industries начала развивать в начале текущего года на фоне растущего спроса на ИИ-инфраструктуру, она намерена использовать для этого многолетний опыт в судостроении и оффшорном строительстве. Типовое строительство на верфи позволяет ускорить сроки реализации, поскольку для таких дата-центров не требуется создание отдельной площадки. Mousterian основана выходцами из Nautilus, создавшей первый коммерческий плавучий ЦОД.

Предполагается, что пилотный ЦОД разместят вблизи от газовой турбины комбинированного цикла (Combined-Cycle Gas Turbine, CCGT) в Хьюстоне. Впрочем, если это не автономная система генерации, то проект может столкнуться с только что введённым временным мораторием на присоединение к энергосети Техаса ERCOT. Мораторий будет действовать до тех пор, пока местные регуляторы не завершат аудит всех уже поступивших заявок на подключение.

Концепция плавучих ЦОД всё более популярна. Mitsui и Hitachi готовятся размещать дата-центры на старых судах, а NYK Line (Nippon Yusen) — на баржах. Seatrium также намерена построить 30-МВт прибрежный ЦОД, свои проекты продвигают Atomarine и Mocean Energy.

Техасские девелоперы, занимающиеся строительством ЦОД, по-прежнему могут возводить свои объекты — вот только получить энергию стало намного сложнее. Губернатор штата Грег Эбботт (Greg Abbott) временно запретил регуляторам одобрять новые подключения дата-центров к сети Electric Reliability Council of Texas (ERCOT), сообщает Tech Republic. Запрет будет действовать до тех пор, пока уже предложенные заявки не пройдут аудит.

Облачные провайдеры, девелоперы ИИ-объектов и инвесторы в инфраструктурные проекты могут столкнуться с продлением сроков согласований заявок, требованием раскрыть дополнительную информацию и большей неопределённостью относительно сроков реализации проектов. Эбботт поручил Комиссии по коммунальным услугам Техаса (Public Utility Commission of Texas, PUCT) и ERCOT проверить дата-центры в очереди на подключение. В числе прочего будет дана оценка прогнозируемому потреблению электричества, потреблению воды, системам охлаждения, налоговым льготам, информации о владельцах, а также мерам по снижению шума, светового загрязнения и др.

Приоритетом называется сохранение качества жизни жителей Техаса. Любой проект, не соответствующий требованиям регуляторов и законам штата, получит отказ в подключении к местным электросетям. Объединение Data Center Coalition, представляющая интересы крупных компаний, поддержала инициативу, заявив, что проверка может помочь выявить проблемных девелоперов, не создавая задержек подходящим проектам, а Техас сохранит статус лидера технологического развития.

Источник изображения: Mitchell Kmetz/unsplash.com

Отмечено, что в очереди ERCOT более 1,8 тыс. заявок общей мощностью более 474 ГВт, это более чем впятеро превышает пиковый спрос в энергосистеме всего штата. Это не означает, что всю мощность нужно обеспечить немедленно. Нередко девелоперы подают заявки заранее, поскольку присоединения к сети можно ждать годы, а некоторые проекты не продвигаются дальше планирования. Так или иначе, ещё в январе совокупная мощность заявок в ERCOT была ещё на уровне 233 ГВт. Даже если дело дойдёт до реализации лишь части проектов, масштабы спроса со стороны ИИ, облачных и иных IT-сервисов огромны.

Распоряжение губернатора не касается объектов, имеющих собственные источники генерации, или объекты, действующие за пределами сети ERCOT, включая Эль-Пасо (El Paso), который находится на границе с Нью-Мексико и Мексикой и где строится гигаваттный ЦОД Meta✴. По имеющимся данным, в штате работают минимум 335 ЦОД, ещё 248 — в стадии планирования. Техас считается вторым рынком дата-центров США, первое место занимает Вирджиния. По оценкам JLL, к 2030 году Техас может стать крупнейшим рынком ЦОД в мире, а каждый пятый кампус будет гигаваттным.

Теперь, вероятно, застройщикам придётся учитывать увеличение сроков согласования и обновлённые требования к раскрытию информации и др., в том числе вероятность вовсе получить отказ на подключение. Проверка не значит, что рынок ЦОД в Техасе прекратит расширяться, но в процесс одобрения заявок добавится новый этап. Не исключается, что под удар могут попасть и новейшие, в том числе необычные проекты, включая инициативу по строительству плавучего ЦОД Samsung и Mousterian. Но Google, к примеру, внедряет в Техасе бизнес-модель Power-First в ответ на дефицит электричества для ЦОД — сначала кампус обеспечат собственной энергией. Такому подходу новые проверки не помешают.

Участники рынка инфраструктурного облачного провайдинга (IaaS) и платформенных сервисов (PaaS) демонстрируют устойчиво позитивные ожидания. Согласно Индексу уверенности, представленному iKS-Consulting по итогам опроса игроков, совокупный среднегодовой темп роста российского рынка IaaS составит 23–25 %, PaaS — 25–26 % (в период с 2026 по 2029 гг.). Для сравнения, глобальная динамика выглядит значительно скромнее: прогнозируемый CAGR мирового рынка на горизонте до 2030 года оценивается в 13,6 % для IaaS и 11,1 % для PaaS (по данным The Business Research Company).

В числе ключевых факторов опережающего роста отечественного облачного рынка называются высокий спрос со стороны бизнеса и государства, активная цифровизация ведомств, развитие ГИС и платформ электронного правительства, проекты импортозамещения зарубежного ПО, а также бум ИИ/HPC-нагрузок (GPU), которые требуют значительных мощностей.

Источник изображения: Josh Calabrese / unsplash.com

По мнению экспертов, рынок переходит к более зрелой стадии конкуренции. Провайдеры отказываются от однородного ценообразования в пользу сегментированной модели: массовые ресурсы дешевеют, а за высокопроизводительные мощности клиенты платят больше ради гарантированной производительности. На рынке IaaS оценки крупных игроков с собственной GPU-инфраструктурой выглядят оптимистичнее из-за ожидаемого эффекта от внедрения ИИ. В сегменте PaaS ключевым драйвером становятся сервисы для работы с данными и автоматизации разработки, при этом основной потенциал формируется за счёт внешнего коммерческого спроса.

Общий вывод аналитиков: конкуренция смещается от ценовой гонки к качеству сервиса, специализации и доступу к дефицитным ресурсам. Крупным игрокам предстоит наращивать инвестиции в инфраструктуру, тогда как небольшим компаниям придётся усиливать отраслевую экспертизу и партнёрства. Для удержания клиентов публичные провайдеры также активно выходят в сегменты гибридной и on-premise инфраструктуры.

Американская группа KKR закончила формирование фонда Global Infrastructure Investors V, привлёкшего $19,2 млрд на инфраструктурные инвестиции в сфере ИИ. Фонд уже определил назначение $9 млрд, инвестиции предусмотрены для компаний Altitude III, EDF Power Solutions North America, Enilive, Sempra Infrastructure и The Parking Spot, сообщает Datacenter Dynamics.

Новый фонд также инвестировал в итальянского оператора цифровой инфраструктуры FiberCop, в американского прокладчика ВОЛС Metronet, девелопера ЦОД Global Technical Realty (GTR) и колокейшн-компанию Gulf Data Hub, действующую на Ближнем Востоке и в Северной Африке (регион MENA).

KKR занимается управлением инфраструктурными активами на $120 млрд, хотя ещё в 2019 году речь шла всего об $13 млрд. По словам KKR, в Северной Америке продолжает стремительно расти спрос на инвестиции в цифровую инфраструктуру, поскольку цифровизация, электрификация и промышленное развитие переформатируют экономику. Для удовлетворения этого спроса необходимы значительные объёмы долгосрочных капиталовложений, а KKR располагает возможностями для взаимодействия с бизнесом и владельцами активов, инвестирующими в инфраструктуру, которая и ляжет в основу нового этапа экономического роста.

Источник изображения: sarah b/unsplash.com

Представитель европейского направления KKR заявил, что Европа вступает в период, когда инвестиции в критически важную инфраструктуру станут играть всё более важную роль в поддержке конкурентоспособности, обеспечении энергетической безопасности и устойчивости экономики. Компания обладает богатым опытом инвестиций в регионе и имеет все возможности эффективно взаимодействовать с бизнесом, местными сообществами и государственными организациями по мере роста потребностей в таких инвестициях.

По данным KKR, фонду обеспечена поддержка от новых и действующих инвесторов, в том числе — пенсионных фондов, суверенных фондов благосостояния, страховых структур, платформ по управлению частными активами и семейных инвестиционных офисов.

KKR наращивает активность и в других направлениях. Так, в июне компания при участии Кувейтского инвестиционного управления (Kuwait Investment Authority, KIA), NVIDIA и энергокомпании Vistra создали предприятие Helix Digital Infrastructure для строительства ИИ ЦОД для облачных гиперскейл-провайдеров. Предприятие уже привлекло более $10 млрд и рассчитывает получить новые средства в будущем.

Marvell отметила, что по мере масштабирования ИИ-инференса его производительность всё больше зависит не просто от увеличения вычислительных мощностей, а от того, насколько эффективно вычислительные мощности, память и интерконнекты работают в рамках единой инфраструктуры, а также насколько быстро ускорители могут получать доступ, перемещать и использовать ресурсы памяти.

Также Marvell заявила, что современная иерархия памяти для ИИ не рассчитана на инференс в масштабах, необходимых для современных рабочих нагрузок. Память HBM, напрямую подключённая к GPU, обеспечивает исключительную производительность, но имеет ограниченную ёмкость и высокую стоимость. Системная DRAM обеспечивает большие пулы памяти, но не может экономично масштабироваться вместе со всеми ускорителями. NVMe SSD имеют большую ёмкость, но и большую задержку, что делает их непригодными для обслуживания активных рабочих нагрузок инференса.

В связи с этим Marvell предложила расширить иерархию ИИ-памяти за счёт нового промежуточного уровня, обеспечивающего значительно большую ёмкость, обычно ожидаемую от хранилищ, находясь при этом гораздо ближе к вычислительным ресурсам, с очень низкой задержкой, близкой к непосредственно подключённой памяти.

Источник изображений: Marvell

Анонсированная Marvell платформа Marvell Photonic Fabric использует новую архитектуру оптического подключения для выполнения ИИ-задач, которая обеспечивает уровень общей для нескольких узлов памяти. Платформа, построенная на основе модуля памяти Marvell Photonic Fabric Memory Module (PFMM), сетевой карты Photonic Fabric NIC (PF-NIC) и чиплета Marvell Photonic Fabric, позволяет совместно использовать память в нескольких ИИ-стойках, расположенных на расстоянии до 30 м друг от друга, что даёт возможность значительно увеличить доступную для обработки ИИ-нагрузок память без пропорционального масштабирования вычислительных ресурсов.

PFMM объединяет совместно используемую память DDR5, кеш HBM и высокоскоростной оптический интерконнект, обеспечивая расширение, объединение и дезагрегацию памяти в ИИ-инфраструктуре.

В основе платформы лежит первая в отрасли SoC с оптическим I/O, интегрированным в середину кремниевого кристалла. Разработанный специально для дезагрегации ИИ-памяти модуль PFMM поддерживает до 8 модулей DDR5 DIMM, дополненных кешем HBM объёмом 72 Гбайт и пропускной способностью оптической сети 7,2 Тбит/с. Архитектура обеспечивает NUMA-доступ за менее 350 нс на нескольких стойках, что позволяет ускорителям получать доступ к значительно большим объёмам ИИ-памяти без задержек, традиционно связанных с внешними СХД.

В дополнение к PFMM, сетевой адаптер PF-NIC предоставляет оптический сетевой интерфейс CXL 3.1 и PCIe 6.0, который соединяет ИИ-серверы с совместно используемой памятью. Вместе PFMM и PF-NIC позволяют использовать сторонние устройства с общей памятью, способные поддерживать увеличивающиеся KV-кеши, более крупные контексты моделей и всё более требовательные рабочие нагрузки инференса, сохраняя при этом совместимость с существующими программными ИИ-платформами.

Сочетание оптического соединения с дезагрегацией памяти позволяет масштабировать объём памяти независимо от вычислительных ресурсов, сохраняя при этом пропускную способность и задержку, необходимые для крупномасштабного ИИ-инфренса. Результатом являются большие KV-кеши, улучшенное использование GPU, рост эффективности токенов и снижение энергопотребления при перемещении данных.