Meta✴ сообщила, что её публичная служба синхронизации времени теперь использует протокол NTS (Network Time Security, стандарт RFC 8915). Переход на NTS связан с тем, что базовый протокол NTP, разработанный в 1985 году и использующийся для проверки сертификатов, не предусматривает встроенные механизмы безопасности, включая проверку подлинности, из-за чего оказался уязвимым для атак с подменой сервера и отправкой неточного времени, «человек посередине» (MITM) и пр.

На протяжении большей части существования NTP время не имело большого значения, поскольку часы, отстающие или спешащие на несколько секунд, вызывали лишь раздражение. Но сегодня это важный фактор во многих случаях:

• Проверка сертификата ведётся с использованием локального времени, неправильные часы — неправильный ответ.
• Проверка срока действия токена и учётных данных, т.е. не истекли ли они уже
• Отклонение запроса, срок действия которого превышает N секунд — для этого необходимо знать, сколько сейчас времени на самом деле.
• Сопоставление и упорядочение журналов: два хоста с расхождением времени формируют некорректную временную шкалу.

И сама проверка является циклической. Вы не можете выполнить проверку X.509 notBefore/notAfter, не зная текущего времени. По сути, вам придётся отключить проверку времени сертификата или реализовать один из обходных путей.

Источник изображения: noor Younis/unsplash.com

Таким образом, переход на NTS устраняет риски для безопасности, связанные с отсутствием аутентификации в традиционных протоколах NTP. Пакеты проходят проверку подлинности, поэтому устройство может проверить, что показатель времени поступил от Meta✴ и не был изменён по пути. Используя двухэтапный процесс, включающий создание ключей на основе TLS 1.3 и аутентификацию пакетов UDP, Meta✴ снижает риски подделки или воспроизведения (replay) ответов.

Что важно, к марту 2029 года срок службы TLS-сертификатов сократится до 47 дней, а срок перепроверки доменов — до 10 дней. То есть срок жизни сертификаторов существенно сократится, что потребует корректной автоматизации их обновления, а этого, конечно, по словам Meta✴, нельзя сделать без точного времени. Все наработки в области работы со временем Meta✴ выкладывает на GitHub.

Участники Коалиции ИИ-инфраструктуры (AI Infrastructure Coalition, AIIC), в том числе Google, Meta✴ и Microsoft, обязались в полной мере оплачивать затраты, связанные с питанием их дата-центров — вместо того, чтобы перекладывать расходы на прочих потребителей коммунальных услуг, сообщает eWeek.

Это один из пяти принципов (Community Principles), анонсированных 30 сентября для ИИ-компаний, наращивающих энергоёмкую инфраструктуру для ИИ ЦОД. Коалиция утверждает, что компании-участницы будут либо сами строить необходимые генерирующие мощности и инфраструктуру электропередачи, либо обеспечивать их создание, либо оплачивать расходы на это.

Первый из пяти принципов предусматривает защиту рядовых потребителей — крупные клиенты ЦОД должны взаимодействовать с коммунальными компаниями для разработки тарифов, обязывающих оплачивать затраты, обусловленные собственным потреблением электричества соответствующими проектами. Рост энергопотребления вызывает рост нагрузки на электросети, а на расширение инфраструктуры может уйти несколько лет. Microsoft уже назвала доступность электричества и готовых мощностей ЦОД факторами, влияющими на то, как быстро компания сможет развёртывать новую ИИ-инфраструктуру.

Также участники AIIC обязуются инвестировать в местные сообщества, с приоритетом затрат на школы, дороги, больницы и экстренные службы. Ещё один принцип — сокращения потребления воды. Предполагаются и инвестиции в инфраструктуру водоснабжения там, где это необходимо, а заодно и снижение шумового загрязнения и прочих негативных последствий при строительных работах.

Четвёртый принцип — обеспечение рабочих мест в первую очередь местным жителям. Также компании обязуются участвовать в поддержке технического образования на местах и подготовке кадров. Наконец, предусмотрено привлечение местных жителей и руководителей для обсуждения проектов уже на ранних стадиях. Также предусмотрено повышение прозрачности планов строительства.

Источник изображения: Ehud Neuhaus/unsplash.com

Обязательства касаются не только энергетики, но также компенсации затрат на водоснабжение и использование земли. Объёмы затрат могут существенно отличаться в зависимости от мест строительства ЦОД, применяемых систем охлаждения, источников электроэнергии и масштаба инфраструктуры.

Однако практическое исполнение подобных обязательств может вызвать вопросы. Например, прокуратура штата Миннесота оспаривает некоторые положения предлагаемого 15-летнего соглашения между Xcel Energy и Google для ЦОД в Пайн-Айленде (Pine Island). Так, Xcel ещё не доказала, что Google действительно покроет все расходы, связанные с проектом, и что остальных потребителей защитят от дополнительных расходов, если Google снизит потребление энергии или прекратит использование энергосистемы досрочно.

Xcel утверждает, что чистая выгода других потребителей благодаря соглашению составит более $1,1 млрд, тогда как прокуратура считает, что как раз чистые дополнительные затраты могут составить до $1 млрд. Хотя данное разбирательство не связано с принципами AIIC напрямую, оно является важным само по себе, поскольку поднимает важные вопросы:

• Кто оплачивает новую инфраструктуру?
• Кто несёт риски при изменении спроса, если компания уйдёт, а необходимость обслуживания инфраструктуры останется?
• Могут ли регуляторы проверить расчёты? (по данным прокуратуры, из представленных Xcel документов значительные фрагменты изъяты, что затрудняет оценку последствий для рядовых потребителей).

Законы Миннесоты уже предусматривают, что обусловленные деятельностью особо крупных потребителей расходы должны возлагаться на этих потребителей. Кроме того, в нём есть механизмы защиты от «невозмещаемых расходов» на инфраструктуру, которые могут сохраниться в случае сокращения потребления или прекращении использовании системы клиентом. Теперь участники AIIC добровольно принимают практически такие же обязательства.

Источник изображения: Nadine E/unsplash.com

В феврале Вашингтон предложил IT-гигантам гарантировать, что расширение их сети ЦОД в Соединённых Штатах не приведёт к резкому увеличению счетов за электричество или истощению локальных водных ресурсов. Было предложено соглашение между президентом США и индустрией ЦОД в лице Microsoft, Google, Amazon, Meta✴ и OpenAI, установившее бы принципы ответственного потребления электроэнергии, воды и отношений с жителями в местах размещения дата-центров.

Впрочем, власти отдельных штатов уже принимают собственные меры для снижения нагрузки на обычных пользователей и сообщества. Так, губернатор Калифорнии утвердил семь законов, регулирующих потребление воды и электричества ЦОД для защиты граждан.

Компания Meta✴ объявила о запуске нового направления бизнеса в сфере ИИ, рассчитанное на корпоративных клиентов. Meta✴ Enterprise Platform призвана помочь компаниям в использовании ИИ для роста и трансформации новыми способами.

В частности, платформа использует передовые модели Meta✴, её ИИ-агентов, необъятную инфраструктуру компании, а также опыт взаимодействия с многочисленными бизнесами. Компания рассчитывает сфокусироваться на обеспечении клиентов полным стеком технологий, включая агента Muse, Meta✴ Business Agent, Muse API, Muse Code и другие продукты.

Проект возглавит Чирантан «Си Джей» Десаи (Chirantan “CJ” Desai), который станет напрямую подчиняться главе компании Марку Цукербергу (Mark Zuckerberg). У Десаи уже есть опыт создания полностекового ПО и реализации проектов в сфере ИИ, инфраструктуры, бизнес-приложений и безопасности. До перехода в Meta✴ он занимал пост генерального директора и президента MongoDB, имеет опыт работы в Cloudflare, и около восьми лет — в ServiceNow, в том числе на постах президента и операционного директора.

Источник изображения: Tim van der Kuip/unsplash.com

По словам Десаи, в ближайшие годы ИИ коренным образом преобразует механизмы того, как компании любых масштабов внедряют инновации, растут, обслуживают клиентов и запускают бизнес-операции. Meta✴ предстоит сыграть уникальную роль, поскольку компания позволяет использовать её передовые ИИ-модели и агентов, и имеет богатый опыт помощи миллионам рекламодателей. Кроме того, она уже помогла масштабировать «сотни миллионов» бизнесов.

Подчёркивается, что Meta✴ Enterprise Platform сфокусируется на превращении своего ИИ-стека в продукты и сервисы, которые компании смогут внедрять в собственных интереса, а в ИИ-алгоритмы Muse изначально интегрированы механизмы защиты и обеспечения конфиденциальности. При этом сразу после публикации новости компанией Meta✴ об уходе главы MongoDB акции последней упали на 17 %.

Компания Meta✴ анонсировала кабель Petal, названный «первой трансокеанской системой с пропускной способностью 1 Пбит/с». Кабель через Атлантику протяжённостью порядка 7 тыс. км свяжет США и Францию, ввод в эксплуатацию запланирован на 2029 год. Кабель получит 24 пары волокон, но отличительной особенностью Petal станет использование волокна с двумя сердцевинами в трансокеанском масштабе.

Это позволит удвоить максимальную пропускную способность в сравнении с современными трансатлантическими системами, например — системой Aurora той же Meta✴, прокладка которой предусмотрена между США и Данией. В то же время в новом кабеле не предусмотрен двукратный рост энергопотребления и сопутствующей физической инфраструктуры. Также можно сравнить кабель с системой Meta✴ Anjana на 24 пары, тоже обеспечивающей около 500 Тбит/с.

Из-за такого строения волокна пришлось поработать над снижением затухания сигнала при сохранении стандартного внешнего диаметра оптоволокна на уровне 125 мкм. Кроме того, потребовалась минимизация перекрёстных помех между сердцевинами. Для этого используется сверхчистый синтетический кварц и некоторые другие технические решения. За выпуск волокна отвечает японская Sumitomo. Каждая из сердцевин будет передавать трафик только в одном направлении, от Франции к США или от США к Франции. Для передачи данных используются C- и L-диапазоны.

Источник изображения: Meta✴

Также компания разработала систему передовых усилителей-ретрансляторов. Обычно для маршрута длиной 7 тыс. км требуется порядка 100 модулей. Используемые в Petal ретрансляторы имеют по 96 усилителей. Сигнал из каждой сердцевины выводится и усиливается по отдельности, после чего снова «зашивается» в волокно. При этом ретрансляторы совместимы с существующими подсистемами питания на 18 кВ. Генеральным подрядчиком выбрана NEC, а за вывод кабеля на берег во Франции отвечает Orange.

Источник изображения: Sumitomo Electric

Meta✴ утверждает, что 1 Пбит/с хватит на то, чтобы около ¾ населения мира могли одновременно слушать музыку в стриминговых аудиосервисах. Подчёркивается, что при этом новые решения с высокой пропускной способностью позволяют сократить расход материалов и углеродный след, связанный с прокладкой системы — если сравнить его со строительством двух по 500 Тбит/с.

Источник изображения: Meta✴

Meta✴ не единственная, запустившая проект крупного масштаба в последнее время. На днях объявлено, что компания EXA Infrastructure взялась за прокладку подводного кабеля протяжённостью 6552 км, соединяющего Нью-Джерси (США) и Брин (Великобритания). Кабель EXA Meridian представляет собой систему из 24 оптоволоконных пар общей пропускной способностью около 500 Тбит/с. Её должны ввести в эксплуатацию в IV квартале 2029 года.

Компания Unigen анонсировала SSD серий Cheetah Storage Class Memory (SCM) и Cheetah High Capacity (HC). Устройства первого семейства рассчитаны на ИИ-нагрузки, которым требуются минимальные задержки при доступе к данным, второго — на хранение обширных массивов информации, например, при обучении больших языковых моделей (LLM).

Изделия Cheetah SCM будут предлагаться в исполнениях E1.L, E3.S, E1.S и U.2. Применяются чипы флеш-памяти pSLC/eTLC NAND, а для подключения служит интерфейс PCIe 5.0 x4 (NVMe 2.0). Вместимость составляет 1,6 и 3,2 Тбайт. Скорость последовательного чтения достигает 14 700 Мбайт/с, скорость последовательной записи — 11 100 Мбайт/с. Величина IOPS (операций ввода/вывода в секунду) при произвольном чтении блоками по 4 Кбайт — до 3,37 млн, при произвольной записи — до 1,01 млн. Накопители выдерживают до 60 полных перезаписей в сутки (показатель DWPD) при произвольных нагрузках и до 80 перезаписей при последовательны операциях.

Источник изображений: Unigen

В свою очередь, устройства Cheetah HC доступны в форм-факторах E1.L и U.2. Предусмотрены модификации с чипами флеш-памяти QLC NAND и TLC NAND. Задействован интерфейс PCIe 5.0 x4 (NVMe 2.0). В серию входят варианты ёмкостью 16, 32, 64 и 128 Тбайт. Скорость последовательного чтения составляет до 14,17 Гбайт/с, скорость последовательной записи — до 2,355 Гбайт/с. Показатель IOPS — до 836 тыс. при произвольном чтении и до 36,8 тыс. при произвольной записи. Значение DWPD при произвольных нагрузках находится на отметке 0,3, при последовательных — 1,8.

Все накопители имеют 16 каналов NAND и поддерживают интерфейс DDR5. Средняя наработка на отказ (MTTF) указана на уровне 2 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C. Реализованы средства безопасности TCG Opal и Secure Boot, сквозная защита данных (End-to-End Data Protection), а также функция защиты от потери питания (Power Loss Protection). Массовое производство новых SSD уже началось.

Компания Meta✴ и южнокорейский стартап Panmnesia, специализирующийся на разработке интерконнекта для ИИ-инфраструктур, представили архитектуру ИИ ЦОД нового поколения, в которой весь дата-центр функционирует как единый чип. Описание архитектуры опубликовано в журнале Nature Reviews Electrical Engineering (NREE), входящем в портфолио издательства Nature.

В исследовании отмечено, что в современных дата-центрах ускорители внутри одной стойки могут взаимодействовать через высокоскоростные интерфейсы для вертикального масштабирования (scale-up), тогда как трафик, выходящий за пределы стойки, обычно опирается на более медленные сети с горизонтальным масштабированием (scale-out), такие как Ethernet или InfiniBand.

Источник изображений: Panmnesia

Компании отметили, что для эффективной работы ИИ ЦОД необходимы контроль и координация как внутри стоек с GPU, памятью и СХД, так и между ними. В масштабной ИИ-инфраструктуре снижение вариативности задержек (джиттера) между устройствами — чтобы весь ЦОД функционировал предсказуемо — имеет такое же значение, как и повышение производительности отдельных устройств или скорости каналов связи.

Meta✴ и Panmnesia предлагают взять за основу стандарт CXL, дополнив его новыми возможностями по объединению нескольких стоек с GPU для минимизации колебаний задержки при передаче данных за пределы каждой отдельной стойки. Конечная цель — создать дата-центр, работающий столь же предсказуемо, как отдельный чип.

В этой схеме расширенный CXL обеспечивает когерентность кеш-памяти между стойками ускорителей, поддерживая большее количество устройств по сравнению со стоечными решениями NVIDIA уровня GB200 NVL72 (на базе NVLink) и UALink. Для минимизации и ограничения вариативности задержек предлагается использовать три специализированных аппаратных компонента: неблокирующий коммутатор с высокой плотностью портов, блок ускорения передачи данных и контроллер сетевой фабрики.

Неблокирующий коммутатор с большим количеством портов (high-fan-out) обеспечивает одновременное подключение множества устройств, сокращая количество переходов (hop) и выравнивая длину путей прохождения сигнала независимо от источника. Блок ускорения передачи (Link Acceleration Unit, LAU) переносит повторяющиеся операции обработки протокола в каждой точке соединения на специализированный аппаратный конвейер, обеспечивая стабильность системы на уровне отдельных этапов передачи и ограничивая колебания задержки.

Контроллер фабрики (Fabric Controller) применяет единую политику упорядочивания запросов во всей системе, обеспечивая согласованную обработку транзакций через все устройства. Для преодоления физических ограничений дальности передачи электрических сигналов рассматривается использование оптических каналов связи (CXL-over-optics) для увеличения радиуса действия фабрики CXL. Консорциум PCI-SIG уже работает над оптической версией PCIe, да и первые чипы тоже уже были анонсированы.

По словам Panmnesia, комбинированный контроллер фабрики CXL/PCIe и блок LAU уже прошли проверку работоспособности на кремниевых чипах; также изготовлен коммутатор фабрики, и начаты поставки предсерийных образцов.

Архитектура решения предусматривает группировку CPU, ускорителей, памяти и коммутаторов по функциональному признаку в модули (узлы), объединение модулей в группы (поды) и объединение подов посредством коммутационной фабрики. Такая упорядоченная иерархия призвана обеспечить стабильные пути передачи данных с фиксированным количеством сетевых переходов и предсказуемыми временными характеристиками.

По сравнению с NVIDIA GB200 NVL72 данная схема:

• увеличивает в 8 раз количество ускорителей, непосредственно управляемых одним CPU (с 2 до 16);
• позволяет объединить до 960 ускорителей для совместной работы в рамках единого домена когерентности;
• сокращает задержку доступа к данным с микросекундного уровня до нескольких сотен наносекунд (примерно на порядок);
• повышает отказоустойчивость, поскольку при сбоя замене подлежит не весь сервер, а лишь отдельное устройство.

«Объединение устройств такого масштаба в единую среду выполнения позволит обучать гораздо более крупные ИИ-модели без прерывания процесса или одновременно запускать несколько сервисов на общей инфраструктуре, исключая взаимное замедление их работы», — отметили компании. При этом платформы с PCIe/CXL-интерконнектом уровня стойки уже есть — например, Liqid UltraStack.

Meta✴ представила MetaRoCE — новый транспортный RDMA-протокол на базе обычного Ethernet, созданный для крупных ИИ-кластеров. Компания разместила спецификации MetaRoCE, эталонную программную реализацию и набор тестов на соответствие требованиям (Compliance Test Suite, CTS) в рамках OCP, предоставив возможность его внедрения всем желающим. В Meta✴ настаивают на том, что Ethernet должен быть предпочтительной инфраструктурой для ИИ, продемонстрировав, что её реализация RoCE может обеспечивать распределённое обучение ИИ в масштабе, объединяя миллионы GPU.

Компания отметила, что в ходе инференса низкая задержка коммуникации между распределёнными сегментами модели напрямую влияет на время отклика для сотен миллионов пользователей. Даже небольшие сетевые помехи ограничивают вычислительную мощность. Протокол RoCE (RDMA over Converged Ethernet) предполагает, что сеть будет доставлять каждый пакет в определённом порядке, используя PFC и препятствуя распылению пакетов, обеспечивая производительность в многоплоскостных и крупномасштабных сетях. При использовании MetaRoCE в строгом выполнении очерёдности передачи данных нет необходимости. Главная задача — обеспечение высокой пропускной способности, низкой задержки в конце очереди распределения и простоты эксплуатации по мере роста сети при увеличении количества ускорителей и расстояний между ними.

Источник изображений: engineering.fb.com

Как указано в блоге Meta✴, суть MetaRoCE проста: сетевая фабрика видит пакеты, а сетевая карта (NIC) — намерения. Традиционные архитектуры ориентированы на «ум» фабрики, полагаясь на коммутаторы для обеспечения отсутствия потерь и поддержания порядка. Перенося интеллектуальные функции на конечную точку, MetaRoCE декомпозирует сеть на множество детализированных (мелкозернистых) логических путей, каждый из которых имеет свою собственную телеметрию в реальном времени — время приёма-передачи данных для каждого пути (Per-path RTT), состояние ECN и загрузку. Такая прозрачность открывает возможности, которые трудно достичь с помощью традиционного RDMA.

MetaRoCE распределяет пакеты по множеству путей, поэтому они поступают не в том порядке, в каком были отправлены. Транспортный уровень рассматривает неупорядоченное поступление как обычный случай. Каждый пакет имеет свой адрес назначения, а данные записываются непосредственно в конечную область памяти по мере их поступления, без буфера переупорядочивания и блокировок. При этом MetaRoCE всегда рассматривает Ethernet-фабрику как систему с потерями и не требует от неё иного поведения. Прикладной уровень практически не затрагивается — существующие RDMA-«глаголы» и программные стеки работают без изменений, а дополнительные функции поддерживаются с помощью расширений стандартных API.

MetaRoCE предоставляет каждому соединению несколько путей и распределяет по ним пакет за пакетом. Каждый путь имеет свой уникальный исходный UDP-порт в качестве энтропии ECMP, который сетевая карта может изменить в любой момент, чтобы перенаправить трафик с неподходящего маршрута. Выбор пути пакета полностью зависит от NIC, так что и эффективность работы всей фабрики зависит от NIC. Оценка каждого пути позволяет явно отличить перегрузку и от сбоя, и сделать перебалансировку, избавившись от плохо работающего пути без обрыва соединение целиком и с возможностью переотправки ровно того пакета, который потерялся из-за сбоя или перегрузки.

MetaRoCE сочетает в себе традиционный ECN-контроль перегрузки с AIMD у отправителя с обратной связью со стороны получателя, который при каждом ACK уведомляет отправителя о выделенной ему доле из общей доступной получателю полосы. MetaRoCE запрашивает у фабрики олько две функции, которые уже есть в каждом коммутаторе: ECN и ECMP. Протокол Meta✴ не требует обрезки пакетов, внутрисетевой телеметрии, управления потоком на основе кредитов или распыления пакетов на стороне коммутатора, но и наличие этих функций не мешает работе протокола. MetaRoCE совместим практически с любыми топологиями, в том числе с сегментами в облачных системах, конфигурацию которых нельзя контролировать. В протоколе нет проприетарных компонентов, поэтому фабрика может свободно оптимизироваться с точки зрения стоимости и кабельной разводки.

Очередь отправки и очередь приёма (Queue Pair, QP) отвечают как за упорядоченный поток сообщений, так и за пропускную способность. Традиционный RDMA получает больше того или другого путём открытия большего количества QP (по несколько десятков на каждую пару узлов), не знающих ничего ни о друг друге в плане перегрузки, ни об их состоянии в NIC. MetaRoCE использует одно соединение для множества независимых упорядоченных потоков (в т.ч. по одному на каждую коллективную операцию), использующее множественные пути под управлением одного контроллера перегрузки.

Чтобы ускорить проверку аппаратного обеспечения, Meta✴ совместно с AMD реализовала MetaRoCE на DPU Pensando. На 64-узловом кластере GPU AMD, работающем под управлением RCCL, компании напрямую сравнили MetaRoCE с RoCEv2 при выполнении коллективных операций All-Reduce и All-to-All.

Результаты, как утверждает Meta✴, соответствуют поставленным целям:

• MetaRoCE стабильно обеспечивал более высокую пропускную способность и меньшее время завершения потока по сравнению с RoCEv2.
• При потере пакетов, когда пропускная способность RoCEv2 снижается, MetaRoCE сохраняет около 86 % пропускной способности при потере 1 % пакетов и продолжает обеспечивать полезную пропускную способность даже при экстремальной потере 10 % пакетов, плавно снижаясь, а не коллапсируя.
• Multiplane-топология с 4 и 8 независимым физическими подключениями к коммутаторам для каждого NIC с поддержкой до 4000 одновременных подключений подтвердила, что пропускная способность линейно зависит от количества плоскостей.
• При имитации сбоев на отдельных физических подключениях в сценарии выше протокол демонстрирует плавное автономное восстановление — трафик перераспределяется без участия приложения или вмешательства оператора.

Эти результаты подтверждают правильность выбора, сделанного при разработке MetaRoCE, отметила Meta✴. Благодаря тому, что протокол с самого начала разрабатывался с учётом возможных потерь пакетов, а интеллектуальные функции вынесены на периферию, он обеспечивает более высокую производительность в идеальных условиях и плавно снижает нагрузку при сбоях. Компания подчеркнула, что протокол MetaRoCE является открытым, его спецификации добавлены в OCP, и любой поставщик может с их помощью создать и реализовать совместимое оборудование. Впрочем, во многом похожий протокол MRC (Multipath Reliable Connection) также передан в OCP, да и Ultra Ethernet тоже решает схожие задачи.

Meta✴ тестирует роботов, способных менять в дата-центрах кабели, перезагружать серверы и выполнять другие задачи. В перспективе такие решения помогут компании обслуживать растущую сеть дата-центров с меньшим количеством сотрудников-людей и сокращать затраты на персонал на фоне быстрого роста расходов на ИИ-инфраструктуру, сообщает Wired.

Источники сообщают, что компания использует роботов и вспомогательное оборудование компаний Watney Robotics, Kinova и ABB. Так, в рамках одного из испытаний Meta✴ проверяет, можно ли использовать роборуку Kinova Gen3 для отключения и последующего восстановления электропитания для серверов. А если использование робота для замены кабелей увенчается успехом, с помощью роботов можно будет выполнять до 80 % обязанностей некоторых сотрудников. На некоторых объектах внедряется совсем уж простой робот, способный нажимать кнопку питания на Mac Mini или другом устройстве, удалённо перезапуская его.

В самой Meta✴ испытания не комментируют, но ранее компания подтверждала, что активно инвестирует в обучение и найм сотрудников для своих ЦОД, поскольку квалифицированных кадров не хватает. Ежегодно компания бесплатно обучает тысячи человек с любыми навыками электротехническим, механическим и сантехническим специальностям, а также гарантирует трудоустройство в штатах Луизиана, Огайо, Индиана и Техас тем, кто успешно завершит обучение, заодно сотрудничая со строительными профсоюзами.

Источник изображения: Jochen van Wylick/unsplash.com

Впрочем, на одной из конференций по робототехнике в 2025 году представитель компании заявлял, что её долгосрочная цель — использовать в ЦОД роботов, которые смогут ускорить реагирование на инциденты, контролировать окружающую среду и обеспечат профилактическое обслуживание. До недавних пор роботы не подходили для сложных задач в ЦОД. Машины были не просто дороги, но в ходе даже повреждали серверы, пытаясь выполнить простейшие задачи. Тем не менее, оборудование подешевело, а эффективность управляющих роботами ИИ-моделей выросла. Над созданием коммерческих вариантов роботов, способных собирать серверы, заменять компоненты и менять кабели работают многие стартапы.

Роботы способны обеспечить большую стабильность при меньших затратах в сравнении с людьми, особенно в регионах, где населения и ценных кадров мало, а ЦОД только растут. В отдалённой перспективе отказ от человеческого персонала позволит активнее размещать дата-центры под водой, в космосе и иных средах, непригодных для постоянного нахождения живых существ: при высоких температурах, в темноте и др.

Вместе с тем меняется и сама инфраструктура. Стойки NVIDIA становятся всё более интегрированными, требуя гораздо меньшей ручной работы при сборке, установке и эксплуатации. SoftBank предложила бескабельные стойки, которые могут обслуживать машины. Одна из основных проблем автоматизации — это действительно работа с кабелями. В 2023 году Meta✴ и MIT разработали роборуки TopoOpt для переключения кабелей оптических патч-панелей. Microsoft пошла по иному пути, дав роботу отдельный манипулятор для переключения трансиверов.

Источник изображения: Nick Fewings/unsplash.com

В 2023 году Meta✴ говорила уже о роботах-тягачах для перемещения укомплектованных стоек в пределах ЦОД, а также колёсных роботов, сканирующих штрих-коды для отслеживания запасов комплектующих и др. — они уже используются в ЦОД в Айове и Вирджинии. Причём робота-«завхоза» научили искать и некоторые неисправности. Отзывы в целом хорошие, хотя такой робот довольно медлительный, не всегда успешно проходит повороты и движется по кабелям, оказывающимся на пути. Кроме того, роботов мало, а для их перемещениями между зданиями требуется человек, открывающий двери и удалённо управляющий роботом. По некоторым данным, сотрудники Meta✴ жаловались на то, что роботы часто «бездельничали», тратя время на заряд АКБ.

Комплекс ЦОД в Алтуне (Altoona, Пенсильвания) часто используется для тестирования прототипов новых технологических решений. Успешные варианты переносятся в другие ЦОД. С прошлого июня Meta✴ испытывает там пару двуруких роботов Watney для работы с кабелями. Пока машины контролируются людьми и не способны работать так же быстро, как человек, но перспективы имеются. В 2023 году Watney продемонстрировала робота, умеющего складывать бельё, а в начале 2025 года переключилась на разработку роботов для ЦОД. Также Meta✴ испытывает роботов в Нью-Олбани (New Albany, Огайо), в новейшем ЦОД Prometheus. Четырёхколёсные роботы ABB, оснащённые специальным подъёмным механизмом и шестикоординатной роборукой используются для установки комплектующих, а в будущем смогут выполнять и другие задачи. В распоряжении Meta✴ есть и роботы покрупнее — компания использует на строительстве кампуса Hyperion десяток 65-тонных машин для забивания свай.

Пока активисты и НКО обращают мало внимания на проблему замены людей роботами, хотя стоило бы. Часто строители дата-центров называют создание рабочих мест одним из преимуществ реализации подобных проектов и используют соответствующий довод для обоснования получения налоговых льгот. При этом чиновники на местах часто оправдывают соответствующие сделки именно тем, что рабочие места Meta✴, в частности, «повышают престиж» населённых пунктов, но в реальности жители чаще несут прямые потери.

Консорциум NVM Express объявил об обновлении всех 11 спецификаций NVMe, добавив такие улучшения, как поддержка постквантовой криптографии, виртуализация SSD и миграция в реальном времени для лучшей поддержки виртуализированных сред. Согласно пресс-релизу, эти обновления представляют собой следующий шаг в эволюции технологии NVMe, с расширениями в области безопасности, управления и устойчивости для удовлетворения растущих потребностей ресурсоёмких приложений в средах ИИ, облачных вычислений, корпоративных и клиентских средах.

Как известно, протокол NVMe (Non-volatile memory express) перешёл на ежегодный цикл выпуска. Майк Эллисон (Mike Allison), старший директор компании Samsung и член совета директоров NVM Express, сообщил ресурсу EE Times, что обновление объединяет результаты работы за год по существующим спецификациям, а не вводит совершенно новые.

Обновлённые спецификации включают базовую спецификацию NVMe 2.4, спецификации наборов команд (NVM Command Set 1.3, ZNS Command Set 1.5, Key Value Command Set 1.4, Subsystem Local Memory Command Set 1.3, Computational Programs Command Set 1.3), спецификации транспортного уровня (NVMe over PCIe Transport 1.4, NVMe over RDMA Transport 1.3, NVMe over TCP Transport 1.3), спецификации интерфейса управления NVMe-MI (NVM Express Management Interface 2.2) и загрузки NVMe Boot 1.4.

Источник изображения: NVM Express

«Последние спецификации NVMe вводят фундаментальные средства обеспечения безопасности в постквантовую эпоху, одновременно упрощая управление устройствами и повышая устойчивость, обеспечивая перспективность хранилищ NVMe в корпоративных, облачных, ИИ и клиентских средах», — заявила Амбер Хаффман (Amber Huffman), президент NVM Express.

Это первая версия NVMe, в которой одобренные NIST постквантовые криптографические алгоритмы встроены непосредственно в канал передачи данных между хостом и SSD. В документе также формализуется шифрование Key-Per-I/O (KPIO), безопасность передачи данных TLS 1.3 для сетевых хранилищ и новая архитектура виртуализации, позволяющая локальным PCIe SSD участвовать в миграции ВМ в режиме реального времени без вмешательства гипервизора — предоставляя корпоративным покупателям хранилищ стандартизированную цель для включения в спецификации закупок до наступления сроков соблюдения федеральных требований, которые начнут действовать через 149 дней, пишет ресурс Techtimes.

Наиболее значимым обновлением ресурс The Register назвал возможность миграции NVM-подсистемы, экспортируемой через PCIe, что расширяет существующую виртуализацию NVMe на локально подключаемые PCIe SSD. Это достигается путём абстрагирования физических дисков в виртуализированные NVM-подсистемы, определяемые хостом, что позволяет перемещать виртуальные машины без переконфигурации хранилища. «Благодаря миграции подсистем NVM, твердотельные накопители NVMe могут предоставлять экспортированные подсистемы NVM, скрывающие сложность базового оборудования», — говорит Майк Эллисон (Mike Allison), старший директор компании Samsung и член совета директоров NVM Express. «Вместо взаимодействия с физическими контроллерами и пространствами имен, хост видит только экспортированные контроллеры и пространства имен. Это создает чёткое разделение между тем, что видит ВМ, и тем, что происходит “под капотом”», — пояснил он.

Источник изображения: NVM Express

Также появилось ограничение производительности. Эта функция направлена на оптимизацию производительности хранилища за счёт QoS на стороне контроллера, что позволяет устанавливает ограничения на пропускную способность и IOPS непосредственно на NVMe-накопителях. QoS на аппаратном уровне обеспечивает стабильную производительность приложений, защищает от конфликтов ресурсов и повышает эффективность в многопользовательских средах. Функция добавляет новые элементы управления для распределения полосы пропускания PCIe и IOPS между несколькими контроллерами, совместно использующими этот транспорт. Эллисон отметил, что ранее NVMe не имел возможности определять, какой контроллер получит какую часть пропускной способности PCIe и IOPS.

Дополнительные улучшения NVMe в управлении включают адресацию подсистемы на хосте, отчёты об объёме памяти блока высвобождения, отчёты о состоянии NVMe-MI и переработанную архитектуру NVMe-MI, которая уменьшает избыточные структуры данных и потребление памяти. В релизе также добавлена поддержка нового форм-фактора EDSFF E2 и улучшено поведение управления посредством I2C.

Также был добавлен мониторинг напряжения (Voltage Monitoring), обеспечивающий более полную информацию о состоянии устройств NVMe благодаря встроенной телеметрии, позволяя выявлять аномалии до того, как они повлияют на производительность или надёжность. Также появилась функция восстановления подсистемы NVMe до заводских настроек по умолчанию, которая упрощает сброс и конфигурирование устройства хостами. Кроме того, были внесены улучшения в функциональность блокировки. Если ранее настройки блокировки терялись после выключения и включения питания, то теперь они сохраняются после перезагрузки. Также были добавлены отдельные элементы управления блокировкой для виртуализированных сред.

Корпорация IBM анонсировала систему Storage DS8000 Release 10.2 — обновлённую версию флагманской платформы хранения данных, разработанной специально для мейнфреймов IBM Z и IBM LinuxONE. В этой СХД применяются новейшие фирменные накопители — устройства FlashCore Module пятого поколения (FCM5).

Источник изображений: IBM

SSD семейства FCM5, заключённые в усовершенствованный корпус High-Performance Flash Enclosure (HPFE) Gen 3 E3, выполнены в форм-факторе EDSFF. Говорится об улучшенной циркуляции воздуха и интеграции с системой AEM (Active Energy Management) для мониторинга энергопотребления и охлаждения в реальном времени.

Накопители выполнены на чипах флеш-памяти QLC NAND с pSLC-кешированием. Задействован интерфейс PCIe 4.0 (NVMe). Скорости чтения/записи и показатель IOPS не раскрываются. «Сырая» ёмкость составляет до 76,8 Тбайт, эффективная доступная ёмкость — до 134 Тбайт. Впрочем, FCM5 включает аппаратные ускорителя сжатия (до 3:1) и шифрования (с поддержкой постквантового шифрования), ИИ-детектор программ-шифровальщиков и механизм глубокой телеметрии, а также — впервые в семействе — аппаратную фоновую дедупликацию. Накопитель оснащён FGPA Xilinx с четырьмя Arm-ядрами.

В состав IBM Storage DS8000 Release 10.2 интегрирована телеметрия IBM Storage Insights: мониторинг состояния, а также показатели производительности системы хранения и сетей SAN совмещены в единый интерфейс. При развёртывании на мэйнфреймах доступна расширенная статистика производительности zHyperLink. Упомянуты развитые средства обнаружения угроз. Так, например, система Copy Services Manager (CSM) при обнаружении аномальной активности запускает автоматический сценарий для изоляции затронутых сред и защиты данных.

Клиенты также могут повысить уровень кибербезопасности благодаря сервисам IBM Z Cyber ​​Vault и IBM Expert Labs Cyber ​​Vault. Первый предназначен для защиты от программ-вымогателей, вредоносного ПО и повреждения данных, тогда как второй предусматривает привлечение экспертов IBM для проектирования, развёртывания, настройки и тестирования СХД в инфраструктуре заказчика.