Sitronics Group намерена принять участие в разработке и продвижении единых стандартов для рынка модульных ЦОД. Об этом в ходе конференции Data Fusion заявил директор профильного департамента компании Игорь Анисимов, призвав участников отрасли присоединиться к инициативе.

В России сектор ЦОД развивается и адаптируется к новым нагрузкам, в первую очередь к ИИ. При этом возрастает нагрузка на энергетическую инфраструктуру, что потенциально может спровоцировать дефицит. По словам Анисимова, участникам рынка следует заняться решением таких вопросов, как рост плотности энергопотребления, а также стандартизация строительства и эксплуатации дата-центров, ориентированных на ИИ-нагрузки. При этом необходимо сохранить рентабельность бизнеса с учётом технологических требований для развёртывания ЦОД. Модульные дата-центры позволяют заказчикам в сжатые сроки создавать платформы для ИИ, получив мощности в аренду или же масштабировав собственные посредством типовых модулей.

«Сегодня нет единого стандарта для центров обработки данных с ИИ-нагрузкой, который позволил бы снизить капитальные затраты за счёт уменьшения затрат на разработку уникальных решений для каждого ЦОД. Стандартизация позволит проработать совместимость инфраструктуры ЦОД с системами ИИ. Мы намерены активно участвовать в этом процессе, особенно в части разработки стандартов для модульных ЦОД, которые, на наш взгляд, обладают большим потенциалом для эффективного размещения систем искусственного интеллекта», — говорит Анисимов.

Источник изображения: Sitronics Group

По его словам, при развёртывании дата-центров для ИИ прежде всего требуется бесперебойное электроснабжение и эффективное охлаждение. Сама Sitronics Group ведёт разработки в соответствующих областях: в частности, компания занимается созданием системы фрикулинга с экономайзерами. Кроме того, при стандартизации ЦОД необходимо определить форм-фактор серверов (стандартный или OCP), оптимальную температуру теплоносителя на входе в стойку и на уровне процессора, изучить вопросы совмещения зон для стандартных и ИИ-вычислений в рамках одного объекта, рассчитать мощности инженерных систем и пр.

На рынке появляется всё больше модульных решений для ЦОД, позволяющих ускорить их ввод в эксплуатацию. Так, Vertiv представила комплексное решение SmartRun, которое объединяет шину распределения питания, сеть трубопроводов жидкостного охлаждения, систему изоляции «горячего коридора» и сетевую инфраструктуру, сообщает The Register.

По словам Vertiv, SmartRun предлагает на 85 % более быстрое развёртывание благодаря быстровозводимой модульной конструкции, готовой к работе в формате plug-and-play, и установке всех компонентов за один подход. Сложность разводки минимизируется за счёт размещения труб и кабелей над «горячим коридором». Впрочем, пока никаких дополнительных деталей Vertiv не приводит.

Модульными системами как таковыми сейчас никого не удивить, у самой Vertiv уже есть такие решения. Однако когда разговор заходит о заранее изготовленных на заводе системах, то нередко речь идёт о полностью готовых микро-ЦОД, упакованных в контейнеры со всем необходимым. Подобные решения есть опять-таки у самой Vertiv, Schneider Electric, EcoBlox, Armada, Danfoss, GreenMDC и множества других вендоров. Нечто похожее на SmartRun предлагает Nautilus.

Источник изображений: Vertiv

Не так давно новую модульную инфрастурктуру ЦОД для Digital Realty реализовала Schneider Electric — 10-МВт ЦОД HER1 в Ираклионе (Крит, Греция) был построен за 12 месяцев. Он имеет два зала по 19 стоек и работает на 100 % возобновляемой энергии. Schneider Electric предоставила два энергомодуля с MV/LV трансформаторами, ИБП и модуль воздушного охлаждения, а также оснастила два зала электропитанием и охлаждением. Все системы управляются платформой EcoStruxure.

Источник изображений: Vertiv

По расчётам Omdia, мировые продажи предварительно собранных модульных ЦОД обеспечат $10,8 млрд выручки в 2028 году. Основные преимущества — скорость сборки, предварительное тестирование и низкая стоимость строительства. Хотя в Европе, по данным Schneider Electric, всё ещё доминирует традиционное строительство ЦОД, модульные решения становятся всё популярнее — если оператор строит ЦОД с нуля, то экономия может составить до 30 %, а сроки запуска сократятся.

Synergy Research Group считает, что модульная, заранее подготовленная инфраструктура, вероятно, останется относительно малой частью рынка, поскольку её невозможно масштабировать каким-либо разумным образом. По данным экспертов IDC, перспективы подобных технологий также вызывают вопросы. В компании тоже говорят, что строить и быстро вводить в эксплуатацию такие решения легко, а вот масштабировать — довольно сложно. Другими словами, доля таких ЦОД составит менее 10 % и ситуация вряд ли изменится в обозримом будущем.

Консорциум японских компаний и финансовых институтов намерен построить прибрежный плавучий дата-центр. Демонстрационный проект планируется разместить в море недалеко от Иокогамы, сообщает Datacenter Dynamics. В числе участников консорциума — транспортная компания NYK Line (Nippon Yusen), архитектурный бизнес NTT Facilities, девелопер проектов возобновляемой энергии Eurus Energy Holdings, MUFG Bank, а также власти города Иокогама.

По имеющимся данным проект будет использовать плавучую платформу 25 × 80 м, пришвартованную у пирса Osanbashi Pier в порту Иокогамы. На платформу будут установлены контейнерные ЦОД, аккумуляторные энергохранилища и солнечные элементы питания, которые и будут отвечать за энергоснабжение дата-центра. Также рассматривается использование морских ветрогенераторов.

Демонстрационный проект должен помочь оценить целесообразность строительства плавучих ЦОД, полностью снабжающихся электричеством за счёт возобновляемой энергии. Строительство должно начаться осенью 2025 года. В зависимости от результатов, партнёры рассмотрят его дальнейшее расширение близ порта Иокогамы и в морских зонах.

Источник изображения: муниципалитет Иокогамы

NTT Facilities построит дата-центр, Eurus будет проводить технический контроль, MUFG обеспечит финансовую поддержку, а NYK Line будет управлять проектом в целом. Энергетическая ёмкость дата-центра пока не раскрывается. Дополнительная информация имеется на портале Иокогамы.

Источник изображения: Муниципалитет Иокогамы

Плавучие ЦОД уже пробовали использовать многие компании по всему миру. Пионером в данной сфере стала американская Nautilus, имеющая два плавучих ЦОД: в Стоктоне (Stockton, Калифорния) и Лимерике (Limerick, Ирландия). В прошлом ноябре Nautilus выставила дата-центр в Стоктоне на продажу за $45 млн. Объект обеспечивает 6,5 МВт критической IT-нагрузки, а площадь четырёх помещений для работы с данными составляет 1858 м².

В октябре 2024 года французский стартап Denv-R ввёл в эксплуатацию соответствующий объект в Нанте, питание осуществляется за счёт солнечных панелей, покрывающих его поверхность. Кампус плавучих ЦОД планирует построить компания Keppel в Сингапуре, нечто подобное в обозримом будущем намерены организовать и в России.

Ecoblox, занимающаяся разработкой модульных дата-центров подписала соглашение с разработчиком чипов Tenstorrent о расширении сотрудничества на Ближнем Востоке и в Африке. Компании намерены работать вместе, чтобы обеспечить вычислительные мощности в регионах с растущим спросом, сообщает Datacenter Dynamics.

Основанная в 2016 году Tenstorrent создаёт «масштабируемые» ИИ-ускорители для облачных и edge-вычислений, способные конкурировать с моделями NVIDIA. Ecoblox, в свою очередь, проектирует, строит и обслуживает модульные ЦОД для ИИ и HPC.

Сотрудничество позволит изменить индустрию ЦОД в глобальном масштабе, сообщает пресс-служба Ecoblox. В компании отмечают, что основным драйвером инвестиций в соответствующую экосистему является стремление обеспечить клиентам быстрый и экономически эффективный доступ к новейшим суперкомпьютерам. Предполагается, что партнёрство с Tenstorrent не только укрепит экосистему, но и сделает компании более привлекательными для клиентов, желающих проектировать и строить ЦОД для ИИ и HPC.

Источник изображения: Ecoblox

В Tenstorrent заявили, что по достоинству оценили опыт Ecoblox в проектировании и строительстве ЦОД указанного профиля и рассчитывают, что присоединение к её экосистеме ускорит рост бизнеса партнёров на Ближнем Востоке и в Африке. Совместно партнёры смогут ускорить внедрение ИИ-технологий следующего поколения.

Штаб-квартира Ecoblox находится в Дубае (ОАЭ). Компания предлагает как традиционные, так и модульные дата-центры в 20′/40′ контейнерах, а также специализированные модульные ЦОД, рассчитанные на высокоплотные рабочие нагрузки. Они поддерживают ускорители NVIDIA и AMD, а также модели Tenstorrent.

В июле 2024 года компания SingularityNet, поставляющая решения для децентрализованной ИИ-инфраструктуры на основе блокчейна, объявила, что намерена использовать модульные ЦОД Ecoblox для расширения спектра своих услуг. В декабре 2024 года Tenstorrent завершила раунд финансирования серии D, в результате компанию оценили более чем в $2,6 млрд. Компания привлекла $693 млн, в числе инвесторов — Bezos Expeditions основателя Amazon Джеффа Безоса (Jeff Bezos), Samsung Securities и AFW Partners.

Разработчик и производитель модульных дата-центров — российская компания ДАТАРК заключила стратегическое соглашение с Noventiq Belarus. Один из ключевых поставщиков решений для цифровой трансформации и информационной безопасности поможет внедрению нового продукта в Беларуси, сообщает пресс-служба ДАТАРК. В компании заявляют, что сотрудничество даёт предприятиям страны возможность быстро создавать надёжную IT-инфраструктуру.

Вместе с Noventiq компания предложит надёжные модульные ЦОД DATARK, разработанные с учётом локальных и нормативных требований, а также опыта инженеров Noventiq Belarus. В самой Noventiq уверены, что предлагаемые решения заинтересуют многие организации страны — они нуждаются в быстром развёртывании IT-инфраструктуры и минимизации затрат на строительство дата-центров.

Источник изображения: ДАТАРК

В Noventiq заявили, что уже активно продвигают решение и отметили заинтересованность со стороны заказчиков. Сейчас «в проработке» числятся несколько проектов по строительству модульных ЦОД, причём в ближайшее время их количество будет расти. За 10 лет работы ДАТАРК, по данным самой компании, реализовала 110 проектов для всех климатических зон на территории России, обеспечивая не только надёжные технологии строительства, но и круглосуточную сервисную поддержку в течение всего жизненного цикла проектов.

Французский строитель и оператор модульных дата-центров Eclairion привлёк €50 млн ($52 млн) и заявил о готовности разместить на своей территории новый обучающий кластер ИИ-лаборатории Mistral AI, сообщает пресс-служба компании. Eclairion получила деньги от существующего инвестора Tikehau Capital, ранее уже вложившего в компанию €110 млн ($115,2 млн) в ноябре 2023 года. В общей сложности фонд вложил во французскую компанию €160 млн ($167,7 млн).

Заработавшая в прошлом году и принадлежащая High Performance Capital (HPC Group) компания Eclairion владеет площадкой (4 га) в коммуне Брюйер-ле-Шатель (Bruyères-le-Châtel) в департаменте Эсон (Essonne) близ Парижа. IT-ёмкость кампуса составит не менее 40 МВт, а сам ЦОД формируется из отдельных контейнеров, что позволяет гибко подбирать инфраструктуру и сокращает срок развёртывания до 3–6 мес. Обещана поддержка стоек мощностью от 30 до 200 кВт и возможность задействовать воздушное и жидкостное (прямое и иммерсионное) охлаждение. Также обещаны низкие показатели PUE и WUE.

Источник изображения: Eclairion

Инфраструктурой Eclairion при участии Fluidstack воспользуется Mistral AI, которая считается прямым конкурентом OpenAI и Anthropic. Пока неизвестно, сколько места найдётся для Mistral AI в ЦОД Eclairion и какое оборудование будет использоваться, хотя в качестве партнёров упоминаются NVIDIA и Dell.

Компании Aramco Digital, Armada и Microsoft объявили о заключении соглашения о сотрудничестве с целью развёртывания в Саудовской Аравии контейнерных дата-центров для периферийных вычислений. Платформа будет использоваться нефтяным гигантом Saudi Aramco для цифровой трансформации операций, вычислений в реальном времени и для внедрения автоматизации на основе ИИ.

Стартап Armada, базирующийся в Сан-Франциско (Калифорния, США), занимается разработкой решений для периферийных вычислений. Компания предлагает автономные контейнерные ЦОД-модули Galleon в стандартных 20′ и 40′ грузовых контейнерах, которые включают три и шесть стоек соответственно. Кроме того, стартап создал платформу управления устройствами и вычислениями на периферии, а также комплексную систему Commander Connect с терминалами Starlink для мониторинга и управления.

В рамках нового соглашения будет создана edge-платформа на базе модулей Galleon и компонентов Microsoft Azure. Речь идёт об использовании Azure IoT Operations для сбора данных, Azure Arc для управления ресурсами в Galleon и Azure Local для распределённой инфраструктуры. Система поддерживает безопасные высокопроизводительные вычисления непосредственно на периферии. То есть модули Galleon будут выступать в качестве распределённых облачных хабов для крупных дата-центров Aramco. Это позволит внедрять ИИ-приложения с небольшой задержкой, средства автоматизированного мониторинга безопасности и инструменты расширенной аналитики.

Источник изображения: Armada

На первом этапе платформу Armada планируется использовать с целью развёртывания решений в области безопасности на основе ИИ для строительных площадок и энергетических объектов Aramco. Используя компьютерное зрение и генеративный ИИ, система обеспечит предиктивный мониторинг и формирование отчетов в реальном времени. Для дальнейшего масштабирования проекта Armada откроет представительство в Саудовской Аравии, включающее региональную штаб-квартиру и центр поддержки. Кроме того, рассматривается возможность организации локального производства.

На сегодняшний день Armada привлекла в общей сложности более $100 млн. Инвесторами являются Microsoft, Founders Fund, Lux Capital, Shield Capital, 8090 Industries, Felicis, Contrary, Valor Equity Partners, Marlinspike, 137 Ventures, Koch Real Estate Investments и 8VC.

Стартап EdgeCloudLink (ECL), разрабатывающий автономные модульные ЦОД с питанием от водорода, возводимые методом 3D-печати, заявил о намерении построить за $8 млрд ИИ ЦОД TerraSite-TX1 ёмкостью 1 ГВт к востоку от Хьюстона (Техас). В перспективе кампус может вырасти и до 2 ГВт, но пока планируется к лету 2025 года ввести в эксплуатацию 50 МВт, что обойдётся в $450 млн. Первым клиентом станет оператор ИИ-облака Lambda Labs.

Источник изображений: EdgeCloudLink

К ЦОД будут вести три ветки газопровода, по которым и будет поставляться водород для питания кампуса. Как уточняет, DataCenter Dynamics, энергия будет обходиться в $0,08–$0,12/кВт·ч. В Lambda уверены, что новая «зелёная» инфраструктура обеспечит исследователей и разработчиков существенными вычислительными ресурсами, при этом проект позволяет снизить нагрузку ИИ-технологий на окружающую среду.

В компании неоднократно подчёркивали нулевой выброс своих ЦОД. Правда, это не касается всей цепочки поставок, поскольку новый ЦОД будет питаться от водорода, полученного методом паровой конверсии, который сопровождается выбросами углекислоты. Ожидается, что в 2025 году половина поставок будет приходиться именно на такой «серый» водород, а вторая половина — на «голубой», который тоже получается в результате паровой конверсии метана, но при этом CO₂ в процессе захватывается и сохраняется. Годом позже компания намерена перейти к соотношению 80/20 «голубого» и «зелёного» водорода, последний добывается с помощью возобновляемой энергии.

Как заявляют в ECL, пока другие говорят о создании водородных дата-центров без подключения к магистральным электросетям через 5–20 лет, только ECL готова реализовать проект в кратчайшие сроки, в том числе благодаря использованию 3D-печати для строительства объектов — на возведение, оснащение и ввод в эксплуатацию уходит менее одного года.

Первый модульный ЦОД компании ёмкостью 1 МВт был запущен в мае 2024 года на небольшой площадке в Маунтин-Вью (Калифорния). Теперь ECL ищет средства для финансирования всего $8-млрд проекта, а не только первого этапа. Ранее в этом году она уже привлекла несколько миллионов долларов инвестиций.

Alibaba Cloud представила на своей ежегодной конференции Apsara модульную архитектуру ЦОД под названием «CUBE DC 5.0», которая, по словам компании, поможет ей удовлетворить спрос на инфраструктуру ИИ за счёт повышения производительности и сокращения времени сборки новых объектов, пишет ресурс The Register.

Согласно заявлению Alibaba Cloud, архитектура CUBE DC 5.0 основана на использовании «готовых модульных конструкций» и «передовых фирменных технологий, таких как гибридная система охлаждения (wind-liquid, воздушно-жидкостная), архитектура распределения DC-питания постоянного тока». Не раскрывая подробности используемых технологий, Alibaba Cloud сообщила, что модульный подход сокращает время развёртывания ЦОД до 50 % по сравнению с традиционными методами строительства.

The Register попросил Alibaba объяснить работу «гибридной системы охлаждения wind-liquid». Предположительно, речь идёт о СЖО с охлаждающей пластиной — метод, при котором тонкие резервуары с охлаждённой жидкостью размещаются на оборудовании, а охлаждение достигается за счёт циркуляции жидкости и/или продувки воздуха по пластинам.

Источник изображений: Alibaba Cloud

Гендиректор Alibaba Cloud Intelligence Эдди Ву (Eddie Wu) заявил, что компания «вкладывает значительные средства в создание ИИ-инфраструктуры ИИ будущего». Компания анонсировала на конференции планировщик, который позволяет улучшить управление аппаратными ресурсами, повышая коэффициент использования до 90 %.

Также было представлено IaaS-предложение Enterprise Elastic Compute Service (ECS) девятого поколения, получившее улучшения для обработки приложений ИИ. В частности, были увеличены скорость работы механизма рекомендаций на 30 % и количество запросов на чтение/запись в базу данных в секунду на 17 %. Кроме того, Alibaba Cloud анонсировала ПО Open Lake, которая объединяет несколько крупных движков данных для использования их приложениями генеративного ИИ. Ещё одно новое предложение от китайской компании — DMS: OneMeta+OneOps, которое, по-видимому, объединяет и управляет метаданными из 40 различных источников данных.

Также Alibaba Cloud сообщила о выходе новых ИИ-моделей с открытым исходным кодом семейства Qwen 2.5 и новой ИИ-модели семейства Tongyi Wanxiang для преобразования текста в видео с поддержкой китайского и английского языков.

Юлихский исследовательский центр (Forschungszentrum Jülich) объявил о начале фактического создания модульного дата-центра для европейского экзафлопсного суперкомпьютера JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec.

В рамках партнёрства за создание модульного ЦОД отвечает Eviden. После завершения строительства комплекс, как ожидается, объединит около 125 стоек BullSequana XH3000. Общая площадь ЦОД составит примерно 2300 м². Он будет включать порядка 50 компактно расположенных контейнеров. Благодаря модульной конфигурации ускоряется монтаж систем, а также снижаются расходы на строительство объекта.

Суперкомпьютер JUPITER получит энергоэффективные высокопроизводительные европейские Arm-процессоры SiPearl Rhea. CPU-блок будет включать 1300 узлов и иметь производительность около 5 Пфлопс (FP64). Кроме того, в состав машины войдут порядка 6000 узлов с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Именно они и обеспечат FP64-производительность на уровне 1 Эфлопс. Узлы объединит интерконнект NVIDIA InfiniBand NDR (DragonFly+).

Источник изображений: Юлихский исследовательский центр

Хранилище системы будет включать два раздела: быстрый ExaFLASH и ёмкий ExaSTORE. ExaFLASH будет базироваться на сорока All-Flash СХД IBM Elastic Storage System 3500 с эффективной ёмкостью 21 Пбайт («сырая» 29 Пбайт), скоростью записи 2 Тбайт/с и скоростью чтения 3 Тбайт/с. ExaSTORE будет иметь «сырую» ёмкость 300 Пбайт, а для резервного копирования и архивов будет использоваться ленточная библиотека ёмкостью 700 Пбайт.

«Первые контейнеры для нового европейского экзафлопсного суперкомпьютера доставлены компанией Eviden и установлены на площадке ЦОД. Мы рады, что этот масштабный проект, возглавляемый EuroHPC, всё больше обретает форму», — говорится в сообщении Юлихского исследовательского центра.

Ожидаемое быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Стоимость системы оценивается в €273 млн, включая доставку, установку и обслуживание НРС-системы. Общий бюджет проекта составит около €500 млн, часть средств уйдёт на подготовку площадки, оплату электроэнергии и т.д.