Французская корпорация Schneider Electric, по сообщению ресурса Datacenter Dynamics, совместно с NVIDIA разрабатывает эталонную архитектуру охлаждения для дата-центров, рассчитанных на решение ИИ-задач. Речь, в частности, идёт о ЦОД с суперускорителями GB200 NVL72 (Blackwell).

О том, что Schneider Electric и NVIDIA объединили усилия с целью оптимизации инфраструктуры ЦОД, стало известно в марте нынешнего года. Тогда говорилось, что стороны создадут первые в своём роде общедоступные эталонные проекты дата-центров, призванные переопределить стандарты развёртывания и эксплуатации ИИ.

Как теперь стало известно, эталонный дизайн охлаждения Schneider Electric предусматривает применение специализированных блоков распределения охлаждающей жидкости (CDU), а также решений прямого жидкостного охлаждения Direct-To-Chip (DTC). Говорится, что такие системы обеспечат возможность охлаждения стоек с вычислительным оборудованием суммарной мощностью до 132 кВт. Финансовые условия сотрудничества не раскрываются.

Источник изображения: Schneider Electric

В октябре нынешнего года Schneider Electric приобрела контрольный пакет акций компании Motivair Corporation, которая специализируется на системах жидкостного охлаждения для HPC- и ИИ-платформ. Не исключено, что изделия Motivair будут применяться в составе эталонных СЖО для серверов на базе Blackwell.

Апарна Прабхакар (Aparna Prabhakar), старший вице-президент подразделения электропитания Schneider, сообщила, что компания совместно с NVIDIA работает над несколькими вариантами систем охлаждения, которые можно масштабировать в зависимости от количества установленных серверов и потребляемой ими энергии. Это, как ожидается, поможет в развёртывании дата-центров нового поколения, ориентированных на ресурсоёмкие ИИ-вычисления.

Заместитель министра Ирана по науке, технологиям и экономике, основанной на знаниях, Хоссейн Афшин (Hossein Afshin), по сообщению Iran Press, анонсировал ряд инициатив, направленных на развитие ИИ. Речь, в частности, идёт о создании первого в стране дата-центра с серверами, оборудованными ускорителями на базе GPU.

Подробности о проекте не раскрываются, а поэтому не ясно, на какой аппаратной платформе будет построен ЦОД. Иран находится под рядом санкций со стороны США, поэтому закупка современных ИИ-ускорителей для страны может быть затруднена. В частности, NVIDIA ранее сообщила о планах американских властей по введению более жёстких ограничений на поставки изделий A100 и H100, предназначенные для «некоторых стран Ближнего Востока».

Как отмечает DataCentre Dynamics, Иран достаточно продолжительное время занимается неофициальным ввозом IT-оборудования в страну как для государственных нужд, так и для майнинга криптовалют. Например, три года назад Иран публично объявил о запуске суперкомпьютера Simurgh.

Источник изображения: unsplash.com / Tyler

Так или иначе, Иран намерен развивать направление ИИ. По словам Афшина, в стране будет создана операционная система для ИИ-задач: прототип этой платформы, как ожидается, появится в течение полугода. Кроме того, разрабатываются помощники на основе ИИ, которые будут предоставлять данные в режиме реального времени и аналитику для президента, вице-президентов и министров. Эти проекты реализуются в сотрудничестве с местными университетами.

Афшин также подчеркнул, что Ирану необходимо улучшить сбор и управление данными. Кроме того, в стране создаётся локальное производство микросхем в рамках национального проекта «Саханд» (Sahand National Project).

Компания «Ростелеком» в связи со сформировавшейся рыночной обстановкой потеряла интерес к первичному публичному размещению акций (IPO) своей дочерней структуры «РТК-ЦОД». Об этом, как сообщает «Интерфакс», заявил заместитель президента ПАО «Ростелеком». «РТК-ЦОД» управляет 22 дата-центрами. Это крупнейшая геораспределённая сеть ЦОД с площадками по всей России. В общей сложности имеется более 20 тыс. стоек.

О том, что оператор дата-центров и провайдер облачных услуг «РТК-ЦОД» готовится к IPO, стало известно в мае нынешнего года. Тогда говорилось, что для «Ростелекома» это будет первый опыт выведения быстрорастущих направлений на биржу. Однако в прошлом месяце президент «Ростелекома» сообщил, что IPO — «перспектива не ближайшего времени». Причиной называется высокая ключевая ставка Банка России, которая составляет 21 %.

В августе нынешнего года состоялись первые встречи с инвесторами. На тот момент «РТК-ЦОД» оценивалась более чем в 200 млрд руб. Однако высокая ключевая ставка девальвировала эту оценку в два раза. «У нас ЦОД будет показывать по итогам следующего года выручку порядка 80 млрд руб. Естественно, при таком уровне выручки ценник вокруг 100–120 млрд руб. не является для нас интересным. Мы понимаем, что в долгосрочной перспективе этот актив будет стоить больше и будем ждать удобного окна для IPO», — пояснил заместитель президента ПАО «Ростелеком».

Источник изображения: unsplash.com / Lightsaber Collection

Отмечается, что «РТК-ЦОД» — это первый актив такого рода на российском рынке, а поэтому его фактически не с чем сравнивать. В результате, затрудняется проведение IPO, поскольку «нет других способов наращивания рыночной стоимости, кроме как проверка через математическую модель». Однако такая модель и ключевая ставка, как утверждается, «убивают инвестиционную привлекательность» «РТК-ЦОД».

На днях Meta✴ объявила о намерении построить свой самый крупный дата-центр стоимостью $10 млрд в Луизиане (США). По данным Silicon Angle, объект станет крупнейшим дата-центром компании. Строительство кампуса Franklin Farm (Hyperion) начнётся уже в декабре и продлится до 2030 года. Инфраструктура, включая сетевое оборудование и серверы, будет изначально оптимизирована для ИИ-нагрузок. Общая площадь кампуса составит чуть более 900 га, площадь строений более 370 тыс. м2.

Власти Луизианы заявили, что постройка кампуса ЦОД обеспечит регион новыми технологическими возможностями. В Meta✴ объявили, что помимо создания рабочих мест компания инвестирует $200 млн и в совершенствование местной инфраструктуры, в т.ч. в дороги и системы водоснабжения. После запуска ЦОД стартует и программа грантов Community Action Grants для организации партнёрских связей с местными школами и организациями — кузницей будущих кадров для компании. В ходе строительства будет задействовано более 5 тыс. рабочих, а после окончания штат ЦОД составит около 500 человек.

Источник изображения: Meta✴

Как подметили в The Next Platform, рендер кампуса очень напоминает AMD EPYC. И это не случайность — вычислительные «чиплеты»-здания расположены вокруг центрального «IO-хаба». Современные ИИ-кластеры действительно состоят из отдельных т.н. «островов», внутри которых скорость обмена данными и связность гораздо выше, чем за их пределами. Здания справа вверху могут выполнять некие функции хранения данных. «Зелёные зоны» в окружении деревьев, вероятно — пруды для хранения воды для охлаждения.

Для своего кампуса Meta✴ пообещала использовать на 100 % «чистую» и возобновляемую энергию. Правда, обольщаться на этот счёт не стоит. Компания будет выкупать «зелёную» энергию где-то ещё, а вот сам 1,5-ГВт кампус будет запитан от строящейся поблизости газовой электростанции Entergy общей мощностью 2,2 ГВт. В отчёте об устойчивом развитии Meta✴ объявила, что в 2023 году располагала контрактами на 11,7 ГВт возобновляемой энергии для компенсации потребления своих ЦОД, 6,7 ГВт из которой приходилось на США. Общемировое энергопотребление Meta✴ превышает 12 ГВт, но компания намерена получить ещё 1–4 ГВт от АЭС к концу десятилетия.

Источник изображения: Meta✴

Также Meta✴ объявила, что намерена свести к минимуму потребление воды новым ЦОД. По данным NPR, средний дата-центр требует более 1135 м³ воды в день — столько же потребляют 1 тыс. домохозяйств США. В Meta✴ обещают, что проекты «восстановления» воды в Луизиане позволят получать в результате деятельности компании больше пресной воды, чем она будет тратить сама. Правда, куда будет деваться осадок после очистки вод дата-центра, пока не уточняется.

По предварительным оценкам, из $10 млрд инвестиций около половины придётся на ИИ-ускорители. При средней цене в районе $25 тыс. речь может идти о 200 тыс. ИИ-ускорителей. Если же Meta✴ задействуют ускорители MTIA собственной разработки, которые вдвое дешевле сторонних, речь может идти уже о 400 тыс. На фоне планов xAI расширить ИИ-кластер Colossus со 100 тыс. ускорителей NVIDIA до 1 млн проект Franklin Farm смотрится скромно. Впрочем, как выяснилось, для обучения модели Llama-4 уже используются более 100 тыс. NVIDIA H100.

Входящая в группу МТС компания МТС Web Services (MWS) объявила о начале расширения собственного дата-центра GreenBushDC в Зеленограде. ЦОД получит ещё 650 стойко-мест, а энергетическая ёмкость объекта вырастет более чем вдвое, сообщает пресс-служба компании.

GreenBushDC ввели в эксплуатацию в 2018 году, он рассчитан на общую проектную мощность 19 МВт. Размещение оборудования предусмотрено в трёх независимых модулях, площадь которых составит 5220 м². Пока в эксплуатацию ввели лишь первый модуль с отказоустойчивостью уровня Tier III.

Завершение работ по масштабированию дата-центра намечено на лето 2025 года. Новые стойки отведут под облачную инфраструктуру МТС Web Services, на основе которой клиенты получают доступ к облачным услугам МТС. Будут предложены PaaS- и SaaS-решения.

Источник изображения: MWS

Компания неуклонно расширяет существующие ЦОД и строит новые объекты с учётом роста потребностей в облачной инфраструктуре, говорится в пресс-релизе. По завершении проекта строительства обновлённый GreenBushDC будет оснащён 1250 стойками, а когда заполнятся и они — компания расширит дата-центр ещё на 30 %.

В компании заявляют, что система географически распределённых сетей дата-центров MWS — одна из крупнейших в России, она используется для предоставления как облачных, так и телеком-сервисов МТС. Всего МТС управляет 15 дата-центрами, пять из которых находятся в Московском регионе. В конце сентября уже сообщалось, что МТС инвестирует 20 млрд рублей в расширение облачной инфраструктуры ЦОД.

Компания NVIDIA сообщила о намерении открыть свой первый центр исследований и разработок во Вьетнаме: основным направлением деятельности площадки станут проекты, связанные с ИИ. Кроме того, NVIDIA примет участие в строительстве дата-центров во Вьетнаме, также ориентированных на задачи ИИ.

В рамках нового проекта NVIDIA сотрудничает с вьетнамскими властями. Как отмечает Reuters, соглашение о формировании центра исследований и разработок подписано в присутствии генерального директора NVIDIA Дженсена Хуанга (Jensen Huang) и премьер-министра Вьетнама Фам Минь Тиня (Pham Minh Chinh). Финансовые условия договора не раскрываются.

Известно, что одним из основных направлений деятельности центра станет разработка специализированного софта. Кроме того, будут проводиться работы в области ИИ-платформ. Исследователи и стартапы смогут использовать инфраструктуру NVIDIA для создания ИИ-приложений для ключевых отраслей, включая здравоохранение, образование, транспорт и финансы.

Источник изображения: NVIDIA

Хуанг во время визита в Ханой год назад заявил, что компания намерена развивать партнёрские отношения с ведущими технологическими предприятиями Вьетнама и оказывать стране поддержку в подготовке специалистов в области ИИ и цифровой инфраструктуры. Кроме того, NVIDIA заключила сделку по приобретению стартапа в сфере здравоохранения VinBrain — подразделения вьетнамского конгломерата Vingroup. А вьетнамская технологическая компания FPT в апреле текущего года сообщила о намерении развернуть ИИ-фабрику стоимостью $200 млн с использованием аппаратного и программного обеспечения NVIDIA.

В целом, NVIDIA инвестирует средства в технологическую экосистему Вьетнама на протяжении восьми лет. Компания сотрудничает с более чем 100 вьетнамскими стартапами в области ИИ.

NVIDIA намерена сотрудничать с правительством Таиланда в деле создания инфраструктуры ИИ мирового класса. При этом вызывает вопрос способность Таиланда в полной мере использовать свои сильные стороны для формирования экосистемы ИИ ЦОД, сообщает DigiTimes.

3 декабря глава NVIDIA Дженсен Хуанг (Jensen Huang) встретился с премьер-министром Таиланда Пхэтхонгтхан Чиннават (Paetongtarn Shinawatra). Стороны пришли к соглашению об углублении взаимодействия в сфере ИИ-технологий. NVIDIA будет работать с правительством над созданием ИИ-инфраструктуры мирового уровня и предоставит талантливые кадры для поддержки таиландских инициатив в области ИИ. Кроме того, компания поддержит более 50 ИИ-стартапов и вложится в университетские программы обучения ИИ-специальностям.

Хуанг также посетил мероприятие первого облачного партнёра NVIDIA в Таиланде — Siam.AI Cloud. Его руководство имеет заметное политическое влияние в стране и родственные связи как с бывшим, так и с действующим премьер-министрами. Визит Хуанга рассматривается как весьма положительное для ИИ-сектора страны событие. Не исключается даже, что в перспективе она сможет конкурировать с Малайзией и Индонезией и сможет привлечь в индустрию ЦОД ещё больше инвестиций, в том числе на производство серверного оборудования. Сотрудничество с NVIDIA также должно поспособствовать более широкому внедрению ИИ в стране.

Источник изображения: Braden Jarvis/unsplash.com

Вместе с тем всё ещё есть некоторые трудности для развития ИИ-экосистемы: высокие налоги на импорт, немалые расходы на передачу данных и дорогая электроэнергия. Из-за этого страна может оказаться не особенно привлекательной для крупных ЦОД. Некоторые эксперты и вовсе уверены, что создание ЦОД не повлияет на местную промышленность и не поможет сократить расходы на местные облака. Инвестиции в дата-центры способны обеспечить рост ВВП Таиланда, но они же увеличат и потребление электричества. Исследователи считают, что Таиланд может получить выгоду от ИИ ЦОД, используя свои компетенции в области ПО и SaaS. Однако в стране не хватает талантливых кадров в сфере полупроводников, что не позволяет ей играть значимую роль в мировых цепочках поставок.

О возможном визите Хуанга в Бангкок сообщалось ещё в конце октября, но масштаб инвестиций значительно меньше объёмов вложений в страну со стороны AWS, Microsoft и Google. Так или иначе, страна активно ищет инвесторов для развития местной ИИ-экосистемы и полупроводниковой отрасли.

Российский универсальный оператор современных телекоммуникационных сервисов Net One объявил о старте строительства ЦОД мощностью 125 МВт на принадлежащей партнёру промышленной площадке в Тверской области площадью свыше 10 Га. Площадка расположена в непосредственной близости как к транспортным магистралям, так магистральным каналам операторов связи.

Проект будет реализован на базе собственной электрогенерации, подкреплённой контрактом на поставку трубопроводного природного газа, объём которого позволяет обеспечить электроэнергией ЦОД мощностью 125 МВт с не менее 10 000 серверных стоек уровней TIER III/TIER IV мощностью до 20 кВт на стойку.

Источник изображения: Net One

Реализация проекта пройдёт в несколько этапов. На первом этапе планируется ввод газовой и электрогенерирующей инфраструктуры номинальной мощностью 25 МВт, на строительство которой предусмотрено более 1,68 млрд руб., и строительство ЦОД на 2000 серверных стоек.

Согласно заявлению гендиректора Net One, приведенному в пресс-релизе, нехватка недорогих энергомощностей на фоне растущего энергопотребления действующих ЦОД гарантирует интерес к проекту как со стороны кэптивных заказчиков и инвесторов, так и стабильный спрос на открытом рынке.

Компания OpenAI намерена построить собственные дата-центры в США в рамках плана по привлечению к своим сервисам 1 млрд пользователей и дальнейшей коммерциализации своих технологий. По словам представителя OpenAI, компания намерена получить в своё распоряжение ЦОД как для обучения, так и для инференса, сообщает Financial Times.

По словам представителя компании, «чипы, данные и энергия» станут ключевыми факторами, которые помогу компании выиграть в гонке ИИ-технологий и создать AGI, потенциально соответствующий возможностям человеческого мозга или даже превосходящий его.

OpenAI намерена построить кластеры ЦОД на Среднем Западе и юго-востоке США. Подробности пока не разглашаются, но подтверждается, что строительство дата-центров является частью стратегии коммерциализации ИИ-технологий компании. В своё время OpenAI была основана как некоммерческая организация, но теперь переходит к более традиционной для бизнеса корпоративной структуре. Как сообщает Financial Times, компания наняла своего первого главу по финансам и продуктам и теперь якобы рассматривает возможности интеграции рекламы в свои решения.

Источник изображения: Caspar Camille Rubin/unsplash.com

Что касается действующей цифровой инфраструктуры OpenAI, которая ранее в этом году привлекла ещё $6,6 млрд, в основном полагается на дата-центры Microsoft Azure — именно Microsoft вложила в стартап миллиарды долларов. Недавно компания начала посматривать и на других облачных провайдеров, а в июне анонсировала партнёрство с Oracle, в рамках которого Oracle Cloud Infrastructure будет задействована для обучения ИИ-моделей (правда, тоже при посредничестве Microsoft). Запросы компании превышают мощности, которые способна предоставить ей Microsoft.

Не так давно OpenAI пыталась убедить правительство США в необходимости создания 5-ГВт дата-центров, способных вместить сразу 2 млн ускорителей. Компания заявила, что это уже вопрос национальной безопасности, и даже подготовила целый ряд рекомендаций.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.