На днях Meta✴ объявила о намерении построить свой самый крупный дата-центр стоимостью $10 млрд в Луизиане (США). По данным Silicon Angle, объект станет крупнейшим дата-центром компании. Строительство кампуса Franklin Farm начнётся уже в декабре и продлится до 2030 года. Инфраструктура, включая сетевое оборудование и серверы, будет изначально оптимизирована для ИИ-нагрузок. Общая площадь кампуса составит чуть более 900 га, площадь строений более 370 тыс. м².

Власти Луизианы заявили, что постройка кампуса ЦОД обеспечит регион новыми технологическими возможностями. В Meta✴ объявили, что помимо создания рабочих мест компания инвестирует $200 млн и в совершенствование местной инфраструктуры, в т.ч. в дороги и системы водоснабжения. После запуска ЦОД стартует и программа грантов Community Action Grants для организации партнёрских связей с местными школами и организациями — кузницей будущих кадров для компании. В ходе строительства будет задействовано более 5 тыс. рабочих, а после окончания штат ЦОД составит около 500 человек.

Источник изображения: Meta✴

Как подметили в The Next Platform, рендер кампуса очень напоминает AMD EPYC. И это не случайность — вычислительные «чиплеты»-здания расположены вокруг центрального «IO-хаба». Современные ИИ-кластеры действительно состоят из отдельных т.н. «островов», внутри которых скорость обмена данными и связность гораздо выше, чем за их пределами. Здания справа вверху могут выполнять некие функции хранения данных. «Зелёные зоны» в окружении деревьев, вероятно — пруды для хранения воды для охлаждения.

Для своего кампуса Meta✴ пообещала использовать на 100 % «чистую» и возобновляемую энергию. Правда, обольщаться на этот счёт не стоит. Компания будет выкупать «зелёную» энергию где-то ещё, а вот сам 1,5-ГВт кампус будет запитан от строящейся поблизости газовой электростанции Entergy общей мощностью 2,2 ГВт. В отчёте об устойчивом развитии Meta✴ объявила, что в 2023 году располагала контрактами на 11,7 ГВт возобновляемой энергии для компенсации потребления своих ЦОД, 6,7 ГВт из которой приходилось на США. Общемировое энергопотребление Meta✴ превышает 12 ГВт, но компания намерена получить ещё 1–4 ГВт от АЭС к концу десятилетия.

Источник изображения: Meta✴

Также Meta✴ объявила, что намерена свести к минимуму потребление воды новым ЦОД. По данным NPR, средний дата-центр требует более 1135 м³ воды в день — столько же потребляют 1 тыс. домохозяйств США. В Meta✴ обещают, что проекты «восстановления» воды в Луизиане позволят получать в результате деятельности компании больше пресной воды, чем она будет тратить сама. Правда, куда будет деваться осадок после очистки вод дата-центра, пока не уточняется.

По предварительным оценкам, из $10 млрд инвестиций около половины придётся на ИИ-ускорители. При средней цене в районе $25 тыс. речь может идти о 200 тыс. ИИ-ускорителей. Если же Meta✴ задействуют ускорители MTIA собственной разработки, которые вдвое дешевле сторонних, речь может идти уже о 400 тыс. На фоне планов xAI расширить ИИ-кластер Colossus со 100 тыс. ускорителей NVIDIA до 1 млн проект Franklin Farm смотрится скромно. Впрочем, как выяснилось, для обучения модели Llama-4 уже используются более 100 тыс. NVIDIA H100.

Входящая в группу МТС компания МТС Web Services (MWS) объявила о начале расширения собственного дата-центра GreenBushDC в Зеленограде. ЦОД получит ещё 650 стойко-мест, а энергетическая ёмкость объекта вырастет более чем вдвое, сообщает пресс-служба компании.

GreenBushDC ввели в эксплуатацию в 2018 году, он рассчитан на общую проектную мощность 19 МВт. Размещение оборудования предусмотрено в трёх независимых модулях, площадь которых составит 5220 м². Пока в эксплуатацию ввели лишь первый модуль с отказоустойчивостью уровня Tier III.

Завершение работ по масштабированию дата-центра намечено на лето 2025 года. Новые стойки отведут под облачную инфраструктуру МТС Web Services, на основе которой клиенты получают доступ к облачным услугам МТС. Будут предложены PaaS- и SaaS-решения.

Источник изображения: MWS

Компания неуклонно расширяет существующие ЦОД и строит новые объекты с учётом роста потребностей в облачной инфраструктуре, говорится в пресс-релизе. По завершении проекта строительства обновлённый GreenBushDC будет оснащён 1250 стойками, а когда заполнятся и они — компания расширит дата-центр ещё на 30 %.

В компании заявляют, что система географически распределённых сетей дата-центров MWS — одна из крупнейших в России, она используется для предоставления как облачных, так и телеком-сервисов МТС. Всего МТС управляет 15 дата-центрами, пять из которых находятся в Московском регионе. В конце сентября уже сообщалось, что МТС инвестирует 20 млрд рублей в расширение облачной инфраструктуры ЦОД.

Компания NVIDIA сообщила о намерении открыть свой первый центр исследований и разработок во Вьетнаме: основным направлением деятельности площадки станут проекты, связанные с ИИ. Кроме того, NVIDIA примет участие в строительстве дата-центров во Вьетнаме, также ориентированных на задачи ИИ.

В рамках нового проекта NVIDIA сотрудничает с вьетнамскими властями. Как отмечает Reuters, соглашение о формировании центра исследований и разработок подписано в присутствии генерального директора NVIDIA Дженсена Хуанга (Jensen Huang) и премьер-министра Вьетнама Фам Минь Тиня (Pham Minh Chinh). Финансовые условия договора не раскрываются.

Известно, что одним из основных направлений деятельности центра станет разработка специализированного софта. Кроме того, будут проводиться работы в области ИИ-платформ. Исследователи и стартапы смогут использовать инфраструктуру NVIDIA для создания ИИ-приложений для ключевых отраслей, включая здравоохранение, образование, транспорт и финансы.

Источник изображения: NVIDIA

Хуанг во время визита в Ханой год назад заявил, что компания намерена развивать партнёрские отношения с ведущими технологическими предприятиями Вьетнама и оказывать стране поддержку в подготовке специалистов в области ИИ и цифровой инфраструктуры. Кроме того, NVIDIA заключила сделку по приобретению стартапа в сфере здравоохранения VinBrain — подразделения вьетнамского конгломерата Vingroup. А вьетнамская технологическая компания FPT в апреле текущего года сообщила о намерении развернуть ИИ-фабрику стоимостью $200 млн с использованием аппаратного и программного обеспечения NVIDIA.

В целом, NVIDIA инвестирует средства в технологическую экосистему Вьетнама на протяжении восьми лет. Компания сотрудничает с более чем 100 вьетнамскими стартапами в области ИИ.

NVIDIA намерена сотрудничать с правительством Таиланда в деле создания инфраструктуры ИИ мирового класса. При этом вызывает вопрос способность Таиланда в полной мере использовать свои сильные стороны для формирования экосистемы ИИ ЦОД, сообщает DigiTimes.

3 декабря глава NVIDIA Дженсен Хуанг (Jensen Huang) встретился с премьер-министром Таиланда Пхэтхонгтхан Чиннават (Paetongtarn Shinawatra). Стороны пришли к соглашению об углублении взаимодействия в сфере ИИ-технологий. NVIDIA будет работать с правительством над созданием ИИ-инфраструктуры мирового уровня и предоставит талантливые кадры для поддержки таиландских инициатив в области ИИ. Кроме того, компания поддержит более 50 ИИ-стартапов и вложится в университетские программы обучения ИИ-специальностям.

Хуанг также посетил мероприятие первого облачного партнёра NVIDIA в Таиланде — Siam.AI Cloud. Его руководство имеет заметное политическое влияние в стране и родственные связи как с бывшим, так и с действующим премьер-министрами. Визит Хуанга рассматривается как весьма положительное для ИИ-сектора страны событие. Не исключается даже, что в перспективе она сможет конкурировать с Малайзией и Индонезией и сможет привлечь в индустрию ЦОД ещё больше инвестиций, в том числе на производство серверного оборудования. Сотрудничество с NVIDIA также должно поспособствовать более широкому внедрению ИИ в стране.

Источник изображения: Braden Jarvis/unsplash.com

Вместе с тем всё ещё есть некоторые трудности для развития ИИ-экосистемы: высокие налоги на импорт, немалые расходы на передачу данных и дорогая электроэнергия. Из-за этого страна может оказаться не особенно привлекательной для крупных ЦОД. Некоторые эксперты и вовсе уверены, что создание ЦОД не повлияет на местную промышленность и не поможет сократить расходы на местные облака. Инвестиции в дата-центры способны обеспечить рост ВВП Таиланда, но они же увеличат и потребление электричества. Исследователи считают, что Таиланд может получить выгоду от ИИ ЦОД, используя свои компетенции в области ПО и SaaS. Однако в стране не хватает талантливых кадров в сфере полупроводников, что не позволяет ей играть значимую роль в мировых цепочках поставок.

О возможном визите Хуанга в Бангкок сообщалось ещё в конце октября, но масштаб инвестиций значительно меньше объёмов вложений в страну со стороны AWS, Microsoft и Google. Так или иначе, страна активно ищет инвесторов для развития местной ИИ-экосистемы и полупроводниковой отрасли.

Российский универсальный оператор современных телекоммуникационных сервисов Net One объявил о старте строительства ЦОД мощностью 125 МВт на принадлежащей партнёру промышленной площадке в Тверской области площадью свыше 10 Га. Площадка расположена в непосредственной близости как к транспортным магистралям, так магистральным каналам операторов связи.

Проект будет реализован на базе собственной электрогенерации, подкреплённой контрактом на поставку трубопроводного природного газа, объём которого позволяет обеспечить электроэнергией ЦОД мощностью 125 МВт с не менее 10 000 серверных стоек уровней TIER III/TIER IV мощностью до 20 кВт на стойку.

Источник изображения: Net One

Реализация проекта пройдёт в несколько этапов. На первом этапе планируется ввод газовой и электрогенерирующей инфраструктуры номинальной мощностью 25 МВт, на строительство которой предусмотрено более 1,68 млрд руб., и строительство ЦОД на 2000 серверных стоек.

Согласно заявлению гендиректора Net One, приведенному в пресс-релизе, нехватка недорогих энергомощностей на фоне растущего энергопотребления действующих ЦОД гарантирует интерес к проекту как со стороны кэптивных заказчиков и инвесторов, так и стабильный спрос на открытом рынке.

Компания OpenAI намерена построить собственные дата-центры в США в рамках плана по привлечению к своим сервисам 1 млрд пользователей и дальнейшей коммерциализации своих технологий. По словам представителя OpenAI, компания намерена получить в своё распоряжение ЦОД как для обучения, так и для инференса, сообщает Financial Times.

По словам представителя компании, «чипы, данные и энергия» станут ключевыми факторами, которые помогу компании выиграть в гонке ИИ-технологий и создать AGI, потенциально соответствующий возможностям человеческого мозга или даже превосходящий его.

OpenAI намерена построить кластеры ЦОД на Среднем Западе и юго-востоке США. Подробности пока не разглашаются, но подтверждается, что строительство дата-центров является частью стратегии коммерциализации ИИ-технологий компании. В своё время OpenAI была основана как некоммерческая организация, но теперь переходит к более традиционной для бизнеса корпоративной структуре. Как сообщает Financial Times, компания наняла своего первого главу по финансам и продуктам и теперь якобы рассматривает возможности интеграции рекламы в свои решения.

Источник изображения: Caspar Camille Rubin/unsplash.com

Что касается действующей цифровой инфраструктуры OpenAI, которая ранее в этом году привлекла ещё $6,6 млрд, в основном полагается на дата-центры Microsoft Azure — именно Microsoft вложила в стартап миллиарды долларов. Недавно компания начала посматривать и на других облачных провайдеров, а в июне анонсировала партнёрство с Oracle, в рамках которого Oracle Cloud Infrastructure будет задействована для обучения ИИ-моделей (правда, тоже при посредничестве Microsoft). Запросы компании превышают мощности, которые способна предоставить ей Microsoft.

Не так давно OpenAI пыталась убедить правительство США в необходимости создания 5-ГВт дата-центров, способных вместить сразу 2 млн ускорителей. Компания заявила, что это уже вопрос национальной безопасности, и даже подготовила целый ряд рекомендаций.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.

Из-за прорыва трубы системы охлаждения в серверной объединённого центра космических операций NASA при Стэнфордском университете (JSOC) вышло из строя оборудование, использовавшееся для обработки данных об активности Солнца, поступающих от обсерватории солнечной динамики (SDO), а также с космического зонда IRIS. Об этом сообщил ресурс Space.

Из-за сильного затопления был нанесён значительный ущерб лаборатории, где размещаются серверы, «обрабатывающие и распределяющие данные с инструментов Helioseismic and Magnetic Imager (HMI) и Atmospheric Imaging Array (AIA), а также с космического аппарата IRIS», сообщили члены команды JSOC, добавив, что ремонт продлится до 2025 года.

Источник изображения: Gabe / Unsplash

Учёные также отметили, что обработка научных данных, поступающих с HMI, AIA и IRIS, будет отложена на продолжительное время, как и доступ к архивным данным в JSOC. SDO в целом ежемесячно предоставляет около 42 Тбайт данных. Хотя данные с SDO продолжат поступать, их пока нельзя обрабатывать в режиме реального времени, что негативно отразится на возможности оценки солнечной погоды. Сообщается, что до восстановления оборудования JSOC данные с прибора HMI будут храниться в Нью-Мексико.

SDO, запущенная на орбиту в 2010 году, позволяет вести наблюдения за Солнцем, уделяя особое внимание его магнитному полю, циклам активности и влиянию на Солнечную систему, и помогает учёным лучше понять, как солнечная активность влияет на жизнь на Земле. HMI и AIA — два из трёх научных инструментов SDO. Как сообщается, данный инцидент не отразился на обработке данных, собираемых третьим инструментом, Extreme Ultraviolet Variability Experiment (EVE).

Компания Marvell Technology, занимающаяся полупроводниковыми инфраструктурными решениями, объявила о расширении стратегического партнёрства с Amazon Web Services (AWS). Стороны заключили соглашение сроком на пять лет, включающее сотрудничество в работе над несколькими продуктами AWS, а также использование облачной инфраструктуры техногиганта, сообщает пресс-служба Marvell.

Соглашение касается широкого спектра решений Marvell, предназначенных для дата-центров. В том числе речь идёт о поставке кастомизированных ИИ-чипов для AWS, оптических и электрических DSP, PCIe-ретаймеров, оптических сетевых решениях, чипсетов для коммутаторов и др. Компетенции Marvell позволят AWS усовершенствовать собственные продукты, сетевое оборудование и СХД, добившись большей эффективности и снижения стоимости эксплуатации.

Источник изображения: LinkedIn Sales Solutions/unsplash.com

Для автоматизации проектирования электроники (EDA) в Marvell приняли подход cloud first, разработка ведётся с использованием облака AWS, где компании доступны практически неограниченные вычислительные ресурсы. В Marvell уже заявили, что решения AWS EDA помогут компании быстро, гибко и безопасно масштабировать проектирование полупроводников с лучшим в своём классе временем выхода на рынок. Сотрудничество играет на руку и AWS — продукты Marvell активно используются в инфраструктуре Amazon.

Развитие энергоёмких ИИ-систем кардинально меняет структуру ЦОД в Европе. Если когда-то Ирландия была «сердцем» IT-индустрии континента, то теперь страна может потерять свои преимущества. Дело в том, что энергетическая инфраструктура страны и ЦОД гиперскейл-уровня с трудом поспевают за ростом спроса на ИИ-технологии — это ставит под угрозу её положение «общеевропейского ЦОД», сообщает eWeek.

Ирландия давно стала ключевым игроком на рынке дата-центров, а Дублин — локацией с высокой концентрацией ЦОД гиперскейлеров. По информации Synergy Research Group, в этом отношении ирландская столица занимает третье место после Северной Вирджинии и Лондона.

Amazon, Microsoft и Google используют масштабные сети ЦОД для своих облачных сервисов. Но из-за роста спроса на электричество в связи с развитием ИИ энергосистема страны работает на пределе возможностей. Не так давно сообщалось, что ирландские ЦОД увеличили энергопотребление на 473 % за восемь лет.

Эксперты предполагают, что потребности ИИ в электричестве вырастут вдвое уже к 2026 году, что окажет огромное давление на энергосистему Ирландии. Недостаток модернизированных сетей в стране побудил местного сетевого оператора EirGrid ввести мораторий на новые заявки для подключения ЦОД с ноября 2021 года.

Источник изображения: Datacenters.com

Уже сейчас на дата-центры приходится 21 % энергопотребления в Ирландии, впервые по этому показателю они обошли городские домохозяйства. Местные регуляторы предупреждают о дефиците энергии и увеличении потребительских расходов на неё из-за высокой скорости роста спроса — он растёт быстрее, чем развивается инфраструктура.

Пока в Ирландии ищут выход из сложившегося положения, другие страны Евросоюза способны использовать в своих интересах рост спроса на ЦОД. У Франции в резерве значительные мощности ядерной энергетики, а на севере Европе подходящий для ЦОД климат и немало источников возобновляемой энергии. По данным McKinsey, регионы с доступной низкоуглеродной энергетикой будут играть в индустрии ЦОД ключевую роль в ближайшие годы. Техногиганты стремятся минимизировать затраты и добиться нулевых показателей выбросов, многие из них уже нацелились на Северную Европу и Францию.

Следующие несколько лет станут решающими для Ирландии — станет понятно, способна ли страна модернизировать энергетическую инфраструктуру, чтобы сохранить доминирование в облачном бизнесе — или она уступит позиции другим европейским игрокам. IT-гиганты AWS, Google и Microsoft даже готовы прокладывать собственные линии электропередач в стране из-за нехватки государственных. Кроме того, Equinix и Microsoft тестируют в Ирландии генерацию экобезопасной энергии на местах, а Microsoft и вовсе разрешили построить собственную газовую электростанцию.