Компания Panmnesia работает в области проектирования CXL-пулов DRAM довольно давно: в 2023 году она демонстрировала систему, оставляющую позади все решения на базе RDMA и обеспечивающую доступ к 6 Тбайт оперативной памяти. Но большие объёмы памяти сегодня, в эпоху всё более усложняющихся ИИ-моделей, нужны не только и не столько процессорам, сколько ускорителям, априори лишённым возможности апгрейда набортной RAM. На выставке CES 2025 компания продемонстрировала решение данной проблемы.

По мнению разработчиков Panmnesia, производительность при обучении масштабных ИИ-моделей упирается именно в объёмы набортной памяти ускорителей: вместо десятков гигабайт требуются уже терабайты, а установка дополнительных ускорителей может обходиться слишком дорого при том, что вычислительные мощности окажутся избыточными.

Источник здесь и далее: Panmnesia

Продемонстрированная на выставке CXL-система построена на базе новейшего контроллера Panmnesia с поддержкой CXL 3.1. В двунаправленном режиме латентность доступа составила менее 100 нс и находится примерно на уровне 80 нс.

Ключ к успеху здесь кроется в фирменной реализации CXL 3.1, включая программную часть, благодаря которой GPU могут обращаться к общему пулу памяти, используя те же инструкции типа load/store, что при доступе к набортной HBM или GDDR.

Однако технология требует наличия на борту GPU фирменного контроллера CXL Root Complex, одной из важнейших частей которого является декодер HDM, отвечающий за управление адресным пространством памяти (host physical address, HPA), так что уже выпущенные ускорители напрямую работать с системой Panmnesia не смогут.

Тем не менее, технология выглядит многообещающей. Она уже привлекла внимание со стороны компаний, занимающихся ИИ, как потенциально позволяющая снизить стоимость инфраструктуры ЦОД.

Уходящий президент США в последние дни своей работы подписал приказ, который разрешает строить дата-центры на федеральных землях. Кроме того, документ обеспечит поддержку «зелёной» энергетики, направленной на обеспечение новых объектов экологичной электроэнергией, сообщает Silicon Angle. Согласно новым правилам, Министерство энергетики (DoE) и Министерство обороны США (DoD) обяжут сдавать в аренду федеральные объекты девелоперам ИИ ЦОД. Часть объектов будут предназначены для малого бизнеса и стартапов.

Кроме того, участники соответствующих инициатив должны будут реализовать энергетические проекты, полностью удовлетворяющие потребности их ИИ ЦОД. Министерство внутренних дел США (занимается земельными вопросами) определить площадки в федеральной собственности, подходящие для объектов «чистой» энергетики. Также оно упростит процесс получения лицензий на использование геотермальной энергии. Собственную программу поддержки «чистой» энергии запускает и Министерство энергетики — помимо прочего, она будет сосредоточена на развитии и ядерных инициатив.

Примут участие и другие федеральные ведомства, которые выделят сотрудников для оперативной выдачи разрешений на проекты ИИ-инфраструктуры. Упростить процесс получения разрешений поможет инструмент «категорических исключений» из Национального закона об экологической политике США (National Environmental Policy Act). Он, в частности, позволяет ускорить процессы прохождения проверок проектам, которые не будут оказывать значительного воздействия на окружающую среду. Такие исключения будут искаться федеральными ведомствами намеренно.

Источник изображения: Eric Saunders/unsplash.com

Кроме строительства новых ЦОД и объектов «зелёной» энергетики, документ предусматривает и расширение сети линий электропередачи для питания ЦОД. Министерство энергетики поможет девелоперам с поиском финансирования, планированием и постройкой новых ЛЭП. Власти определят регионы, где для избежания перегрузок потребуются новые линии. Планируется сотрудничать с коммунальными службами, чтобы определить, каким именно образом необходимо совершенствовать энергетическую инфраструктуру. Поддержка будет оказана и производителям оборудования вроде трансформаторов. Министерства обороны, энергетики и торговли предварительно оценят возможности создания запасов такого оборудования, а также рассмотрят вопросы гарантий по кредитам.

По мнению экспертов консалтинговой NCC Group, больше всего выиграет от нового проекта NVIDIA. Впрочем, параллельный акт о запрете свободных поставок ИИ-оборудования в другие страны, негативно отразится на компании. Недавно эксперты компании JLL спрогнозировали в 2025 году стремительный рост мирового спроса на дата-центры, несмотря на ограничения поставок и дефицит энергии. По их прогнозам, в 2025 году в мире начнут строить ещё 10 ГВт, а проекты на 7 ГВт будут уже готовы.

Стоимость аренды места для размещения IT-оборудования в российских дата-центрах в 2024 году существенно увеличилась. Об этом сообщает газета «Коммерсантъ», ссылаясь на исследование компании iKS-Consulting и оператора ЦОД 3data.

Говорится, что в IV квартале прошлого года стоимость колокейшн-услуг в Москве и Подмосковье достигала в среднем 144,9 тыс. руб., что на 35 % больше по сравнению с последней четвертью 2023-го. В Санкт-Петербурге и Ленобласти цена составляла 91,4 тыс. руб. — это на 9 % больше в годовом исчислении. По оценкам iKS-Consulting, по итогам 2024 года в коммерческих дата-центрах РФ появится ещё 12 тыс. стойко-мест. Прирост будет ниже, чем в 2023 году, а общее количество стойко-мест составит 82,4 тыс. шт.

Глава 3data объясняет рост цен несколькими причинами. Это, в частности, сформировавшаяся экономическая ситуация, резкое повышение ключевой ставки ЦБ и волатильность курса валюты. Кроме того, ещё в начале 2024 года сообщалось, что в России спрос на услуги дата-центров превышает предложение. В РТК-ЦОД считают, что дефицит ресурсов всё ещё сохраняется. У большинства операторов мощности либо полностью исчерпаны, либо доступны единичные стойки, чего может быть недостаточно для крупных заказчиков.

Абсолютный прирост количества стойко-мест в ЦОД РФ (тыс. шт.) / Источник: iKS-Consulting

Вместе с тем в России наблюдается тенденция увеличение мощности серверных стоек. Глава 3data отмечает, что пять лет назад стандартный показатель составлял 5 кВт при фактическом потреблении 3,5–4 кВт. Сейчас значение варьируется от 6 до 20 кВт. Объясняется это в том числе активным развёртыванием ИИ-приложений.

Стоит также добавить, что в России строительство дата-центров приносит от 200 млрд до 250 млрд руб. в год. При этом создание ЦОД в регионах является одной из приоритетных задач национального проекта «Экономика данных».

Как свидетельствуют новые данные консалтинговой компании Synergy Research Group, после относительного затишья в 2024 году стоимость закрытых сделок, связанных со слияниями и поглощениями (M&A) ЦОД, стала рекордной, достигнув $73 млрд, сообщает пресс-служба компании.

До этого рекордным был 2022 год. Совокупная стоимость официально закрытых сделок превысила $52 млрд, в 2023 году был двухкратный спад до $26 млрд. Впрочем, даже в 2022 году такого уровня не удалось бы добиться без двух крупнейших сделок в данной сфере, объёмом от $11 млрд каждая. Другими словами, «обычные» сделки объёмом до $2 млрд обеспечили довольно скромную статистику и в 2022 году. В этой отношении пиковым был 2021 год.

Примечательно, что помимо уже закрытых сделок в 2024 году также имеются оформленные, но ещё не закрытые соглашения на сумму $29 млрд. Также возможны сделки ещё на $15 млрд — компании ищут финансирование или рассматривают доступные варианты. 2025 год тоже имеет все шансы стать рекордным для индустрии ЦОД.

Истчоник: Synergy Research

Всего с 2015 года Synergy Research зарегистрировала 1498 сделок слияния и поглощения на рынке ЦОД, общая стоимость составила $300 млрд. В основном речь идёт о покупке компаний целиком, но также были учтены миноритарные инвестиции в акционерный капитал и другие финансовые вложения вплоть до покупки отдельных дата-центров, земли для них и др. В 2021–2022 гг. были закрыты четыре сделки стоимостью от $10 млрд: покупка CyrusOne, Switch, CoreSite и QTS, входящих в Топ-15 колокейшн-провайдеров.

В 2024 году в Vantage Data Centers инвестировали в ходе двух сделок $9,2 млрд. Кроме того, компания дважды получила вливания в акционерный капитал в регионе EMEA на общую сумму $3,1 млрд. Также крупные вливания в 2024 году получили EdgeConneX и DataBank. При этом в последние годы на рынок буквально заполонили частные капиталовложения. Если в 2020 году на такие инвестиции пришлось лишь 54 % стоимости закрытых сделок, то в 2021 году их доля увеличилась до 65 %. С тех пор доля выросла до 80–90 % и держится на этом уровне.

В Synergy Research подчёркивают, что стремительный рост спроса на мощности ЦОД обусловлен развитием облачных сервисов, социальных сетей и всевозможных цифровых сервисов потребительского и корпоративного уровня. ИИ только усиливает и без того высокий спрос. Уточняется, что сами операторы ЦОД не могли или не хотели инвестировать собственные средства, тогда как частные инвесторы оказались готовыми вложиться в рост рынка.

UPD 29.01.2024: Synergy обновила доклад, посвящённый сделкам на рынке ЦОД в 2024 году. Если ранее сообщалось, что их общая сумма составляла $57 млрд, то уточнённые показатели свидетельствуют, что она оказалась выше на целых $16 млрд и составила $73 млрд. В докладе указывается, что добавилась сделка, которая должна была быть закрыта лишь в начале 2025 года, но закрылась в конце декабря. Речь идёт о покупке Blackstone компании AirTrunk, состоявшейся ещё в сентябре, но завершившейся лишь перед самым Новым годом.

Уран становится всё дороже. Рост спроса на ядерное топливо стимулирует развитие индустрии дата-центров для ИИ-вычислений, сообщает The Financial Times. По информации издания, цена обогащённого урана уже выросла до $190 за т.н. «единицу работы разделения» (Separative Work Unit, SWU). Для сравнения, три года назад речь шла лишь о $56 за SWU.

Цены выросли в связи с инициативами гиперскейлеров и крупных операторов ЦОД, начавших отдавать приоритет атомной энергетике в энергоснабжении. В 2024 году AWS и Microsoft подписали соглашения, предусматривавшие выкуп энергии у крупных АЭС, а Meta✴ заявила о готовности инвестировать в атомные проекты. Кроме того, Equinix, AWS и Google подписали контракты на питание ЦОД от SMR, хотя коммерческие варианты малых модульных реакторов вряд ли появятся раньше 2030 года.

Ограничения цепочки поставок оказывают дополнительное давление на цены. Как заявили аналитики Berenberg, 27 % импорта обогащённого урана, поставленного в США в 2023 году, приходилось на Россию. Цены выросли из-за санкций США, а также ответных мер России, в 2024 году запретившей экспорт ценного сырья для реакторов в Соединённые Штаты. В конце 2027 года срок действия американских льгот для импортёров истекает и энергосектору придётся искать новые предприятия, способные перерабатывать уран в специальные топливные «таблетки».

Источник изображения: Jonas Denil/unsplash.com

На Западе действующие предприятия по переработке урана имеются во Франции, США и Канаде. Тем не менее недостаток времени на строительство новых мощностей и необходимость значительных финансовых вливаний в отрасль может серьёзно повлиять на доступность ядерного топлива в краткосрочной перспективе. По словам представителя инвестиционной группы Ocean Wall, на Западе просто нет достаточных мощностей для его производства, именно поэтому цена изменилась и будет расти.

По словам аналитиков, сокращение предложения может привести к росту цен на немедленные поставки. В частности, казахстанская государственная структура Казатомпром, занимающаяся добычей и обработкой сырья, недавно сообщила, что производство пока на уровне ниже ожидавшегося. Кроме того, по словам представителей инвестора Yellow Cake, всё больше казахстанского урана будет поступать в Россию и Китай и всё меньше — на Запад. В среднесрочной перспективе не исключён кризис поставок.

Компания CoreWeave по-своему поддерживает инициативу правительства Великобритании по превращению стране в «ИИ-сверхдержаву». К работе в стране уже готовы два новых ИИ ЦОД, «доверху набитые» ускорителями NVIDIA. Правда, оснащены они не самым новым оборудованием, сообщает The Register.

Расположенные в Кроли (Crawley) неподалёку от Лондона и в лондонском районе Доклендс (Docklands) объекты развёрнуты на площадках Digital Realty и Global Switch соответственно. Изначально компания намеревалась потратить на британские ЦОД £1 млрд ($1,2 млрд), но затем увеличила сумму до £1,75 млрд ($2,1 млрд). В самой компании заверяют, что Великобритания является важным рынком — здесь находится её европейская штаб-квартира. Страна теперь входит в небольшой перечень государств, которые будут получать американские ИИ-технологии без ограничений.

Источник изображения: CoreWeave

Впрочем, есть и недостатки — ЦОД не получили новейшие ИИ-ускорители семейства NVIDIA Blackwell. CoreWeave остановилась на NVIDIA H200 и 400G-интерконнекте Quantum 2 InfiniBand. Сколько именно ускорителей разместили в Кроли и Доклендс, не сообщается. Ранее компания развёртывала кластеры из 10 тыс. и более ускорителей.

Усилия компании поддержали многомиллиардным потоком венчурные инвесторы и желающие обеспечить долговое финансирование на фоне бума ИИ. Сегодня CoreWeave управляет 28 ЦОД по всему миру и намерена ввести в эксплуатацию ещё 10 объектов до конца 2025 года. Тем временем британское правительство намерено реализовать чрезвычайно амбициозный план развития ИИ-отрасли в стране. Экономический эффект от него может составить £47 млрд ($57 млрд) ежегодно. Впрочем, эксперты допускают, что поддержка дополнительной инфраструктуры может оказаться неподъёмной для энергосистемы Великобритании.

В рамках нового плана британского правительства по развитию ИИ-проектов анонсированы инициативы по созданию ЦОД на общую сумму £14 млрд ($16,96 млрд). Так, Vantage, Nscale и Kyndryl обязались инвестировать в местную цифровую инфраструктуру и создать 13 тыс. рабочих мест. Планом предусмотрено и строительство нового ИИ-суперкомпьютера, сообщает Datacenter Dynamics. Ещё до объявления новой программы правительства об инвестициях в британские ЦОД сообщили Blackstone (£10 млрд) и DC01UK (£3,75 млрд), а также Cloud HQ, CyrusOne, CoreWeave и ServiceNow (суммарно £6,3 млрд)

В рамках программы AI Opportunities Action Plan, некоторые детали которой появились ещё в ноябре, по всей стране будут созданы «Зоны роста ИИ» с приоритетным доступом к технологиям и энергии, призванные привлечь инвестиции со всего мира. Зоны станут и полигоном для энергетических проектов, связанных с ЦОД. Особая роль отведена атомной энергетике. Первую зону построят в Калхэме (графство Оксфордшир), где находится Управление по атомной энергии Великобритании и расположены кампусы AWS и CloudHQ.

Оператор NScale объявил о намерении инвестировать в Великобританию £2,5 млрд ($3 млрд), где построит свой первый ИИ ЦОД в графстве Эссекс мощностью 50 МВт с возможностью расширения до 90 МВт. В компании надеются ввести дата-центр в эксплуатацию в IV квартале 2026 года, разместив в нём до 45 тыс. NVIDIA GB200 и наняв 250 постоянных сотрудников. В других графствах NScale начнёт строить модульные ЦОД во II половине 2025 года, а впоследствии будет развивать и стационарные дата-центры.

Источник изображения: Ben Seymour/unsplash.com

Vantage Data Centers построит кампус на 10 зданий на месте бывшего автозавода Ford в Уэльсе. Речь идёт об инвестициях £12 млрд ($14,55 млрд) и создании 11,5 тыс. рабочих мест. Ещё в 2020 году Vantage приобрела Next Generation Data, управляющую дата-центрами в Уэльсе и Лондоне. Наконец, Kyndryl создаст 1 тыс. рабочих мест, связанных с ИИ, в новом технологическом центре в Ливерпуле, который построят в следующие три года.

Ранее власти отнесли дата-центры к критически важной инфраструктуре (CNI) и пообещали реформировать законы о планировании, чтобы упростить строительство новых объектов. Более того, заново рассматриваются заявки, которые были отклонены. Например, в декабре дали «зелёный свет» отменённому годом ранее проекту в Бакингемшире.

Источник изображения: Serena Repice Lentini/unsplash.com

По словам премьер-министра Кира Стармера (Keir Starmer), индустрии ИИ нужно правительство, которое примет её сторону и не позволит упустить возможности развития. По словам министра, план сделает Великобританию мировым лидером в области ИИ, даст отрасли опору и импульс. Благодаря этому появится больше рабочих мест, больше денег у населения и, наконец, будет реформирована система государственных услуг. Подробнее о плане рассказывается на сайте самого британского правительства.

Также Великобритания планирует построить ИИ-суперкомпьютер. Данных о нём пока немного, но Департамент науки, инноваций и технологий (DSIT) сообщил, что его создание — один из элементов плана по двадцатикратному увеличению вычислительных мощностей страны к 2030 году. Примечательно, что в прошлом году власти отложили реализацию HPC-проектов на £1,3 млрд, сославшись на нехватку средств. В том числе было отменено создание первого в стране экзафлопсного суперкомпьютера при Эдинбургском университете.

Объявление США о введении в действие правила AI Diffusion rule («Правило распространения ИИ»), согласно которому, за исключением союзников Соединённых Штатов, поставки ИИ-технологий в большинство стран мира будут ограничены, вызвало негативную реакцию как в США, так и в Евросоюзе, пишет The Register.

В опубликованном в понедельник совместном заявлении исполнительный вице-президент по технологическому суверенитету Еврокомиссии Хенна Вирккунен (Henna Virkkunen) и еврокомиссар Марош Шефчович (Maroš Šefčovič) выразили обеспокоенность по поводу введения Соединёнными Штатами мер, ограничивающих количество оборудования ИИ, которое смогут импортировать некоторые страны-члены ЕС.

«Мы обеспокоены принятыми сегодня мерами США, ограничивающими доступ к экспорту передовых чипов ИИ для отдельных государств-членов ЕС и их компаний, — указано в заявлении членов Еврокомиссии. — Мы считаем, что это в интересах экономики и безопасности США, чтобы ЕС покупал передовые чипы ИИ у США без ограничений: мы тесно сотрудничаем, в частности, в области безопасности, и представляем экономическую возможность для США, а не угрозу безопасности».

Источник изображения: Guillaume Périgois/unsplash.com

Вирккунен и Шефчович также указали в заявлении, что поделились опасениями с нынешней администрацией США, хотя это никак не повлияло на её решение, и теперь с нетерпением ждут конструктивного диалога со следующей администрацией США. «Мы уверены, что сможем найти способ сохранить безопасную трансатлантическую цепочку поставок технологий ИИ и суперкомпьютеров на благо наших компаний и граждан по обе стороны Атлантики», — написали члены Еврокомиссии.

Ранее производитель ИИ-ускорителей Nvidia выразил обеспокоенность новыми правилами США, утверждая, что в случае их реализации они грозят «растратить с трудом завоёванное технологическое преимущество Америки», а не защитить интересы США. Также инициативу администрации Байдена подвергли критике Ассоциация полупроводниковой промышленности США (SIA) и Фонд информационных технологий и инноваций США (ITIF).

Компания Minisforum, по сообщению ресурса NAS Compares, представила любопытную новинку — NAS N5 Pro в «настольном» форм-факторе с высокопроизводительной аппаратной частью. Устройство несёт на борту процессор AMD Ryzen AI 9 HX PRO 370 (Strix Point), который объединяет 12 ядер (24 потока) с базовой тактовой частотой 2 ГГц и возможностью повышения до 5,1 ГГц. В состав чипа входят графический ускоритель AMD Radeon 890M и движок AI Engine.

Сетевое хранилище Minisforum N5 Pro оснащено двумя слотами SODIMM с поддержкой до 96 Гбайт DDR5-5600. Доступны пять отсеков для накопителей LFF/SFF с интерфейсом SATA-3 вместимостью до 22 Тбайт каждый. Кроме того, присутствуют три слота для NVMe SSD: по одному M.2 2230/2280 PCIe 4.0 x1, U.2/M.2 2280/22110 PCIe 4.0 x1 и U.2/M.2 2280/22110 PCIe 4.0 x2. В первый из этих разъёмов может быть установлен накопитель ёмкостью до 4 Тбайт, в два других — до 15 Тбайт. Таким образом, в максимальной конфигурации NAS предлагает 144 Тбайт пространства.

Источник изображения: Minisforum

Новинка располагает слотом расширения PCIe x16 (PCIe 4.0 x4) и портом OCuLink 4i x1 (PCIe 4.0 x4). Присутствуют по одному сетевому порту 10GbE и 5GbE с разъёмами RJ45, два порта USB4 (40Gbps; DisplayPort Alt Mode), три разъёма USB 3.2 Gen2 Type-A (10Gbps), порт USB 2.0 Type-A, интерфейс HDMI 2.0, а также аудиогнездо 3,5 мм. Питание (19 В / 12,63 A) подаётся через DC-разъём.

Отмечается, что материнская плата размещена на съёмном модуле, что упрощает обслуживание или обновление установленных компонентов. Во фронтальной части NAS располагается полупрозрачная декоративная панель с магнитным креплением.

Эксперты по недвижимости компании JLL прогнозируют в 2025 году стремительный рост мирового спроса на дата-центры, несмотря на ограничения поставок и энергоснабжения. Согласно имеющимся прогнозам, в 2025 году в мире начнут строить ещё 10 ГВт, а проекты на 7 ГВт будут уже готовы, сообщает JLL.

Среднегодовой прирост рынка ожидается на уровне 15 % до 2027 года, а в пике — даже до 20 %. Это происходит несмотря на то, что рост опережает предложение, а на некоторых рынках энергетика развивается не так интенсивно, как хотелось бы потребителям. Основной причиной роста и расширения ЦОД называют экспансию ИИ во все сферы жизни.

В основе революции в сфере ИИ, согласно мнению экспертов, лежит стремительное развитие полупроводниковых технологий. При этом ускорители потребляют всё больше энергии, и энергетическая плотность достигает 40–130 кВт на стойку. С новым поколением чипов этот показатель может вырасти и до 250 кВт. Из-за этого новым стандартом должно стать жидкостное охлаждение, в том числе иммерсионное.

При этом подчёркивается, что хотя ИИ является основным драйвером роста, на его долю в 2030 году всё ещё будет приходиться менее 50 % спроса на ЦОД. Остальное придётся на облачные вычисления и хранение данных. Но даже ЦОД, не связанные напрямую с ИИ, способны выиграть от оптимизации энергопотребления и совершенствования других технологий. Более того, уже сам ИИ поможет повысить энергоэффективность ЦОД, увеличить срок работы оборудования и сократить время простоя с помощью предиктивного обслуживания.

Источник изображения: JLL Research

Ожидается, что в следующие пять лет мировой спрос на электроэнергию для ЦОД удвоится, поэтому уже сейчас ищутся альтернативные энергетические решения. При этом на долю ЦОД придётся лишь около 2 % мирового потребления энергии. В отчёте отмечается, что многие ЦОД группируются территориально и места их компактного размещения неравномерно распределены в мире. В результате доля энергопотребления дата-центрами значительно выше в некоторых регионах.

Тем временем атомная энергетика становится альтернативой традиционной в контексте ЦОД, особенно для ИИ- и HPC-проектов. Особенно активно в атомных проектах участвуют гиперскейлеры. Приоритетным для них является использование будущих SMR, коммерческие версии которых пока отсутствуют и, по оценкам JLL, вряд ли появятся до 2030 года.

Источник изображения: JLL Research

ИИ-системы требуют немало энергии, поэтому рост интереса к SMR и атомной энергетике в целом вполне объясним. В 2024 году AWS и Microsoft заключили соглашения о выкупе энергии у крупных атомных электростанций, а Meta✴ объявила, что готова инвестировать средства в развитие атомной энергетики. Кроме того, Equinix, AWS и Google подписали контракты на питание ЦОД от SMR.

Из-за нехватки электроэнергии, высокой доходности соответствующих проектов и растущего ажиотажа вокруг ИИ интерес инвесторов к ЦОД в 2025 году только вырастет. По оценкам JLL, в последние годы активность в сфере строительства ЦОД заметно выросла, в основном речь идёт о строительстве с нуля для одного конкретного арендатора.

Источник изображения: JLL Research

Утверждается, что для выхода на рынок новых инвесторов существуют барьеры, основанные на объёме необходимого капитала и некоторых других особенностях рынка. Ожидается, что в 2025 году у основных инвесторов при этом будет много возможностей для рекапитализации продолжающихся строиться ЦОД для одного заказчика.