NVIDIA построит за $500 млн на севере Израиля 30-МВт научно-исследовательский суперкомпьютер на базе ускорителей Blackwell последнего поколения стоимостью около полмиллиарда долларов, сообщил The Register. Строительство кластера началось ещё в прошлом году, а закончить его планируется в I полугодии 2025 года.

Кластер будет располагаться на объекте площадью 10 тыс. м² в научно-промышленном парке Mevo Carmel недалеко от Йокнеам-Илита (Yokne'am Illit). По словам компании, он получит сотни систем Blackwell с фирменным жидкостным охлаждением, DPU BlueField-3 SuperNIC, коммутаторами Spectrum-X800 и Quantum-X800. Как полагает The Register, кластер будет использоваться NVIDIA для разработки технологий ЦОД следующего поколения.

Точное количество ускорителей не указано. У NVIDIA есть несколько эталонных систем Blackwell с жидкостным охлаждением и различным количеством ускорителей. Согласно публикациям израильских СМИ, полная конфигурация нового суперкомпьютера будет включать «несколько тысяч» GPU, что позволит ему соперничать с национальным суперкомпьютером Israel-1. Israel-1 построен на 2048 ускорителях NVIDIA H100, объединённых с помощью 80 коммутаторов Spectrum-4. Суперкомпьютер имеет пиковую FP64-производительность до 137 Пфлопс, а FP8 — до 8 Эфлопс.

Источник изображения: NVIDIA

The Register отметил, что на реализации проекта могут отразиться новые экспортные ограничения США. Согласно правилам AI Diffusion rule, Израиль относится к странам второго уровня с квотой на поставку до 50 тыс. передовых ускорителей в течение двухлетнего периода (2025–2027 гг.). Впрочем, эти правила вступят в силу через 120 дней с момента публикации, поэтому у NVIDIA в запасе достаточно времени для поставки необходимого количества ускорителей в Израиль.

С учётом прочных связей Израиля с США есть большая вероятность того, что стране будет предоставлен статус National Verified End User, что увеличит лимит импорта до 320 тыс. ускорителей в течение двухлетнего периода, отметил The Register.

Суперкомпьютеру Crossroads (ATS-3), расположенному в Лос-Аламосской национальной лаборатории (LANL) Министерства энергетики США (DoE), не так уж много лет. Система мощностью 30 Пфлопс запущена в 2023 году, но ей уже готовится замена в лице суперкомпьютера нового поколения под кодовым названием ATS-5.

Министерство энергетики совместно с Национальным управлением по ядерной безопасности (NNSA) раскрыли некоторые детали, касающиеся этого проекта. Главной задачей ATS-5 станет запуск высокоточных 3D-симуляций для оценки перспектив модернизации и поддержания в актуальном состоянии ядерного арсенала США. Симуляции со столь высокой детализацией очень сложны и относятся к классу «геройских» (hero-class). Их прогон может занимать несколько месяцев, но ATS-5 должен не только сократить это время до дней, но и обеспечить обработку нескольких таких симуляций параллельно.

Монтаж Crossroads. Источник здесь и далее LANL

NNSA не сообщает о том, будет ли ATS-5 относится к системам экзафлопсного класса, но судя по употреблению термина «post-exascale system» и сложности планируемых для запуска симуляций, новый суперкомпьютер будет достаточно мощным. Известен уровень его энергопотребления — порядка 20 МВт. Для сравнения, Frontier (1,35 Эфлопс FP64) потребляет 21 МВт, а El Capitan (1,74 Эфлопс FP64) — около 30 МВт.

По замыслу DoE, ATS-5 станет модульной системой со смешанной архитектурой, сфокусированной не только на HPC-задачах (FP64), но и на ИИ-сценариях с их упрощёнными форматами вычислений. Упор делается на размещении данных ближе к вычислительным узлам, увеличении объёмов памяти (в настоящее время заявлено 10,1 Пбайт) и ускорении её работы.

В качестве интерконнекта может быть применена смесь технологий InfiniBand и Ethernet, развивающая от 100 до 300 Гбайт/с в каждом направлении. Модульность означает возможность замены ускорителей и процессоров на протяжении всего срока эксплуатации ATS-5. Помимо ускорителей NVIDIA рассматривается возможность использования квантовых ускорителей, а также чипов Cerebras, Groq и SambaNova. ПО практически целиком должно быть open source, но и от CUDA при необходимости отказываться не будут.

Министерство энергетики США надеется разместить контракт на постройку ATS-5 в мае текущего года. Поставки оборудования должны начаться в конце 2026 или начале 2027 гг, а ввод системы в строй намечен на август-сентябрь 2027 года. Тогда же будет выведен из строя Crossroads (ATS-3).

Венчурные капиталисты пока не боятся возможного финансового «пузыря», связанного с ИИ-технологиями, поэтому вливают миллиарды долларов в новые ИИ ЦОД. Так, австралийская финансовая компания Macquarie сообщила о намерении вложить $5 млрд в проекты американского оператора дата-центров Applied Digital, сообщает The Register.

Техасский оператор работает на рынке ИИ и HPC относительно недавно, но это не мешает ему на равных соперничать с сильными конкурентами с более богатой историей. Во многом история компания напоминает путь CoreWeave, вышедшей на рынок HPC-объектов приблизительно в 2022 году и свернувшей бизнес по майнингу криптовалют.

Applied Digital, как и CoreWeave и Lambda Labs, предлагает услуги ЦОД и облачные сервисы на базе ускорителей NVIDIA. Австралийские инвестиции, в том числе в ходе начального раунда финансирования в объёме $900 млн, позволят компании продолжить работу над кампусом Ellendale High Performance Computing в Северной Дакоте мощностью 100 МВт (до 400 МВт в перспективе), а также вернуть порядка $300 млн, ранее инвестированных в объект в виде акционерного капитала.

Источник изображений: Applied Digital

Кампус в Эллендейле (Ellendale) — лишь одна из площадок Applied Digital, в которые Macquarie готова вложить средства. В соответствии с новым соглашением, она получила преимущественное право участвовать в новых проектах, связанных с ИИ ЦОД в следующие 30 месяцев на сумму $4,1 млрд. В Applied Digital заявляют, что с сегодняшними ценами на строительство у компании будет значительная часть средств, необходимых для создания HPC-объектов мощностью более 2 ГВт, включая кампус в Эллендейле. Место, по-видимому, привлекательное для таких объектов — две неизвестных компании готовы потратить до $250 млрд на строительство в штате гигаваттных ИИ ЦОД.

Пока не сообщается, когда, где и сколько дата-центров Applied Digital в итоге построят, но, согласно пресс-релизу, объекты получат жидкостное охлаждение. Вероятнее всего, как и в Северной Дакоте, другие объекты получат ускорители NVIDIA. Не исключено даже использование 120-кВт GB200 NVL72. В сентябре NVIDIA вместе с другими инвесторами сама вложила в оператора $160 млн. Большая часть инвестиций, вероятно, вернётся в виде заказов на чипы и подписки AI Enterprise. Что касается Macquarie, она фактически выкупила себе 15 % в бизнесе Applied HPC, а оператор сохранил за собой 85 %.

$1,5 млрд обычно достаточно для создания ЦОД с 16 тыс. ускорителей уровня NVIDIA H100 для последующей сдачи в аренду. В течение четырёх лет это принесёт около $5,27 млрд выручки при благоприятных условиях. С учётом уровня окупаемости инвестиций нетрудно понять, почему многие инвесторы желают участвовать в подобных проектах.

Не мешает и высокий спрос на ускорители — иногда они используются в качестве залога при крупных кредитах. Так, в апреле 2024 года Macquarie помогла привлечь Lambda порядка $500 млн заёмного финансирования под залог ускорителей NVIDIA. Среди крупнейших бенефициаров таких сделок — CoreWeave, по данным Crunchbase, только в 2024 году получившая $9,9 млрд финансирования и заёмных средств. Деньги под залог ускорителей она брала ещё в 2023 году.

Министерство торговли США вводит новый пакет экспортных ограничений, призванных помешать Китаю и другим странам закупать передовые чипы, сообщает Silicon Angle. В частности, ограничения коснутся предприятий, выпускающих микросхемы, а также работающих по заказу других организаций. Так, новые меры коснутся TSMC и Samsung Electronics, а также упаковщиков чипов, включая ту же TSMC.

Новые правила предусматривают получение производителями чипов и упаковщиками полупроводников лицензий на экспорт «определённых передовых чипов» в ряд регионов. Власти откажутся от подобных требований, если производитель чипов получит технические аттестации от доверенных участников цепочек поставок.

Так, разработчики чипов могут получить от американских властей статус «одобренных» или «авторизованных». Если разработчик подтверждает, что его чипы не достигают по своим характеристикам установленных США порогов производительности, лицензионные требования к ним отменяются. То же касается фабрик и компаний-упаковщиков. Если характеристики производимых чипов не превышают определённого порога, новые экспортные ограничения не применяются.

Источник изображения: CHUTTERSNAP/unsplash.com

Объявлено и о ряде других нормативных изменений. В частности, запускается процесс утверждения компаний в перечне одобренных дизайн-центров и поставщиков чипов и услуг OSAT (Outsourced Semiconductor Assembly and Test). Также оптимизированы процедуры раскрытия информации в случаях, если производитель принимает заказ клиента, потенциально способного перенаправить продукцию в Китай.

В связи с новыми правилами в чёрный список Entity List отправятся 16 новых организаций, включая некоторые ИИ-компании, поддерживающие развитие производства передовых чипов в Китае. Одной из таких компаний стала Sophgo — в прошлом году выяснилось, что она якобы передала выпущенную для неё продукцию компании Huawei, давно пребывающей в американском чёрном списке, после чего TSMC прекратила выполнение её заказов и поставки.

Министерство торговли вводит новые правила всего через несколько дней после того, как администрация уходящего президента США ввела глобальные ограничения на поставки ИИ-чипов и передовых моделей ИИ. Ранее американские власти уже вводили санкции, ограничивающие возможности китайской полупроводниковой индустрии. Речь идёт о закупках чипов NVIDIA, памяти HBM и других компонентов. Не щадят и союзников. Нидерландской ASML запрещено поставлять в КНР оборудование для DUV-литографии, на котором можно изготавливать 5- и 7-нм полупроводники.

Компания Positive Technologies сообщила о выпуске новой версии программного комплекса PT Industrial Security Incident Manager (PT ISIM), предназначенного для контроля безопасности и мониторинга технологических сетей, IIoT-систем промышленных предприятий и объектов инженерной инфраструктуры.

PT ISIM обеспечивает инвентаризацию технологической инфраструктуры и контроль изменений, выявляет аномалии и события безопасности в сетевом трафике, обнаруживает эксплуатацию уязвимостей, вредоносного ПО и другие техники злоумышленников. Также решение в автоматическом режиме распознаёт опасные технологические команды и помогает ИБ-персоналу соблюдать требования регулирующих организаций.

Схема работы PT ISIM (источник изображения: Positive Technologies)

Обновлённый PT ISIM получил компонент PT ISIM Endpoint, выявляющий аномалии, нелегитимные операции и подозрительную активность на рабочих станциях и серверах SCADA. Компонент учитывает особенности работы систем промышленной автоматизации и содержит правила выявления киберугроз, специфичных для таких сетей.

Ещё одно важное изменение в PT ISIM — новая карта сетевых взаимодействий, которая позволяет специалистам по ИБ ориентироваться в крупных распределённых промышленных инфраструктурах с десятками тысяч узлов. Дополнительно были расширены функции модуля, который контролирует технологические процессы. Появился также обновлённый стартовый дашборд: на нём теперь отображаются последние инциденты, уведомления о появлении новых узлов, неавторизованных соединений и сведения об инвентаризации компонентов технологической сети.

Уходящий президент США в последние дни своей работы подписал приказ, который разрешает строить дата-центры на федеральных землях. Кроме того, документ обеспечит поддержку «зелёной» энергетики, направленной на обеспечение новых объектов экологичной электроэнергией, сообщает Silicon Angle. Согласно новым правилам, Министерство энергетики (DoE) и Министерство обороны США (DoD) обяжут сдавать в аренду федеральные объекты девелоперам ИИ ЦОД. Часть объектов будут предназначены для малого бизнеса и стартапов.

Кроме того, участники соответствующих инициатив должны будут реализовать энергетические проекты, полностью удовлетворяющие потребности их ИИ ЦОД. Министерство внутренних дел США (занимается земельными вопросами) определить площадки в федеральной собственности, подходящие для объектов «чистой» энергетики. Также оно упростит процесс получения лицензий на использование геотермальной энергии. Собственную программу поддержки «чистой» энергии запускает и Министерство энергетики — помимо прочего, она будет сосредоточена на развитии и ядерных инициатив.

Примут участие и другие федеральные ведомства, которые выделят сотрудников для оперативной выдачи разрешений на проекты ИИ-инфраструктуры. Упростить процесс получения разрешений поможет инструмент «категорических исключений» из Национального закона об экологической политике США (National Environmental Policy Act). Он, в частности, позволяет ускорить процессы прохождения проверок проектам, которые не будут оказывать значительного воздействия на окружающую среду. Такие исключения будут искаться федеральными ведомствами намеренно.

Источник изображения: Eric Saunders/unsplash.com

Кроме строительства новых ЦОД и объектов «зелёной» энергетики, документ предусматривает и расширение сети линий электропередачи для питания ЦОД. Министерство энергетики поможет девелоперам с поиском финансирования, планированием и постройкой новых ЛЭП. Власти определят регионы, где для избежания перегрузок потребуются новые линии. Планируется сотрудничать с коммунальными службами, чтобы определить, каким именно образом необходимо совершенствовать энергетическую инфраструктуру. Поддержка будет оказана и производителям оборудования вроде трансформаторов. Министерства обороны, энергетики и торговли предварительно оценят возможности создания запасов такого оборудования, а также рассмотрят вопросы гарантий по кредитам.

По мнению экспертов консалтинговой NCC Group, больше всего выиграет от нового проекта NVIDIA. Впрочем, параллельный акт о запрете свободных поставок ИИ-оборудования в другие страны, негативно отразится на компании. Недавно эксперты компании JLL спрогнозировали в 2025 году стремительный рост мирового спроса на дата-центры, несмотря на ограничения поставок и дефицит энергии. По их прогнозам, в 2025 году в мире начнут строить ещё 10 ГВт, а проекты на 7 ГВт будут уже готовы.

Минцифры России направило для утверждения в правительство проект постановления, согласно которому необходимым условием для включения в единый реестр российского ПО будет совместимость как минимум с двумя российскими операционными системами (ОС), пишет ТАСС со ссылкой на сообщение зампреда Совета по развитию цифровой экономики при Совете Федерации Артёма Шейкина. По словам сенатора, документ планируется утвердить во II квартале.

«Также особое внимание уделяется совместимости программ с российскими микропроцессорами и другими технологическими продуктами. Сейчас проект изменений в правилах размещён для общественного обсуждения, и планируется, что они будут утверждены в 2025 году», — рассказал Шейкин. Сенатор отметил, что предлагаемые Минцифры поправки направлены на развитие и контроль за использованием российских программ, обеспечивая их безопасность и независимость от иностранных технологий.

Источник изображения: Tirza van Dijk/unsplash.com

Согласно письму заместителя министра Сергея Кучушева, с содержанием которого ознакомились в ТАСС, в подготовке проекта Минцифры приняли участие профильные ассоциации разработчиков и потребителей ПО, включая ассоциацию разработчиков программных продуктов «Отечественный софт», «Руссофт», Ассоциацию предприятий компьютерных и информационных технологий и Ассоциацию крупнейших потребителей ПО. О планах Минцифры РФ ужесточить требования для включения софта в реестр отечественного ПО стало известно ещё в декабре прошлого года.

Как свидетельствуют новые данные консалтинговой компании Synergy Research Group, после относительного затишья в 2024 году стоимость закрытых сделок, связанных со слияниями и поглощениями (M&A) ЦОД, стала рекордной, достигнув $73 млрд, сообщает пресс-служба компании.

До этого рекордным был 2022 год. Совокупная стоимость официально закрытых сделок превысила $52 млрд, в 2023 году был двухкратный спад до $26 млрд. Впрочем, даже в 2022 году такого уровня не удалось бы добиться без двух крупнейших сделок в данной сфере, объёмом от $11 млрд каждая. Другими словами, «обычные» сделки объёмом до $2 млрд обеспечили довольно скромную статистику и в 2022 году. В этой отношении пиковым был 2021 год.

Примечательно, что помимо уже закрытых сделок в 2024 году также имеются оформленные, но ещё не закрытые соглашения на сумму $29 млрд. Также возможны сделки ещё на $15 млрд — компании ищут финансирование или рассматривают доступные варианты. 2025 год тоже имеет все шансы стать рекордным для индустрии ЦОД.

Истчоник: Synergy Research

Всего с 2015 года Synergy Research зарегистрировала 1498 сделок слияния и поглощения на рынке ЦОД, общая стоимость составила $300 млрд. В основном речь идёт о покупке компаний целиком, но также были учтены миноритарные инвестиции в акционерный капитал и другие финансовые вложения вплоть до покупки отдельных дата-центров, земли для них и др. В 2021–2022 гг. были закрыты четыре сделки стоимостью от $10 млрд: покупка CyrusOne, Switch, CoreSite и QTS, входящих в Топ-15 колокейшн-провайдеров.

В 2024 году в Vantage Data Centers инвестировали в ходе двух сделок $9,2 млрд. Кроме того, компания дважды получила вливания в акционерный капитал в регионе EMEA на общую сумму $3,1 млрд. Также крупные вливания в 2024 году получили EdgeConneX и DataBank. При этом в последние годы на рынок буквально заполонили частные капиталовложения. Если в 2020 году на такие инвестиции пришлось лишь 54 % стоимости закрытых сделок, то в 2021 году их доля увеличилась до 65 %. С тех пор доля выросла до 80–90 % и держится на этом уровне.

В Synergy Research подчёркивают, что стремительный рост спроса на мощности ЦОД обусловлен развитием облачных сервисов, социальных сетей и всевозможных цифровых сервисов потребительского и корпоративного уровня. ИИ только усиливает и без того высокий спрос. Уточняется, что сами операторы ЦОД не могли или не хотели инвестировать собственные средства, тогда как частные инвесторы оказались готовыми вложиться в рост рынка.

UPD 29.01.2024: Synergy обновила доклад, посвящённый сделкам на рынке ЦОД в 2024 году. Если ранее сообщалось, что их общая сумма составляла $57 млрд, то уточнённые показатели свидетельствуют, что она оказалась выше на целых $16 млрд и составила $73 млрд. В докладе указывается, что добавилась сделка, которая должна была быть закрыта лишь в начале 2025 года, но закрылась в конце декабря. Речь идёт о покупке Blackstone компании AirTrunk, состоявшейся ещё в сентябре, но завершившейся лишь перед самым Новым годом.

Уран становится всё дороже. Рост спроса на ядерное топливо стимулирует развитие индустрии дата-центров для ИИ-вычислений, сообщает The Financial Times. По информации издания, цена обогащённого урана уже выросла до $190 за т.н. «единицу работы разделения» (Separative Work Unit, SWU). Для сравнения, три года назад речь шла лишь о $56 за SWU.

Цены выросли в связи с инициативами гиперскейлеров и крупных операторов ЦОД, начавших отдавать приоритет атомной энергетике в энергоснабжении. В 2024 году AWS и Microsoft подписали соглашения, предусматривавшие выкуп энергии у крупных АЭС, а Meta✴ заявила о готовности инвестировать в атомные проекты. Кроме того, Equinix, AWS и Google подписали контракты на питание ЦОД от SMR, хотя коммерческие варианты малых модульных реакторов вряд ли появятся раньше 2030 года.

Ограничения цепочки поставок оказывают дополнительное давление на цены. Как заявили аналитики Berenberg, 27 % импорта обогащённого урана, поставленного в США в 2023 году, приходилось на Россию. Цены выросли из-за санкций США, а также ответных мер России, в 2024 году запретившей экспорт ценного сырья для реакторов в Соединённые Штаты. В конце 2027 года срок действия американских льгот для импортёров истекает и энергосектору придётся искать новые предприятия, способные перерабатывать уран в специальные топливные «таблетки».

Источник изображения: Jonas Denil/unsplash.com

На Западе действующие предприятия по переработке урана имеются во Франции, США и Канаде. Тем не менее недостаток времени на строительство новых мощностей и необходимость значительных финансовых вливаний в отрасль может серьёзно повлиять на доступность ядерного топлива в краткосрочной перспективе. По словам представителя инвестиционной группы Ocean Wall, на Западе просто нет достаточных мощностей для его производства, именно поэтому цена изменилась и будет расти.

По словам аналитиков, сокращение предложения может привести к росту цен на немедленные поставки. В частности, казахстанская государственная структура Казатомпром, занимающаяся добычей и обработкой сырья, недавно сообщила, что производство пока на уровне ниже ожидавшегося. Кроме того, по словам представителей инвестора Yellow Cake, всё больше казахстанского урана будет поступать в Россию и Китай и всё меньше — на Запад. В среднесрочной перспективе не исключён кризис поставок.

Компания CoreWeave по-своему поддерживает инициативу правительства Великобритании по превращению стране в «ИИ-сверхдержаву». К работе в стране уже готовы два новых ИИ ЦОД, «доверху набитые» ускорителями NVIDIA. Правда, оснащены они не самым новым оборудованием, сообщает The Register.

Расположенные в Кроли (Crawley) неподалёку от Лондона и в лондонском районе Доклендс (Docklands) объекты развёрнуты на площадках Digital Realty и Global Switch соответственно. Изначально компания намеревалась потратить на британские ЦОД £1 млрд ($1,2 млрд), но затем увеличила сумму до £1,75 млрд ($2,1 млрд). В самой компании заверяют, что Великобритания является важным рынком — здесь находится её европейская штаб-квартира. Страна теперь входит в небольшой перечень государств, которые будут получать американские ИИ-технологии без ограничений.

Источник изображения: CoreWeave

Впрочем, есть и недостатки — ЦОД не получили новейшие ИИ-ускорители семейства NVIDIA Blackwell. CoreWeave остановилась на NVIDIA H200 и 400G-интерконнекте Quantum 2 InfiniBand. Сколько именно ускорителей разместили в Кроли и Доклендс, не сообщается. Ранее компания развёртывала кластеры из 10 тыс. и более ускорителей.

Усилия компании поддержали многомиллиардным потоком венчурные инвесторы и желающие обеспечить долговое финансирование на фоне бума ИИ. Сегодня CoreWeave управляет 28 ЦОД по всему миру и намерена ввести в эксплуатацию ещё 10 объектов до конца 2025 года. Тем временем британское правительство намерено реализовать чрезвычайно амбициозный план развития ИИ-отрасли в стране. Экономический эффект от него может составить £47 млрд ($57 млрд) ежегодно. Впрочем, эксперты допускают, что поддержка дополнительной инфраструктуры может оказаться неподъёмной для энергосистемы Великобритании.