Разработчик малых атомных реакторов Oklo, поддерживаемый главой OpenAI Сэмом Альтманом (Sam Altman), подписал соглашение о поставке 12 ГВт мощностей оператору дата-центров Switch. Ожидается, что это поможет удовлетворить растущий спрос оператора на электроэнергию, сообщает Bloomberg.

Компании подписали не обязывающее соглашение, действующее до 2044 года, которое поддержит планы Oklo по строительству и управлению малыми модульными реакторами (SMR) Aurora. В Oklo рассчитывают начать поставки электричества от своих микро-АЭС к концу десятилетия по цене около $100 за МВт∙ч. Многочисленные IT-гиганты, включая AWS и Meta✴ подписали в последние месяцы соглашения для питания своей инфраструктуры с помощью атомной энергии, но сделка Oklo и Switch является одной из крупнейших.

Утверждается, что ЦОД являются идеальными клиентами новых атомных проектов, поскольку их потребности в стабильных поставках энергии только растут. Правда, пока атомные сделки зависят от разработчиков SMR, которые всё ещё не создали ни один работающий коммерческий реактор.

Источник изображения: Oklo

Oklo является одной из десятков компаний, разрабатывающих малые модульные реакторы — они будут выпускаться на заводах и собираться на местах использования. Предполагается, что мини-АЭС будут быстрее и дешевле строить, но пока испытаний в реальных условиях они не прошли. Oklo, председателем которой является Сэм Альтман, может стать одной из первых — первый SMR компании, возможно, заработает уже в 2027 году.

Ранее сообщалось о получении запросов Oklo на поставку 750 МВт для ЦОД в США. Потенциальные клиенты не называются, но известно, что общая мощность планируемых к строительству реакторов Oklo в результате должна вырасти до 2,1 ГВт. В апреле появилась информация о том, что Equinix заплатила $25 млн за право получить до 500 МВт от малых модульных реакторов Oklo.

HMC Capital ведёт переговоры о покупке ряда дата-центров, включая австралийский бизнес компании Global Switch. По данным Datacenter Dynamics, в пятницу инвестор сообщил, что проводит аудит перед несколькими потенциальными покупками.

Заявляется, что стороны ведут переговоры, но условия возможных приобретений пока остаются конфиденциальными и ещё не носят юридически обязывающего характера. HMC Capital представила информацию после того, как некоторые данные обнародовали австралийские СМИ. По их информации, Global Switch Australia оценена в AU$2 млрд ($1,33 млрд).

В июле, по слухам, Global Switch уже отклонила несколько предложений о покупке её австралийского подразделения, поскольку предложенные суммы не устроили компанию. Среди потенциальных покупателей были Stonepeak, Queensland Investment Corporation и Canada Pension Plan Investment Board (CPP Investments).

Источник изображения: Global Switch

Global Switch управляет 13 объектами в Европе, Австралии и Азии. Также компания строит объект в Лондоне (Великобритании) и завершила строительство во Франкфурте (Германия). В Сиднее компания управляет двумя примыкающими друг к другу дата-центрами Sydney West (20,5 МВт) и Sydney East (22 МВт) с общей площадью зданиями на территории площадью 11 тыс. м². Недавно компания подала заявку на надстройку дополнительных этажей на уже существующих зданиях.

Продажа Global Switch целиком или по частям обсуждалась в течение нескольких лет после того, как китайский металлургический гигант Jiangsu Shagang Group взял компанию под контроль. Речь шла о $10–11 млрд. В числе потенциальных покупателей назывались больше дюжины компаний и инвестиционных фондов. Переговоры, судя по всему, прекратились в январе 2023 года — покупатели предлагали слишком мало. Впрочем, сообщалось, что EQT всё ещё интересовалась сделкой, оценивая всю Global Switch в $6–7 млрд.

Несколько австралийских правительственных учреждений отказались от использования объектов в Сиднее после того, как китайский бизнес получил контроль над компанией. В том числе речь идёт о Министерстве внутренних дел, а также других крупных ведомствах, тесно связанных с вопросами национальной безопасности.

Владельцы оператора дата-центров Switch рассматривают IPO компании в 2025 году, которое, вероятно, поднимет оценку компании до $40 млрд. По данным Reuters, пока обсуждение вопроса находится на ранней стадии и решение ещё не принято. Switch управляет крупными кампусами в Остине (Техас), Рино (Лас-Вегас), Гранд-Рапидс (Мичиган) и Атланте (Джорджия). В прошлом году поданы заявления о расширении бизнеса в Остине и Атланте.

Основанная в 2000 году компания вышла на IPO в 2017 году, сумев привлечь $513 млн при рыночной капитализации $4,2 млрд. В 2022 году Switch была выкуплена DigitalBridge и IFM Investors за $11 млрд и стала частной. В 2023 году миноритарную долю приобрёл австралийский пенсионный фонд Aware Super. По имеющимся данным, в последние недели Switch провела предварительные переговоры с инвестиционными банкирами. На такой шаг компании намерены пойти на фоне стремительного роста интереса инвесторов к генеративному ИИ, который вызвал взлёт спроса на инфраструктуру, в том числе на дата-центры и высокопроизводительные серверы.

Источник изображения: Jason Briscoe/unsplash.com

В последнее время отмечается и значительное увеличение числа сделок на рынке серверов и ЦОД. Например, в сентябре текущего года Blackstone заключила сделку, купив австралийского оператора ЦОД AirTrunk за сумму, превышающую AU$24 млрд ($16 млрд), в августе AMD согласилась купить производителя серверов ZT Systems за $4,9 млрд — компания намерена расширить свои продуктовые линейки в попытке угнаться за чрезвычайно успешной NVIDIA.

С последней сотрудничает и Switch. Также компания работает с Dell и FedEx. С января 2016 года дата-центры компании питаются за счёт возобновляемой энергии — это привлекает технологические компании, имеющие природоохранные обязательства и соответствующие заявленные цели. Согласно докладу Morgan Stanley, до конца десятилетия мировой бум индустрии ЦОД, вероятно, обеспечит выбросы, эквивалентные 2,5 млрд тонн углекислого газа.

Восемь операторов ЦОД сформировали группу Asia-Pacific Data Centre Association (APDCA) для защиты интересов и продвижения законов, поддерживающих рост участников группы в Азиатско-Тихоокеанском регионе (APAC). Как сообщает Datacenter Knowledge, в число основателей вошли AirTrunk, Digital Realty, Equinix, Global Switch, NTT Global Data Centers, Princeton Digital Group, ST Telemedia Global Data Centres и Vantage Data Centers.

По данным Synergy Research Group, именно эти компании занимают 40 % рынка ЦОД в регионе APAC без учёта материкового Китая. В APDCA подчёркивают, что роль ЦОД и связанной инфраструктуры в регионе ещё никогда не была так велика на фоне роста местных экономик и повсеместного распространения 5G, генеративного ИИ, Интернета вещей и других технологий. APDCA будет управляться советом директоров, назначенных основателями организации. Скоро состоится собрание для выбора председателя и определения повестки ассоциации.

Как сообщает Structure Research, рынок колокейшн-сервисов в регионе в прошлом году достиг ёмкости 10 223 МВт, это около 40 % от мирового. Ожидается, что к 2028 году этот показатель достигнет 19 069 МВт, среднегодовой прирост в ближайшие пять лет составит 13,3 %. Азия уже стала центром роста для бизнеса, связанного с ЦОД. Инвестиции в дата-центры стимулируют и обновление местной государственной инфраструктуры, а регион привлекает всё больше квалифицированных IT-специалистов.

Источник изображения: zephylwer0/pixabay.com

Как заявляют в европейской European Data Centre Association (EUDCA), в организации с интересом следят за развитием APDCA. Хотя структуры действуют в различных политических и правовых средах, многие из решаемых вопросов по своей природе носят общемировой характер — от проблем строительства ЦОД будущего до вопросов достижения приемлемого уровня экоустойчивости. В дальнейшем планируется координировать действия APDCA и EUDCA по ряду вопросов.

Частная инвестиционная компания EQT AB вновь намерена заключить сделку по покупке лондонского оператора ЦОД Global Switch Holdings. Как сообщает Bloomberg, покупка бизнеса может обойтись инвесторам в $6,5 млрд. Ранее сделка сорвалась, поскольку стороны не сошлись в оценке стоимости бизнеса Global Switch. Тогда речь шла о $10 млрд.

Сейчас инвестор ведёт переговоры о сделке с Jiangsu Shagang Group и Avic Trust, китайскими владельцами Global Switch. Окончательная договорённость может быть достигнута в ближайшие месяцы. Владельцы начали рассматривать возможность продажи бизнеса Global Switch с 2021 года, а до этого планировался выход компании на IPO в Гонконге.

Основанная в 1998 году Global Switch владеет и управляет 13 ЦОД в Европе, Австралии и Азиатско-Тихоокеанском регионе, а ещё один дата-центр строится в Великобритании. Общая площадь составляет около 428 тыс. м². В 2016–2019 гг. Jiangsu Shagang Group получила контроль над оператором, хотя этот бизнес не является для неё профильным.

Источник изображения: Global Switch

Среди потенциальных покупателей компании у прежних владельцев была EQT, достигшая заключительного раунда торгов, в которых также участвовали KKR & Co. и PAG. Сейчас EQT управляет активами на общую сумму $247 млрд, в 2020 году компания приобрела оператора ЦОД EdgeConneX, в портфолио которого имеется более 50 ЦОД в Европе, Азии и на американских континентах.

Примечательно, что в конце лета 2023 года речь зашла о возможности продать бизнес в Европе и Азиатско-Тихоокеанском регионе. Это потенциально могло повысить вероятность заключения сделок, поскольку каждая оценивалась примерно в $3 млрд. Переговоры продолжаются и окончательного решения ещё не принято.

По данным Datacenter Dynamics, ранее в числе потенциальных покупателей как минимум доли в компании также числились Gaw Capital Partners, Stonepeak, Blackstone, Brookfield Asset Management, DigitalBridge Group, Digital Realty, Equinix, австралийский пенсионный фонд AustralianSuper и NextDC с Macquarie Capital.

На GTC 2022 компания NVIDIA анонсировала ускорители H100 на базе новой архитектуры Hopper. Однако NVIDIA уже давно говорит о себе как создателе платформ, а не отдельных устройств, так что вместе с H100 были представлены серверные Arm-процессоры Grace, в том числе гибридные, а также сетевые решения и обновления наборов ПО.

NVIDIA H100 (Изображения: NVIDIA)

NVIDIA H100 использует мультичиповую 2.5D-компоновку CoWoS и содержит порядка 80 млрд транзисторов. Но нет, это не самый крупный чип компании на сегодняшний день. Кристаллы новинки изготавливаются по техпроцессу TSMC N4, а сопровождают их — впервые в мире, по словам NVIDIA — сборки памяти HBM3 суммарным объёмом 80 Гбайт. Объём памяти по сравнению с A100 не вырос, зато в полтора раза увеличилась её скорость — до рекордных 3 Тбайт/с.

NVIDIA H100 (SXM)

Подробности об архитектуре Hopper будут представлены чуть позже. Пока что NVIDIA поделилась некоторыми сведениями об особенностях новых чипов. Помимо прироста производительности от трёх (для FP64/FP16/TF32) до шести (FP8) раз в сравнении с A100 в Hopper появилась поддержка формата FP8 и движок Transformer Engine. Именно они важны для достижения высокой производительности, поскольку само по себе четвёртое поколение ядер Tensor Core стало втрое быстрее предыдущего (на всех форматах).

NVIDIA H100 CNX (PCIe)

TF32 останется форматом по умолчанию при работе с TensorFlow и PyTorch, но для ускорения тренировки ИИ-моделей NVIDIA предлагает использовать смешанные FP8/FP16-вычисления, с которыми Tensor-ядра справляются эффективно. Хитрость в том, что Transformer Engine на основе эвристик позволяет динамически переключаться между ними при работе, например, с каждым отдельным слоем сети, позволяя таким образом добиться повышения скорости обучения без ущерба для итогового качества модели.

На больших моделях, а именно для таких H100 и создавалась, сочетание Transformer Engine с другими особенностями ускорителей (память и интерконнект) позволяет получить девятикратный прирост в скорости обучения по сравнению с A100. Но Transformer Engine может быть полезен и для инференса — готовые FP8-модели не придётся самостоятельно конвертировать в INT8, движок это сделает на лету, что позволяет повысить пропускную способность от 16 до 30 раз (в зависимости от желаемого уровня задержки).

Другое любопытное нововведение — специальные DPX-инструкции для динамического программирования, которые позволят ускорить выполнение некоторых алгоритмов до 40 раз в задачах, связанных с поиском пути, геномикой, квантовыми системами и при работе с большими объёмами данных. Кроме того, H100 получили дальнейшее развитие виртуализации. В новых ускорителях всё так же поддерживается MIG на 7 инстансов, но уже второго поколения, которое привнесло больший уровень изоляции благодаря IO-виртуализации, выделенным видеоблокам и т.д.

Так что MIG становится ещё более предпочтительным вариантом для облачных развёртываний. Непосредственно к MIG примыкает и технология конфиденциальных вычислений, которая по словам компании впервые стала доступна не только на CPU. Программно-аппаратное решение позволяет создавать изолированные ВМ, к которым нет доступа у ОС, гипервизора и других ВМ. Поддерживается сквозное шифрование при передаче данных от CPU к ускорителю и обратно, а также между ускорителями.

Память внутри GPU также может быть изолирована, а сам ускоритель оснащается неким аппаратным брандмауэром, который отслеживает трафик на шинах и блокирует несанкционированный доступ даже при наличии у злоумышленника физического доступа к машине. Это опять-таки позволит без опаски использовать H100 в облаке или в рамках колокейшн-размещения для обработки чувствительных данных, в том числе для задач федеративного обучения.

NVIDIA HGX H100

Но главная инновация — это существенное развитие интерконнекта по всем фронтам. Суммарная пропускная способность внешних интерфейсов чипа H100 составляет 4,9 Тбайт/с. Да, у H100 появилась поддержка PCIe 5.0, тоже впервые в мире, как утверждает NVIDIA. Однако ускорители получили не только новую шину NVLink 4.0, которая стала в полтора раза быстрее (900 Гбайт/с), но и совершенно новый коммутатор NVSwitch, который позволяет напрямую объединить между собой до 256 ускорителей! Пропускная способность «умной» фабрики составляет до 70,4 Тбайт/с.

Сама NVIDIA предлагает как новые системы DGX H100 (8 × H100, 2 × BlueField-3, 8 × ConnectX-7), так и SuperPOD-сборку из 32-х DGX, как раз с использованием NVLink и NVSwitch. Партнёры предложат HGX-платформы на 4 или 8 ускорителей. Для дальнейшего масштабирования SuperPOD и связи с внешним миром используются 400G-коммутаторы Quantum-2 (InfiniBand NDR). Сейчас NVIDIA занимается созданием своего следующего суперкомпьютера EOS, который будет состоять из 576 DGX H100 и получит FP64-производительность на уровне 275 Пфлопс, а FP16 — 9 Эфлопс.

Компания надеется, что EOS станет самой быстрой ИИ-машиной в мире. Появится она чуть позже, как и сами ускорители, выход которых запланирован на III квартал 2022 года. NVIDIA представит сразу три версии. Две из них стандартные, в форм-факторах SXM4 (700 Вт) и PCIe-карты (350 Вт). А вот третья — это конвергентный ускоритель H100 CNX со встроенными DPU Connect-X7 класса 400G (подключение PCIe 5.0 к самому ускорителю) и интерфейсом PCIe 4.0 для хоста. Компанию ей составят 400G/800G-коммутаторы Spectrum-4.