У компаний Microsoft и NVIDIA, по сообщению The Information, возникли разногласия по поводу использования новейших ускорителей B200 на архитектуре Blackwell. NVIDIA настаивает на том, чтобы клиенты приобретали эти изделия в составе полноценных серверных стоек, тогда как Microsoft с этим не согласна.

Отмечается, что NVIDIA, удерживающая приблизительно 98 % рынка ускорителей для ЦОД, стремится контролировать использование своих продуктов. В частности, компания накладывает ограничения в отношении дизайна ускорителей, которые партнёры создают на чипах NVIDIA.

Во время презентации Blackwell глава NVIDIA Дженсен Хуанг (Jensen Huang) неоднократно указывал на то, что теперь минимальной единицей для развёртывания должен стать суперускоритель GB200 NVL72. То есть NVIDIA призывает клиентов приобретать вместо отдельных ускорителей целые стойки и даже кластеры SuperPOD. По заявлениям компании, это позволит повысить ИИ-производительность благодаря оптимизации всех компонентов и их максимальной совместимости друг с другом. Кроме того, такая бизнес-модель позволит NVIDIA получить дополнительную выручку от распространения серверного оборудования и ещё больше укрепить позиции на стремительно развивающемся рынке ИИ.

Источник изображения: NVIDIA

Однако у Microsoft, которая оперирует огромным количеством разнообразных ускорителей и других систем в составе своей инфраструктуры, возникли возражения в отношении подхода NVIDIA. Сообщается, что вице-президент NVIDIA Эндрю Белл (Andrew Bell) попросил Microsoft приобрести специализированные серверные стойки для ускорителей Blackwell, но редмондский гигант ответил отказом. По заявлениям Microsoft, решения NVIDIA затруднят корпорации внедрение альтернативных ускорителей, таких как AMD Instinct MI300X.

Ещё один вариант OCP-стойки с СЖО (Источник изображения: Microsoft)

Дело в том, что форм-факторы стоек NVIDIA и стоек Microsoft различаются на несколько дюймов. Из-за этого могут возникнуть сложности с изменением конфигурации и модернизацией, предусматривающей использование конкурирующих компонентов. Так, Microsoft использует единую базовую платформу и для ускорителей NVIDIA, и для ускорителей AMD. Microsoft эксплуатирует вариант стоек OCP и старается максимально унифицировать инфраструктуру своих многочисленных дата-центров. NVIDIA, в конце концов, согласилась с доводами Microsoft и пошла на уступки, но это, похоже, не последнее подобное разногласие между компаниями.

На этой неделе на платформе YouTube появился видеоролик блогера Брэда Слоана (Brad Sloan), посвящённый строительству новых объектов гигафабрики Tesla в Техасе (Gigafactory Texas), включая ЦОД, где будет размещён ИИ-кластер на базе суперкомпьютера Dojo. В соцсети X глава Tesla Илон Маск (Elon Musk) заявил, что уже в этом году энергопотребление этой системы составит 130 МВт, а через 18 месяцев этот показатель вырастет до 500 МВт и данный кластер станет крупнейшим в мире.

Строительство ЦОД стартовало в октябре прошлого года. Хотя компания не стала предавать гласности график строительства и намеченные сроки завершения, пока всё идёт не так, как планировалось Маском. В частности, есть сложности с доставкой материалов в Остине. Также наблюдаются задержки со строительством под площадкой дата-центра туннеля для передвижения электрических пикапов Cybertruck, за которое несёт ответственность основанная Маском компания Boring Company.

Источник изображений: Brad Sloan/YouTube

После посещения площадки Маск уволил директора по строительной инфраструктуре проекта, а также провёл кадровые перестановки. Также сообщается, что миллиардер отложил и даже отменил некоторые проекты Tesla, чтобы направить все строительные ресурсы на этот объект.

Илон Маск уточнил в комментариях, что ИИ-кластер будет использовать не только чипы собственной разработки Tesla D1, но и ускорители NVIDIA, а также других поставщиков, хотя ранее он говорил, что в основу суперкомпьютера Dojo лягут только фирменные ускорители Tesla. Как сообщается, затраты Tesla на проект Dojo в этом году составят более $1 млрд. Маск уверен, что ИИ ускорит обучение систем автономного вождения электромобилей и разработку инновационных технологий для роботизированных автомобилей.

Вместе с тем, Маск уделяет большое внимание строительству стартапом xAI «крупнейшего в мире» кластера ускорителей в Северной Дакоте. С его помощью он планирует расширить возможности чат-бота Grok благодаря совершенствованию больших языковых моделей, стоящих за ним. Недавно Маск подтвердил передачу ускорителей NVIDIA H100, ранее заказанных Tesla, социальной сети X и ИИ-стартапу xAI. Это вызвало вопросы у акционеров Tesla по поводу того, какой проект на самом деле является приоритетным для Илона Маска. Для xAI, в частности, планируется создать систему с 300 тыс. NVIDIA B200.

Компания Google пообещала инвестировать в три собственных кампуса ЦОД дополнительные $2,3 млрд. Datacenter Dynamics сообщает, что дата-центры расположены в Огайо — в Нью-Олабани и Ланкастере, а ещё один строится в Коламбусе. IT-гигант уже потратил с 2019 года на инфраструктуру в штате $4,4 млрд.

Пока не раскрывается, как средства будут распределяться между объектами и кампусами. Местные власти подчёркивают, что дополнительные денежные вливания превращают Центральный Огайо в важный технологический хаб на территории США.

Впервые Google начала осваивать площадки в Огайо в 2019 году, начав строить дата-центр в Нью-Олбани стоимостью $600 млн. В том же году компания выделила ещё $1 млрд на строительство ЦОД в Коламбусе и Ланкастере, а в 2021 году запланировано расширение площадки в Нью-Олбани. Наконец, в 2023 году Google инвестировала в штате дополнительные $1,7 млрд.

Источник изображения: Matthew Bornhorst/unsplash.com

В число клиентов ЦОД в Огайо входят Nationwide, Huntington Bancshares, Victoria's Secret, и Wendy's, а также власти штата. В прошлом году Google заключила соглашение с EDP Renewables North America о реализации проектов, связанных с солнечной энергетикой на 500 МВт, большая часть которых приходится как раз на Огайо.

В 2023 Amazon (AWS) анонсировала инвестиции $7,8 млрд в дата-центры в том же штате, а ранее в текущем году компания приобрела около 95 га в местном округе Пикавэй для дальнейшей экспансии на рынке ЦОД. Собственные планы по развитию в штате имеет и Microsoft — компания рассматривает строительство здесь ЦОД в Коламбусе, округе Ликинг и Нью-Олбани.

Осенью 2024 года облачный оператор Nubes (НУБЕС) намерен ввести в эксплуатацию новый дата-центр Nubes Strato. По данным пресс-службы компании, вычислительные ресурсы нового ЦОД предполагается использовать для развития облака NGcloud и собственных облачных сервисов. Часть стоек будет доступна клиентам, желающим применять гибридные решения.

Защищённое, уже функционирующее облако NGcloud построено на базе первого дата-центра Nubes Alto уровня Tier III. На базе того же ЦОД базируются сервисы оператора, связанные с обеспечением информационной безопасности, решения для удалённой работы и хранения информации. Nubes Alto активно используется и клиентами, желающими разметить на его площадке собственное серверное оборудование и телекоммуникационные модули по колокейшн-схеме.

Источник изображения: Nubes

Новый дата-центр на 198 стоек строится в Москве в районе м. Царицыно и поблизости от Nubes Alto, запущенного в 2022 году. Запуск Strato намечен на сентябрь 2024 года, пока же в помещениях объекта ведётся установка инженерной инфраструктуры. Ожидается, что скоро там же смонтируют источники бесперебойного и гарантированного электроснабжения. Пока ведётся строительство и монтаж, провайдер ЦОД занят закупками вычислительной техники и сетевого оборудования.

В компании добавляют, что ЦОД строится и для масштабирования возможностей по предоставлению гибридных решений клиентам. Кроме того, появление Nubes Strato будет способствовать расширению облака NGcloud. Гибридная природа проекта позволит клиентам не только размещать на площадке собственное оборудование, но и интегрировать его с облаком компании.

Amazon потратит €10 млрд ($10,7 млрд) на обновление дата-центров и модернизацию логистической сети в Германии, передаёт Silicon Angle. Всего несколько недель назад облако Amazon Web Services (AWS) объявила о намерении потратить €7,8 млрд ($8,36 млрд) в той же Германии на суверенную облачную платформу AWS European Sovereign Cloud.

Часть из €10 млрд Amazon потратит на найм ещё 4 тыс. сотрудников в центры обработки заказов в нескольких немецких городах, в результате чего общий штат сотрудников в Германии вырастет до более 40 тыс. человек. Amazon также управляет в Германии сетью из четырёх инжиниринговых центров — компания объявила о намерении расширить свой берлинский кампус. Целью является поддержка работ, связанных с робототехникой и ИИ.

Другая часть инвестиций будет использована для «постройки, поддержки и обслуживания» кластера облачных дата-центров в районе Франкфурта. Сейчас франкфуртский облачный регион AWS включает три зоны доступности, изолированные друг от друга на физическом уровне, и две т.н. «локальные зоны», расположенные ближе к потребителям.

Истчоник изображения: Igor Flek/unsplash.com

Для AWS European Sovereign Cloud будет построен дата-центр в земле Бранденбург, он заработает к концу следующего года. Предполагается, что эти облачные мощности будут обслуживаться только персоналом из Евросоюза. Ранее компания уже сообщала о том, что метаданные пользователей из ЕС будут храниться на территории блока. Год назад схожий проект реализовала в регионе компания Oracle.

По мере роста энергопотребления ЦОД развиваются и решения, способные компенсировать ущерб окружающей среде. Network World сообщает, что компании Hewlett Packard Enterprise (HPE) и датская Danfoss запустили серию усовершенствованных модульных дата-центров, позволяющих использовать тепло, генерируемое в процессе их работы, в любых целях. За основу была взята система утилизации «мусорного» тепла, применяемая в штаб-квартире Danfoss в Дании.

По данным Международного энергетического агентства (IEA), к 2026 году ИИ-индустрия будет потреблять на порядок больше электроэнергии, чем в 2023 году. Дата-центры всегда вырабатывали много тепла, причём по мере роста вычислительных мощностей растёт и отдача тепловой энергии. Поэтому HPE и датская инжиниринговая компания Danfoss создали готовое решение в рамках HPE IT Sustainability Services — модульную систему Data Center Heat Recovery.

Решение включает модульный дата-центр HPE (Modular Data Center) — компактный контейнер с высокой плотностью размещения оборудования с прямым жидкостным охлаждением, который, как заявляют в HPE, может быть развёрнут практически везде и позволит снизить общее потребление энергии на 20 %. Danfoss же предоставила модули отбора тепла для его передачи ближайшим зданиям и промышленным объектам. Безмасляные компрессоры Turbocor повышают эффективность систем охлаждения ЦОД при оптимистичном сценарии на целых 30 %.

Источник изображения: Danfoss

Выгода для пользователей очевидна, говорят компании, поскольку захваченное тепло позволяет не генерировать его специально. В HPE даже предложили измерять сэкономленное тепло в «негаваттах», т.к. затраты на его генерацию в данном случае отрицательны. С учётом огромных объёмов потребляемого ЦОД электричества, экономия 30 % энергии может стать существенной.

Впрочем, технология имеет определённые ограничения и пригодится не всем. Если обогревать окружающие здания нет необходимости, то никакой экономии энергии и не будет. Подобные технологии уже активно применяют как в Северной Америке, так и в Европе и других регионах. Особенно эффективны они в странах с прохладным климатом. Впрочем, такие системы пока довольно дороги, а иногда и вовсе не имеют смысла по целому ряду причин, в том числе экономических.

Американская инвестиционная компания KKR совместно с сингапурской Singtel объединили усилия для вложения $3 млрд сингапурских долларов (чуть более $2,2 млрд) в ST Telemedia Global Data Centres (STT GDC). По данным Forbes, речь идёт о крупнейшей в этом году инвестиции в цифровую инфраструктуру Юго-Восточной Азии — в перспективном регионе активно развиваются технологии ИИ.

В рамках сделки партнёры намерены выкупить на $1,30 млрд погашаемых привилегированных акций STT GDC — правда, компании всё ещё ожидают разрешения местных регуляторов. После полного исполнения обязательств по покупке акций по заранее оговоренной цене компании вложат в сингапурского оператора ЦОД ещё $0,92 млрд, после чего KKR будет владеть 14,1 % компании, а Singtel — 4,2 %.

STT GDC — один из самых быстрорастущих операторов дата-центров. Компания управляет 95 ЦОД общей ёмкостью более 1,7 ГВт на более чем 20 рынках в 11 регионах, включая Азию, Великобританию и континентальную Европу. Предполагается, что беспрецедентный рост облачных и ИИ-бизнесов вместе с вливаниями KKR и Singtel дадут STT GDC толчок к росту на рынке цифровой инфраструктуры. Поступления от инвесторов пойдут на международную экспансию компании.

Источник изображения: Bryan Low/unsplash.com

В феврале 2024 года STT GDC сообщила о готовности многих инвесторов вложить в компанию $1 млрд перед потенциальным выходом на IPO в США или Сингапуре. В мае 2024 года сообщалось, что KKR и Singtel конкурируют за долю в 20 % в STT GDC. Но ST Telemedia, владеющая многими медиакомпаниями в регионе, в любом случае останется мажоритарным акционером. Компания уже анонсировала планы расширения во Вьетнаме и начала строительство третьего ЦОД в Ченнаи (Индия).

KKR активно наращивает инвестиции в дата-центры на фоне растущего спроса на цифровую инфраструктуру для облачных и ИИ-сервисов в Азии. В сентябре 2023 года нью-йоркская компания приобрела 20 % в региональном бизнесе Singtel, связанном с ЦОД — компании Nxera за $0,81 млрд. А сегодня Nxera объявила о заключении партнёрства с Telekom Malaysia с целью постройки нового ЦОД в Джохоре (Малайзия).

Основным акционером сингапурской Singtel является Temasek — крупнейшая телекоммуникационная компания Юго-Восточной Азии с более 780 млн мобильных клиентов в 21 стране Азии, Австралии и Африки. Кроме того, она предоставляет в регионе и другие услуги связи и инфраструктурные сервисы.

В последние месяцы в Юго-Восточной Азии наблюдается бум проектов, связанных с ЦОД. Планы строительства там облачной ИИ-инфраструктуры анонсировали многие IT-гиганты, включая AWS, Google и Microsoft.

Компания Selectel объявила о запуске услуги аренды выделенных серверов с размещением в ЦОД заказчика. Установку серверов и сетевого оборудования произвольной конфигурации на указанной клиентом площадке выполняют специалисты Selectel.

Сборка оборудования осуществляется из отдельных компонентов, что обеспечивает независимость от одного или нескольких вендоров и высокую степень соответствия задачам клиента, говорит компания. В стоимость услуги входят доставка, установка и настройка оборудования, а также замена неисправных деталей при выходе сервера из строя. В настоящее время услуга доступна на территории Москвы и Санкт-Петербурга.

Согласно пресс-релизу, аренда серверного оборудования «навынос» актуальна для клиентов с повышенными требованиями к контуру размещения IT-инфраструктуры в связи необходимостью соответствия корпоративным или законодательным нормам. Это могут быть банки, промышленные, научные, медицинские организации и т.д. Услуга устраняет необходимость в закупке серверного оборудования, позволяя вместе с тем компаниям обеспечить быструю масштабируемость IT-инфраструктуры.

По словам директора по продуктам Selectel, новое предложение может заинтересовать компании, нацеленные на полный контроль над IT-инфраструктурой и желающие поддерживать высокие темпы масштабирования текущих и запуска новых проектов без больших капитальных затрат: «Запуск услуги по аренде серверов навынос продиктован актуальными вызовами, с которыми сталкивается бизнес — это подорожание оборудования и удлиняющиеся сроки поставок».

Крупные технокомпании вроде Microsoft и Google горят желанием использовать всё больше энергии от атомных электростанций для питания своих ЦОД, но намного меньше у них желания вкладывать средства в строительство новых АЭС. По данным Bloomberg, об этом они официально заявили на конференции Nuclear Society. По информации издания, ИИ и ЦОД, вероятно, впервые обеспечат существенный рост энергопотребления в США.

Но участники конференции объявили, что находятся в «неподходящем положении» для того, чтобы помогать в разработке АЭС. Дело в том, что строительство реакторов, особенно на базе новых технологий, по мнению Google, весьма рискованно. Техногиганты готовы платить «разумную надбавку» за уже доступную им чистую энергию, но не хотят инвестировать в компании, непосредственное занятые строительством АЭС. В Google подчеркнули, что всецело поддерживают атомную энергетику, но считают, что брать риски на себя должны не конечные потребители.

Дискуссия развернулась после того, как Билл Гейтс (Bill Gates) заявил, что намерен вложить миллиарды долларов в создание АЭС на базе малого модульного реактора (SMR) в Вайоминге, строительство которой уже начато компанией TerraPower. Поддержка Гейтса станет ключевой на фоне рисков, связанных с атомной энергетикой. Строительство планируется завершить в 2030 году, с отставанием на два года от озвученного в 2021 году срока. В Вайоминге же планируется установка SMR от компании Oklo, поддерживаемой главой OpenAI.

Источник изображения: Dan Meyers/unsplash.com

В апреле в Джорджии компания Southern Co. впервые за десятилетия завершила строительство новой АЭС в США, на семь лет позже запланированного и с увеличением бюджета приблизительно на 150 %. Возможно, именно поэтому IT-компании заявляют, что должны сконцентрироваться на своих сильных сторонах, строя дата-центры, тогда как поставками энергии должны заниматься коммунальные службы. Об этом, в частности, объявил главный менеджер по энергетике и устойчивости Microsoft Адриан Андерсон (Adrian Anderson).

По его словам, если дата-центр нуждается в чистой энергии, оператор должен связаться с поставщиком электричества, а вовсе не с производителем ветряных турбин, а сами высказывания о том, что отдельные покупатели должны самостоятельно оценивать риски инвестиций в атомные технологии он назвал «смехотворной концепцией». При этом сама Microsoft набирает команду и топ-менеджеров для развития направления SMR.

Сегодня новые реакторы разрабатываются многими компаниями, но им понадобится значительная финансовая помощь для того, чтобы перейти к строительству и коммерциализации новых объектов. Несмотря на то, что в появлении большего числа АЭС заинтересованы как энергокомпании, так и операторы ЦОД, техногиганты не спешат в массовом порядке заниматься финансированием таких проектов. По словам недавно покинувшего пост директора по энергетической стратегии Meta✴ Питера Фрида (Peter Freed), сама идея того, что IT-компании спасут положение и просто «выпишут чек» ошибочна.

Оператор связи Freedom Telecom (входит в группу Freedom Holding), по сообщению «Интерфакса», намерен реализовать в Казахстане два IT-проекта общей стоимостью ₸107 млрд (приблизительно $233 млн). Об этом рассказал министр цифрового развития, инноваций и аэрокосмической промышленности республики Жаслан Мадиев.

Одна из инициатив предусматривает создание национальной гипермагистрали Запад — Восток, которая позволит увеличить транзитный трафик по территории Казахстана. Компания Freedom Telecom готова вложить в прокладку данной линии ₸17 млрд (около $37 млн) до конца 2025 года.

Источник изображения: pixabay.com

Второй проект предполагает строительство крупного дата-центра не ниже уровня Tier-III для транзита и хранения международного трафика. Предполагаемые инвестиции заявлены в размере ₸90 млрд (примерно $196 млн). Срок реализации — конец 2027 года.

Анонсирована и еще одна инициатива, в которой примут участие другие операторы связи из Казахстана и Азербайджана. Речь идёт о прокладке волоконно-оптической линии протяженностью 370 км по дну Каспийского моря. Инвестиции составят более ₸23 млрд ($50 млн). В рамках данного проекта АО «Казахтелеком» и ООО «Азертелеком» создали новое совместное предприятие. Проводится тендер по выбору подрядчика на проектирование и прокладку подводной магистрали.

Ожидается, что появление новых ВОЛС и крупного дата-центра обеспечит альтернативный маршрут международного транзита данных, что, в свою очередь, позволит привлечь на рынок Казахстана такие компании, как Google, Amazon и Microsoft.