В скором будущем в Итальянских Альпах появится уникальный подземный дата-центр, который разместят в действующей шахте, где до сих пор ведётся добыча доломита, а в выработанных штольнях по соседству хранятся яблоки, вино и сыр. По данным Университета Тренто, ЦОД начнёт предоставлять колокейшн-сервисы уже в 2026 году.

Проект будет реализован университетом совместно с компанией Trentino DataMine. Также в нём примут участие Covi Costruzioni, Dedagroup (Deda), GPI Group и ISA-Istituto Atesino di Sviluppo. Ёмкость Intacture составит 5 МВт, объект будет вмещать около 1220 стоек. Реализация обойдётся в €50,2 млн. Из них €18,4 млн будет получено от государства в рамках плана Recovery and Resilience Plan (NRRP), а остальное предоставят частные инвесторы.

Источник изображений: Trentino DataMine

ЦОД построят в горе Валь-ди-Нон в 40 км от Тренто. Строительство идёт в шахте компании Tassullo, ведущей доломитовые разработки. Подобные проекты в мире реализуют довольно редко, поскольку дата-центры нуждаются в инфраструктуре: хороших дорогах, доступном электричестве, чистой воде и др. При этом подземный ЦОД имеет ряд преимуществ в сравнении с надземным — это устойчивая температура круглый год, возможность фрикулинга, защита от неблагоприятных погодных условий и даже электромагнитных импульсов и т.д. У таких ЦОД высокий потенциал энергоэффективности и экономичности в целом.

По словам представителя Trentino DataMine, шахта Сан-Ромедио, где разместят ЦОД, обеспечивает максимальную физическую защиту, в том числе от сейсмических и гидрогеологических рисков. Кроме того, можно экономить более 25 % электроэнергии в сравнении со средними показателями по Европе, и до 40 % в сравнении со средиземноморскими странами. Кроме того, не потребуется занимать земельный участок, поскольку более 80 % конструкций ЦОД разместятся в недрах горы. PUE будет не выше 1,25.

Пока строительство ЦОД Intacture находится на первом этапе. Авторы проекта в Trentino DataMine уже видят превращение дата-центра в «зелёный» инновационный хаб, не только для региона, но для всей страны. Не исключается предоставление и других услуг помимо колокации, в том числе для исследований в сфере естественных наук, ИИ, «энергетического перехода» и обеспечения кибербезопасности.

О намерении построить ЦОД близ Тренто сообщалось ещё в 2023 году, но официально объявили о его реализации только в начале октября уже после начала работ. Хотя для гиперскейлеров ёмкости этого ЦОД слишком мало, для местных проектов он способен обеспечить вполне подходящую площадку — в регионе имеется ВОЛС подключения объекта к дата-центрам Милана.

Компания MSI анонсировала одноплатный компьютер MS-CF17, предназначенный для широкого спектра промышленных приложений. На его основе могут создаваться системы автоматизации, edge-решения, платформы для транспортной отрасли, устройства визуализации и пр.

Новинка выполнена в 3,5″ форм-факторе с габаритами 146 × 102 мм. Доступны встраиваемая и индустриальная модификации. В первом случае диапазон рабочих температур простирается от 0 до +60 °C, во втором — от -40 до +70 °C.

Аппаратной основой служит платформа Intel Raptor Lake-P. Предлагаются варианты с различными процессорами, включая Core i7-1365UE (2P + 8E; 12 потоков; до 4,9 ГГц). Применена система пассивного охлаждения. В зависимости от модификации задействован графический ускоритель Intel Iris Xe или Intel UHD Graphics. Имеется один слот SO-DIMM для модуля LPDDR5-5200 ёмкостью до 32 Гбайт. Накопители могут быть подключены к порту SATA-3 и коннектору M.2 M-Key 2280 (для NVMe SSD с интерфейсом PCIe 4.0 x4).

Источник изображения: MSI

В оснащение входят четырёхпортовый 2.5GbE-контроллер Intel I226-LM, звуковой кодек Realtek ALC897 HD, IO-чип Fintek F81966AB-I и ТРМ-контроллер Infineon SLB9672VU2.0. Упомянуты также коннектор M.2 B-key 2242/3042 (PCIe x1, USB 2.0, слот для карты nanoSIM) для сотового модема и разъём M.2 E-key 2230 (PCIe x1, USB 2.0) для адаптера Wi-Fi/Bluetooth.

Компьютер располагает четырьмя портами USB 3.2 Gen2, четырьмя коннекторами HDMI 2.0 (до 4Kp60), интерфейсом eDP/LVDS. Через разъёмы на плате можно задействовать четыре последовательных порта и четыре порта USB 2.0. Питание в диапазоне 12–24 В подаётся через DC-разъём. Заявлена совместимость с Windows 10 IoT Enterprise 2021 LTSC, Windows 11 IoT Enterprise и Linux.

В рамках масштабной программы импортозамещения Сбербанк успешно осуществил перенос хранилищ данных на собственное решение SberData Platform. При этом программно-аппаратные комплексы Teradata выведены из эксплуатации.

Платформа по работе с данными SberData Platform объединяет ряд ключевых сервисов. Это SDP DataFlow (загрузка и преобразование данных), SDP Hadoop (хранение и обработка больших данных), SDP Analytics (анализ и визуализация информации), SDP DataLab (разработка моделей машинного обучения) и пр. Дополнительные сервисы — SDP Data Quality (контроль качества данных), Platform V Pangolin (реляционная СУБД на базе PostgreSQL) и SDP AnalyticDB (аналитическое хранилище данных).

Как отмечается, Сбербанк начал переводить хранилища данных на SberData Platform в 2022 году. В 2023-м на использование собственного решения мигрировала основная часть служб кредитной организации, а в 2024 году процесс полностью завершился. В проекте были задействованы 205 команд, представляющих все подразделения банка. При этом количество активных участников проекта превысило 2 тыс. человек.

Источник изображения: Сбербанк

Компания подчёркивает, что перевод хранилищ на SberData Platform снял для исследователей данных существенные ограничения, обусловленные архитектурными особенностями зарубежного решения. Кроме того, значительно снизилась стоимость хранения информации. В целом, реализация проекта повысила доступность технологий работы с данными для широкого круга пользователей. Платформа SberData Platform включена в Реестр программного обеспечения Минцифры РФ.

Сбербанк осуществляет активное импортозамещение в различных сферах. В частности, кредитная организация намерена полностью отказаться от зарубежных СУБД в значимых объектах критической инфраструктуры. Кроме того, ведётся переход с Citrix на отечественную VDI-платформу Termidesk, а на замену SAP ERP создаётся несколько прикладных платформ по управлению финансами, закупками, недвижимостью и кадрами.

Компания «Рикор» анонсировала серверы 7-й серии, которые, как утверждается, отличаются глубоким уровнем локализации: в России произведены печатные платы, некоторые внутренние компоненты и корпус. Устройства включены в Единый реестр российской промышленной продукции Минпромторга РФ.

В основу положена аппаратная платформа Intel Xeon Ice Lake-SP. На сегодняшний день в новом семействе представлены модели Rikor 7104 gen.3 PROP и Rikor 7212 gen.3 PROP типоразмера 1U и 2U соответственно. Они оснащены материнской платой на чипсете Intel C621A с возможностью установки двух процессоров с TDP до 175 и 270 Вт. Доступны 32 слота для модулей DDR4-3200 суммарным объёмом до 4 Тбайт.

Сервер 1U получил четыре фронтальных отсека для накопителей LFF/SFF с горячей заменой, вариант 2U — 12 отсеков. Кроме того, у старшей версии есть два посадочных места для SFF-устройств в тыльной части. Обе новинки располагают двумя коннекторами для SSD формата М.2. В оснащение входят контроллеры Aspeed AST2500/Rikor BMC, три слота PCIe 4.0, разъём OCP 3.0. Есть два сетевых порта 1GbE RJ45, выделенный сетевой порт управления, четыре порта USB 3.2 Gen1 и два порта USB 2.0, коннектор D-Sub. Питание обеспечивают два блока мощностью 1200 Вт.

Источник изображения: «Рикор»

Отмечается, что новая серверная платформа представляет собой результат трёхлетней работы команды инженеров и разработчиков «Рикор». Среди её ключевых преимуществ названы: полная локализация производства, модульная конструкция, возможность горячей замены компонентов (включая блоки питания) и удалённое управление.

Серверы, по заявлениям разработчика, подходят для широкого круга организаций — от корпораций федерального масштаба до небольших компаний, использующих оборудование вне дата-центров. Новинки ориентированы на облачные платформы, виртуализацию, терминальные сервисы и высокопроизводительные вычисления. Сейчас компания работает над серверами с Intel Xeon Sapphire Rapids и Emerald Rapids на базе тех же шасси, но с новыми материнскими платами.

Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Как заявило Международное энергетическое агентство (IEA) в ежегодном отчёте «Перспективы мировой энергетики» (World Energy Outlook), глобальный спрос на электроэнергию стремительно растёт. По данным агентства, в следующие 10 лет ежегодный прирост будет сравним с энергопотреблением целой Японии. Это повлияет на показатели сокращения выбросов, а спрос в 2035 году будет на 6 % выше, чем прогнозировалось ранее.

Что касается ЦОД, потребление будет стремительно расти из-за роста рынка ИИ и цифровизации в целом, однако на этот сектор по-прежнему будет приходиться лишь небольшая часть от общемировых энергетических затрат. Впрочем, пока прогнозы носят очень приблизительный характер, с учётом непредсказуемости проблем в цепочках поставок, увеличения энергоэффективности, политических факторов и т.п.

Долгое время рост энергопотребления сдерживался переносом нагрузок со старых корпоративных площадок в гораздо более эффективные облака. Однако этот козырь уже использован, а рост ИИ-нагрузок приведёт к взлёту энергопотребления на невиданный ранее уровень. Так, по оценкам IEA, энергопотребление дата-центров в 2022 году составило 230–340 ТВт∙ч, т.е. около 1 %–1,3 % от общемирового без учёта расходов на сети передачи данных и майнинг.

Источник изображений: IEA

Впрочем, в любом случае на долю ЦОД не будет приходиться основная доля потребления. Например, базовый сценарий предполагает, что на ЦОД будет приходиться менее 10 %% от общего роста спроса. Примерно такой же рост покажет индустрия опреснения воды, а у электромобилей запросы будут минимум втрое выше. Агентство упомянуло об агрессивных инвестициях операторов ЦОД в возобновляемые источники энергии. Другими словами, устойчивое развитие сектора вполне осуществимо.

Однако ограниченные возможности генерации и лимиты энергосетей могут оказать более серьёзное влияние «на местах», поскольку подходящих площадок для ЦОД всё меньше. Как правило, дата-центры концентрируются в одном регионе. В результате в Вирджинии (США) или Ирландии энергии недостаточно, а в Сингапуре и Амстердаме даже введены временные моратории. Дальше будет сложнее, поскольку ЦОД ёмкостью от 1 ГВт скоро станут вполне распространённым явлением.

В случае с США, по оценкам IEA, ситуация с размещением ЦОД хуже, чем с заводами, электростанциями и складами. Чтобы корректно оценить перспективы роста спроса на ЦОД, политикам, бизнесу и другим структурам следует теснее сотрудничать. В частности, в IEA отмечают участившиеся случаи аномальной жары, которые негативно влияют на энергопотребление систем охлаждения и энергоэффективность объектов в целом. Всего, по оценкам IEA, в мире насчитывается около 11 тыс. дата-центров.

Кластер дата-центров «Остаповский» пополнился новыми действующими мощностями. По данным пресс-службы «РТК-ЦОД» («Ростелеком — Центры обработки данных»), ввели в эксплуатацию четвёртую и пятую очереди проекта ЦОД «Москва V» общим объёмом 1024 стойки. Теперь дата-центр вмещает 2048 стоек.

Первый этап реализации проекта начался со строительства в 2020 году объекта с нуля. Позже к нему подключили основные инженерные коммуникации — это было необходимо для получения разрешения на эксплуатацию в марте 2022 года. В последующем объект получил дополнительную инженерную инфраструктуру, обеспечивающую работу жизненного цикла полноценного ЦОД.

Источник изображения: Nikolay Vorobyev/unsplash.com

Если на втором и третьем этапах центр эксплуатировал лишь 1024 стойки, то теперь мощности выросли вдвое. Особое внимание уделили и надёжности проекта — ЦОД соответствует уровню защищённости Tier III. Общая площадь составляет 12 150 м2, подведённая мощность — 17 МВт.

По словам директора по развитию компании, завершение строительства в кластере «Остаповский» стало важнейшим шагом для реализации стратегии развития сети ЦОД компании — «Москва V» достроен «несмотря на все технические сложности». Это лишь один из актуальных проектов «РТК-ЦОД». Например, в сентябре появилась информация о намерении компании построить дата-центр в Хабаровском крае. Предполагается, что он будет включать четыре машинных зала на 440 стоек.

По данным пресс-службы Amazon (AWS), компания готовится к инвестициям в атомную энергетику. Она анонсировала три новых энергетических проекта, предполагающих постройку нескольких малых модульных реакторов (SMR). Компания уже заявила о переходе на 100 % возобновляемую электроэнергию — на семь лет раньше, чем планировалось. Атомные проекты — часть плана по переходу на полностью безуглеродную энергетику.

AWS объявила о подписании как минимум трёх соглашений для поддержки развития атомных проектов, включая помощь в строительстве новых SMR. Гиперскейлер утверждает, что такие решения помогут удовлетворить спрос клиентов и добиться нулевого выброса CO₂ в ходе всех операций к 2040 году. Кроме того, инвестиции помогут и в разработке новых атомных технологий, которые обеспечат генерацию энергии в ближайшие десятилетия.

AWS делает ставку на решения компании X-energy. IT-гигант является одним из ключевых инвесторов раунда финансирования серии C, в ходе которого планируется привлечь $500 млн. Благодаря поддержке AWS консорциумом Energy Northwest (шт. Вашингтон) получит четыре малых модульных реактора X-energy Xe-100 мощностью 80 МВт каждый, которые используют топливо TRISO-X, разработанное совместно с Министерством энергетики США (DoE). В дальнейшем мощность планируется довести до 960 МВт, но не факт, что вся она достанется AWS. Всего к 2039 году X-energy рассчитывает построить 5 ГВт мощностей.

Источник изображения: Amazon

В Вирджинии AWS подписала соглашение с Dominion Energy. Вместе компании изучат возможность строительства SMR рядом с принадлежащей Dominion атомной станцией North Anna, которые добавят не менее 300 МВт мощностей. Ранее AWS купила за $650 млн кампус Cumulus Data, запитанный напрямую от действующей АЭС Susquehanna. В рамках сделки будет обеспечен доступ к 480–960 МВт для питания 15 дата-центров. Инвестиции в атомные проекты, помимо сохранения прежних реакторов и создания новых, будут способствовать экономическому развитию местных сообществ, говорит AWS.

Источник изображения: Amazon

AWS не единственный гиперскейлер, желающий использовать атомную энергию. Microsoft наняла специалиста для контроля разработки SMR для своих ЦОД, до этого было подписано PPA с поддерживаемым Сэмом Альтманом (Sam Altman) энергетическим стартапом Helion. Дополнительно компания заключила PPA на 20 лет с Constellation Energy, которое позволит «оживить» реактор АЭС Three Mile Island, заглушенный в 2019 году из-за нехватки финансирования.

В сентябре Oracle анонсировала получение разрешений на строительство трёх SMR для питания ЦОД ёмкостью более 1 ГВт. Собственные амбиции в этой сфере имеются и у Google, которая объявила о намерении покупать энергию от SMR Kairos Power. Впрочем, рабочих реакторов у Kairos пока нет, а коммерческие модели, вероятно, не появятся до 2035 года.

ИИ-компания Nebius, сформированная из бывшей Yandex N.V., представила облачную платформу с современными ускорителями NVIDIA. Как уточняет Datacenter Dynamics, речь идёт о моделях NVIDIA H100 и H200, а также L40S. В скором будущем компания рассчитывает добавить и новейшие суперускорители GB200 NVL72.

Источник изображения: Nebius

Облачное хранилище обеспечивает агрегированную скорость чтения до 100 Гбайт/с и 1 млн IOPS. Платформа также предлагает управляемые Apache Spark и MLFlow, а ВМ по умолчанию включают ИИ-библиотеки и драйверы. По словам компании, она прислушалась к запросам клиентов, нуждавшихся в самостоятельном доступе и инфраструктуре, отлично от просто «базовой». Речь идёт о крупномасштабных кластерах с InfiniBand-подключением на базе эталонной архитектуры NVIDIA, но с кастомизированным оборудованием и проприетарной программной облачной платформой.

После введения антироссийских санкций Nebius дистанцировалась от «Яндекса», основная часть активов которого была продана группе российских инвесторов. У Nebius остался дата-центр в Финляндии, ёмкость которого она намерена утроить в обозримом будущем. Там разместятся более 60 тыс. ускорителей. В августе сообщалось, что компания увеличила облачную выручку на 60 % год к году во II квартале.

Компания Dell Technologies анонсировала интегрированные стоечные масштабируемые системы для экосистемы AI Factory, рассчитанные на задачи НРС и ресурсоёмкие приложения ИИ. В частности, дебютировали решения Integrated Rack 7000 (IR7000), PowerEdge M7725 и PowerEdge XE9712.

Источник изображений: Dell

IR7000 — это высокоплотная 21″ стойка Open Rack Version 3 (Orv3) с поддержкой жидкостного охлаждения. Говорится о совместимости с мощными CPU и GPU с высоким значением TDP. Модификации 44OU и 50OU оснащены салазками, которые шире и выше традиционных: это гарантирует совместимость с несколькими поколениями архитектур процессоров и ИИ-ускорителей. Полки питания в настоящее время поддерживают мощность от 33 кВт до 264 кВт на стойку с последующим увеличением до 480 кВт.

Система Dell PowerEdge M7725 специально спроектирована для вычислений высокой плотности. В основу положены процессоры AMD серии EPYC 9005 (Turin), насчитывающие до 192 вычислительных ядер. Одна стойка IR7000 может вместить 72 серверных узла M7725, каждый из которых оборудован двумя CPU. Таким образом, общее количество вычислительных ядер превышает 27 тыс. на стойку. Возможно развёртывание прямого жидкостного охлаждения (DLC) и воздушного охлаждения. Доступны два IO-слота (PCIe 5.0 x16) в расчёте на узел с поддержкой Ethernet и InfiniBand.

В свою очередь, система Dell PowerEdge XE9712 разработана для обучения больших языковых моделей (LLM) и инференса в реальном времени. Эта новинка использует архитектуру суперускорителя NVIDIA GB200 NVL72. В общей сложности задействованы 72 чипа B200 и 36 процессоров Grace. Утверждается, что такая конфигурация обеспечивает скорость инференса до 30 раз выше по сравнению с системами предыдущего поколения.