Коммерческие дата-центры в России пользуются всё большим спросом. По данным Forbes, речь идёт не только об использовании облаков — многие компании вместо эксплуатации собственных ЦОД всё чаще предпочитают размещать собственные серверы на арендованных объектах.

Согласно прогнозам iKS-Consulting, уже к 2028 году рынок коммерческих ЦОД в России, возможно, вырастет в 2,1 раза в сравнении с 2023 годом — до 148 тыс. стойко-мест. В денежном выражении на фоне роста спроса рынок может вырасти в 2,8 раза — до 121 млрд рублей. Одной из вероятных причин называется рост арендных ставок для размещения серверов клиентов. При этом рынок облачной инфраструктуры к концу 2024 года может вырасти до 162 млрд руб., а к 2028 году — составить 464 млрд руб. (в 2023 году он составил 121,4 млрд руб.).

Из-за быстрого роста объёмов хранимой и обрабатываемой информации компании могут либо развивать собственную IT-инфраструктуру, либо арендовать её у оператора, поскольку собственные ЦОД могут позволить себе лишь очень крупные бизнесы. По данным Forbes, в последние годы доля ЦОД, принадлежащих компаниям, на российском рынке неуклонно снижается. При этом, если в 2023 году доля коммерческих ЦОД составляла 18,6 % по объёму серверных стоек, то в 2027 году она, возможно, превысит 25 %. В мире этот показатель достиг 31 %, а доля корпоративных ЦОД постепенно сокращается.

Источник: iKS-Consulting

Как отмечают в iKS-Consulting, с 2020 года рынок коммерческих ЦОД в России вырос на 80 %, а в 2024 году, вероятно, составит 82,4 тыс. стойко-мест. Лидером рынка является дочерняя структура «Ростелекома» — РТК-ЦОД. Этим летом она приобрела крупный ЦОД на севере Москвы и теперь располагает 27 тыс. серверных стоек. У ближайших конкурентов IXcellerate, «Росатома» и DataPro насчитывается более 8,3 тыс. стоек, 6,6 тыс. стоек и 6,6 тыс. стоек соответственно. 3data из-за сделки PNK Group с «Ростелекомом» откатилась с четвёртого на седьмое место.

Источник: iKS-Consulting

Среди российских клиентов популярны как облака, так и колокация. Выбор во многом зависит от возможностей IT-специалистов компаний. При этом облачные сервисы предоставляют далеко не все операторы ЦОД, поскольку для этого требуется немало средств и компетенций. Из десятки операторов коммерческих ЦОД, по данным Forbes, лишь три числятся в десятке облачных провайдеров: РТК-ЦОД, Selectel и МТС. Впрочем, компании всё активнее пользуются облачными сервисами. Основные критерии выбора: кибербезопасность, экономическая целесообразность и бесперебойная работа IT-инфраструктуры.

Впрочем, есть и негативные тенденции. По словам iKS-Consulting, среди основных трендов отрасли в России — увеличение сроков эксплуатации инженерного оборудования дата-центров. Основные причины — рост стоимости и сложности с закупками из-за увеличения санкционного давления.

Представленное сегодня семейство SSD Kioxia XD8 с интерфейсом PCIe 5.0 является уже третьим по счёту в ряду решений компании, выпускаемых в быстро набирающем популярность компактном форм-факторе EDSFF E1.S. Главная отличительная черта новинок — соответствие стандартам NVMe 2.0 и спецификациям OCP 2.5.

Позиционируются XD8 в качестве решений для облачных сред и гиперскейлеров и характеризуются, в первую очередь, высокой скоростью чтения. Этот показатель у новых SSD Kioxia достигает 12,5 Гбайт/с, что на 73% выше, чем у моделей предыдущего поколения XD7P. Скорость линейной записи также подросла, правда всего на 20%. Она достигает 5,8 Гбайт/с. Для операций случайного чтения 4K-блоками заявлено до 2,3 млн IOPS, при случайной записи накопители обеспечивают до 250 тыс IOPS. Это на 48% и 25% быстрее, нежели у семейства XD7P в том же форм-факторе.

Источник: Kioxia via HotHardware

Базируются описываемые SSD на памяти BiCS 3D TLC собственной разработки Kioxia. XD8 имеют ёмкость 1,92 Тбайт, 3,84 Тбайт или 7,68 Тбайт. Для них заявлена надёжность на уровне 1 полной перезаписи в день на протяжении пятилетнего гарантийного срока (1 DWPD), а наработка на отказ составляет 2 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C. Накопители поддерживают шифрование данных, в том числе стандарт TCG Opal 2.0, а также интерфейс управления NVMe-MI 1.2c. Имеется защита от сбоев по питанию.

Поскольку для высокоскоростных SSD с поддержкой PCIe 5.0 важен вопрос теплоотвода, Kioxia предусмотрела три опции корпусов-радиаторов высотой 9,5 мм, 15 мм и 25 мм. От этого показателя зависит наличие и высота оребрения. В настоящее время компания уже поставляет клиентам ознакомительные образцы новых SSD.

Российские разработчики ПО Postgres Professional и АО «Флант» объявили о стратегическом партнёрстве для развития экосистемы решений Deckhouse. По данным пресс-службы АО «Флант», в рамках партнёрства Postgres Professional инвестирует 3 млрд руб. АО «Флант», по данным самой компании, является одним из ведущих контрибьюторов Kubernetes и лидеров DevOps в России, а Postgres Professional — это крупный и известный отечественный разработчик СУБД.

Сегодня экосистема Deckhouse включает платформу контейнеризации Deckhouse Kubernetes Platform, платформу виртуализации Deckhouse Virtualization Platform, систему мониторинга Deckhouse Observability, менеджер кластеров Deckhouse Commander и другое ПО. Флагманом является продукт Deckhouse Kubernetes Platform. Платформа управляет более чем 600 кластерами в банковских структурах, ретейле, финтех- и нефтегазовых компаниях, а также других отраслях.

Сотрудничество на стратегическом уровне обеспечит компаниям развитие ПО, экспертизу в области Cloud Native и технологиях больших данных. Условия партнёрства предусматривают получение Postgres Professional миноритарной доли «Фланта» до 2028 года, при этом действующие акционеры сохранят контроль над компанией. Доля будет определена с учётом финансовых показателей «Фланта» в последующие три года. За это время компания намерена увеличить портфолио заказчиков и выручку, а также втрое увеличить присутствие на рынке.

Источник изображения: Alex Kotliarskyi/unsplash.com

Во «Фланте» заявляют, что партнёрство с крупными игроками вроде Postgres Professional открывает новые возможности для развития бизнеса. Партнёры заняты разработкой ПО с открытым кодом и заинтересованы в развитии сообщества. Инвестиции будут направлены на улучшение продуктов и оптимизацию клиентских сервисов. В Postgres Professional отметили, что поддерживают IT-бизнесы, не только предлагающие качественные продукты, но и отдающие разработки для свободного использования в соответствии с принципами open source. Утверждается, что сотрудничество поможет совершенствованию Cloud Native-технологий и предложить клиентам инструменты для удобной и надёжной работы с данными.

Центр научных данных и вычислений (SDCC) Брукхейвенской национальной лаборатории (BNL) Министерства энергетики США (DoE) похвастался, что в его хранилищах находится уже свыше 300 Пбайт информации. Как сообщает Datacenter Dynamics, речь идёт о третьем по величине хранилище научных данных в Соединённых Штатах и крупнейшем в США архиве ленточных накопителей.

Хранящиеся данные связаны с экспериментами в области ядерной физики и физики элементарных частиц. В пресс-релизе Брукхейвенской лаборатории руководство SDCC заявляет, что в архиве хранится вшестеро больше данных, чем составила бы вся письменная история человечества, начиная с источников на санскрите (50 Пбайт). В частности, в хранилище находятся данные, полученные в экспериментах на Релятивистском коллайдере тяжелых ионов (RHIC) Министерства энергетики США, который с 2000 года работает в Брукхейвенской лаборатории, и данные эксперимента ATLAS на Большом адронном коллайдере (БАК).

Источник изображения: Roger Stoutenburgh / Brookhaven National Laboratory

Вся информация доступна онлайн и по запросу. Сведения хранятся в высокотехнологичной роботизированной ленточной библиотеке. В лаборатории уже разработано собственное ПО и веб-сайт для мониторинга передачи данных, структура также сотрудничает с другими лабораториями Министерства энергетики и IBM над развитием системы управления информацией — High-Performance Storage System (HPSS). Последняя гарантирует, что разные системы хранения данных, от лент до дисков, могут эффективно использоваться в различных комбинациях. Также разработано ПО, используемое физиками для доступа к информации SDCC.

Представители SDCC сообщают, что лаборатория пользуется преимуществами гибридной СХД: данные хранятся в основном на лентах и переносятся на диски только в случае необходимости, что снижает стоимость эксплуатации и повышает экологичность хранения. Так, диски требуют охлаждения и энергию, тогда как ленты вне периода эксплуатации попросту лежат в библиотеках. Сами ленточные библиотеки размещены в специальных залах с оптимизированными энергопотреблением и охлаждением.

Источник изображения: David Rahner / Brookhaven National Laboratory

Также имеются запасные ёмкости для растущего «кеша» данных, собираемых лабораториями. В рамках эксперимента sPHENIX учёные намерены получить около 565 Пбайт данных, которые одновременно пишутся и на диски, и на ленты. В следующем году на смену RHIC придёт EIC, который, как ожидается, будет генерировать 220 Пбайт/год.

Отмечается, что ёмкость ленточных хранилищ обычно удваивается каждые 4–5 лет, а сами они становятся всё более компактными. Периодически перенося данные со старых носителей на новые, специалисты освобождают в библиотеке немало места. Сейчас потенциальная ёмкость библиотек Лаборатории составляет порядка 1,5 Эбайт, но учёные надеются, что со временем доведут её до 3 Эбайт. Примечательно, что спрос на ленточные картриджи только растёт. В 2023 году поставки достигли рекордного значения в 153 Эбайт. Правда, помогло это не всем вендорам.

Компания HPE анонсировала, как утверждается, первую в отрасли архитектуру прямого жидкостного охлаждения (DLC), в составе которой вообще не используются вентиляторы. Решение ориентировано на дата-центры для ресурсоёмких нагрузок ИИ и НРС.

Отмечается, что эффективность ИИ-ускорителей следующего поколения повышается, но их энергопотребление продолжает расти. Поэтому ЦОД, рассчитанные на масштабные рабочие нагрузки ИИ, внедряют новые системы охлаждения. Наиболее эффективной технологией, как заявляет HPE, на сегодняшний день является DLC.

Представленное решение включает жидкостное охлаждение для CPU и GPU, blade-сервера целиком, локального хранилища, сетевой фабрики, стойки, модуля/кластера и блок распределения охлаждающей жидкости (CDU). Применяется высокоплотная конструкция с интегрированной сетевой фабрикой, дополненная специальным ПО для мониторинга. При этом обеспечивается гибкость выбора ИИ-ускорителей. «Новая архитектура прямого жидкостного охлаждения обеспечивает снижение энергопотребления на 90 % по сравнению с традиционными системами воздушного охлаждения», — говорит Антонио Нери (Antonio Neri), президент и генеральный директор HPE.

Источник изображения: HPE

Полностью безвентиляторная архитектура DLC обеспечивает ряд преимуществ по сравнению с другими решениями. В частности, затраты на охлаждение «лезвия» сокращаются на 37 % по сравнению с гибридным прямым жидкостным охлаждением. Это позволяет снизить расходы на коммунальные услуги, а также уменьшить выбросы вредных газов в атмосферу. Кроме того, достигается высокая плотность монтажа оборудования, благодаря чему занимаемые площади в ЦОД могут быть уменьшены в два раза.

Отметим, что российская Группа компаний РСК давно предлагает узлы (в том числе с ускорителями), СХД, коммутаторы и стойки с полностью жидкостным охлаждением.

Облачный провайдер CoreWeave привлёк кредитную линию на $650 млн от крупного инвестиционного бизнеса для масштабирования своей деятельности по всему миру. По данным Silicon Angle, лидерами раунда финансирования стали JPMorgan Chase, Goldman Sachs и Morgan Stanley, к ним присоединились Barclays, CitiGroup, Deutsche Bank, Jefferies, Mizuho, MUFG и Wells Fargo.

За последние 18 месяцев компания уже привлекла $12,7 млрд в виде акционерного капитала и долговых обязательств, оценка компании составила $19 млрд. В компании утверждают, что новая кредитная линия будет способствовать росту в быстроразвивающейся сфере ИИ.

Сегодня CoreWeave выступает оператором публичного облака, обеспечивающего доступ к ускорителям NVIDIA для ИИ и рендеринга — в том числе доступны NVIDIA H100 и H200. Ещё в августе компания заявила, что стала первым облачным провайдером, предоставившим клиентам доступ к новейшим ускорителям NVIDIA H200. Обучение и внедрение больших языковых моделей (LLM) требует больших вычислительных ресурсов, но CoreWeave говорит, что её инфраструктура позволяет легко масштабировать ИИ-нагрузки в облаке.

Источник изображения: CoreWeave

На сегодня инвестиции в ИИ-платформы очень популярны, поскольку спрос на вычисления продолжает расти. Например, ранее в этом месяце OpenAI уже привлекла кредитную линию на $4 млрд и ещё $6.6 миллиарда в рамках инвестиционного раунда. При этом в формировании кредитных линий CoreWeave и OpenAI зачастую участвуют одни и те же инвестиционные компании.

Недавно CoreWeave открыла европейскую штаб-квартиру в Лондоне. При этом она намерена инвестировать $3,5 млрд в расширение бизнеса в Европе. В том числе речь идёт об открытии двух ЦОД в Великобритании, не считая дата-центров в Норвегии, Швеции и Испании. До конца года компания намерена получить в своё распоряжение до 28 ЦОД по всему миру. В 2025 году запланировано открытие ещё 10 дата-центров.

В апреле прошлого года CoreWeave получила $221 млн, а потом — ещё $200 млн. В августе 2023 года было объявлено о долговом финансировании в размере $2,3 млрд под залог ускорителей NVIDIA. В декабре того же года CoreWeave провела раунд финансирования на $642 млн, а в мае текущего года она получила $1,1 млрд. Позже компания привлекла ещё $7,5 млрд. Наконец, в октябре появилась информация о намерении Cisco инвестировать в компанию. При этом в рамках сделки CoreWeave может получить оценку в $23 млрд.

ABB Robotics объявила о сотрудничестве с американским стартапом Molg для разработки роботизированных микрозаводов, способных восстанавливать и перерабатывать неисправное оборудование ЦОД. По данным Datacenter Dynamics, микрозаводы Molg автономно собирают и разбирают сложные электронные устройства вроде серверов, ноутбуков и промышленной электроники.

Поскольку многие из таких устройств содержат редкоземельные элементы, автоматизация их переработки обеспечит определённые экономические преимущества — материалы можно будет применять в новых устройствах. Микрозаводы предназначены для гиперскейлеров, управляющих крупными сетями дата-центров, и компаний, занятыми утилизацией различных IT-активов (IT Asset Disposition-компании).

Интерес к новым разработкам подогревается значительным прогрессом вычислительной техники. В результате появилась насущная необходимость обновлять оборудование на объектах гиперскейлерах более регулярно, что ведёт к появлению электронных отходов в больших объёмах.

Источник изображений: Molg

По словам представителя Molg, инвестиции ABB позволят ускорить работу по созданию более экоустойчивого, «циклического» производственного процесса для электроники, благодаря чему обеспечен круговорот в индустрии ценных материалов и повышается надёжность цепочки поставок.

«Циркулярный» подход к ЦОД стал весьма популярным. К 2030 году масса мировых электронных отходов должна достичь 75 млн тонн. Микрозаводы для их утилизации должны сыграть важную роль в сокращении таких отходов — также они поддержат более эффективные и устойчивые операции в секторе ЦОД.

В результате развития экоустойчивых подходов к переработке гиперскейлеры нарастили инвестиции в компании, занимающиеся утилизацией. Так, Microsoft инвестировала в Cyclic Materials — подконтрольный REE стартап, специализирующийся на переработке жёстких дисков. Seagate также пришла к восстановлению и очистке б/у HDD. Lenovo готова продавать восстановленные ПК и серверы. Amazon создала целую фабрику по восстановлению и переработке собственного серверного оборудования. А Meta✴ и вовсе экспериментирует с технологиями утилизации строительных отходов с помощью грибов.

Подразделение дубайской Damac Group инвестирует около $1 млрд в дата-центры в Таиланде. По данным Bloomberg, это продолжение тренда крупных IT-игроков на формирование крупных ЦОД и ИИ-инфраструктур в Юго-Восточной Азии.

Подконтрольная Damac компания Edgnex Data Centers готовится вложить более ฿32 млрд (около $1 млрд) в три-четыре кампуса ЦОД. Реализация проектов будет осуществляться через совместное предприятие, открытое с местным оператором ЦОД Proen Corp. Первый объект будет расположен в Бангкоке и заработает уже к марту 2025 года, исходная ёмкость — 5 МВт, позже она будет увеличена до 20 МВт.

Похожий проект готовится реализовать и Google — компания тоже намерена потратить $1 млрд на строительство дата-центров в Таиланде, чтобы удовлетворить растущий спрос на ИИ-решения. Предполагается, что такие вливания помогут перезапустить местную экономику, страдающую от ряда экономических проблем. Юго-Восточная Азия с населением около 685 млн человек, открывает перспективы для роста Microsoft, NVIDIA и Amazon, которые тратят миллиарды долларов на местную ИИ-инфраструктуру.

Источник изображения: Edgnex

Как заявляют в самой Damac, компания будет расширять ёмкость ЦОД в Бангкоке по мере того, как правительство начнёт поддерживать инициативы по развитию цифровой экономики. В числе потенциальных клиентов — гиперскейлеры и связанные с ИИ компании, а также правительственные ведомства. Всего компания запланировала строительство ЦОД общей ёмкостью 100 МВт.

Кроме того, она планирует вкладывать средства и в возведение в стране элитного жилья. В Индии же, к примеру, застройщик элитного жилья обратил внимание на рынок ЦОД. Допускается, что успех Damac поможет проложить дорогу и другим дубайским компаниям для инвестиций в эту страну.

В конце июня уже появилась новость о том, что Власти Таиланда одобрили $291 млн инвестиций в местную индустрию ЦОД. Индонезия, Малайзия и Таиланд уже привлекли миллиарды долларов инвестиций на развитие ЦОД от американских и азиатских операторов и гиперскейлеров. Индийскому рынку дата-центров тоже прогнозируют рост, а Сингапур, похоже, наоборот, вскоре может потерять статус не только регионального, но и международного лидера индустрии дата-центров.

Корпорация MiTAC Computing Technology представила серверы и материнские платы, рассчитанные на работу с новейшими процессорами EPYC 9005 (Turin). Дебютировали системы разного уровня, в том числе решения для ИИ-нагрузок и НРС-задач.

В частности, вышел двухсоктеный сервер MiTAC Tyan TN85-B8261 типоразмера 2U, разработанный специально для HPC и ML. Он поддерживает до четырёх двухслотовых GPU-ускорителей, 24 модуля DDR5 RDIMM и восемь SFF-накопителей NVMe U.2 с возможностью горячей замены.

Кроме того, анонсирован односокетный GPU-сервер MiTAC Tyan FT65T-B8050 формата 4U. Есть восемь слотов для модулей DDR5, восемь посадочных мест для SATA-накопителей LFF и два отсека для SFF-устройств NVMe U.2 с возможностью горячей замены. Данная модель допускает установку двух GPU-ускорителей.

Ещё одна новинка — MiTAC G8825Z5: это двухсокетный сервер 8U, поддерживающий ИИ-ускорители AMD Instinct MI325X. Машина может нести на борту до 4 Тбайт памяти DDR5-6000. Доступны восемь посадочных мест для SFF-накопителей U.2 с возможностью горячей замены. Система рассчитана на ресурсоёмкие задачи ИИ и НРС.

Источник изображения: MiTAC

Представлены 2U-серверы MiTAC Tyan TS70-B8056 и TS70A-B8056 для облачных хранилищ. Первый получил 12 фронтальных отсеков для LFF-накопителей и два тыльных отсека для SFF-устройств NVMe U.2. Вторая модель располагает 26 отсеками для накопителей SFF NVMe U.2 с возможностью горячей замены.

Наконец, анонсированы компактный односокетный облачный сервер MiTAC Tyan GC68C-B8056 формата 1U с 24 слотами DDR5 и 12 отсеками для устройств SFF NVMe U.2, а также материнские платы MiTAC Tyan S8050 и MiTAC Tyan S8056.

Компания MSI анонсировала серверы и материнские платы с поддержкой новейших процессоров AMD EPYC Turin. Вышли системы разного уровня, включая решения для ИИ-задач, машинного обучения и HPC. Также получили поддержку Turin и некоторые модели систем, изначально рассчитанных на установку AMD EPYC Genoa

В частности, представлена двухсокетная модель S2301 2U CXL Memory Expansion Server с поддержкой технологии CXL 2.0. Она оснащена восемью разъёмами E3.S 2T для CXL-модулей и восемью слотами E3.S 1T NVMe. Машина предназначена для приложений с интенсивным использованием данных, таких как НРС-нагрузки и резидентные базы данных.

Вышли несколько вычислительных серверов. Так, двухузловая модель CD370-S4051-X2 формата 3U оснащена 12 отсеками PCIe 5.0 x4 U.2 NVMe в расчёте на узел, а двухузловая версия CD270-S4051-X2 стандарта 2U предлагает по шесть таких отсеков на узел. В свою очередь, четырёхузловой вариант CD270-S4051-X4 типоразмера 2U имеет по три отсека PCIe 5.0 x4 U.2 NVMe на узел, а в качестве опции доступно жидкостное охлаждение.

Источник изображения: MSI

Односокетный сервер корпоративного уровня CX271-S4056 формата 2U предлагает 24 слота для модулей оперативной памяти DDR5-5200. Эта система доступна в вариантах с 8 и 24 отсеками для накопителей PCIe 5.0 x4 U.2 NVMe. Кроме того, упомянуты слоты PCIe 5.0 x16 OCP для сетевых адаптеров. Машина подходит для ИИ, виртуализации и облачных приложений в современных ЦОД.

На ресурсоёмкие ИИ-задачи ориентированы односокетные GPU-серверы G4101-01 и G4101-03 с жидкостным охлаждением. Они оснащены 12 слотами DDR5 DIMM и четырьмя слотами PCIe 5.0 тройной ширины с возможностью установки ускорителей, TDP которых достигает 450 Вт. Могут быть задействовать до 12 накопителей PCIe 4.0 U.2 NVMe. Применены блоки питания мощностью 3000 Вт с сертификатом Platinum или Titanium.

Установку процессоров EPYC 9005 также поддерживают корпоративные серверы S2206-05-10G, S2206-06-10G и S1206-02-10G с портами 10G SFP+, материнские платы D4056 DC-MHS M-DNO Type-4 HPM и D4051 DC-MHS M-DNO Type-2 HPM.