Частота и серьёзность сбоев в ЦОД постепенно снижается относительно общей ёмкости объектов. Тем не менее, сообщает The Register, нарушения работы могут очень дорого обойтись операторам и их клиентам, а проблемы с электропитанием ведут к особенно серьёзным последствиям.

Ёмкость дата-центров постоянно увеличивается, так что общее количество инцидентов тоже растёт, но по данным Uptime Institute, частота и тяжесть происшествий увеличивается относительно медленными темпами. И хотя их стало больше в абсолютном значении, темпы прироста заметно упали в последние годы. На то имеется ряд причин, включая тот факт, что многие организации стали интенсивно вкладываться в обеспечение надёжности работы оборудования. Среди других причин называются переход клиентов в облака и внедрение новых технологий для соответствия требованиям регуляторов.

Источник изображения: Uptime Institute

Однако Uptime Institute предупреждает, что данные о перебоях могут оказаться не вполне точными, потому что операторы зачастую не желают раскрывать информацию об инцидентах из-за возможного репутационного ущерба, так что сведения приходится собирать из открытых источников. В докладе Annual Outage Analysis 2024 констатируется, что 55 % опрошенных представителей операторов подтвердили, что в последние три года в их ЦОД были перебои. С другой стороны, годом ранее речь шла о 60 %, а в 2021 году — о 69 %. В то же время только 10 % сбоев за последний год оценили как «серьёзные» или «тяжёлые», тогда как двумя годами ранее таковых было на 14 п.п. больше.

54 % респондентов отметили, что самые значимые происшествия в их компаниях обошлись более чем $100 тыс., а 16 % — более $1 млн. Главной причиной называлась проблема с системой распределения энергии на местах, в докладе эта тема отмечается в 52 % инцидентов. Исследователи говорят, что переход на более «динамичные» электросети с возобновляемыми источниками энергии сделал сети питания менее надёжными. При этом в ряде случаев ИБП/генераторы не смогли корректно отреагировать на отказ сети. Например, ровно это вызвало перебои с сервисами Microsoft Azure в Европе в 2023 году.

Источник изображения: Uptime Institute

Вторая из ключевых причин сбоев — поломка или недостаточная производительность охлаждающего оборудования. Эксперты отметили, что количество проблем со сторонними сервисами выросло с 2020 года вдвое — на них приходится порядка 10 % сбоев в 2023 году. Это связано с ростром популярности облачных сервисов, в том числе SaaS, услуг хостинга и колокации.

Во многих случаях играют роль человеческие ошибки — на них приходится от ⅔ до ⅘ всех инцидентов. Виной некорректное соблюдение процедур по обслуживанию оборудования или некорректность самих процедур. Например, в прошлом году на Нью-йоркской фондовой бирже (NYSE) сотрудник не смог корректно восстановить работу систем после сбоя во вспомогательном ЦОД, что привело к неверному ценообразованию на следующий день. Предполагается, что количество сбоев можно будет уменьшить благодаря более интенсивным тренировкам персонала и аудиту вероятных слабых мест.

Источник изображения: Uptime Institute

По данным Uptime Institute, каждый год случается 10–20 крупных отказов оборудования ЦОД в мире, что ведёт к серьёзным финансовым потерям и перебоям в обслуживании клиентов, а во многих случаях и к репутационным издержкам. В любом случае недавно в Uptime Institute сообщали, что в ближайшие годы затраты на строительство и обслуживание дата-центров будут только расти.

Компания Lambda Labs объявила о привлечении финансирования в размере $500 млн для расширения своей облачной «платформы по требованию», которая предназначена для решения задач в области ИИ и машинного обучения. Программу возглавила Macquarie Group при участии Фонда промышленного развития (IDF).

Стартап Lambda Labs был основан в 2012 году. Он предоставляет услуги облачных ИИ-вычислений с использованием собственных систем на базе ускорителей NVIDIA и чипов AMD и Intel. Фирма сдаёт в аренду места в дата-центрах в Сан-Франциско (Калифорния) и Аллене (Техас). Компания также продаёт настольные рабочие станции на базе GPU.

Источник изображения: Lambda Labs

В феврале нынешнего года Lambda Labs сообщила о проведении инвестиционного раунда Series C на сумму в $320 млн. Как теперь стало известно, компания получила финансовую поддержку «специального назначения» обхёмом $500 млн для развития облачной ИИ-инфраструктуры. Речь идёт о внедрении «десятков тысяч» ускорителей.

Подход к предоставлению вычислительных ресурсов, который использует Lambda Labs, как отмечается, даёт возможность обслуживать тысячи клиентов без необходимости заключения долгосрочных контрактов. Таким образом, поддерживаются инновации в области ИИ, генеративных сервисов и больших языковых моделей (LLM). Lambda Labs также поддерживает платформу NVIDIA AI Enterprise, предоставляя полный набор решений для разработчиков генеративного ИИ.

Компания Hailo анонсировала специализированный модуль Hailo-10, предназначенный для обслуживания генеративного ИИ. Этот ускоритель с высокой энергетической эффективностью может быть установлен, например, в рабочую станцию или edge-систему.

Изделие выполнено в форм-факторе M.2 Key M 2242/2280 с интерфейсом PCIe 3.0 х4. В оснащение входят чип Hailo-10H и 8 Гбайт памяти LPDDR4. Говорится о совместимости с компьютерами, оснащёнными CPU на архитектурах x86 и Aarch64 (Arm64). Заявлена поддержка Windows 11, а также ИИ-фреймворков TensorFlow, TensorFlow Lite, Keras, PyTorch и ONNX.

Источник изображения: Hailo

Как отмечает Hailo, новинка обеспечивает ИИ-производительность до 40 TOPS. Типовое энергопотребление составляет менее 3,5 Вт. Утверждается, что ИИ-модуль поддерживает нагрузки, связанные с инференсом, в режиме реального времени. Например, при работе с большой языковой моделью Llama2-7B достигается скорость до 10 токенов в секунду (TPS). При использовании Stable Diffusion 2.1 возможна генерация одного изображения на основе текста менее чем за 5 с.

Применение Hailo-10 позволяет перенести определённые ИИ-нагрузки из облака или дата-центра на периферию. Это снижает задержки и даёт возможность решать задачи в офлайновом режиме. Изначально новинка будет позиционироваться для применения в сферах ПК и автомобильных информационно-развлекательных комплексов для обеспечения работы чат-ботов, средств автопилотирования, персональных помощников и систем с голосовым управлением.

Поставки образцов Hailo-10 будут организованы во II квартале 2024 года. В ассортименте компании также присутствует ускоритель Hailo-8 в формате M.2: он обеспечивает производительность до 26 TOPS и при этом имеет энергоэффективность 3 TOPS/Вт.

По сообщению ресурса CNX-Software, в продаже появилась плата CWWK CW-J6-NAS, предназначенная для построения сетевых хранилищ данных. Решение выполнено в форм-факторе Mini-ITX с габаритами 170 × 170 мм, а в основу положена платформа Intel Elkhart Lake. Примечательно, что на официальном сайте CWWK страница продукта была доступна некоторое время назад, но потом пропала.

В зависимости от модификации задействован процессор Celeron J6412 (до 2,6 ГГц) или Celeron J6413 (до 3,0 ГГц). Эти 10-Вт чипы содержат четыре вычислительных ядра (SMT нет) и ускоритель Intel UHD Graphics. Доступны два слота для модулей DDR4-2400/2666/3200 SO-DIMM суммарным объёмом до 64 Гбайт.

Источник изображения: CNX-Software

Плата располагает шестью портами SATA-3 для подключения накопителей (пять реализованы на контроллере JMB585) и двумя коннекторами M.2 2280 NVMe. Предусмотрены три сетевых порта 2.5GbE RJ-45, два из которых используют чип Intel i226-V, а третий — RTL8125BG. Кроме того, имеется консольный порт с разъёмом RJ-45.

Новинка оборудована четырьмя интерфейсами USB 2.0, двумя — USB 3.0, колодкой GPIO и колодкой USB 2.0, двумя 4-контактными коннекторами для подключения вентиляторов охлаждения, а также стандартными разъёмами питания ATX (24+4). Среди прочего упомянуты аудиогнездо на 3,5 мм, интерфейсы HDMI и DP 1.4a с поддержкой видео в формате 4K@60 и разъём PCIe х1, в который может быть установлена, например, дополнительная сетевая карта. Цена CWWK NAS варьируется от $175 до $200.

Brookfield объединяет операторов дата-центров Cyxtera и Evoque под новым брендом Centersquare. Datacenter Dynamics напоминает, что первого оператора инвестиционная компания приобрела только в прошлом году с расчётом на дальнейшее слияние.

Cyxtera подала заявление в соответствии с главой 11 кодекса США о банкротствах ещё в июне 2023 года, а в ноябре было объявлено о поглощении компании инвестиционным холдингом Brookfield Infrastructure Partners — сделка, включающая арендованные ЦОД, обошлась инвесторам в $775 млн. В январе её закрыли, внеся все необходимые поправки в существовавшие договорённости. Уже тогда Brookfield объявила о намерении влить компанию в Evoque. В январе глава Cyxtera Нельсон Фонсека (Nelson Fonseca) оставил свой пост и теперь является президентом сегмента ЦОД в Cirion Technologies — принадлежащей Stonepeak инфраструктурной компании, купленной у Lumen в 2022 году.

Источник изображения: Scott Graham/unsplash.com

Новый бизнес располагает объектами ёмкостью 400 МВт на 17 рынках, общей площадью 176,5 тыс. м². Он не связан с инвестиционной CenterSquare Investment, недавно вложившей средства в Aligned Data Centers. Утверждается, что потенциально новая компания может увеличить ёмкость ещё на 200 МВт. Объединённую структуру возглавил руководитель Evoque Спенсер Малли (Spencer Mullee). По его словам, речь идёт не просто о смене названия. После слияния клиентам будут доступны преимущества обеих компаний, улучшатся гибкость и надёжность благодаря объединённому опыту команды двух операторов.

Утверждается, что превращение отдельных компаний в Centersquare будет «постепенным, хорошо сдирижированным процессом», который завершится к лету 2024 года. В портфеле Brookfield уже имеются DCI Data Centers в Азиатско-Тихоокеанском регионе, Data4 в Европе, а также Compass Data Centers в Северной Америке и другие компании. Brookfield основала Evoque в 2019 году, купив ЦОД и колокейшн-активы AT&T.

В реестре радиоэлектронной продукции Минпромторга появился первый отечественный сервер для работы ИИ с поддержкой подключения нескольких ускорителей — Delta Sprut от ООО «Дельта компьютерс» (Delta Computers), позволяющий подключить до 16 ускорителей, пишет ресурс «Ведомости». С его помощью можно выполнять «тяжёлые» технические задачи, включая связанные с обучением генеративных ИИ-моделей, распознаванием и синтезом речи, работой цифровых ассистентов или распознаванием лиц в видеопотоке.

Delta Sprut включили в реестр 22 февраля 2024 года. До этого в перечне были только серверы с возможностью подключения одного ускорителя для выполнения более простых задач, таких как рендеринг фото- и видеоизображений. Следует отметить, что несмотря на включение в отечественный реестр, серверы Delta используют иностранные ускорители — в стране аналогов пока нет.

Источник изображения: Delta Computers

В России разработкой серверов с возможностью подключения ускорителей также занимаются компании «Тринити» и Yadro, но это более простые и маломощные устройства, сообщил лидер по ИИ и управлению данными ФКУ «Гостех» Михаил Федоров. По его мнению, в числе потребителей модуля Delta Computers могут быть госструктуры, поскольку он технически аттестован для использования федеральными и региональными органами власти. Также его можно использовать на «ГосТехе» при построении информсистем.

По словам представителя «ГосТеха», платформа пока не использует серверы с поддержкой ускорителей. В свою очередь, директор НОЦФНС России и МГТУ им. Н. Э. Баумана, эксперт рынка НТИ TechNet Алексей Бородулин отметил, что для дальнейшего развития «ГосТеха» потребуется большое количество ускорителей для решения высоконагруженных задач и распараллеливания вычислительных процессов. С 1 января 2024 г. на платформу «ГосТеха» перевели не только федеральные, но и региональные ведомства, в связи с чем назрела необходимость увеличения вычислительных мощностей.

Nvidia и индонезийская телекоммуникационная компания Indosat Ooredoo Hutchison планируют построить ИИ-центр стоимостью $200 млн в Центральной Яве, провинции Индонезии, являющейся крупнейшей экономикой Юго-Восточной Азии. Об этом сообщило агентство Reuters со ссылкой на заявление министра связи страны Буди Арие Сетиади (Budi Arie Setiadi).

Согласно заявлению Министерства связи и информатики Индонезии, новый ИИ-центр будет построен в Суракарте в конце этого года. «Почему в Суракарте? Потому что они готовы, имеют хорошие человеческие ресурсы и инфраструктуру 5G», — отметил глава ведомства. По словам представителя Indosat Стива Саеранга (Steve Saerang), сотрудничество с Nvidia будет способствовать развитию технологической инфраструктуры в Индонезии. Indosat в настоящее время более глубоко углубляется в сферу цифровых сервисов, стремясь выйти за рамки телекоммуникаций и предлагать более широкий спектр услуг, пишет Nikkei Asia.

Источник изображения: NVIDIA

В свою очередь замминистра связи Незар Патриа (Nezar Patria) отметил, что сотрудничество носит стратегический характер и выразил надежду, что будет также осуществляться передача технологий, чтобы в дальнейшем Индонезия могла стать «частью игроков в области ИИ, которые принимаются во внимание как на региональном, так и на глобальном уровне».

Партнёрство с Indosat является следующим этапом наращивания присутствия Nvidia в Юго-Восточной Азии, включая Сингапур и Малайзию. В январе Singapore Telecommunication (Singtel) объявила о сотрудничестве с Nvidia для развёртывания возможностей ИИ в своих ЦОД. YTLP Group из Малайзии заявила, что запускает первое в стране облако ИИ с использованием ускорителей Nvidia Blackwell.

Группа компаний РСК представила модульное решение «РСК Экзастрим ИИ», предназначенное, как видно из названия, для развития ИИ-инфраструктуры в России.

Новинка представляет собой серверный узел высотой 2U на базе Intel Xeon Sapphire Rapids, который включает до восьми ускорителей, например, NVIDIA H100. 32 слота DDR5 позволяют установить до 8 Тбайт RAM. В узел можно установить до восьми SSD в форм-факторе EDSFF E1.S общим объёмом до 20 Тбайт. Надлежащий температурный режим обеспечивает фирменная СЖО РСК с температурой хладоносителя +40–+50 °C. Спецификации устройства также включают до четырёх подключений Infiniband HDR/NDR, поддержку сети 10GbE и фирменный блок питания с жидкостным охлаждением.

Источник изображений: РСК

Пиковая производительность «РСК Экзастрим ИИ» при использовании ускорителей NVIDIA H100 составляет 208/408 Тфлопс (FP64/TF64). В универсальном шкафу «РСК Экзастрим» высотой 42U можно разместить до 21 вычислительного узла «РСК Экзастрим ИИ», благодаря чему суммарная пиковая производительного такой стойки составит 4,368/8,568 Пфлопс (FP64/TF64) при энергопотреблении всего 115 кВт.

Министр экономики Люксембурга Лекс Деллес (Lex Delles) неожиданно объявил, что компания Google всё ещё может построить дата-центр на территории княжества. Datacenter Dynamics сообщает, что гиперскейлер возобновил заглохшие довольно давно переговоры о строительстве.

По словам министра, более интенсивные контакты с Google возобновились в районе Нового года. Впервые информация о том, что Google заинтересована в строительстве ЦОД в районе Биссен появилась в 2017 году. Проект стоимостью €1 млрд ($1.07 млрд) столкнулся с препятствиями со стороны местных регуляторов, экологов и общественности. Согласно расчётам, на кампус пришлось бы до 10 % от общего водопотребления страны, заодно резко бы выросли энергозатраты княжества. Для снижения водопотребления предполагалось использование очищенных сточных вод.

Источник изображения: Cedric Letsch/unsplash.com

После того, как власти фактически заставили местного фермера продать землю Google, компания наконец получила добро на строительство в 2022 году. Тогда же политики отметили, что никакой активности на выделенной Google площадке не замечено, и призвали компанию начасть строительство или вернуть участок. В прошлом году премьер-министр страны Ксавье Беттель (Xavier Bettel) после визита в Калифорнию объявил, что данный ЦОД не является для гиперскейлера приоритетным. Так что проект временно приостановлен из-за геополитической ситуации и проблем с энергоснабжением.

Тем не менее ожидается, что в 2024 году Google, наконец, начнёт строительство на выделенных ей 33 га земли в соответствии с договорённостями, достигнутыми в 2017 году. Всё это время Google расширяла присутствие своих ЦОД в соседней Бельгии и налаживала сотрудничество с местными операторами в Люксембурге в области суверенных облаков. Впрочем, министр экономики уверен, что новые переговоры с IT-гигантом сдвинут дело с мёртвой точки. При этом он сообщил, что Люксемубрг не упустит возможностей, связанных с обработкой больших данных.

Организация PCI-SIG опубликовала первую полную предварительную версию спецификаций грядущего стандарта PCI Express 7.0. Таким образом, будущий интерфейс, который удвоит пропускную способность по сравнению с PCIe 6.0, стал на шаг ближе к воплощению в реальных продуктах.

В блоге президента PCI-SIG Эла Янеса ( Al Yanes) говорится: «Продолжается работа над спецификацией PCI Express (PCIe) 7.0, которую PCI-SIG анонсировала на конференции разработчиков в США в июне 2022 года. Благодаря напряженной работе наших технических групп, мы рады сообщить, что версия 0.5 теперь доступна для ознакомления. Это официальный первый вариант спецификации, учитывающий все отзывы, которые мы получили от пользователей после выхода версии 0.3 в июне 2023 года».

Источник изображения: PCI-SIG

Янес говорит, что PCIe 7.0 ориентирован на 800GbE-решения, систем ИИ и машинного обучения, дата-центры гиперскейлеров и облака, HPC и квантовые вычисления. Отличительными чертами нового стандарта станут:

• Скорость передачи данных 128 ГТ/с, что даст в двустороннем режиме до 512 Гбайт/с в конфигурации x16;
• Использование PAM4-кодирования;
• Особое внимание к параметрам канала для уменьшения потерь;
• Обеспечение низкой задержки и высокой надежности;
• Повышенная энергоэффективность;
• Поддержка обратной совместимости со всеми предыдущими поколениями технологий PCIe.

Публикация финальной версии спецификации запланирована на 2025 год. Ожидается, что программа для проверки соответствия стандарту PCIe 7.0 будет доступна в 2027 году, а продукты будут выпущены после этого.