В ходе недавнего мероприятия Global Digital Economy Conference 2024 КНР не только раскрыла некоторые факты о национальной вычислительной инфраструктуре, но и обнародовала планы нарастить их только за 2024 год на 30 %, передаёт The Register.

Как заявил представитель Китайской академии информационных и коммуникационных технологий (China Academy of Information and Communications Technology) Ван Сяоли (Wang Xiaoli), Китай располагает более 8,1 млн стоек, а общая вычислительная мощность составила 230 Эфлопс (точность не указывается). Но уже к 2025 году она должна вырасти до 300 Эфлопс. Впервые соответствующие планы были обнародованы ещё в конце 2023 года.

Как именно Китай намерен добавить 70 Эфлопс, не уточнялось. Вопрос весьма актуальный, с учётом того, что Китаю удалось нарастить мощности со 180 Эфлопс в 2022 году лишь до 197 Эфлопс к августу 2023. Даже с учётом того, что сегодня этот показатель поднялся до 230 Эфлопс, Китаю придётся приложить немалые усилия, особенно с учётом санкций, ограничивающих поставки современных полупроводников в страну.

Источник изображения: 尧智 林/unsplash.com

В развитии современной инфраструктуры ЦОД сыграет роль даже Tesla. По данным СМИ, шанхайский оператор ЦОД Yovole Network использует водородную энергетику, энергохранилища, подключённые к солнечным электростанциям, непрямое испарительное охлаждение и СЖО для обеспечения работы своих дата-центров. В апреле компания начала сотрудничать с Tesla для внедрения энергохранилищ Tesla Megapack в одном из ЦОД.

Информация появилась в тот же день, когда китайские СМИ сообщили, что электротранспорт Tesla официально одобрен для закупок и использования в государственном секторе. В частности, Tesla Model Y приобрели некоторые принадлежащие государству шанхайские компании. При этом недавно тарифы на импорт китайских электромобилей подняли как в США, так и в Европе. На этом фоне китайские власти демонстративно подчёркивают, что в КНР одинаково относятся к местным и зарубежным предпринимателям, создавая им равные условия для развития бизнеса.

Конечно, на фоне санкций далеко не все иностранные компании смогут принять участие в наращивании китайских вычислительных мощностей. Каким бы образом в Китае не собирались добавить 70 Эфлопс за несколько месяцев, Пекин рассчитывает, что это поможет трансформировать экономику, позволив шире внедрять ИИ и потенциально обеспечит развитие и дополнительные доходы сельским районам, которые смогут заработать на цифровом буме.

Группа компаний Key Point (ГК «Кей Поинт») построит в Ростовской области центр обработки данных (ЦОД) ёмкостью до 1 тыс. IТ-стоек, сообщил «Интерфакс» со ссылкой на заместителя губернатора региона. Соглашение об этом было подписано в понедельник на международной промышленной выставке «Иннопром-2024».

Сообщается, что новый ЦОД предназначен для развития собственных и клиентских IТ-сервисов на промышленных и топливно-энергетических предприятиях, а также в государственных и частных учреждениях. При строительстве объекта будет использоваться более 90 % отечественного оборудования. ЦОД вместит 800–1000 стоек. Объём инвестиций в проект составит порядка 4 млрд руб.

Источник изображения: ГК «Кей Поинт»

ГК «Кей Поинт» представляет собой региональную сеть ЦОД. Компания построила дата-центр Key Point во Владивостоке общей ёмкостью 880 ИТ-стоек, первая очередь которого была запущена в феврале 2023 года. В феврале этого года компания запустила первую очередь дата-центра Key Point в Новосибирске на 440 ИТ-стоек. Проектная ёмкость ЦОД — 880 коммерческих ИТ-стоек.

Все ЦОД ГК «Кей Поинт» проходят двухступенчатую процедуру сертификации Uptime Institute: на соответствие проектной документации ЦОД уровню Tier III Design Documentation и на соответствие введённого в эксплуатацию объекта уровню Tier III Constructed Facility. Также все ЦОД проходят сертификацию по стандартам PCI DSS и ФСТЭК.

В планах компании строительство ЦОД ёмкостью 100–1200 стоек в Екатеринбурге, Ставрополе, Ростове-на-Дону, Махачкале, Санкт-Петербурге, Нижнем Новгороде, Южно-Сахалинске и Владивостоке.

Из-за ИИ-бума спрос на ЦОД высок на многих мировых рынках, но как передаёт The Register со ссылкой на последний отчёт CBRE, одной из главных проблем стала нехватка электричества — спрос на него на рынках ЦОД зачастую превышает предложение. Дефицит актуален для всех ключевых регионов, от Северной и Латинской Америки до Европы и Азиатско-Тихоокеанского сегмента — объёмы доступной энергии продолжают уменьшаться.

Проблемы с обеспечением необходимой ёмкости ЦОД возникли у крупных корпораций — не только из-за нехватки электричества, но и частых задержек со строительством. В CBRE отмечают, что правительства стран вынуждены принимать меры для решения вопроса с бесперебойными поставками энергии, в частности, упрощая разрешительные процедуры и поощряя интеграцию больших проектов в области возобновляемой энергии с энергосетями.

Источник изображения: Peter Robbins/unsplash.com

При этом в Северной Америке мощности ЦОД в I квартале 2024 года выросли на 24,4 % год к году, а на крупнейших рынках, включая Северную Вирджинию, Чикаго, Даллас и Кремниевую долину добавилось 807,5 МВт. В Европе рынок ЦОД вырос почти на 20 % за квартал, важные проекты реализуются во Франкфурте, Лондоне, Амстердаме и Париже (регион FLAP). В Париже рост и вовсе составил 40 % год к году, несмотря на общую нехватку соответствующих ресурсов на континенте, особенно на ключевых рынках вроде Франкфурта.

По данным CBRE, сегодня волне обычным делом стало предварительное бронирование аренды ещё не достроенных объектов. Соответствующий тренд в Европе и Северной Америке (в частности, в США) отмечен уже довольно давно. Предполагается, что статистика свидетельствует о необходимости строительства новых ЦОД, хотя ключевой проблемой и в этом случае является дефицит электричества для их дальнейшего снабжения. В CBRE добавили, что отмеченная ещё в прошлом году нехватка энергии является одним из важнейших препятствий для роста рынка наряду с дефицитом земли.

Источник изображения: CBRE

На латиноамериканском рынке мощности выросли на 15 % год к году, а для Азиатско-Тихоокеанского региона этот показатель составляет 22 %, поскольку на Токио, Сидней, Гонконг и Сингапур приходится по полгигаватта, несмотря на ограничения на строительство ЦОД в том же Сингапуре с некоторыми послаблениями.

Высокий спрос и нехватка мощностей неизбежно ведёт к росту цен. В CBRE сообщают, что в Северной Америке средняя цена на 250–500 кВт ёмкостей в I квартале выросла на 20 % год к году. Та же картина наблюдается и в Европе, где цены растут из-за высокого спроса и высоких цен на строительство. В Франкфурте квартальный рост составил рекордные 15 %, а в Лондоне стоимость аренды поступательно росла в течение 18 месяцев.

Источник изображения: CBRE

В Латинской Америке картина неоднородна, поскольку стоимость аренды ЦОД в сравнении с прошлым годом выросла не очень значительно, а в некоторых местах вроде Боготы в Колумбии колокация и вовсе подешевела. Тем временем в Азиатско-Тихоокеанском регионе цена поступательно росла из-за роста стоимости строительства и эксплуатации ЦОД. Так, Сингапур сегодня является одним из самых дорогих регионов. Увеличились и цены в Токио, хотя в Сиднее они довольно стабильны.

Хотя в докладе CBRE учитываются четыре ключевых рынка, высокий спрос на них заставляет бизнес перенаправлять инвестиции на другие территории — например в Осло и окрестности и Мадрид, где спрос на ЦОД тоже начал расти. В компании заявляют, что вторичные европейские рынки растут по ряду причин, в числе которых как амбиции гиперскейлеров, так и относительно низкие цены. В некоторых случаях это позволяет регионам становиться новыми «горячими точками», где дата-центры особенно востребованы.

Стартап Phaidra, разрабатывающий ИИ-решения для оптимизации работы дата-центров и крупных промышленных предприятий, провёл новый раунд финансирования, в ходе которого на развитие привлечено $12 млн. Деньги будут направлены на исследования и разработки, а также на расширение рыночного присутствия.

Фирма Phaidra основана в 2019 году Джимом Гао (Jim Gao), Ведавьясом Паннеершелвамом (Vedavyas Panneershelvam) и Кэти Хоффман (Katie Hoffman) — выходцами из Google, Deepmind и Trane соответственно. Гао занимает пост генерального директора. Сейчас Phaidra получает основную часть выручки от подписок на свои решения.

ИИ-платформа Phaidra используется в качестве надстройки для системы управления зданием BMS или диспетчерской системы SCADA. Решение Phaidra анализирует показания датчиков в режиме реального времени, определяет оптимальную стратегию работы средств охлаждения и генерирует необходимые управляющие инструкции. Платформа обучается на исторических данных телеметрии конкретного объекта и накапливает опыт непосредственно во время работы, что с течением времени позволяет дополнительно повышать эффективность.

Источник изображения: Phaidra

Средства управления на основе ИИ, работающие круглосуточно и без перерывов, исключают человеческий фактор, говорят разработчики. В результате, снижаются риски простоя, повышаются энергетическая эффективность и производительность, уменьшаются выбросы вредных газов в атмосферу.

Новый раунд финансирования возглавила Index Ventures. На сегодняшний день стартап привлёк в общей сложности $60,5 млн. В число прежних инвесторов входят Callab Fund, Helena (возглавляла раунд Series A), Flying Fish Partners, Character, S32, Ahren и GSFutures. Поученные деньги помогут ускорить разработку продуктов и расширить штат, который сейчас включает около 100 сотрудников.

Китайская телекоммуникационная компания China Mobile объявила об официальном запуске в Пекине «интеллектуального вычислительного центра» — дата-центра площадью 57 тыс. м², оснащённого серверами с 4 тыс. ИИ-ускорителей общей производительностью 1 Эфлопс (точность вычислений здесь и далее не указывается). Треть установленных в дата-центре ускорителей (33 %) — местного производства, сообщил ресурс China Daily.

China Mobile также сообщила, что разместила у местных компаний заказ на поставку оборудования для своих «интеллектуальных вычислительных центров» на сумму $2,6 млрд. В общей сложности China Mobile закупит в период с 2024 по 2025 год 8054 единиц оборудования для своих для ЦОД, включая 7994 ИИ-сервера вместе со вспомогательным оборудованием, а также 60 коммутаторов, сообщил ресурс Data Center Dynamics.

Источник изображения: China Mobile

В числе победителей тендера — Wuhan Guangxun Technology, Kunlun Technology, Huakun Zhenyu, Boyd Computer, Powerleader и Yangtze Computing. Kunlun Technology поставляет ИИ-серверы и периферийное оборудование, Huakun Zhenyu выпускает серверы на базе Arm-процессоров Huawei Kunpeng и ИИ-ускорителей Huawei Ascend, а Powerleader специализируется на выпуске серверов и ПК для корпоративного сегмента.

Ранее China Mobile сообщила, что построила крупнейший ЦОД в Хух-Хото (Внутренняя Монголия, Китай), оснащённый 20 тыс. ИИ-ускорителями общей производительностью 670 Тфлопс. В дальнейшем компания планирует построить ЦОД в Харбине (Harbin) на северо-востоке Китая и Гуйяне (Guiyang) на юге страны. Сейчас у China Mobile есть 12 «интеллектуальных» ЦОД в КНР, общая производительность которых составляет 17 Эфлопс.

Принадлежащий Bain Capital оператор ЦОД Chindata занял $490 млн у банков, желающих заработать на развитии стремительно растущей в Азии цифровой инфраструктуры. Datacenter Dynamics сообщает, что пятилетний синдицированный заём пойдёт на рефинансирование малазийского подразделения компании.

Новый заём послужит для рефинансирования старого на сумму $500 млн, взятого на три года в 2022 году. В числе новых кредиторов: DBS Group Holdings, China Merchants Bank, Credit Agricole SA, China Minsheng Banking Corp, сингапурское подразделение Bank of East Asia, Bayfront Infrastructure Management, Fubon Bank Hong Kong и China Citic Bank International.

Источник изображений: ChinData

Основанная в 2015 году ChinData сегодня управляет более 15 ЦОД в Китае, Малайзии и Таиланде, но некоторые некитайские активы находятся под контролем дочерней компанией Bridge Data Centres (BDC). Bain Capita выкупила ChinData l у Wangsu Science & Technology Co. в 2019 году, а позже состоялось слияние с Bridge Data Centres, которая уже входило в портфель Bain.

В прошлом году Bain вновь сделала ChinData частной компанией в ходе сделки по слиянию, в ходе которой та объединилась с принадлежащими Bain подразделениями BCPE Chivalry Bidco Limited и BCPE Chivalry Merger Sub Limited. На тот момент услуги компании пользовалась спросом и её покупкой интересовались GDS, EdgeConneX (EQT) и поддерживаемая властями КНР China Merchants. Правда, в марте появилась новость о том, что Bain намерена продать часть активов компании.

ChinData известна как оператор ЦОД TikTok (ByteDance). Ранее сообщалось, что ByteDance потратит более $2 млрд на новый ИИ-хаб в Малайзии, причём компания как раз и является якорным арендатором крупного кампуса BDC MY06 в технопарке Седенак (Sedenak) в Джохоре. Примерно столько же готовы вложить в местные проекты Google и Microsoft. Но есть и масса других начинаний. Так, в мае Yondr взяла в долг $150 млн для строительства ЦОД в Sedenak. Там же построит свой кампус и Princeton Digital Group (PDG), для создания «зелёного» ЦОД она заняла $280 млн. А местная YTLP вложит $4,3 млрд в дата-центры и ИИ-суперкомпьютеры.

Австралийские власти объявили о намерении построить защищённое облако TS Cloud силами Amazon Web Services (AWS). По данным The Register, его создадут при участии Австралийского радиотехнического управления (Australian Signals Directorate, ранее Управление радиотехнической обороны), ответственного за кибербезопасность и радиоразведку.

Top Secret Cloud (TS Cloud) будет построено для оборонного и разведывательного сообщества страны с целью безопасного хранения и обработки наиболее секретной информации. Предполагается, что TS Cloud даст Австралии возможность защищённо, быстро и в больших масштабах делиться данными между компетентными ведомствами и анализировать их, а также использовать передовые технологии, включая ИИ и машинное обучение. Кроме того, оно упростит взаимодействие со спецслужбами США.

На облако планируется потратить AUD$2 млрд ($1,35 млрд) в течение десяти лет. Сумма должна покрыть возведение трёх независимых дата-центров и создание местного подразделения AWS. Также будет создано 2 тыс. рабочих мест.

Источник изображения: AWS

В облаке будут храниться наиболее секретные данные. У разных правительственных ведомств могут быть разные определения суверенитета, возможно, для некоторых потребуется соблюдение самых строгих норм. Австралия входит в разведывательный альянс «Пяти глаз», также включающий США, Канаду, Великобританию и Новую Зеландию и ей необходима возможность защищённого обмена данными с партнёрами.

AWS уже строила Top Secret облака для американского правительства, Великобритания тоже пользуется сервисами Amazon для хранения и обработки совершенно секретной информации. Наконец, в 2021 году AWS объявила о подписании сделки на строительство аналогичных ЦОД в Новой Зеландии на сумму $7,5 млрд новозеландских долларов ($5,3 млрд).

NVIDIA заявила, что инвестиции в покупку её ускорителей весьма выгодны, передаёт ресурс HPCwire. По словам NVIDIA, компании, строящие огромные ЦОД, получат большую прибыль в течение четырёх-пяти лет их эксплуатации. Заказчики готовы платить миллиарды долларов, чтобы не отстать в ИИ-гонке.

«Каждый доллар, вложенный провайдером облачных услуг в ускорители, вернётся пятью долларами через четыре года», — заявил Иэн Бак (Ian Buck), вице-президент HPC-подразделения NVIDIA на конференции BofA Securities 2024 Global Technology Conference. Он отметил, что использование ускорителей для инференса несёт ещё больше выгоды, позволяя получить уже семь долларов за тот же период.

Как сообщается, инференс ИИ-моделей Llama, Mistral и Gemma становится всё масштабнее. Для удобства NVIDIA упаковывает открытые ИИ-модели в оптимизированные и готовые к запуску контейнеры NIM. Компания отметила, что её новейшие ускорители Blackwell оптимизированы для инференса. Они, в частности, поддерживают типы данных FP4/FP6, что повышает энергоэффективность оборудования при выполнении рабочих нагрузок ИИ с низкой интенсивностью.

Источник изображений: NVIDIA

Провайдеры облачных услуг планируют строительство ЦОД на пару лет вперёд и хотят иметь представление о том, какими будут ускорители в обозримом будущем. Бак отметил, что провайдерам важно знать, как будут выглядеть ЦОД с серверами на базе чипов Blackwell и чем они будут отличаться от дата-центров на Hopper. Скоро на смену Blackwell придут ускорители Rubin. Их выпуск начнётся в 2026 году, так что гиперскейлерам уже можно готовиться к обновлению дата-центров.

Как ожидается, чипы Blackwell, первые партии которых будут поставлены к концу года, будут в дефиците. «С каждым новым технологическим переходом возникает… сочетание проблем спроса и предложения», — отметил Бак. По его словам, операторы ЦОД постепенно отказываются от инфраструктуры на базе CPU, освобождая место под большее количество ускорителей. Ускорители Hopper пока остаются в ЦОД и всё ещё будут основными «рабочими лошадками» для ИИ, но вот решения на базе архитектур Ampere и Volta уже перепродаются.

Microsoft и Google сделали ставку на ИИ и сейчас работают над более функциональными большими языковыми моделями, причём Microsoft (и OpenAI) в значительной степени полагается на ускорители NVIDIA, тогда как Google опирается на TPU собственной разработки для использования в своей ИИ-инфраструктуре. Пока что самая крупная модель насчитывает порядка 1,8 трлн параметров, но по словам Бака, это только начало. В дальнейшем появятся модели с триллионами параметров, вокруг которой будут построены более мелкие и более специализированные модели. Так, свежая GPT-модель (вероятно, речь о GPT-4o) включает 16 отдельных нейросетей.

NVIDIA уже адаптирует свои ускорители к архитектуре Mixture of Experts (MoE, набор экспертов), где процесс обработки запроса пользователя делится между несколькими специализированными «экспертными» нейросетями. GB200 NVL72, по словам Бака, идеально подходит для MoE благодаря множеству ускорителей связанных быстрым интерконнектом, каждый из которых может обрабатывать часть запроса и быстро делится ответом с другими.

Российская производственная компания «Систэм Электрик» (Systême Electric, ранее Schneider Electric в России) объявила о выходе семейства продуктов для мониторинга и автоматизации инфраструктуры ЦОД, которое включает устройство мониторинга параметров окружающей среды SystemeBotz, решение для контроля доступа в ИТ-стойку SystemeBotzAC, а также ПО для централизованного мониторинга DCGuard. Решения являются полноценной заменой аналогичной продукции APC. Новинки будут доступны для проведения опытно-промышленной эксплуатации на объектах клиентов до 31 октября 2024.

SystemeBotz представляет собой масштабируемую систему активного мониторинга, призванную обеспечить защиту помещений, технологического и ИТ-оборудования от различных факторов риска. Это типовое решение сетевого мониторинга серверных комнат, узлов связи и ЦОД, которое устанавливается в стойку и позволяет подключить без надобности в предварительной настройке различные типы датчиков Systême Electric: температуры и влажности, точечных и ленточных протечек, положения двери, дыма и пожара, наличия напряжения, датчики типа «сухой контакт».

Источник изображения: «Систэм Электрик»

SystemeBotzAC — система контроля и управления доступом, разработанная для защиты стоек, позволяющая в режиме реального времени выполнять мониторинг факторов риска физического воздействия и несанкционированного доступа к ИТ-инфраструктуре. Система включает датчики положения дверей, ручки стоек со встроенными считывателями карт, коммуникационные блоков для передачи параметров, блоки питания и IP-камеры. Все компоненты системы совместимы с серверными шкафами Systême Electric, а также некоторыми стойками других производителей.

Программная платформа верхнего уровня DCGuard в режиме реального времени собирает, хранит и визуализирует параметры работы инженерной инфраструктуры объекта, оповещая пользователя об инцидентах и аварийных событиях. DCGuard обеспечивает сбор данных по промышленным протоколам для однофазных и трёхфазных ИБП, рядных и периметральных кондиционеров, PDU) устройств мониторинга параметров окружающей среды, систем холодоснабжения (чиллеров, драйкуллеров, частотно-регулируемых приводов и др.), систем мониторинга батарей, дизель-генераторных установок, а также распределительных щитов.

Группа хакеров-вымогателей Brain Cipher, недавно поставившая под угрозу работу индонезийского правительства, извинилась и прислала ключи для восстановления работы поражённого 20 июня ЦОД. Впрочем, напоминает The Register, $8 млн выкупа никто платить всё равно не собирался. В результате атаки посредством LockBit 3.0 была парализована работа многих правительственных служб, от миграционных до медицинских.

Brain Cipher, ответственная за взлом и шифровку правительственного ЦОД PDNS, прислала ключ в виде ESXi-файла объёмом 54 Кбайт. Хакеры ждут официального подтверждения, что ключ работает и что все данные были дешифрованы. После этого они удалят ту информацию, что была скачана ими из ЦОД. Однако если будет заявлено, что данные были восстановлены при помощи и участии третьих лиц, хакеры выложат в публичный доступ украденную информацию, хотя и не уточняют, какую именно.

Источник изображения: Mr Cup / Fabien Barral / Unsplash

Согласно сообщению сингапурской Stealth Mole, команда вымогателей отправила заявление, в котором попросила прощения у граждан Индонезии. Кроме того, Brain Cipher объявила, что предоставляет файл для дешифровки по собственной воле, без давления силовых и прочих ведомств. При этом вымогатели пожелали благодарностей за своё благородное поведение и даже предоставили счёт для пожертвований.

Дополнительно они рассказали о своей мотивации. Речь шла о своего рода тесте возможностей. В своём послании Brain Cipher подчеркнули, что атака наглядно продемонстрировала, насколько важно финансировать IT-индустрию и нанимать квалифицированных специалистов. В этом случае, по данным злодеев, на выгрузку и шифрование петабайт данных ушло очень мало времени. В Brain Cipher подчеркнули, что не все жертвы могут рассчитывать на подобную снисходительность.

Глава одного из ведомств Министерства коммуникаций и информатизации Индонезии (Kominfo), который уже подал в отставку, подтвердил, что с помощью присланного ключа уже удалось расшифровать шесть наборов данных, но он не уверен, что ключ действительно универсальный. По словам одного из индонезийских ИБ-экспертов, это большой позор для Kominfo и страны. По его словам, при бюджете в 700 млрд рупий на защиту индонезийских данных, власти полагаются только на Windows Defender.

Источник изображения: Dennis Schmidt/unsplash.com

В последние дни в правительстве страны наблюдалась лёгкая паника, поскольку выяснилось, что многие министерства и ведомства не делали резервных копий данных. После инцидента президент страны сделал создание резервных копий обязательным и назначил аудит правительственных дата-центров. Теперь политики и общественность ищет ответственного. В частности, сформирована петиция о снятии с должности главы Kominfo.

Местное издание Tempo со ссылкой на депутата Совет народных представителей (местного парламента) сообщает, что после инцидента 80 иностранных компаний начали аудит своих индонезийских подразделений. Для Индонезии, которая наряду с Малайзией стремится стать новым IT-центром Юго-Восточной Азии и пытается привлечь крупные инвестиции, взлом государственного дата-центра стал серьёзным ударом по репутации.