Учёные из Microsoft, Университета Карнеги-Меллона и Вашингтонского университета разработали новый стандарт экологичных серверов GreenSKU, которые позволят снизят углеродные выбросы ЦОД, сообщает IEEE Spectrum. Кроме того, была представлена модель GreenSKU Framework для расчёта целесообразности использования подобных систем в дата-центрах гиперскейлеров и подбора оптимальных конфигураций. Созданные в рамках концепции GreenSKU прототипы серверов были протестированы в ЦОД Azure.

Источник изображений: Microsoft

Исследование, вышедшее минувшим летом, изучает возможность использования компонентов из списанных серверов. Это важно, поскольку сегодня во многих случаях при сбое одного компонента из эксплуатации выводится сервер целиком. Кроме того, Microsoft меняет серверы Azure каждые 3–5 лет для оптимизации производительности. И в этом случае работоспособные компоненты всё равно обычно не используются в других серверах.

Согласно выкладкам исследователей, уровень сбоев оперативной памяти (AFR) после кратковременного всплеска вскоре после развёртывания остаётся примерно одинаковым на протяжении не менее семи лет. А износ SSD составляет около половины. Впрочем, в данном случае речь идёт об M.2-накопителях. Их надёжность и скорость работы можно повысить простым объединением в RAID-массив. А для их использования в современных платформах с E1.S-корзинами есть готовые пассивные адаптеры, благо стандарт PCIe обладает обратной совместимостью.

С памятью дело обстоит не так просто. Предыдущие поколения серверов использовали DDR4, тогда как актуальные платформы работают только с DDR5. Однако выход есть — в современных CPU появилась поддержка CXL. Точнее, CXL Type 3 (CXL.mem), что позволяет подключать по PCIe пулы DRAM. Они представлены в виде NUMA-узлов без CPU. Такое подключение памяти даёт большую задержку, но современные гипервизоры умеют работать с такими пулами, отправляя в них редко используемые массивы данных.

Старые процессоры переиспользовать не выйдет. Они гораздо менее энергоэффективны и производительны, при этом на CPU приходится основная часть энергопотребления и, соответственно, углеродных выбросов. Исследователи изучили актуальные предложения вендоров и пришли к выводу, что среди доступных на рынке процессоров наилучшим образом для GreenSKU подходят AMD EPYC Bergamo, которые предлагает большое количество ядер и потоков при сравнимом уровне TDP, пусть и при пониженной производительности каждого ядра, а также поддерживают необходимые протоколы CXL.

Для распределения нагрузок используется отдельный программный слой, определяющий, какие задачи можно выполнять на серверах GreenSKU, а какие — на стандартных серверах Azure в зависимости от требований к производительности. Как отмечают исследователи, три четверти развёрнутых в Azure инстансов в среднем используют лишь 25 % выделенных ресурсов CPU и около 15 % от доступной пропускной способности памяти. Точно так же далеко не в полной мере используются и SSD. Вместе с тем есть клиенты, которые выживают максимум из каждого инстанcа.

Снижение углеродных выбросов имеет большое значение для облачных вычислений, поскольку они могут составить 20 % всех выбросов к 2030 году — об этом свидетельствуют данные НКО Ассоциация вычислительной техники. В пересчёте на ядро выбросы серверов GreenSKU на 28 % ниже, чем выбросы обычных серверов Azure. А на уровне ЦОД с учётом всех накладных расходов снижение выбросов составляет 8 %.

Минстрой России подвёл итоги завершающегося 2024 года, в котором он утвердил 147 документов нормативного технического регулирования. В числе наиболее значимых документов нормативного технического регулирования, разработанных в уходящем году, Минстрой назвал свод правил по проектированию зданий и сооружений ЦОД.

СП «Здания и сооружения центров обработки данных. Правила проектирования», распространяющийся на проектирование зданий, сооружений и помещений ЦОД, предназначенных для размещения IT-оборудования, сетевого и телекоммуникационного оборудования, обеспечивает возможность оказания услуг в области хранения, обработки и передачи данных.

Источник изображения: Pop & Zebra / Unsplash

Проект свода правил имеет следующую структуру, разделы и приложения:

1. Область применения.
2. Нормативные ссылки.
3. Термины и определения, обозначения и сокращения.
4. Общие положения.
5. Требования к земельным участкам размещения ЦОД.
6. Требования к объемно-планировочным решениям ЦОД.
7. Требования к конструктивным решениям ЦОД.
8. Требования пожарной безопасности.
9. Требования к инженерному оборудованию.
10. Требования к безопасной эксплуатации ЦОД.
11. Обеспечение санитарно-эпидемиологических требований.
12. Энергосбережение.

Разработка свода правил (СП) была выполнена в рамках мероприятий по совершенствованию технического регулирования в строительной сфере с целью поэтапного отказа от использования устаревших технологий, повышения уровня безопасности проведения работ по проектированию, монтажу, пуску, наладке и вводу в эксплуатацию и техническому обслуживанию систем внутреннего инженерно-технического обеспечения зданий и сооружений ЦОД, а также повышения эффективности использования энергоресурсов и т.п.

Целью разработки СП является, в том числе, обеспечение условий для создания экосистемы цифровой экономики РФ, повышения доступности, услуг и качества товаров цифровой экономики, «в которой данные в цифровой форме являются ключевым фактором производства во всех сферах социально-экономической деятельности».

Amazon Web Services (AWS) планирует сократить расходы на закупки оборудования для дата-центров у одного из ключевых поставщиков — всё больше аппаратного обеспечения гиперскейлер разрабатывает самостоятельно. Речь идёт о компании ZT Systems, которая в скором времени станет частью AMD, сообщает Business Insider.

В прошлом году AWS потратила почти $2 млрд на дела с ZT Systems, разрабатывающей и выпускающей серверы и сетевые решения — об этом свидетельствует один из внутренних документов Amazon 2023 года, попавших в распоряжение журналистов. Согласно материалам AWS, компания намерена перейти на самостоятельную разработку некоторых «серверных и сетевых стоек». Эти изменения «потенциально повлияют» на сотрудничество с ZT Systems.

Источник изображений: AWS

Информацию подтвердили источники в AWS, также сообщившие, что компания снижает расходы на оборудование данного производителя. Правда, один из них уточнил, что сокращения будут происходить поэтапно, поскольку решения ZT Systems тесно интегрированы с серверами AWS. Официально в AWS утверждают, что компании продолжат сотрудничество. Правда, представитель гиперскейлера подчеркнул, что компания непреклонна в желании сократить расходы. И подход к покупкам инфраструктурных решений в этом отношении ничем не отличается.

AWS считается крупнейшим облачным провайдером в мире. Несмотря на сокращение закупок у отдельных поставщиков, траты компании на оборудование вряд ли уменьшатся. Капитальные затраты Amazon должны составить в 2024 году $75 млрд. В основном средства будут направлены на развитие дата-центров. В последние годы AWS использует всё больше оборудования собственной разработки для снижения издержек, повышения эффективности и снижения зависимости от внешних поставщиков. Прочие облачные гиганты, включая Google, также разрабатывают собственные чипы и сетевое оборудование.

Источник изображения: AWS

Летом AMD согласилась приобрести ZT Systems за $4,9 млрд. Это, как ожидается, усилит её позиции в качестве поставщика решений для дата-центров. Несмотря на сокращение сотрудничества, AWS всё ещё может направлять ZT собственные разработки, чтобы та выпускала их на своих мощностях. Правда, ранее AMD сообщала, что планирует продать производственный бизнес ZT Systems после того, как сделка будет закрыта.

В последние месяцы некоторые сотрудники AWS выражали обеспокоенность сотрудничеством с ZT Systems, поскольку AWS и AMD выпускают некоторые похожие продукты. Впрочем, AWS тесно сотрудничает с AMD и даже предлагает в облаках доступ к процессорам компании, но новейших ИИ-чипов последней в облачной линейке предложений Amazon пока нет. Отчасти, по данным источников, это объясняется низким спросом.

Оператор ЦОД Equinix совместно с Dell Technologies предложил частные ИИ-облака на базе Dell AI Factory. Использование комплекса Dell AI Factory with NVIDIA в ЦОД IBX позволяет комбинировать различные продукты, решения и сервисы на нейтральной площадке, где клиенты смогут безопасно и экономически эффективно объединить ресурсы публичных облаков, колокейшн-объектов, а также собственных облачных и локальных инфраструктур.

Dell AI Factory with NVIDIA включает серверы Dell PowerEdge XE9680 с ускорителями NVIDIA, Ethernet-решения NVIDIA Spectrum-X и BlueField-3, а также СХД Dell PowerScale F710. Кроме того, будут доступны и 4U-серверы PowerEdge XE9680L, поддерживающие до восьми новейших ускорителей NVIDIA Blackwell. Решение будет доступно в более чем 260 ЦОД Equinix IBX.

В Equinix объявили, что намерены обеспечить клиентов передовой ИИ-инфраструктурой, отвечающей самым высоким стандартам производительности, безопасности и надёжности, а сотрудничество с Dell и NVIDIA позволит использовать максимум ресурсов систем генеративного ИИ, сохраняя контроль над данными и поддерживая собственные корпоративные цели достижения экоустойчивости.

Источнки изображения: Dell

Наличие площадок Equinix в более 70 мегаполисах мира, время бесперебойной работы 99,999 %, масштабируемость проектов и сотрудничество с тысячами сетей и провайдеров, а также обеспечение ЦОД на 96 % возобновляемой энергией (100 % на ключевых рынках) в сочетании с платформой Dell AI Factory with NVIDIA, которая уже доступна в ЦОД Equinix в большинстве регионов мира, позволит заказчикам повысить удобство, безопасность и экологичность работы с генеративным ИИ.

Оператор дата-центров Yovole из Китая рассматривает выход на IPO в США. По данным источников Bloomberg, новую попытку предпримут после того, как несколько лет компании не удалось выйти на публичные торги в материковом Китае.

Компания поддерживается пекинским управляющим альтернативными активами CDH Investments и сейчас работает со специальным советником о потенциальном первичном размещении акций на бирже. Это, в частности, может помочь привлечению капитала, расширению бизнеса и повышению стоимости компании. По данным источников, пожелавших сохранить анонимность, выход на IPO, вероятно, позволит привлечь более $100 млн.

Допускается, что Yovole может подать конфиденциальное заявление регуляторам США, включая Комиссию по ценным бумагами и биржам (SEC), уже в январе 2025 года. Подобное заявление позволит компании подготовиться к IPO без обязательств раскрывать детали размещения акций на ранних этапах. Пока обсуждаются детали будущего размещения, размер и время выхода на IPO могут измениться. В самой компании слухи пока не комментируют.

Источник изображения: Yucel Moran/unsplash.com

Основанный в 2001 году бизнес Yovole (или You Fu по-китайски) обеспечивает клиентам сервисы ЦОД в Китае, действуя в крупнейших городах страны — от Пекина и Шанхая до Гуанчжоу и Шэньчжэня. Среди клиентов Yovole — представители крупного технологического бизнеса и финансовые компании вроде Alibaba Group Holding Ltd., Tencent Holdings Ltd. and China UnionPay Co. Во всяком случае, об этом свидетельствовали поданные регуляторам в 2020 году данные, когда компания пыталась выйти на IPO в КНР.

Стоит отметить, что выход на IPO в разных странах часто осложняется политическими факторами. Так, в октябре сообщалось, что производитель суперчипов Cerebras отложил IPO: США опасаются, что КНР получит доступ к технологиям компании при посредничестве ОАЭ. Инвестиции G42 в Cerebras рассматривает регулятор CFIUS, оценивающий наличие угроз национальной безопасности в иностранных капиталовложениях в бизнес в США. Производитель ускорителей будет стремиться выйти на торги сразу после получения разрешений, но планы могут и измениться.

Сенатор Артем Шейкин, по сообщению газеты «Коммерсантъ», направил в Минцифры России письмо с просьбой возобновить работу над законопроектом от 2022 года о регулировании деятельности дата-центров. Речь, в частности, идёт о внедрении отечественных стандартов по строительству и сертификации таких объектов.

В письме Шейкина говорится о законопроекте о внесении изменений в ФЗ «О связи» в части регулирования деятельности ЦОД. Документ был принят Госдумой в первом чтении около трёх лет назад, но затем отправился на доработку: возникли вопросы в том числе в отношении определения ЦОД в законодательстве как «сооружения связи с комплексом систем».

Как отмечает Шейкин, описанная в законе модель регулирования отрасли дата-центров необходима в свете активного импортозамещения. Кроме того, по мнению автора письма, в России требуется собственная система сертификации в области ЦОД. Дело в том, что российские коммерческие дата-центры сейчас проходят западную сертификацию Uptime Institute: при этом проектные документы и другая чувствительная информация отправляются в США. Сенатор заявляет, что использование ЦОД, сертифицированных по иностранным стандартам, и отсутствие собственной системы защиты «делают нашу инфраструктуру уязвимой для кибератак, шпионажа и утечки конфиденциальной информации».

Источник изображения: unsplash.com / Scott Rodgerson

Госдума РФ рассчитывала принять изменения в закон «О связи», которые придадут дата-центрам официальный статус, ещё до конца 2023 года. Документом предусмотрена классификация ЦОД для определения уровня надёжности инженерной инфраструктуры. Это позволит отделять дата-центры от любых других помещений, в которых размещается IT- и телеком-оборудование.

Участники рынка в целом согласны с тем, что в России необходимо ввести регулирующие законы в сфере ЦОД, а также внедрить отечественную сертификацию. Предполагается, что аттестацией дата-центров займутся уполномоченные организации, прошедшие квалификационный отбор и получившие аттестацию в Минцифры на ограниченный период времени.

ИИ-кластер xAI Colossus получил «второе дыхание». Энергоснабжающая компания Tennessee Valley Authority (TVA) решила выделить ему 150 МВт мощностей. Это значительно расширяет возможности вычислительного центра, сообщает TechRadar. В частности, теперь можно запитать от энергосети все 100 тыс. ИИ-ускорителей NVIDIA H100.

Ранее такая возможность ставилась под вопрос из-за энергетических ограничений. Местные компании выражали озабоченность тем, как огромное эгнергопотребление скажется на электросети Теннесси. Когда xAI впервые запустила кластер в июле 2024 года, ему было доступно лишь 8 МВт. Поэтом временно для питания задействовали генераторы, дополненные энергохранилищами Tesla Megapack. Летом местная коммунальная компания Memphis Light, Gas & Water (MLGW) обновила имевшуюся подстанцию, чтобы обеспечить xAI подачу 50 МВт. А xAI обязалась построить за $24 млн собственную подстанцию на 150 МВт.

Суперкомпьютеру Colossus для эксплуатации всех 100 тыс. ускорителей одновременно требуется около 155 МВт. MLGW и TVA пришлось убеждать местных жителей, рост спроса на энергию со стороны xAI не повлияет на надёжность электроснабжения в районе Мемфиса. По словам MLGW, 150 МВт всё ещё находятся ниже допустимого предела прогнозируемой пиковой нагрузки компании. Предпринимаются меры по обеспечения закупок электричества у TVA, если это будет необходимо.

Источник изображения: Wine Down With Pour Choices/unsplash.com

Местные экоактивисты и жители уже жалуются, что совет директоров TVA одобрил запрос xAI на энергию, не изучив последствия такого решения для жителей. Не исключено, что решение негативно скажется на ценах для физических лиц, хотя именно их интересы должны были бы быть в приоритете. В начале декабря сообщалось, что xAI получила ещё $6 млрд инвестиций и приступила к расширению Colossus до 1 млн ускорителей.

Бразильский город Эльдораду-ду-Сул (штата Риу-Гранди-ду-Сул) принял закон, разрешающий строительство кампуса ЦОД AI City компании Scala Data Centers. Документ позволяет изменить городское зонирование и упростит бюрократические процедуры для «мегакомплекса», сообщает пресс-служба оператора.

По последним данным, периметр городского зонирования будет расширен, чтобы включить предложенную площадку, предназначенную для строительства кампуса. Муниципалитет одобрил закон 3 декабря 2024 года, а 18 декабря он был окончательно утверждён. Предполагается, что проект позволит создать 3 тыс. рабочих мест — напрямую или косвенно.

На начальном этапе предполагается инвестировать R$3 млрд ($490 млн), ёмкость составит 54 МВт. Суммарные инвестиции в проект могут достичь $90 млрд. Весь кампус AI City площадью 700 га в конечном итоге обеспечит ёмкость 4,75 ГВт. Относительно умеренный климат юга Бразилии позволяет обеспечить лучшие показатели PUE в латинской Америке на уровне 1,2, а индекс использования воды WUE и вовсе равен нулю, поскольку её применение в системах охлаждения не предусмотрено.

Источник изображения: Scala Data Centers

Ожидается, что появление кампуса положительно скажется на экономике штата, в частности, секторе возобновляемой энергетики, за счёт которой ЦОД будут снабжаться на 100 %. По мнению местных чиновников, он дополнительно ускорит внедрение ветряных электростанций, что тоже очень важно для штата, поскольку масштабирование проекта ЦОД привлечёт инвестиции и в энергетику для удовлетворения потребностей дата-центров. В регионе уже имеются компании, заинтересованные в поставках возобновляемой энергии для нового кампуса.

В августе Scala анонсировала инвестиции в компанию Serena Energia для поставки энергии ветряных электростанций. Основанная в 2020 году после покупки DigitalBridge имущества бразильской IT-компании UOL Diveo, Scala инвестировала около $1,6 млрд в дата-центры гиперскейл-уровня в Бразилии, Чили, Мексике и Колумбии. Ранее в 2024 году компания получила $500 млн на развитие от внешних инвесторов. О создании AI City сообщалось ещё в сентябре, но только теперь проект был официально одобрен и получил законодательную поддержку.

В 2024 году затраты госструктур на создание ЦОД в России составили приблизительно 60 млрд руб. Примерно столько же израсходовано на строительство коммерческих дата-центров. Таким образом, госсектор занял половину соответствующего рынка, сообщает газета «Ведомости». В частности, госструктуры переводят свою инфраструктуру из коммерческих ЦОД в ведомственные. Кроме того, ведётся активное расширение мощностей как на федеральном, так и на региональном уровне.

В 2024 году в Южном административном округе Москвы запущен дата-центр «Росатома» «Москва-2» с уровнем надёжности Tier IV. Кроме того, введены в эксплуатацию федеральный ЦОД МВД РФ, единый ЦОД Минприроды и пр. Вместе с тем собственные дата-центры продолжают создавать крупные компании, включая «Ростелеком». В частности, «РТК-ЦОД» («Ростелеком — Центры обработки данных») развернул четвёртую и пятую очереди проекта ЦОД «Москва V» общим объёмом 1024 стойки.

Источник изображения: Taylor Vick / Unsplash

О росте интереса к строительству корпоративных площадок заявили в компаниях «Атомдата» (ЦОД-подразделение «Росэнергоатом»), Wildberries, «Газпром», «Сбер», «Т-Банк» и «Северсталь». Корпорациям не хватает вычислительных мощностей, в связи с чем им приходится строить дополнительные объекты. При этом «Сбер», как отмечается, уже не может обходиться 40-МВт дата-центрами и хочет строить объекты мощностью от 200 МВт.

В целом, спрос на услуги ЦОД в России продолжают быстро расти, что связано в том числе с уходом зарубежных облачных провайдеров и быстрым развитием сектора ИИ. По оценкам iKS-Consulting, в 2024-м в РФ введено около 12 тыс. новых стойко-мест на коммерческих площадках. Однако существуют и сдерживающие факторы. Один из них — повышение ключевой ставки Банка России: из-за этого значительно увеличиваются затраты на обслуживание займов для строительства дата-центров и обновление оборудования в ЦОД старше пяти лет.

Кроме того, существуют проблемы с поиском территорий для строительства ЦОД большой мощности. Если в 2015 году средняя мощность на стойку составляла 5 кВт, то сейчас показатель достигает 7–7,5 кВт. При этом почти весь объём ресурсов ЦОД сконцентрирован в столичном регионе и стойко-мест не хватает.

Энергопотребление дата-центров переживает настоящий бум в США. По словам учёных, отрасль ждёт дальнейший рост спроса на электричество. По данным Datacenter Dynamics, в подготовленном Министерством энергетики США (DOE) докладе указывается, что в 2023 году на ЦОД пришлось 4,4 % энергопотребления страны.

Более того, в подготовленном для Конгресса США докладе указывается, что к 2028 году этот показатель может вырасти до 12 %, а по самым скромным прогнозам — до 6,7 %. Отчёт, составленный Национальной лабораторией Лоуренса в Беркли (LBNL), отталкивается от аналогичных документов 2007 и 2016 годов.

Исследователи выяснили, что энергопотребление дата-центров было довольно стабильным в 2014–2016 гг. — приблизительно 60 ТВт∙ч в год. С началом использования ИИ-серверов в 2018 году потребление отрасли выросло до 76 ТВт∙ч, 1,9 % от общего энергопотребления США. С ростом количества ЦОД в стране выросло и потребление — в 2023 году оно составило 176 ТВт∙ч, 4,4 % от всего объёма потребления электроэнергии в стране. По оценкам экспертов, в 2028 году оно вырастет до 325–580 ТВт∙ч.

Источник изображения: American Public Power Association/unsplash.com

Совокупный годовой темп прироста в 2014–2018 гг. составил около 7 %, в 2018–2023 гг. он увеличился до 18 %, а в 2023–2028 гг., вероятно, составит 13–27 %. Впрочем, в самой LBNL признают, что данные могут быть не вполне корректными из-за «отсутствия прозрачности» в секторе. Более того, энергопотребление ЦОД в 2018 году оказалось выше, чем прогнозировала сама лаборатория — тогда не удалось предсказать рост количества ИИ-серверов.

Как заявляется в отчёте, недавний стремительный рост общего количества серверов привёл росту энергопотребления ЦОД с 2017 по 2023 гг. более чем вдвое, а рост использования более производительных ИИ-серверов может привести к дальнейшему ускоренному росту энергопотребления до конца десятилетия. Также сообщается, что в следующие десятилетия ожидается рост электроэнергии в целом из-за внедрения электромобилей, локализации производства с сопутствующей электрификацией предприятий и др.

В докладе предупреждают, что новые исследования указывают на возможный рост потребления ЦОД выше прогнозируемого. Стоит отметить, что в некоторых странах уже сейчас доля потребления ЦОД значительно больше. Например, в Ирландии она уже превысила 21 % от общего показателя государства. Впрочем, в мировом масштабе энергопотребление дата-центров всё равно останется очень небольшим даже на фоне роста ИИ, но распределение по регионам и странам по-прежнему останется неравномерным.

Источник изображения: LBNL

Что касается использования воды, в 2014 году ЦОД потребили 21,2 млрд л чистой воды, а в 2023 году — уже 66 млрд, причём 84 % затрат придётся на гиперскейлеров. В 2028 году, как ожидается, только им потребуется 60–124 млрд л.

В начале года сообщалось, что потребление электроэнергии дата-центрами в США должно достигнуть 35 ГВт уже к концу текущего десятилетия, почти удвоившись в сравнении с показателями 2022 года. Из-за бума ИИ-технологий спрос на ЦОД высок на мировых рынках, но одной из ключевых проблем стала нехватка электричества — спрос на него на рынках ЦОД зачастую превышает предложение. В результате, например, в США спрос на ИИ и дефицит ёмкости уже взвинтили цены на аренду дата-центров, а на днях Регулятор NERC: ИИ представляет угрозу для североамериканской электросети.