AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.

Из-за прорыва трубы системы охлаждения в серверной объединённого центра космических операций NASA при Стэнфордском университете (JSOC) вышло из строя оборудование, использовавшееся для обработки данных об активности Солнца, поступающих от обсерватории солнечной динамики (SDO), а также с космического зонда IRIS. Об этом сообщил ресурс Space.

Из-за сильного затопления был нанесён значительный ущерб лаборатории, где размещаются серверы, «обрабатывающие и распределяющие данные с инструментов Helioseismic and Magnetic Imager (HMI) и Atmospheric Imaging Array (AIA), а также с космического аппарата IRIS», сообщили члены команды JSOC, добавив, что ремонт продлится до 2025 года.

Источник изображения: Gabe / Unsplash

Учёные также отметили, что обработка научных данных, поступающих с HMI, AIA и IRIS, будет отложена на продолжительное время, как и доступ к архивным данным в JSOC. SDO в целом ежемесячно предоставляет около 42 Тбайт данных. Хотя данные с SDO продолжат поступать, их пока нельзя обрабатывать в режиме реального времени, что негативно отразится на возможности оценки солнечной погоды. Сообщается, что до восстановления оборудования JSOC данные с прибора HMI будут храниться в Нью-Мексико.

SDO, запущенная на орбиту в 2010 году, позволяет вести наблюдения за Солнцем, уделяя особое внимание его магнитному полю, циклам активности и влиянию на Солнечную систему, и помогает учёным лучше понять, как солнечная активность влияет на жизнь на Земле. HMI и AIA — два из трёх научных инструментов SDO. Как сообщается, данный инцидент не отразился на обработке данных, собираемых третьим инструментом, Extreme Ultraviolet Variability Experiment (EVE).

Компания Iceotope анонсировала сервер KUL AI, предназначенный для поддержания самых требовательных рабочих нагрузок ИИ. Новинка базируется на аппаратной платформе Gigabyte G293, интегрированной с высокоэффективной гибридной СЖО Iceotope Precision Liquid Cooling, сочетающей прямое жидкостное охлаждение с погружным охлаждением в одном шасси.

Известно, что в сервере применяются процессоры Intel Xeon. Установлены восемь ускорителей. Устройство имеет аккредитацию NVIDIA Certified-Solutions. Оно оптимизировано по конструкции для жидкостного охлаждения на основе диэлектрических теплоносителей. Утверждается, что благодаря системе Iceotope Precision Liquid Cooling сервер KUL AI обеспечивает бесперебойную и надёжную работу при поддержании оптимальной температуры. При этом достигается защита критически важных компонентов и сводится к минимуму частота отказов даже во время интенсивных и продолжительных ИИ-нагрузок.

Устройство имеет размеры 121 × 53 × 13,5 см и весит 99 кг. В набор интерфейсов в зависимости от варианта исполнения входят до четырёх сетевых портов 10Gb RJ-45 и QSFP28 или SFP28, порты USB 3.2 Type-A, аналоговый разъём D-Sub и коннектор 1Gb RJ-45. Говорится о практически бесшумной работе и герметичном исполнении. По заявлениям разработчика, новинка идеально подходит для чувствительных к задержкам периферийных вычислений, включая среды с экстремальными условиями эксплуатации.

Источник изображения: Iceotope

«KUL AI позволяет организациям развёртывать ИИ везде, где это необходимо, открывая новые возможности в плане операционной эффективности и инноваций даже в самых сложных IT-средах», — заявляет Iceotope.

Maxwell Labs анонсировала программу раннего доступа к первому в мире решению для твердотельного фотонного охлаждения оборудования в дата-центрах. Система под названием MXL-Gen1 призвана удовлетворить растущие потребности в ресурсоёмких нагрузках, связанных с ИИ и HPC.

Технология фотонного охлаждения Maxwell Labs преобразует тепло, генерируемое серверными компонентами, в свет. Ожидается, что данное решение произведёт революцию в сфере охлаждения ЦОД на фоне повышения мощности чипов и увеличения плотности размещения оборудования в стойках.

В детали относительно архитектуры MXL-Gen1 компания не вдаётся. Отмечается, что в системе применяются лазеры, тогда как побочным продуктом работы изделия является свет, который можно использовать для генерации электричества с целью возвращения в дата-центр. У системы отсутствуют подвижные части, а для работы не требуются жидкости. Это повышает надёжность, исключает риск утечек, снижает затраты на техническое обслуживание и упрощает эксплуатацию в целом.

Источник изображения: Maxwell Labs

Подчёркивается, что MXL-Gen1 легко интегрируется в существующую инфраструктуру дата-центров. При этом обеспечивается масштабируемость в соответствии с будущими требованиями к характеристикам микросхем и энергопотреблению без необходимости внесения значительных изменений в конструкцию. Технология подходит для отвода тепла от CPU и GPU.

Утверждается, что по сравнению с существующими решениями MXL-Gen1 обеспечивает трёхкратный рост производительности и десятикратное повышение плотности вычислений. Пилотная фаза предварительного лицензирования стартует в декабре 2024 года.

Холдинг «Росэлектроника», входящий в госкорпорацию «Ростех», анонсировал проект нового НРС-комплекса, который будет создан для Объединённого института высоких температур Российской академии наук (ОИВТ РАН). Особенностью суперкомпьютера станет применение российского интерконнекта «Ангара».

Система разрабатывается в рамках соглашения, заключенного между НИЦЭВТ (входит в «Росэлектронику») и ОИВТ РАН. При проектировании машины планируется использовать опыт разработки и производства суперкомпьютеров НИЦЭВТ предыдущих поколений — «Ангара-К1», Desmos и Fisher.

Отмечается, что коммуникационная сеть «Ангара», созданная специалистами НИЦЭВТ, предназначена для построения мощных суперкомпьютеров, вычислительных кластеров для обработки больших данных и расчётов на основе сверхмасштабируемых параллельных алгоритмов. Помимо «Ангары», в составе проектируемого HPC-комплекса будут задействованы технологии погружного охлаждения.

На сегодняшний день участники проекта прорабатывают технические характеристики создаваемого суперкомпьютера — количество узлов, объём памяти, архитектуру процессоров и число ядер. Особое внимание будет уделяться максимально возможному использованию отечественной элементной базы. Целевые показатели производительности системы не раскрываются, но говорится, по величине пикового быстродействия она превзойдёт предшественников.

Источник изображения: unsplash.com / Scott Rodgerson

Суперкомпьютер планируется применять для проведения научно-исследовательских, опытно-конструкторских и технологических работ на базе образовательных учреждений и промышленных предприятий РФ.

«Стратегическое партнёрство с НИЦЭВТ позволит нам совместно создать высокопроизводительную вычислительную систему и расширить наши возможности в исследовании сложных процессов в энергетике и теплофизике. ОИВТ РАН обладает большим опытом использования передовых вычислительных методов, включая методы первопринципного моделирования и молекулярной динамики для научных исследований. Увеличение мощности вычислительных ресурсов позволит значительно повысить точность, темп и эффективность наших исследований», — отметил директор ОИВТ РАН.

Американские исследователи из Техасского университета в Остине (UT Austin) объявили о разработке нового материала для термоинтерфейса, который способен эффективно отводить тепло от мощных электронных компонентов, сокращая или даже полностью устраняя необходимость в активном охлаждении.

Отмечается, что на охлаждение приходится около 40 % энергопотребления традиционного дата-центра. Исследователи подсчитали, что предложенная технология может уменьшить расходы энергии на охлаждение примерно на 13%, т.е. на 5 % от общего энергопотребления ЦОД. Это означает существенную экономию средств для гиперскейлеров и операторов облачных платформ.

Источник изображения: UT Austin

Разработанный материал изготавливается из смеси жидкого металла и нитрида алюминия. При получении состава применяется специальный механохимический метод. Этот процесс помогает жидкому металлу и нитриду алюминия смешиваться особым контролируемым образом, благодаря чему обеспечиваются уникальные свойства. Утверждается, что новый материал гораздо лучше проводит тепло, чем существующие коммерческие решения, которые используются при охлаждении компонентов IT-оборудования.

В частности, по заявлениям разработчиков, термоинтерфейс предложенного типа способен отводить до 2760 Вт тепла с поверхности площадью 16 см². Благодаря этому, например, потребление энергии, которая необходима для работы охлаждающего насоса, может быть сокращено на 65 %. В настоящее время полученный материал тестируется в лабораторных условиях. В дальнейшем команда UT Austin намерена организовать полномасштабные испытания с участием заинтересованных партнёров на рынке дата-центров.

Поставщик инженерной инфраструктуры Schneider Electric приобрёл контрольный пакет акций компании Motivair Corporation. Последняя специализируется на системах жидкостного охлаждения для HPC- и ИИ-платформ и других критических систем. По данным The Register, позже будет выкуплена и оставшаяся доля компании.

На первом этапе Schneider Electric выплатит из своих средств $850 млн за 75 % акций Motivair Corporation. Сделка должна быть закрыта в ближайшие кварталы. Компания намерена к 2028 году выкупить оставшиеся 25 % акций. Бизнес вольётся в подразделение Schneider Electric Energy Management, которое тоже специализируется на технологиях прямого жидкостного охлаждения и теплообмена в целом.

У Motivair довольно большой опыт оснащения системами жидкостного охлаждения суперкомпьютеров. Руководство компании считает, что поглощение более крупным игроком поможет ей масштабировать бизнес и получить инвестиции на развитие новых технологий. В Schneider Electric уверены, что, хотя СЖО сами по себе не являются принципиально новым решением, у технологии большое будущее в секторе ЦОД. Во многом успеху СЖО будет способствовать распространение генеративного ИИ и повсеместное внедрение больших языковых моделей (LLM), ставших катализаторами роста энергопотребления.

Источник изображения: Motivair

О росте энергопотребления ЦОД и возможных проблем с охлаждением говорится и в недавнем отчёте Международного энергетического агентство (IEA). В целом отраслевые эксперты уверены, что жидкостное охлаждение более эффективно для новых высокоплотных ЦОД в сравнении с воздушным, хотя расход воды может оказаться значительно больше, установка оборудования — дороже, а ущерб для экологии — выше.

Ранее Schneider Electric фактически установила лимит в 20 кВт/стойку, выше которого без СЖО обойтись никак не удастся. Компания склоняется к системам прямого охлаждения (DLC) с водоблоками для горячих компонентов, а к погружным СЖО относится прохладно, особенно к двухфазным.

Как заявило Международное энергетическое агентство (IEA) в ежегодном отчёте «Перспективы мировой энергетики» (World Energy Outlook), глобальный спрос на электроэнергию стремительно растёт. По данным агентства, в следующие 10 лет ежегодный прирост будет сравним с энергопотреблением целой Японии. Это повлияет на показатели сокращения выбросов, а спрос в 2035 году будет на 6 % выше, чем прогнозировалось ранее.

Что касается ЦОД, потребление будет стремительно расти из-за роста рынка ИИ и цифровизации в целом, однако на этот сектор по-прежнему будет приходиться лишь небольшая часть от общемировых энергетических затрат. Впрочем, пока прогнозы носят очень приблизительный характер, с учётом непредсказуемости проблем в цепочках поставок, увеличения энергоэффективности, политических факторов и т.п.

Долгое время рост энергопотребления сдерживался переносом нагрузок со старых корпоративных площадок в гораздо более эффективные облака. Однако этот козырь уже использован, а рост ИИ-нагрузок приведёт к взлёту энергопотребления на невиданный ранее уровень. Так, по оценкам IEA, энергопотребление дата-центров в 2022 году составило 230–340 ТВт∙ч, т.е. около 1 %–1,3 % от общемирового без учёта расходов на сети передачи данных и майнинг.

Источник изображений: IEA

Впрочем, в любом случае на долю ЦОД не будет приходиться основная доля потребления. Например, базовый сценарий предполагает, что на ЦОД будет приходиться менее 10 %% от общего роста спроса. Примерно такой же рост покажет индустрия опреснения воды, а у электромобилей запросы будут минимум втрое выше. Агентство упомянуло об агрессивных инвестициях операторов ЦОД в возобновляемые источники энергии. Другими словами, устойчивое развитие сектора вполне осуществимо.

Однако ограниченные возможности генерации и лимиты энергосетей могут оказать более серьёзное влияние «на местах», поскольку подходящих площадок для ЦОД всё меньше. Как правило, дата-центры концентрируются в одном регионе. В результате в Вирджинии (США) или Ирландии энергии недостаточно, а в Сингапуре и Амстердаме даже введены временные моратории. Дальше будет сложнее, поскольку ЦОД ёмкостью от 1 ГВт скоро станут вполне распространённым явлением.

В случае с США, по оценкам IEA, ситуация с размещением ЦОД хуже, чем с заводами, электростанциями и складами. Чтобы корректно оценить перспективы роста спроса на ЦОД, политикам, бизнесу и другим структурам следует теснее сотрудничать. В частности, в IEA отмечают участившиеся случаи аномальной жары, которые негативно влияют на энергопотребление систем охлаждения и энергоэффективность объектов в целом. Всего, по оценкам IEA, в мире насчитывается около 11 тыс. дата-центров.

Недавнее исследование показало, что небольшие ветряные турбины при установке на системы охлаждения дата-центров могут генерировать достаточно электроэнергии, чтобы это было экономически выгодно. По информации Dcatacenter Dynamics, соответствующие эксперименты провели на действующем ЦОД в Колумбии.

Источник изображения: Tesup

Согласно публикации в журнале Scientific Reports, исследование, проведённое Дистанционным университетом Мадрида (Universidad a Distancia de Madrid) совместно с колумбийской компанией Grupo ZFB, показало эффективность подхода. Исследователи использовали «ветер» от систем охлаждения колумбийского ЦОД. Объект имеет три чиллера с восемью блоками вентиляторов в каждом. Вентиляторы вращаются со скоростью до 900 об./мин., а их номинальная мощность составляет 2,4 кВт. Поток воздуха от них является достаточно стабильным и мощным для попутной генерации электричества. Впрочем, обычный ветер тоже принимает участие в выработке энергии.

Источник изображения: Isabel C. Gil-García, Ana Fernández-Guillamón, Álvaro H. Montes-Torres / Scientific Reports

Для эксперимента выбрали вертикальные ветряные турбины Tesup V7 — за их компактность и лёгкую конструкцию. Шесть малых турбин установили над вентиляторами. Два из трёх чиллеров работают постоянно, что, согласно подсчётам, позволяет генерировать 513,82 МВт∙ч в год. С учётом запланированных и незапланированных простоев получается 467,6 МВт∙ч ежегодно, что само по себе позволяет избежать выбросов 300 т CO₂ в год. Сами вентиляторы при номинальной мощности потребляют 336,39 МВт∙ч, так что в чистом остатке получается 131,2 МВт∙ч, которые можно направить на нужды другого инженерного оборудования ЦОД.

Источник изображения: Isabel C. Gil-García, Ana Fernández-Guillamón, Álvaro H. Montes-Torres / Scientific Reports

Данное исследование — часть более масштабных изменений в секторе ЦОД. Операторы пытаются нарастить эффективность дата-центров. Так, многие из них начали активно инвестировать в системы использования «мусорного» тепла, передавая, его, например, в районные системы отопления или для обогрева бассейнов. Использование малых ветряных турбин может стать ещё одним способом оптимизации работы дата-центров для улучшения общей эффективности и достижения целей по обеспечению нулевых выбросов. Экономическая выгода будет зависеть от стоимости турбин и затрат на их обслуживание, а также срока эксплуатации. Но предварительные расчёты показывают, что данный подход оправдан.

Компания HPE анонсировала, как утверждается, первую в отрасли архитектуру прямого жидкостного охлаждения (DLC), в составе которой вообще не используются вентиляторы. Решение ориентировано на дата-центры для ресурсоёмких нагрузок ИИ и НРС.

Отмечается, что эффективность ИИ-ускорителей следующего поколения повышается, но их энергопотребление продолжает расти. Поэтому ЦОД, рассчитанные на масштабные рабочие нагрузки ИИ, внедряют новые системы охлаждения. Наиболее эффективной технологией, как заявляет HPE, на сегодняшний день является DLC.

Представленное решение включает жидкостное охлаждение для CPU и GPU, blade-сервера целиком, локального хранилища, сетевой фабрики, стойки, модуля/кластера и блок распределения охлаждающей жидкости (CDU). Применяется высокоплотная конструкция с интегрированной сетевой фабрикой, дополненная специальным ПО для мониторинга. При этом обеспечивается гибкость выбора ИИ-ускорителей. «Новая архитектура прямого жидкостного охлаждения обеспечивает снижение энергопотребления на 90 % по сравнению с традиционными системами воздушного охлаждения», — говорит Антонио Нери (Antonio Neri), президент и генеральный директор HPE.

Источник изображения: HPE

Полностью безвентиляторная архитектура DLC обеспечивает ряд преимуществ по сравнению с другими решениями. В частности, затраты на охлаждение «лезвия» сокращаются на 37 % по сравнению с гибридным прямым жидкостным охлаждением. Это позволяет снизить расходы на коммунальные услуги, а также уменьшить выбросы вредных газов в атмосферу. Кроме того, достигается высокая плотность монтажа оборудования, благодаря чему занимаемые площади в ЦОД могут быть уменьшены в два раза.

Отметим, что российская Группа компаний РСК давно предлагает узлы (в том числе с ускорителями), СХД, коммутаторы и стойки с полностью жидкостным охлаждением.