Согласно новому исследованию Omdia, рынок систем охлаждения для ЦОД уже достиг $7,67 млрд — результаты превзошли предыдущие прогнозы экспертов. Среднегодовой темп прироста ожидается на уровне 18,4 % до 2028 года. Основным драйвером стало развитие ИИ-платформ и рост инфраструктуры с высокой энергетической плотностью. Ожидается, что объём рынка достигнет $16,87 млрд к 2028 году, а доля СЖО вырастет до 33 %.

Поскольку энергоёмкие ИИ-системы получили повсеместное распространение, спрос на жидкостное охлаждение серьёзно вырос. В числе главных трендов — быстрое распространение теплообменников задних дверей (RDHx) в комбинации с однофазным прямым жидкостным охлаждением чипов. Рост в этом сегменте составил впечатляющие 65 % год к году. Нередко в таких системах применяются технологии передачи тепла в системы отопления зданий или подогрева различных объектов и вроде бассейнов. Комбинация воздушного и жидкостного охлаждения позволяет создавать эффективные и сбалансированные системы терморегулирования.

Как заявляют в Omdia, в 2023 году произошла консолидация рынка, в результате основные прибыли получают считанные компании. Впрочем, Omdia расширила свой обзор, который теперь включает 49 вендоров вместо 40. Аналитики добавили китайских OEM-производителей и поставщиков компонентов прямого жидкостного охлаждения. Лидерами рынка остались Vertiv, Johnson Controls и Stulz, причём Veritiv увеличила долю на 6 % благодаря устойчивому росту спроса в Северной Америке и партнёрству с облачными операторами.

Источник изображения: Omdia

Рост рынка систем охлаждения для ЦОД ранее ограничивался преимущественно недостатком производственных мощностей, в частности, нехваткой компонентов вроде блоков распределения охлаждения (CDU), на спрос производители давно не жалуются. Поставщики всеми силами стремились удовлетворить спрос, но взрывной рост потребностей операторов ЦОД всё равно создал дефицит на определённых участках цепочек поставок. К счастью, в 2024 году прогнозируется улучшение ситуации.

Источник изображения: Omdia

Также Omdia отмечает рост доли систем жидкостного охлаждения. Этот рынок активно развивается в Северной Америке и Китае, в дело вступают всё новые вендоры, а прежние участники рейтингов расширяют свою деятельность. На рынке СЖО, объём которого близок к $1 млрд, лидером остаётся CoolIT, предлагающее прямое жидкостное охлаждение. Второе место занимает Sugon, преимущественно занимающаяся системами иммерсионного охлаждения, а замыкает тройку Lenovo, комплектующая некоторые свои системы фирменной СЖО.

Системы терморегулирования неизбежно развиваются под влиянием ИИ-решений и из-за росту требований к экоустойчивости серверного оборудования и ЦОД в целом. Несмотря на прогнозы роста, будет наблюдаться нехватка СЖО и недостаток экобезопасных технологий. Ожидается, что в будущем внедрение оптимизированных с помощью ИИ систем охлаждения, договоры о стратегическом партнёрстве между вендорами, а также рост энергоэффективных и экоустойчивых решений определят развитие индустрии. В результате технологии охлаждения будут соответствовать потребностям в охране окружающей среды.

Власти Норвегии, по сообщению ресурса HPC Wire, подписали контракт стоимостью Kr225 млн ($21 млн) с корпорацией HPE, предусматривающий создание нового национального суперкомпьютера A2 (постоянное имя системе дадут позже). Он станет самым мощным в истории страны и значительно ускорит исследования и разработки в различных областях, в том числе в сфере ИИ.

За закупку и эксплуатацию НРС-систем в Норвегии отвечает государственная компания Sigma2 AS. Вычислительные услуги предоставляются в сотрудничестве с университетами Бергена, Осло, Тромсё, а также Норвежским университетом естественных и технических наук (NTNU) в рамках проекта NRIS.

В основу нового суперкомпьютера ляжет платформа HPE Cray EX4000. Известно, что в состав комплекса войдут 76 узлов с четырьмя гибридными суперчипами NVIDIA GH200 (всего 304 ускорителя), 252 узла с двумя 128-ядерными AMD EPYC Turin (64 512 ядер) и 5,3-Пбайт хранилище HPE Cray ClusterStor E1000. Узлы объединит интерконнект HPE Slingshot. Ожидаемая производительность системы составит порядка 10 Пфлопс.

Источник изображения: Sigma2

Монтаж системы планируется выполнить в течение весны–лета 2025 года. Машина расположится в дата-центре Лефдаль (Lefdal Mine Datacenter, LMD), развёрнутом на базе бывшего рудника. Этот объект имеет большую площадь и предоставляет гибкие возможности в плане масштабирования. Новый суперкомпьютер HPE станет первой национальной высокопроизводительной системой, установленной в этом ЦОД.

Источник изображения: Sigma2

Несмотря на то, что готовящийся комплекс будет значительно мощнее высокопроизводительных вычислительных систем Sigma2 предыдущего поколения, его энергопотребление окажется меньше примерно на 30 %. Для охлаждения будет использоваться холодная вода из близлежащего фьорда. Нагретая вода затем может быть направлена на нужды местных предприятий, в том числе, например, рыбных ферм.

Ожидается, что суперкомпьютер сможет удовлетворить потребности Норвегии в НРС-ресурсах в течение следующих пяти лет. Он будет доступен исследователям по всей стране. В дальнейшем суперкомпьютер может дополнительно получить 119 808 CPU-ядер и/или 224 ускорителя. В целом же Норвегия рассчитывает, что современные ЦОД станут для страны «новой нефтью».

Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

Нефтегазовый гигант ExxonMobil работает с Intel над разработкой новых технологий жидкостного охлаждения для дата-центров. По данным Datacenter Dynamics, компании намерены совместно разрабатывать и тестировать соответствующие энергоэффективные системы, которые будут сертифицированы для x86-чипов Intel.

Потенциально такое сотрудничество позволит клиентам ЦОД сократить выбросы и добиться целей по достижению энергоэффективности. По словам представителя Intel, работа с ExxonMobil позволит серьёзно экономить как энергию, так и воду в дата-центрах и сетевых решениях. ExxonMobil анонсировала освоение рынка охлаждающих жидкостей для ЦОД в октябре 2023 года с потртфолио синтетических и несинтетических вариантов. Помимо ExxonMobil, над аналогичными составами работают другие нефтегазовые гиганты вроде Castrol и Shell.

Источник изображения: César Couto/unsplash.com

В последние годы системы жидкостного охлаждения стали реальной альтернативой воздушному для операторов ЦОД, особенно для серверных стоек с высокой плотностью, применяемых для ИИ и прочих энергоёмких задач — они генерируют больше мусорного тепла, чем модели предыдущих поколений.

На момент запуска линейки охлаждающих жидкостей, в ExxonMobil заявляли, что соответствующая химия сможет снизить совокупную стоимость владения IT-оборудованием на 40 % в сравнении с вариантами, использующими системы воздушного охлаждения, улучшая энергоэффективность (PUE) ЦОД. В самой компании рассчитывают избавиться от всех вредных выбросов в результате своей деятельности уже к 2050 году. Впрочем, это не мешает ей активно инвестировать в расширение добычи ископаемого топлива.

Летом 2023 года уже появилась информация о том, что Intel разработала инновационную погружную СЖО, способную справиться с охлаждением чипов на 2 кВт.

Компания «Систэм Электрик» (Systême Electric, бывшее российское подразделение Schneider Electric), специализирующаяся на поставке комплексных решений в области распределения электроэнергии и автоматизации, сообщила результаты исследования по комплексным решениям для инженерной инфраструктуры ЦОД, проведённого совместно с iKS-Consulting.

Было опрошено около 30 специалистов. Среди них — технические директора и руководители технических подразделений, а также ведущие эксперты, связанные с построением и эксплуатацией инженерных систем ЦОД, представляющие такие отрасли, как IT-индустрия, агропромышленный комплекс, госструктуры и ведомства, медиабизнес, ритейл, транспорт и логистика, топливно-энергетический комплекс, добывающая промышленность, провайдеры ЦОД и облачных сервисов, операторы связи, финансовый сектор.

Задачей совместного исследования было оценить произошедшие перемены после ухода большинства западных производителей инженерного оборудования для ЦОД, в связи с чем на российском рынке появилось много новых участников. По словам Systême Electric, заказчики стали больше внимания уделять «глубине» присутствия вендора в стране. Для большинства из них стали более значимыми такие факторы, как наличие у компании-производителя офиса, складов (в том числе с ЗИП) в России, а также квалифицированного персонала для инсталляции и эксплуатации продуктов.

Источник изображения: Systême Electric

Согласно опросу, моновендорным решениям отдают предпочтение только 25 % респондентов. В основном ЦОД стремятся делать закупки у тех компаний, которые предоставляют лучшее оборудование. Для потребителей важным фактором при выборе является комплексность решения. Большая часть респондентов (44,8 %) считают главным критерием комплексности решения предоставление поставщиком полного набора услуг на всех основных этапах жизненного цикла ЦОД — от разработки концепции до проведения модернизации. По мнению клиентов, поставщик комплексного решения должен взять на себя ответственность за всё оборудование на объекте, а не только то, которое сам производит.

Вторым по важности критерием опрошенные назвали способность поставщика предложить различные варианты решения задач. Для этого специалисты вендора должны иметь соответствующую экспертизу. Вместе с тем 45 % опрошенных в дальнейшем планируют выбрать одного стратегического партнёра для поставки либо по всему комплексному инфраструктурному решению, либо по каждой инженерной системе (электропитание, охлаждение, стойки/шкафы). И лишь 17 % намерены выбрать двух стратегических партнёров применительно к каждой инженерной системе.

Для почти 80 % респондентов в новых условиях значительно возросла важность наличия у производителя офиса и складов (в том числе и для запчастей) в России. Для ⅓ респондентов повысилась важность включения оборудования для ЦОД в реестр Минпромторга. Сотрудничество с несколькими вендорами для многих опрошенных (75 %) влечёт за собой необходимость хранить на складе несколько комплектов запасных частей.

Кроме того, помимо спецификаций продуктов, всё более важным для заказчиков становятся сопутствующие сервисные услуги, которые может предложить поставщик. Оптимальным выбором считается компания, зарегистрированная и работающая в России, и вместе с тем обладающая международной экспертизой по реализации комплексных проектов.

Японская компания Maruwa с более чем двухвековой историей в области керамического искусства и производства изысканной фарфоровой посуды, по сообщению газеты Financial Times, буквально ворвалась на рынок компонентов для систем охлаждения и электронных схем, которые применяются в том числе в дата-центрах и на электротранспорте.

Maruwa, штаб-квартира которой располагается в префектуре Айти на острове Хонсю, ранее была известна прежде всего благодаря своей столовой утвари, используемой на традиционных японских банкетах. Однако затем компания начала переориентировать бизнес на керамические изделия для IT-сферы. В результате цена акций Maruwa за последний год выросла почти вдвое и достигла рекордного значения в апреле 2024-го. Капитализация компании поднялась до $28 млрд.

Источник изображения: Maruwa

Говорится, что Maruwa успешно производит высококачественные керамические подложки, которые применяются в том числе в устройствах высокоскоростной оптической связи. Кроме того, Maruwa преуспела в изготовлении материалов, используемых для отвода тепла в электронике, работающей при очень высоких температурах — например, в составе ЦОД для задач ИИ и НРС.

«Мы ожидаем, что высокоскоростные коммуникации следующего поколения, в том числе связанные с генеративным ИИ, станут основным драйвером роста нашего бизнеса в течение ближайших лет», — заявляет Maruwa.

По оценкам аналитика Goldman Sachs Мицухиро Ичо (Mitsuhiro Icho), компания Maruwa занимает около 60 % мирового рынка теплоотводящих подложек для оптических трансиверов. Согласно прогнозам, объём данного рынка к 2027 году достигнет $12,3 млрд на фоне стремительного развития ИИ. По словам Ичо, главным конкурентным преимуществом Maruwa является опыт, накопленный за долгое время производства керамики.

Nautilus Data Technologies запустила новую серию решений для модульных дата-центров на основе разработанных ранее технологий охлаждения. По данным Datacenter Dynamics, новый проект предлагает варианты для ЦОД ёмкостью до 2,5 МВт. По словам Nautilus, EcoCore расширяет эффективность сборных конструкций и упрощает процесс строительства, позволяя интегрировать рабочее пространство с техническими помещениями и размещать MEP-компоненты (электрику, водоснабжение и вентиляцию) на крыше.

Конструкция использует четыре CDU-установки для кондиционирования, каждая из которых способна отводить до 833 кВт тепла. Система поддерживает как традиционные варианты охлаждения, так и современные жидкостные. Основной модуль электропитания (PEU) обеспечивает мощность 1250 кВт (415 В, три фазы), но есть и точно такой же резервный (N+1).

Новинка будет развёрнута в Start Campus в Синише (Португалия) — впервые за пределами собственных мощностей Nautilus. EcoCore, по словам компании, соответствует запросам Start по организации бесперебойной работы серверов высокой плотности с СЖО. Компании договорились о сотрудничестве в прошлом году и заключили «многомегаваттное» соглашение. Первый модуль EcoCore будет развёрнут в ходе первой фазы строительства кампуса Start. В Nautilus и Start заявляют, что экобезопасные технологии первой задают новый стандарт в индустрии, обеспечивая непревзойдённые эффективность и адаптивность.

Источник изображения: Nautilus

Nautilus известна прежде всего проектами плавучих ЦОД и системой охлаждения дата-центров речной или морской водой. Пока компания выступает лишь оператором ЦОД-баржи в Стоктоне (Калифорния), но планирует построить и наземный объект в Мэне. Также в работе находятся и другие проекты в США, Франции и Ирландии. Меморандумы о взаимопонимании заключены в Таиланде и на Филиппинах. Впрочем, появление EcoCore, похоже, указывает на желание стать поставщиком решений для других операторов.

Принадлежащая инвестиционному фонду Davidson Kempner и британской British Pioneer Point Partners компания Start намерена построить 495-МВт кампус площадью 60 га в Португалии. Компании заявили, что Nautilus поставит охладительные системы и для второй фазы проекта, предусматривающего расширение на 120 МВт. Ранее Start оказалась вовлечена в коррупционный скандал.

Компания LiquidStack, разработчик систем погружного (иммерсионного) жидкостного охлаждения для ЦОД, сообщила о создании новой производственной площадки и глобальной штаб-квартиры в Кэрроллтоне (Техас, США). Объект функционирует с декабря 2023-го, но официальная церемония открытия состоится 22 марта нынешнего года. Отмечается, что площадка является важным этапом развития бизнеса LiquidStack.

На фоне стремительного роста спроса на ИИ-приложения и НРС увеличивается потребность дата-центров в высокоэффективных СЖО. Запуск производства в Кэрроллтоне поможет LiquidStack гибко реагировать на потребности клиентов, сохраняя при этом высокие стандарты качества и обслуживания клиентов, говорит компания. Вероятно, у LiquidStack появился крупный заказчик на американском рынке. Ранее решения компании тестировала Microsoft.

Источник изображения: LiquidStack

На новой площадке будет выпускаться полный спектр решений LiquidStack. Это, в частности, устройства распределения охлаждающей жидкости (CDU), одно- и двухфазные системы погружного охлаждения, а также модульные СЖО-платформы MacroModular и MicroModular. На территории объекта также будет размещён центр обучения и демонстрации продуктов для клиентов и партнёров.

Источник изображения: LiquidStack

Производственное предприятие LiquidStack и штаб-квартира в Кэрроллтоне имеют общую площадь приблизительно 1860 м². В настоящее время компания занимается подбором персонала: ожидается, что к концу 2024 года численность нынешней команды на площадке увеличится более чем в три раза.

«Мы наблюдаем невероятно высокий спрос на жидкостное охлаждение во всём мире в связи с распространением чипов со сверхвысоким TDP, которые применяются для задач генеративного ИИ. Инвестиции в новый объект позволяют нам обслуживать быстрорастущий рынок, создавая при этом высококвалифицированные рабочие места», — сказал Джо Кейпс (Joe Capes), генеральный директор LiquidStack.

Чилийский суд пересмотрел уже полученное Google разрешение на строительство в стране ЦОД за $200 млн. По данным Datacenter Dynamics, дата-центр планируется построить в столице Чили — Сантьяго. Суд предписал гиперскейлеру пересмотреть положения заявки, приняв во внимание масштабные климатические изменения и истощение водных ресурсов чилийской столицы.

В постановлении предписывается оценить потенциал Центрального водоносного горизонта Сантьяго и принять во внимание возможную доработку систем охлаждения серверов. В Чили и, в частности, в Сантьяго в течение 15 лет продолжается беспрецедентная засуха, из-за чего серьёзно пострадало водоснабжение столицы — в 2022 году было введено нормирование воды, а ранее в этом месяце в результате «рекордного» пожара погибли минимум 112 человек, а тысячи лишились мест проживания.

Источник изображения: Jesus Fernandez/unsplash.com

Google заявила, что уже внесла изменения в заявку на строительство, предусматривающие использование воздушного охлаждения. В декабре 2023 года AWS тоже получила разрешение властей на строительство кампуса ЦОД в Сантьяго, но в этом случае, видимо, никаких проблем не было.

Схожая ситуация наблюдается и в соседнем Уругвае, который тоже страдает от засухи. Местная оппозиция буквально восстала против плана Google построить ЦОД на юге страны, поскольку в результате судебного разбирательства выяснилось, что охлаждающим установкам ЦОД понадобится 7,6 млн литров питьевой воды ежедневно. В Google заявляют, что уругвайский проект находится лишь на стадии подготовки и техническая команда IT-гиганта активно работает над ним при поддержке властей.

Корейская телекоммуникационная компания SK Telecom (SKT), фирма Iceotope и разработчик смазочных материалов SK Enmove, по сообщению ресурса Datacenter Dynamics, займутся созданием систем жидкостного охлаждения (СЖО) нового поколения для дата-центров, ориентированных на ресурсоёмкие задачи ИИ.

Говорится, что стороны подписали меморандум о взаимопонимании с целью внедрения технологии прецизионного жидкостного охлаждения (Precision Liquid Cooling, PLC). В рамках проекта планируется применять специальные жидкости SK Enmove и испытательный стенд SKT. Утверждается, что система PLC обеспечивает высокую эффективность отвода тепла от серверных компонентов и экономию энергии по сравнению с альтернативными решениями.

В рамках соглашения SKT разработает интегрированный блок распределения охлаждающей жидкости (CDU) для использования в составе СЖО разных типов. В этом проекте примут участие специалисты Iceotope. В перспективе новое изделие, как ожидается, найдёт применение в ЦОД, поддерживающих работу ИИ.

Источник изображения: Iceotope

Кроме того, SKT планирует разработать автономную систему охлаждения на базе ИИ. Речь идёт о технологии, учитывающей текущую температуру и нагрузку в дата-центре. На основе полученных показателей будет автоматически оптимизироваться работа CDU и других компонентов СЖО с целью достижения наиболее эффективного отвода тепла при минимальных затратах энергии.

Отмечается, что стремительное развитие средств генеративного ИИ приводит к росту нагрузок в дата-центрах. Это, в свою очередь, порождает необходимость внедрения высокопроизводительных компонентов, включая ускорители. В результате растут показатели энергопотребления и выделяемого тепла. Поэтому операторы ЦОД всё активнее переходят на СЖО. Iceotope, SKT и SK Enmove рассчитывают, что их изделия помогут частично решить проблему растущих энергозатрат в сегменте дата-центров.