Растущий спрос на высокопроизводительные вычисления ведёт к тому, что операторам ЦОД требуются всё более эффективные системы охлаждения для ИИ-серверов. По данным TrendForce, появление NVIDIA Blackwell к концу 2024 года приведёт к тому, что уровень проникновения СЖО в ЦОД может вырасти до 10 %. На решения Blackwell придётся около 83 % передовых продуктов компании.

Отдельные ускорители (G)B200 будут потреблять около 1000 Вт. HGX-платформы по-прежнему будут объединять до восьми ускорителей, а NVL-стойки — сразу 36 или 72. Безусловно, всё это будет способствовать росту цепочки поставок СЖО для ИИ-серверов, поскольку традиционные системы воздушного охлаждения могут попросту не справиться. В частности, GB200 NVL36 и NVL72 могут потреблять до 70 кВт и 140 кВт соответственно. В TrendFirce уверены, что NVL36 будет использовать комбинацию жидкостного и воздушного охлаждения, а вот NVL72 без СЖО не обойтись.

Источник изображения: NVIDIA

Агентство выделяет основные элементы, входящие в цепочку поставок СЖО для стоек с GB200: водоблоки, модули распределения (CDU), коллекторы, быстроразъёмные соединения (QD) и теплообменники задней двери (RDHx). Основным поставщиком CDU для ИИ-решений NVIDIA сегодня является компания Vertiv, а Chicony, Auras, Delta и CoolIT проходят тестирование. По слухам, NVIDIA уже столкнулась с протечками из-за некачественных компонентов.

В 2025 году поставки GB200 NVL36 должны достигнуть 60 тыс. стоек (суммарно 2,1–2,2 млн ускорителей). Тогда же NVIDIA начнёт предлагать облачным провайдерам и корпоративным клиентам конфигурации HGX, GB200 Rack и MGX, соотношение поставок ожидается на уровне 5:4:1. Стоечные варианты GB200 Rack рассчитаны в первую очередь на гиперскейлеров.

Источник изображения: TrendForce

TrendForce прогнозирует, что NVIDIA может представить NVL36 уже в конце 2024 года и быстро выйти на рынок, а NVL72 появится только в 2025 году. Впрочем, облачные гиганты, вероятно, постараются избежать привязки к единственному поставщика и, возможно, захотят развернуть HGX/MGX-варианты на x86-чипах или вовсе задействуют ASIC собственной разработки.

Кстати, компания NVIDIA ищет химика-материаловеда для разработки систем погружного жидкостного охлаждения для высокопроизводительных ускорителей. Специалист должен будет тестировать жидкости и материалы на совместимость, оценивать эффективность охлаждения, коррозионную стойкость и экологичность материалов, чтобы обеспечить оптимальную работу новых продуктов NVIDIA в ЦОД.

Стартап Phaidra, разрабатывающий ИИ-решения для оптимизации работы дата-центров и крупных промышленных предприятий, провёл новый раунд финансирования, в ходе которого на развитие привлечено $12 млн. Деньги будут направлены на исследования и разработки, а также на расширение рыночного присутствия.

Фирма Phaidra основана в 2019 году Джимом Гао (Jim Gao), Ведавьясом Паннеершелвамом (Vedavyas Panneershelvam) и Кэти Хоффман (Katie Hoffman) — выходцами из Google, Deepmind и Trane соответственно. Гао занимает пост генерального директора. Сейчас Phaidra получает основную часть выручки от подписок на свои решения.

ИИ-платформа Phaidra используется в качестве надстройки для системы управления зданием BMS или диспетчерской системы SCADA. Решение Phaidra анализирует показания датчиков в режиме реального времени, определяет оптимальную стратегию работы средств охлаждения и генерирует необходимые управляющие инструкции. Платформа обучается на исторических данных телеметрии конкретного объекта и накапливает опыт непосредственно во время работы, что с течением времени позволяет дополнительно повышать эффективность.

Источник изображения: Phaidra

Средства управления на основе ИИ, работающие круглосуточно и без перерывов, исключают человеческий фактор, говорят разработчики. В результате, снижаются риски простоя, повышаются энергетическая эффективность и производительность, уменьшаются выбросы вредных газов в атмосферу.

Новый раунд финансирования возглавила Index Ventures. На сегодняшний день стартап привлёк в общей сложности $60,5 млн. В число прежних инвесторов входят Callab Fund, Helena (возглавляла раунд Series A), Flying Fish Partners, Character, S32, Ahren и GSFutures. Поученные деньги помогут ускорить разработку продуктов и расширить штат, который сейчас включает около 100 сотрудников.

Швейцарская аэронавигационная служба Skyguide на этой неделе пострадала от сбоя своего ЦОД, вызванного повреждением системы охлаждения, пишет ресурс DatacenterDynamics. 25 июня в Швейцарии прошли грозы, которые привели к наводнению в районе, где находится дата-центр Skyguide, и подтоплению ЦОД.

Особенно пострадала система охлаждения, находящаяся в подвале ЦОД в Женеве. Из-за её повреждения служба Skyguide была вынуждена в этот день закрыть воздушное пространство Женевы на два с половиной часа, в связи с чем взлёт и посадка всех бортов в международном аэропорту Женевы были приостановлены. По словам представителя аэропорта Игнаса Жаннерата (Ignace Jeannerat), было отменено более 50 рейсов, более десятка было перенаправлено в другие аэропорты.

Источник изображения: Skyguide

«Был принят ряд мер, чтобы гарантировать, что системы управления воздушным движением не перегреваются, а также гарантировать охлаждение машинного зала», — указано в заявлении Skyguide. Как сообщается, к 26 июня работа системы охлаждения ЦОД была частично восстановлена, а 28 июня она уже функционировала в полном объёме.

Во избежание повторения подобных сбоев Skyguide приобрела дополнительную внешнюю систему охлаждения и мобильный дизель-генератор для поддержки имеющихся изношенных генераторов. В службе отметили, что это временное решение, и для реального устранения ущерба, нанесённого затоплением помещений ЦОД, потребуется ещё некоторое время.

Согласно новому исследованию Omdia, рынок систем охлаждения для ЦОД уже достиг $7,67 млрд — результаты превзошли предыдущие прогнозы экспертов. Среднегодовой темп прироста ожидается на уровне 18,4 % до 2028 года. Основным драйвером стало развитие ИИ-платформ и рост инфраструктуры с высокой энергетической плотностью. Ожидается, что объём рынка достигнет $16,87 млрд к 2028 году, а доля СЖО вырастет до 33 %.

Поскольку энергоёмкие ИИ-системы получили повсеместное распространение, спрос на жидкостное охлаждение серьёзно вырос. В числе главных трендов — быстрое распространение теплообменников задних дверей (RDHx) в комбинации с однофазным прямым жидкостным охлаждением чипов. Рост в этом сегменте составил впечатляющие 65 % год к году. Нередко в таких системах применяются технологии передачи тепла в системы отопления зданий или подогрева различных объектов и вроде бассейнов. Комбинация воздушного и жидкостного охлаждения позволяет создавать эффективные и сбалансированные системы терморегулирования.

Как заявляют в Omdia, в 2023 году произошла консолидация рынка, в результате основные прибыли получают считанные компании. Впрочем, Omdia расширила свой обзор, который теперь включает 49 вендоров вместо 40. Аналитики добавили китайских OEM-производителей и поставщиков компонентов прямого жидкостного охлаждения. Лидерами рынка остались Vertiv, Johnson Controls и Stulz, причём Veritiv увеличила долю на 6 % благодаря устойчивому росту спроса в Северной Америке и партнёрству с облачными операторами.

Источник изображения: Omdia

Рост рынка систем охлаждения для ЦОД ранее ограничивался преимущественно недостатком производственных мощностей, в частности, нехваткой компонентов вроде блоков распределения охлаждения (CDU), на спрос производители давно не жалуются. Поставщики всеми силами стремились удовлетворить спрос, но взрывной рост потребностей операторов ЦОД всё равно создал дефицит на определённых участках цепочек поставок. К счастью, в 2024 году прогнозируется улучшение ситуации.

Источник изображения: Omdia

Также Omdia отмечает рост доли систем жидкостного охлаждения. Этот рынок активно развивается в Северной Америке и Китае, в дело вступают всё новые вендоры, а прежние участники рейтингов расширяют свою деятельность. На рынке СЖО, объём которого близок к $1 млрд, лидером остаётся CoolIT, предлагающее прямое жидкостное охлаждение. Второе место занимает Sugon, преимущественно занимающаяся системами иммерсионного охлаждения, а замыкает тройку Lenovo, комплектующая некоторые свои системы фирменной СЖО.

Системы терморегулирования неизбежно развиваются под влиянием ИИ-решений и из-за росту требований к экоустойчивости серверного оборудования и ЦОД в целом. Несмотря на прогнозы роста, будет наблюдаться нехватка СЖО и недостаток экобезопасных технологий. Ожидается, что в будущем внедрение оптимизированных с помощью ИИ систем охлаждения, договоры о стратегическом партнёрстве между вендорами, а также рост энергоэффективных и экоустойчивых решений определят развитие индустрии. В результате технологии охлаждения будут соответствовать потребностям в охране окружающей среды.

Власти Норвегии, по сообщению ресурса HPC Wire, подписали контракт стоимостью Kr225 млн ($21 млн) с корпорацией HPE, предусматривающий создание нового национального суперкомпьютера A2 (постоянное имя системе дадут позже). Он станет самым мощным в истории страны и значительно ускорит исследования и разработки в различных областях, в том числе в сфере ИИ.

За закупку и эксплуатацию НРС-систем в Норвегии отвечает государственная компания Sigma2 AS. Вычислительные услуги предоставляются в сотрудничестве с университетами Бергена, Осло, Тромсё, а также Норвежским университетом естественных и технических наук (NTNU) в рамках проекта NRIS.

В основу нового суперкомпьютера ляжет платформа HPE Cray EX4000. Известно, что в состав комплекса войдут 76 узлов с четырьмя гибридными суперчипами NVIDIA GH200 (всего 304 ускорителя), 252 узла с двумя 128-ядерными AMD EPYC Turin (64 512 ядер) и 5,3-Пбайт хранилище HPE Cray ClusterStor E1000. Узлы объединит интерконнект HPE Slingshot. Ожидаемая производительность системы составит порядка 10 Пфлопс.

Источник изображения: Sigma2

Монтаж системы планируется выполнить в течение весны–лета 2025 года. Машина расположится в дата-центре Лефдаль (Lefdal Mine Datacenter, LMD), развёрнутом на базе бывшего рудника. Этот объект имеет большую площадь и предоставляет гибкие возможности в плане масштабирования. Новый суперкомпьютер HPE станет первой национальной высокопроизводительной системой, установленной в этом ЦОД.

Источник изображения: Sigma2

Несмотря на то, что готовящийся комплекс будет значительно мощнее высокопроизводительных вычислительных систем Sigma2 предыдущего поколения, его энергопотребление окажется меньше примерно на 30 %. Для охлаждения будет использоваться холодная вода из близлежащего фьорда. Нагретая вода затем может быть направлена на нужды местных предприятий, в том числе, например, рыбных ферм.

Ожидается, что суперкомпьютер сможет удовлетворить потребности Норвегии в НРС-ресурсах в течение следующих пяти лет. Он будет доступен исследователям по всей стране. В дальнейшем суперкомпьютер может дополнительно получить 119 808 CPU-ядер и/или 224 ускорителя. В целом же Норвегия рассчитывает, что современные ЦОД станут для страны «новой нефтью».

Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

Нефтегазовый гигант ExxonMobil работает с Intel над разработкой новых технологий жидкостного охлаждения для дата-центров. По данным Datacenter Dynamics, компании намерены совместно разрабатывать и тестировать соответствующие энергоэффективные системы, которые будут сертифицированы для x86-чипов Intel.

Потенциально такое сотрудничество позволит клиентам ЦОД сократить выбросы и добиться целей по достижению энергоэффективности. По словам представителя Intel, работа с ExxonMobil позволит серьёзно экономить как энергию, так и воду в дата-центрах и сетевых решениях. ExxonMobil анонсировала освоение рынка охлаждающих жидкостей для ЦОД в октябре 2023 года с потртфолио синтетических и несинтетических вариантов. Помимо ExxonMobil, над аналогичными составами работают другие нефтегазовые гиганты вроде Castrol и Shell.

Источник изображения: César Couto/unsplash.com

В последние годы системы жидкостного охлаждения стали реальной альтернативой воздушному для операторов ЦОД, особенно для серверных стоек с высокой плотностью, применяемых для ИИ и прочих энергоёмких задач — они генерируют больше мусорного тепла, чем модели предыдущих поколений.

На момент запуска линейки охлаждающих жидкостей, в ExxonMobil заявляли, что соответствующая химия сможет снизить совокупную стоимость владения IT-оборудованием на 40 % в сравнении с вариантами, использующими системы воздушного охлаждения, улучшая энергоэффективность (PUE) ЦОД. В самой компании рассчитывают избавиться от всех вредных выбросов в результате своей деятельности уже к 2050 году. Впрочем, это не мешает ей активно инвестировать в расширение добычи ископаемого топлива.

Летом 2023 года уже появилась информация о том, что Intel разработала инновационную погружную СЖО, способную справиться с охлаждением чипов на 2 кВт.

Компания «Систэм Электрик» (Systême Electric, бывшее российское подразделение Schneider Electric), специализирующаяся на поставке комплексных решений в области распределения электроэнергии и автоматизации, сообщила результаты исследования по комплексным решениям для инженерной инфраструктуры ЦОД, проведённого совместно с iKS-Consulting.

Было опрошено около 30 специалистов. Среди них — технические директора и руководители технических подразделений, а также ведущие эксперты, связанные с построением и эксплуатацией инженерных систем ЦОД, представляющие такие отрасли, как IT-индустрия, агропромышленный комплекс, госструктуры и ведомства, медиабизнес, ритейл, транспорт и логистика, топливно-энергетический комплекс, добывающая промышленность, провайдеры ЦОД и облачных сервисов, операторы связи, финансовый сектор.

Задачей совместного исследования было оценить произошедшие перемены после ухода большинства западных производителей инженерного оборудования для ЦОД, в связи с чем на российском рынке появилось много новых участников. По словам Systême Electric, заказчики стали больше внимания уделять «глубине» присутствия вендора в стране. Для большинства из них стали более значимыми такие факторы, как наличие у компании-производителя офиса, складов (в том числе с ЗИП) в России, а также квалифицированного персонала для инсталляции и эксплуатации продуктов.

Источник изображения: Systême Electric

Согласно опросу, моновендорным решениям отдают предпочтение только 25 % респондентов. В основном ЦОД стремятся делать закупки у тех компаний, которые предоставляют лучшее оборудование. Для потребителей важным фактором при выборе является комплексность решения. Большая часть респондентов (44,8 %) считают главным критерием комплексности решения предоставление поставщиком полного набора услуг на всех основных этапах жизненного цикла ЦОД — от разработки концепции до проведения модернизации. По мнению клиентов, поставщик комплексного решения должен взять на себя ответственность за всё оборудование на объекте, а не только то, которое сам производит.

Вторым по важности критерием опрошенные назвали способность поставщика предложить различные варианты решения задач. Для этого специалисты вендора должны иметь соответствующую экспертизу. Вместе с тем 45 % опрошенных в дальнейшем планируют выбрать одного стратегического партнёра для поставки либо по всему комплексному инфраструктурному решению, либо по каждой инженерной системе (электропитание, охлаждение, стойки/шкафы). И лишь 17 % намерены выбрать двух стратегических партнёров применительно к каждой инженерной системе.

Для почти 80 % респондентов в новых условиях значительно возросла важность наличия у производителя офиса и складов (в том числе и для запчастей) в России. Для ⅓ респондентов повысилась важность включения оборудования для ЦОД в реестр Минпромторга. Сотрудничество с несколькими вендорами для многих опрошенных (75 %) влечёт за собой необходимость хранить на складе несколько комплектов запасных частей.

Кроме того, помимо спецификаций продуктов, всё более важным для заказчиков становятся сопутствующие сервисные услуги, которые может предложить поставщик. Оптимальным выбором считается компания, зарегистрированная и работающая в России, и вместе с тем обладающая международной экспертизой по реализации комплексных проектов.

Японская компания Maruwa с более чем двухвековой историей в области керамического искусства и производства изысканной фарфоровой посуды, по сообщению газеты Financial Times, буквально ворвалась на рынок компонентов для систем охлаждения и электронных схем, которые применяются в том числе в дата-центрах и на электротранспорте.

Maruwa, штаб-квартира которой располагается в префектуре Айти на острове Хонсю, ранее была известна прежде всего благодаря своей столовой утвари, используемой на традиционных японских банкетах. Однако затем компания начала переориентировать бизнес на керамические изделия для IT-сферы. В результате цена акций Maruwa за последний год выросла почти вдвое и достигла рекордного значения в апреле 2024-го. Капитализация компании поднялась до $28 млрд.

Источник изображения: Maruwa

Говорится, что Maruwa успешно производит высококачественные керамические подложки, которые применяются в том числе в устройствах высокоскоростной оптической связи. Кроме того, Maruwa преуспела в изготовлении материалов, используемых для отвода тепла в электронике, работающей при очень высоких температурах — например, в составе ЦОД для задач ИИ и НРС.

«Мы ожидаем, что высокоскоростные коммуникации следующего поколения, в том числе связанные с генеративным ИИ, станут основным драйвером роста нашего бизнеса в течение ближайших лет», — заявляет Maruwa.

По оценкам аналитика Goldman Sachs Мицухиро Ичо (Mitsuhiro Icho), компания Maruwa занимает около 60 % мирового рынка теплоотводящих подложек для оптических трансиверов. Согласно прогнозам, объём данного рынка к 2027 году достигнет $12,3 млрд на фоне стремительного развития ИИ. По словам Ичо, главным конкурентным преимуществом Maruwa является опыт, накопленный за долгое время производства керамики.

Nautilus Data Technologies запустила новую серию решений для модульных дата-центров на основе разработанных ранее технологий охлаждения. По данным Datacenter Dynamics, новый проект предлагает варианты для ЦОД ёмкостью до 2,5 МВт. По словам Nautilus, EcoCore расширяет эффективность сборных конструкций и упрощает процесс строительства, позволяя интегрировать рабочее пространство с техническими помещениями и размещать MEP-компоненты (электрику, водоснабжение и вентиляцию) на крыше.

Конструкция использует четыре CDU-установки для кондиционирования, каждая из которых способна отводить до 833 кВт тепла. Система поддерживает как традиционные варианты охлаждения, так и современные жидкостные. Основной модуль электропитания (PEU) обеспечивает мощность 1250 кВт (415 В, три фазы), но есть и точно такой же резервный (N+1).

Новинка будет развёрнута в Start Campus в Синише (Португалия) — впервые за пределами собственных мощностей Nautilus. EcoCore, по словам компании, соответствует запросам Start по организации бесперебойной работы серверов высокой плотности с СЖО. Компании договорились о сотрудничестве в прошлом году и заключили «многомегаваттное» соглашение. Первый модуль EcoCore будет развёрнут в ходе первой фазы строительства кампуса Start. В Nautilus и Start заявляют, что экобезопасные технологии первой задают новый стандарт в индустрии, обеспечивая непревзойдённые эффективность и адаптивность.

Источник изображения: Nautilus

Nautilus известна прежде всего проектами плавучих ЦОД и системой охлаждения дата-центров речной или морской водой. Пока компания выступает лишь оператором ЦОД-баржи в Стоктоне (Калифорния), но планирует построить и наземный объект в Мэне. Также в работе находятся и другие проекты в США, Франции и Ирландии. Меморандумы о взаимопонимании заключены в Таиланде и на Филиппинах. Впрочем, появление EcoCore, похоже, указывает на желание стать поставщиком решений для других операторов.

Принадлежащая инвестиционному фонду Davidson Kempner и британской British Pioneer Point Partners компания Start намерена построить 495-МВт кампус площадью 60 га в Португалии. Компании заявили, что Nautilus поставит охладительные системы и для второй фазы проекта, предусматривающего расширение на 120 МВт. Ранее Start оказалась вовлечена в коррупционный скандал.