Компании Fujitsu и Supermicro объявили о стратегическом сотрудничестве, направленном на разработку серверов следующего поколения для широкого спектра рабочих нагрузок — от ИИ и НРС до облачных и периферийных задач. Кроме того, партнёры займутся разработкой СЖО для дата-центров. Речь, в частности, идёт о создании серверов на Arm-процессорах Fujitsu MONAKA.

MONAKA будут изготавливаться по 2-нм технологии TSMC. Они получат до 144 ядер, а также 12 каналов оперативной памяти DDR5, интерфейсы PCIe 6.0 с CXL 3.0. Говорится об использовании архитектуры Armv9-A с поддержкой векторных расширений SVE2. Изделия проектируются с прицелом на двухсокетные системы. Упомянуты возможность применения воздушного охлаждения и высокая энергетическая эффективность.

Выпуск чипов запланирован на 2027 год. На тот момент, как утверждает Fujitsu, эти решения будут демонстрировать двукратное превосходство по показателю производительности на Ватт над конкурирующими серверными процессорами. Разработка MONAKA является частью проекта, курируемого Японской Организацией по развитию новых энергетических и промышленных технологий (NEDO).

Источник изображений: Fujitsu

В рамках партнёрства Fujitsu и Supermicro объединят свои технические возможности и опыт для создания серверов, оптимизированных для различных нагрузок. Отмечается, в частности, что подход Supermicro Building Block к проектированию платформ позволяет быстро создавать и сертифицировать широкий спектр систем для ИИ, HPC и вычислений общего назначения в облачных средах и на периферии. Клиенты смогут выбирать системные компоненты, оптимизированные для их рабочих нагрузок и приложений. Помимо этого, компании сосредоточатся на экологически чистых IT-решениях в области СЖО стоечного масштаба.

Сотрудничество также распространится на Fsas Technologies — дочернюю структуру Fujitsu. Эта компания будет поставлять в глобальном масштабе решения для генеративного ИИ на базе платформы, объединяющей серверы Supermicro с GPU-ускорителями и услуги развёртывания для операторов ЦОД и предприятий.

Компания Submer, специализирующаяся на системах иммерсионного охлаждения для дата-центров, объявила о проведении раунда финансирования Series C, в ходе которого на развитие привлечено $55,5 млн. Программу возглавила инвестиционная фирма M&G, под управлением которой находятся активы в размере £346,1 млрд (около $454,1 млрд).

Submer была основана в 2015 году. Её штаб-квартира находится в Барселоне (Испания), тогда как производственная площадка Gigafactory располагается в Хьюстоне (Техас, США). Компания занимается разработкой систем погружного охлаждения для высоконагруженных ЦОД. При этом применяется нетоксичная охлаждающая жидкость SmartCoolant: она обеспечивает высокую эффективность в широком диапазоне температур, безопасность и стабильность состава. Кроме того, компания сотрудничает с другими производителями жидкостей.

Источник изображения: Submer

Согласно отчету Международного энергетического агентства (IEA), в 2022 году дата-центры по всему миру потребили 460 ТВт·ч энергии, что составляет почти 2 % от глобальных затрат. По прогнозам, к 2026 году этот показатель удвоится. Вместе с тем, как утверждает Submer, воздушное охлаждение и традиционные методы жидкостного охлаждения становятся все менее эффективными. Связано это с постоянно растущими вычислительными нагрузками в условиях стремительного развития ИИ. Решением проблемы, по заявлениям Submer, является погружное охлаждение.

В новом раунде финансирования, помимо M&G, приняли участие существующие инвесторы Planet First Partners и Norrsken VC, а также Mundi Ventures. Полученные деньги будут направлены на расширение бизнес-возможностей и привлечение новых клиентов в рамках глобальной экспансии. Submer намерена уделять приоритетное внимание освоению рынков США и Азиатско-Тихоокеанского региона.

Шведская химическая компания Perstorp представила биоразлагаемую жидкость, предназначенную для погружных (иммерсионных) СЖО, передаёт Datacenter Dynamics. По словам компании, Synmerse DC представляет собой синтетическую жидкость, обеспечивающую безопасность и эффективность эксплуатации, это снижает энергопотребление охлаждающих систем.

Perstorp принадлежит малайзийской нефтегазовой компании Petronas, уже представившей жидкость собственной разработки для систем Iceotope. В Perstorp сообщили, что разработали жидкость при сотрудничестве с ведущими производителями чипов и OEM-компаниями для того, чтобы обеспечить её совместимость с новейшим оборудованием и погружными системами охлаждения. По словам компании, у неё богатый опыт в разработке синтетических жидкостей самого разного назначения.

Источник изображения: Jimmy Chang/unsplash.com

Компания не рассказала о составе жидкости подробно, но сообщила, что она не включает PFAS-соединения («вечные» химикаты), способные нанести вред окружающей среде. Жидкости на основе PFAS традиционно применяются в системах погружного охлаждения, но с принятием во многих странах законов, запрещающих их использование, производители ищут более экобезопасные варианты на основе растительных и минеральных масел, различных фторуглеродов и других соединений. Впрочем, ещё летом 2023 года сообщалось, что Евросоюз намерен отменить запрет на PFAS-химикаты, поскольку те очень важны для рынка СЖО.

Жидкостное охлаждение набирает популярность в последние годы, поскольку ИИ-бум привёл к росту плотности размещения компонентов в серверных стойках. Другими словами, традиционные воздушные системы охлаждения часто не справляются с новыми нагрузками мощных новых серверов. Нефтегазовые компании вроде Gulf Oil, Shell, Castrol, ExxonMobil, ENEOS и SK Enmove активно ведут разработки в новой для себя нише СЖО. Свои варианты представили американский продовольственный гигант Cargill и химический концерн Chemours (Du Pont).

Разработчик СЖО для ЦОД LiquidStack Holding сообщил о привлечении $20 млн от инвестиционной компании Tiger Global Management в рамках расширенного раунда серии B. Средства направят на увеличение производственных мощностей для выпуска систем прямого и иммерсионного охлаждения, расширение деятельности и научных исследований.

Основанная в 2012 году LiquidStack поставляет СЖО для IT-оборудования, телекоммуникационных решений и блокчейн-систем. Решения компании используются в дата-центрах гиперскейлеров, а также в корпоративных, колокейшн и периферийных ЦОД. Фактически LiquidStack появилась в результате реорганизации Allied Control Limited (ACL, подразделение The Bitfury Group), которая изначально занималась созданием СЖО для майнинговых систем.

Источник изображения: LiquidStack Holding

Новое финансирование позволит LiquidStack расширить разработку систем прямого жидкостного охлаждения, а также двухфазных и однофазных решений для вариантов использования с комплексным жидкостным охлаждением. В 2021 году Wiwynn, которая занимается поставками серверного оборудования для Microsoft, проинвестировала в LiquidStack $10 млн.

Портфолио LiquidStack включает ряд продуктов СЖО, разработанных для обеспечения высокой энергоэффективности и производительности вычислительных систем. В частности, LiquidStack предлагает системы прямого жидкостного охлаждения Direct-To-Chip (DTC), в том числе линейку блоков распределения охлаждающей жидкости (CDU), специально разработанную для высокотребовательных приложений, таких как генеративный ИИ и HPC. Первый продукт в этой серии, блок распределения охлаждающей жидкости CDU-1MW, обеспечивает мощность охлаждения 1350 кВт.

Также LiquidStack занимается разработкой технологий однофазного и двухфазного иммерсионного охлаждения и микр-ЦОД на их основе. Так, в серии MicroModular и MacroModular входят модульные, готовые решения мощностью от 250 кВт до 1,5 МВт. Продукты LiquidStack производятся в США на её предприятии в Кэрролтоне (штат Техас), которое открылось в марте этого года.

Компания LiquidStack, разработчик систем погружного (иммерсионного) охлаждения для ЦОД, сообщила о выходе высокопроизводительного блока распределения охлаждающей жидкости CDU-1MW, ориентированного на гиперскейлеров, поставщиков колокейшн-услуг и крупные предприятия. Решение спроектировано с прицелом на ресурсоёмкие нагрузки, такие как генеративный ИИ, большие языковые модели (LLM) и НРС.

CDU-1MW представляет собой универсальное изделие, совместимое с различными коммерческими системами прямого жидкостного охлаждения Direct-To-Chip (DTC). Гибкость интеграции достигается благодаря конфигурируемым на месте верхним или нижним трубопроводам и электрическим соединениям. Стоечный форм-фактор и корпус из некоррозионных материалов обеспечивают долговечность и удобство эксплуатации, говорит компания.

Источник изображения: LiquidStack

Охлаждающая мощность достигает 1350 кВт. CDU оборудован датчиками температуры, давления и расхода во всех критических точках. Резервирование реализовано по схеме N+1: в частности, применяются насосы с возможностью горячей замены. Откидные панели упрощают обслуживание.

По заявлениям LiquidStack, новинка спроектирована так, чтобы обеспечить значительное сокращение потребления энергии и теплононсителя. Это приводит к существенному снижению совокупной стоимости владения (TCO) по сравнению с воздушным охлаждением. Говорится об уменьшении энергопотребления на 36 % и о снижении капитальных затрат на 48 %. Кроме того, значительно повышается эффективность использования площадей в дата-центре.

Блок CDU-1MW разработан при непосредственном сотрудничестве с крупнейшими мировыми ЦОД и производителями микросхем. Применён программируемый логический контроллер Siemens с интуитивно понятными элементами управления и инструментами мониторинга. Для удалённого управления могут применяться MODBUS TCP/IP и RESTful API. Говорится о сертификации ETL, CSA и CE.

Швейцарский стартап Apheros объявил о завершении раунда предварительного финансирования в размере $1,85 млн, который возглавила венчурная компания Founderful. Как сообщает стартап, полученные инвестиции позволят ему ускорить разработку и внедрение решений для жидкостных систем охлаждения на основе пенометалла.

Основанный в Цюрихе в прошлом году на базе подразделения университета ETH Zurich, Apheros разработал запатентованную технологию создания пенометалла с «беспрецедентными свойствами». Благодаря большой площади поверхности и низкой плотности новый материал имеет улучшенную теплопередачу и низкое сопротивление потоку, что делает его идеальным для высокопроизводительных систем охлаждения. Автор разработки — Джулия Карпентер (Julia Carpenter), соучредитель и генеральный директор Apheros, докторская диссертация которой в ETH Zurich как раз посвящена пенометаллу.

Источник изображений: Apheros

На веб-сайте компании сообщается, что микроструктура пенометалла Apheros «превосходно рассеивает тепло», в том числе в системах жидкостного охлаждения, включая двухфазные испарительные СЖО, с которыми решение компании может быть легко интегрировано уже сейчас. Кроме того, технология Apheros может пригодиться для создания электродов и катализаторов.

Компания уже создала первый продукт, в котором используется пеномедь. Как утверждается, это оптимальное решение для пассивного охлаждения, которое значительно превосходит текущие технологии как с точки зрения эффективности, так и с точки зрения экологического воздействия благодаря малоотходному методу производства.

Apheros протестировала свои продукты с неназванными технологическим партнёром и теперь стремится к коммерциализации своих решений. Компания рассчитывает в течение года масштабировать производство до нескольких тонн. При этом для оснащения с нуля или модернизации одного дата-центра потребуется несколько сотен килограмм пенометалла.

Любой производитель не застрахован от сбоя цепочки поставок небольших комплектующих, ведущих к значительным убыткам, иногда исчисляемым сотнями миллионов долларов. Как сообщает Tom’s Hardware, Supermicro не удалось вовремя получить достаточное количество быстроразъёмных соединений для систем жидкостного охлаждения (СЖО), из-за чего произошла задержка поставок готовой продукции покупателям. В результате сформировалась «отложенная выручка» в размере $800 млн, которую пришлось перенести с одного квартала на другой.

СЖО чрезвычайно важны для ИИ-серверов и обычно состоят из нескольких компонентов, объединяемых быстроразъёмными соединениями. Такие разъёмы могут подтекать, поэтому их качество имеет ключевое значение. Из-за высокого спроса на ИИ-серверы спрос на соединения тоже вырос. Их цена уже поднялась с $40 до $60, причём потенциальные покупатели готовы переплачивать ещё больше, лишь бы забронировать поставки.

Источник изображения: Cejn

Рынок быстроразъёмных соединителей контролируется семью компаниями, в том числе двумя китайскими, попавшими под санкции США, что только усугубляет глобальный дефицит. Тайваньские производители Global Tek, Fositek и Lotes охотно пользуются ситуацией, наращивая и ускоряя производство и сертификацию соответствующих продуктов — это поможет заполнить «пустоту» от ухода попавших под санкции китайских компаний. Global Tek активно работает с партнёрами на своих заводах, образцы уже проходят тестирование. Компания рассчитывает, что выручка от этих проектов начнёт поступать уже в IV квартале 2024 года.

Спрос на СЖО действительно высок и ожидается, что к 2028 году они займут треть рынка систем охлаждения для дата-центров. При этом уже поступают рекламации — не исключено, что поставки суперускорителей NVIDIA GB200 могут задержаться из-за протечек вспомогательной «фурнитуры» систем жидкостного охлаждения.

В Supermicro рассказали о методологии строительства дата-центров DCBBS, позволяющей создавать небольшие ЦОД за срок от полугода или сокращать время строительства более крупных объектов с трёх до двух лет. Как сообщает The Register, о новом подходе рассказал глава компании Чарльз Лян (Charles Liang) во время последнего финансового отчёта.

Глава Supermicro подчеркнул, что выручка только за IV квартал 2024 финансового года превзошла всю выручку за 2022 год. Впрочем, Лян признал, что новую проприетарную технологию прямого жидкостного охлаждения (DLC) оказалось трудно и дорого разработать, не в последнюю очередь из-за дефицита компонентов. Именно это стало причиной того, что компания недополучила $800 млн квартальной выручи, разоачаровала аналитиков и резко потеряла в рыночной стоимости.

Тем не менее глава компании уверен, что инвестиции в дополнительные производственные мощности помогут справиться с этой нехваткой и удвоить число выпускаемых стоек с DLC с 1500 до 3000 в месяц в течение финансового года. По словам Ляна, СЖО Supermicro стоят не больше, чем обычные системы охлаждения, но системы с ним потребляют меньше энергии, т.е. в итоге позволяют экономить средства. Спрос на подобные комплекты увеличится, уверены в компании.

Источник изображения: Supermicro

Анонсированная в ходе отчёта методология Supermicro 4.0 Datacenter Building Block Solutions (DCBBS) позволит значительно ускорить ввод в эксплуатацию ЦОД и оптимизировать их стоимость. Предполагается полная интеграция ИИ-вычислений, серверов, хранилищ, сети, энергетического оборудования и, конечно, СЖО, а также ПО для сквозного управления и услуги по развёртыванию и обслуживанию. Предполагается, что два года будет уходить создание крупных ИИ ЦОД, а для на объекты меньшего масштаба или модернизацию старых ЦОД уйдёт всего 6-12 месяцев.

При этом в компании не ожидают, что новые ускорители NVIDIA Blackwell, которые как раз без СЖО обходиться будут с трудом, поспособствуют росту Supermicro в 2025 финансовом году. Финансовые аналитики выразили озабоченность падением маржинальности бизнеса, но Лян подчеркнул, что Supermicro улучшит показатели. Впрочем, планам компании может помешать сама NVIDIA, вынужденно отложившая массовое производство новейших ускорителей. Услуги в рамках DCBBS компания намерена предложить к концу 2024 года.

Компания Microsoft стала активно применять прямое жидкостное охлаждение чипов в серверах своих ЦОД. Datacenter Dynamics сообщает, что IT-гигант приступил и к изучению более передовой технологии, основанной на принципах микрогидродинамики.

Как свидетельствует недавний пост в блоге компании, посвящённый использованию воды и применяемым СЖО разных поколений, сейчас разрабатывается новая архитектура дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Это требует переосмысления конструкции серверов и серверных стоек для внедрения новых методов терморегуляции и управления энергией.

Компания уже использует sidekick-СЖО в действующих ЦОД. Впервые они были представлены во время анонса процессоров Cobalt и ИИ-ускорителей Maya. Последние будут развёрнуты в кастомных стойках и кластерах Ares. Серверы для них шире 19″ и даже OCP-стоек и нуждаются именно в жидкостном охлаждении — других конфигураций не предусмотрено. Каждый сервер получит по четыре ускорителя Maya, а стойка будет вмещать восемь серверов. А рядом с ней будет ещё одна стойка с компонентами охлаждения. Аналогичный дизайн использует Meta✴, которая также была вынуждена пересмотреть архитектуру своих ЦОД из-за ИИ.

Источник изображений: Microsoft

Не менее интересны и разработки в сфере микрогидродинамики. Этот подход предусматривает размещение микроканалов для подачи жидкости буквально внутри самих чипов, что обеспечивает ещё более высокую эффективность охлаждения. В компании утверждают, что все эти разработки оптимизированы для поддержки ИИ-нагрузок в ЦОД и в то же время дружественны к экологии. Благодаря инновациям можно значительно снизить потребление чистой воды, одновременно обеспечивая повышенную ёмкость серверных стоек, благодаря чему возрастает польза от каждого задействованного квадратного метра.

Microsoft намерена стать «водно-положительной» к 2030 году. В ESG-докладе 2023 года компания заявила, что использовала в 2022 году 6,4 млн м³, преимущественно для своих ЦОД. В докладе 2024 года показатель увеличился уже до 7,8 млн м³ в 2023 году. Проблемы с потреблением воды вообще характерны для IT-гиганта и его партнёров.

Запись в блоге Microsoft также свидетельствует о том, что компания расширила использование восстановленной и переработанной воды на площадках в Техасе, Вашингтоне, в Калифорнии и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на Канаду, Великобританию, Финляндию, Италию, Южную Африку и Австрию. В Нидерландах, правда, всё оказалось не так хорошо, как обещала компания. Как заявляют Microsoft, с первого поколения собственных дата-центров в начале 2000-х годов до текущего поколения в 2020-х, использование воды на кВт·ч снизилось более чем на 80 %.

Ранее компания сотрудничала с разработчиком систем двухфазного погружного жидкостного охлаждения LiquidStack, который поддерживается одним из поставщиков Microsoft — Wiwynn. В прошлом году LiquidStack представила однофазную систему иммерсионного охлаждения для ИИ-систем, а также запустила в США производство СЖО, но для кого именно она их выпускает, не уточняется.

Растущий спрос на высокопроизводительные вычисления ведёт к тому, что операторам ЦОД требуются всё более эффективные системы охлаждения для ИИ-серверов. По данным TrendForce, появление NVIDIA Blackwell к концу 2024 года приведёт к тому, что уровень проникновения СЖО в ЦОД может вырасти до 10 %. На решения Blackwell придётся около 83 % передовых продуктов компании.

Отдельные ускорители (G)B200 будут потреблять около 1000 Вт. HGX-платформы по-прежнему будут объединять до восьми ускорителей, а NVL-стойки — сразу 36 или 72. Безусловно, всё это будет способствовать росту цепочки поставок СЖО для ИИ-серверов, поскольку традиционные системы воздушного охлаждения могут попросту не справиться. В частности, GB200 NVL36 и NVL72 могут потреблять до 70 кВт и 140 кВт соответственно. В TrendFirce уверены, что NVL36 будет использовать комбинацию жидкостного и воздушного охлаждения, а вот NVL72 без СЖО не обойтись.

Источник изображения: NVIDIA

Агентство выделяет основные элементы, входящие в цепочку поставок СЖО для стоек с GB200: водоблоки, модули распределения (CDU), коллекторы, быстроразъёмные соединения (QD) и теплообменники задней двери (RDHx). Основным поставщиком CDU для ИИ-решений NVIDIA сегодня является компания Vertiv, а Chicony, Auras, Delta и CoolIT проходят тестирование. По слухам, NVIDIA уже столкнулась с протечками из-за некачественных компонентов.

В 2025 году поставки GB200 NVL36 должны достигнуть 60 тыс. стоек (суммарно 2,1–2,2 млн ускорителей). Тогда же NVIDIA начнёт предлагать облачным провайдерам и корпоративным клиентам конфигурации HGX, GB200 Rack и MGX, соотношение поставок ожидается на уровне 5:4:1. Стоечные варианты GB200 Rack рассчитаны в первую очередь на гиперскейлеров.

Источник изображения: TrendForce

TrendForce прогнозирует, что NVIDIA может представить NVL36 уже в конце 2024 года и быстро выйти на рынок, а NVL72 появится только в 2025 году. Впрочем, облачные гиганты, вероятно, постараются избежать привязки к единственному поставщика и, возможно, захотят развернуть HGX/MGX-варианты на x86-чипах или вовсе задействуют ASIC собственной разработки.

Кстати, компания NVIDIA ищет химика-материаловеда для разработки систем погружного жидкостного охлаждения для высокопроизводительных ускорителей. Специалист должен будет тестировать жидкости и материалы на совместимость, оценивать эффективность охлаждения, коррозионную стойкость и экологичность материалов, чтобы обеспечить оптимальную работу новых продуктов NVIDIA в ЦОД.