Компании ZutaCore, Hon Hai Technology Group (Foxconn) и SoftBank объявили о внедрении двухфазной технологии прямого жидкостного охлаждения (DLC) в ИИ-сервер с ускорителями NVIDIA H200. Утверждается, что это первая подобная реализация на рынке.

Двухфазная DLC-система ZutaCore служит для отвода тепла от CPU, GPU, микросхем памяти и других критичных компонентов в серверах. Данное решение по сравнению с традиционными средствами охлаждения позволяет снизить энергопотребление дата-центра и повысить общую эффективность. В результате сокращаются выбросы вредных газов в атмосферу.

Система ZutaCore использует специальную охлаждающую пластину, которая находится в контакте с CPU, GPU и другими элементами сервера с большим тепловыделением. Применяется диэлектрическая жидкость с низкой температурой кипения: при нагреве происходит фазовый переход из жидкого в газообразное состояние. Эффективное охлаждение достигается благодаря многократному испарению и конденсации.

Источник изображений: ZutaCore

При этом температура жидкости может поддерживаться на более высоком уровне, чем в обычных системах с водяным охлаждением, что повышает эффективность отвода тепла, говорится в пресс-релизе. Кроме того, снижается нагрузка на насос, что способствует сокращению энергопотребления. Использование диэлектрического состава предотвращает серьезные повреждения сервера в случае протечки.

В рамках партнёрства Foxconn разработала ИИ-сервер на базе NVIDIA H200 с двухфазной DLC-системой ZutaCore. В свою очередь, SoftBank создала серверную стойку, предназначенную для максимально эффективного охлаждения оборудования посредством двухфазной DLC-технологии. Эта ORv3-стойка совместима с 21″ и 19″ серверами. Источники питания и основная проводка сосредоточены в задней части для обеспечения безопасности эксплуатации и повышения удобства обслуживания.

Через четыре месяца после покупки японским конгломератом SoftBank британский стартап Graphcore, разрабатывающий ИИ-ускорители, занялся наймом новых сотрудников. По данным EE Times, сейчас у компании открыто 75 позиций в сферах разработки и тестирования полупроводников, управления инфраструктурой ЦОД и ИИ-исследований. Всего год назад компания спешно искала финансирование и сокращала персонал.

Сейчас штат Graphcore насчитывает 375 человек, но компания намерена увеличить количество сотрудников на 20 % в Великобритании, Польше и на Тайване. Прочие офисы, включая подразделение в Китае, закрылись. По словам главы Graphcore Найджела Туна (Nigel Toon), компания представляет собой место, где эксперты по полупроводникам, ПО, ИИ и т.п. могут и полностью реализовать себя. Тем не менее, производственные планы бизнеса пока не раскрываются.

Источник изображения: Graphcore

На момент покупки Graphcore имела в своём портфолио три поколения чипов. Однако последнее поколение Bow IPU, выпущенное в 2022 году, по большому счёту являлось апгрейдом продукта второго поколения от 2020 года. Модель имела 892 Мбайт набортной SRAM, дополненной внешней DDR-памятью, а не HBM. Другими словами, теоретически продукт не слишком подходит для обучения больших языковых моделей (LLM). Впрочем, Cerebras тоже использует SRAM в составе своих суперчипов, но последняя дополнена массивами гибридной памяти MemoryX. А SambaNova в SN40L в итоге пришла к сочетанию SRAM, HBM и DDR.

Если Graphcore намерена создать новое поколение ИИ-ускорителей, то она, вероятно, пойдёт по пути SambaNova, считают в EE Times. На это косвенно указывает вакансия инженера ЦОД, для которой желателен опыт работы с жидкостным охлаждением. Также компании требуются специалисты для работы над облачными платформами и инфраструктурой ЦОД. Не исключено, что компания сменит бизнес-модель на манер Groq, продавая не ускорители, а доступ к ИИ-сервисам. Cerebras и SambaNova, например, уже успели по очереди похвастаться производительностью своих инференс-платформ.

В случае Graphcore смещение фокуса на инференс открывает возможности для освоения корпоративных и суверенных ИИ-решений, которых ещё не было, когда последние чипы компании вышли на рынок. Тем не менее, пока нет данных, готов ли SoftBank обеспечить Graphcore достаточными средствами для развития больших ЦОД.

Провайдер облачных и периферийных сервисов Gcore, по сообщению Datacenter Dynamics, осуществил раунд финансирования Series A, в ходе которого на развитие получено $60 млн. Инвестиционную программу возглавил разработчик и издатель игр Wargaming при участии Constructor Capital и Han River Partners.

Gcore была основана в Люксембурге в 2014 году. Компания управляет инфраструктурой, которая позволяет клиентам развёртывать свои рабочие нагрузки ИИ (обучение и инференс) на периферии. Штаб-квартира Gcore находится в Люксембурге, а представительства располагаются в Вильнюсе, Кракове, Белграде, Никосии, Тбилиси, Ташкенте, Маниле, Сеуле и Токио.

На сегодняшний день инфраструктура Gcore объединяет примерно 180 edge-точек на шести континентах и более 25 облачных локаций, а общая пропускная способность сети достигает 200 Тбит/с. В качестве технологических партнёров выступают Intel, Dell, Lenovo, Wallarm, Equinix, Graphcore, Digital-Realty, Wasabi, HP, AMD, Arista и Kentik.

Источник изображения: Gcore

Gcore заявляет, что применяет в составе своей сети новейшее оборудование на процессорах AMD и Intel последнего поколения. Реализованы надёжные средства защиты от несанкционированного доступа и кражи данных. Упомянуты система обнаружения вторжений (IDS), инструменты резервного копирования и восстановления, двухфакторная аутентификация, шифрование AES-128/256, сертифицированные операционные системы.

Полученные в рамках раунда Series A средства будут направлены на дальнейшее расширение платформы Gcore, включая приобретение новых ИИ-серверов на базе ускорителей NVIDIA. Это первое внешнее привлечение капитала с момента основания компании. «Растущий спрос на инфраструктуру ИИ со стороны предприятий малого и среднего бизнеса подчёркивает важность этого финансирования. Мы очень рады поддержке таких инвесторов, как Wargaming, Constructor Capital и Han River Partners», — говорит Андре Райтенбах (Andre Reitenbach), генеральный директор Gcore.

Японская SoftBank, уже владеющая британским разработчиком процессоров Arm, приобрела британскую же компанию Craphcore, занятую разработкой ИИ-ускорителей. По данным The Register, сумма потенциальной сделки не называется, но по некоторым оценкам она составит $600 млн — для сравнения, Graphcore привлекла $700 млн в ходе всех раундов финансирования.

Graphcore официально объявила о сделке в четверг, а её глава Найджел Тун (Nigel Toon) публично одобрил её, подчеркнув, что спрос на ИИ-вычисления сейчас высок и продолжает расти, а SoftBank является тем партнёром для Graphcore, который поможет «изменить ландшафт» ИИ-технологий. Штаб-квартира компании по-прежнему останется в Бристоле.

Ключевые активы компании — ИИ-ускорители Intelligence Processing Units (IPU), а также стек ПО. Хотя вычислительные системы BOW POD16 оказались производительнее NVIDIA DGX A100, процветания в компании не дождались и рассматривали продажу ещё в феврале 2024 года.

Источник изображения: Graphcore

Несмотря на первоначальный успех, бизнес не смог стать прибыльным. В 2022 году выручка составила всего $2,7 млн — на 46 % меньше год к году, операционные расходы составили $206,8 млн. После этого начались увольнения — по словам представителей компании, необходимые для того, чтобы удержать бизнес на плаву. Более того, компания даже стала получать иски.

Сотрудничество с китайскими бизнесами могло бы вывести Graphcore из тупика, но США ограничили продажи высокопроизводительных ускорителей в КНР. Тем временем NVIDIA закрепила своё влияние на рынке решений для генеративных ИИ-систем. Тун прогнозирует, что SoftBank, наконец, даст возможность Graphcore составить конкуренцию лидерам отрасли.

Источник изображения: Graphcore

По словам SoftBank Investment Advisers, новое поколение полупроводников и вычислительных систем имеет чрезвычайное значение для работ над т.н. «общим искусственным интеллектом» (AGI), поэтому SoftBank рада сотрудничать с Graphcore. При этом в SoftBank не акцентируют внимание на том, что компания уже является владельцем контрольного пакета акций британской Arm, на решениях которой строятся многие современные полупроводники. Последняя имеет собственные амбиции и намерена представить альтернативу решениям NVIDIA.

Graphcore предлагает ещё одну альтернативу и уже имеет готовое техническое решение. С учётом финансовых ресурсов SoftBank и связей с Arm, компания, возможно, получит второе дыхание для нового старта. Другими словами, сектор ИИ-инфраструктуры сможет стать более конкурентным, что в любом случае пойдёт на благо покупателей.

Разработчик систем прямого безводного жидкостного охлаждения ZutaCore и провайдер облачных IT-инфраструктур для гиперскейлеров Wiwynn объявили о стратегическом партнёрстве. В рамках соглашения Wiwynn инвестирует средства в ZutaCore с целью ускорения внедрения технологии прямого жидкостного охлаждения HyperCool Direct-On-Chip в дата-центрах, ориентированных на ресурсоёмкие задачи ИИ. Три года назад Wiwynn инвестировала в разработчика погружных СЖО LiquidStack.

Двухфазная система HyperCool с замкнутым контуром способна отводить тепло от самых мощных серверных чипов. При этом используется специальная диэлектрическая жидкость, что позволяет защитить оборудование от коррозии. Отмечается, что экосистема HyperCool продолжает развиваться по мере распространения в ЦОД процессоров и ускорителей следующего поколения, предназначенных для поддержания растущих рабочих нагрузок ИИ и НРС.

Источник изображения: ZutaCore

В числе партнёров, поддерживающих HyperCool, названы AMD, ASUS, Boston Limited, Dell, Equinix, Intel, Pegatron, SuperMicro, UNICOM Engineering, World Wide Technologies (WWT) и др. «Благодаря сотрудничеству с Wiwynn мы можем установить новый стандарт устойчивого развития ИИ в дата-центрах, где энергоэффективность и достижение нулевых выбросов парниковых газов могут сосуществовать со стремительным развитием ИИ», — отмечает Эрез Фрейбах (Erez Freibach), соучредитель и генеральный директор ZutaCore.

Среди ключевых особенностей и преимуществ технологии HyperCool разработчик называет возможность повторного использования тепла, коэффициент PUE на уровне 1,04, отсутствие простоев в работе серверного оборудования в случае утечки охлаждающей жидкости, минимальные затраты на техническое обслуживание, возможность повышения плотности серверов в ЦОД, совместимость с чиплетной архитектурой и поддержку изделий с показателем TDP в 2800 Вт и более.

Японская компания SoftBank Group Corp. ведёт переговоры о приобретении переживающего финансовые проблемы британского Graphcore Ltd., разработчика ИИ-ускорителей IPU, сообщил Bloomberg со ссылкой на информированные источники. По их словам, переговоры длятся уже несколько месяцев, но финансовые условия всё ещё не определены и нет никаких гарантий, что будет достигнуто окончательное соглашение.

В сентябре 2023 года Financial Times сообщала, что SoftBank сделала предварительное предложение о покупке Graphcore, которое стартап отклонил. SoftBank имеет контрольный пакет акций в другом британском разработчике микросхем, Arm Holdings, объявившем в феврале о хороших перспективах расширения своего бизнеса на рынке ИИ-чипов. С тех пор акции Arm выросли примерно на 40 %.

Источник изображения: Graphcore

Основанная в 2016 году компания Graphcore из Бристоля представила в 2020 году серверные ИИ-ускорители IPU (Intelligence Processing Unit). По словам Graphcore, её чипам вполне под силу составить конкуренцию NVIDIA. В числе её инвесторов такие компании, как Samsung Electronics, Bosch и Sequoia Capital. После раунда финансирования в 2020 году стоимость Graphcore оценивалась в $2,8 млрд. Но с тех пор британской компании так и не удалось набрать необходимые обороты и сейчас она активно ищет финансирование, чтобы остаться на плаву на фоне роста убытков из-за сокращения продаж.

Как сообщил в феврале ресурс Bloomberg News, переговоры начались в тот время, когда основатель SoftBank Масаёси Сон (Masayoshi Son) решил запустить собственный проект в сфере ИИ стоимостью до $100 млрд, чтобы бросить вызов NVIDIA. SoftBank притормозила инвестиции в технологический сектор в 2022 году, но в конце 2023 года решила вернуться к заключению новых сделок, делая ставку на ИИ. Масаёси Сон представил это как стратегию, ориентированную на бизнес Arm.

ZutaCore, поставщик систем прямого безводного жидкостного охлаждения объявил о поддержке ускорителей вычислений Nvidia H100 и H200. Решения компании позволяют отводить 1500 Вт и более, что поможет добиться максимальной производительности при обработке нагрузок ИИ. ZutaCore сотрудничает с несколькими производителями серверов с целью тестирования и завершения сертификации этих решений.

Являясь одними из самых высокопроизводительных чипов, H100 и H200 имеют TDP до 700 Вт, что, по словам ZutaCore, стало проблемой для ЦОД, стремящихся контролировать температурный режим, оптимизировать энергопотребление и площади. Технология двухфазного жидкостного охлаждения ZutaCore HyperCool была разработана специально для решения этих проблем и уже доказала свою способность охлаждать самые производительные чипы мощностью 1500 Вт и более, позволяя добиться плотности 100 кВт на стойку.

Источник изображения: ZutaCore

Как отмечает Эрез Фрейбах (Erez Freibach), соучредитель и генеральный директор ZutaCore, высокие требования к охлаждению ускорителей вычислений следующего поколения наиболее эффективно решаются именно с помощью безводных СЖО по схеме direct-to-chip. Благодаря таким СЖО гиперскейлеры не только устраняют риск и огромные расходы, связанные с утечкой воды, но также могут масштабировать потребности в охлаждении практически без изменений в кампусах, системах электропитания или охлаждения.

По словам Питера Руттена (Peter Rutten), вице-президента по исследованиям IDC, в связи с ожидаемым к 2027 году ростом мирового рынка ИИ-серверов до $49 млрд, объявление ZutaCore о поддержке ускорителей следующего поколения является «важной вехой в отрасли».

Облачный провайдер HyperAI из Нидерландов обвинил Graphcore в обмане, поскольку британский разработчик ИИ-чипов сначала отказался от прежних обязательств, а потом и вовсе заявил, что никогда ничего не продавал HyperAI. Как сообщил порталу Datacenter Dynamics представитель HyperAI, ситуация дошла до абсурда, поэтому компания обратилась в суд. Graphcore, испытывающая финансовые трудности, отметила, что не комментирует незавершённые судебные разбирательства, но решительно отрицает претензии HyperAI.

HyperAI, занимающаяся предоставлением облачных услуг в Европе, впервые обратилась к Graphcore в феврале 2021 года, посчитав, что её ИИ-ускорители BoW IPU сравнимы с продуктами NVIDIA, а в некоторых отношениях даже превосходят их. В апреле 2022 года появилась официальная информация о том, что HyperAI заказала комплекс Graphcore BOW POD16. Фактически система была поставлена только в августе, однако Graphcore неправильно настроила её, в результате чего HyperAI не могла осуществить официальный запуск сервиса до декабря 2022 года.

Изображение: Graphcore

В январе 2023 года отношения компаний ухудшились. Менеджер по продажам Graphcore потребовал объяснить, почему HyperAI называет себя облачным партнёром Graphcore, если у последней уже есть эксклюзивный партнёр в Европе — Gcore. В HyperAI считают, что со времён самых первых контактов был очевиден облачный профиль бизнеса компании и никто из Graphcore никогда не говорил, что такие заявления могут вызвать проблемы. Об эксклюзивном европейском партнёрстве с Gcore компании также никто не сообщал.

Позже выяснилось, что вице-президент по продажам Graphcore, который был руководителем упомянутого менеджера, перешёл в Gcore. В Graphcore сначала попытались сгладить ситуацию, но позже заявили, что, возможно, не смогут обеспечить полноценную техническую поддержку из-за сокращения штата. В конце концов компания сообщила, что не будет общаться с HyperAI без адвоката. Более того, Graphcore неожиданно заявила, что не продавала комплекс BOW POD16, а HyperAI сама приобрела некоторые комплектующие у некой третьей стороны.

Британский стартап Graphcore Ltd., специализирующийся на ИИ-ускорителях, по слухам, рассматривает продажу бизнеса. Silicon Angle сообщает, что такое решение связано с трудностями конкуренции на рынке, в первую очередь с NVIDIA.

В минувшие выходные в СМИ появилась информация о том, что компания обсуждала потенциальную сделку с крупнейшими технологическими компаниями в попытке получить средства для покрытия больших убытков. Ожидаемая оценка компании — $500 млн. Более того, сделку будут изучать и британские спецслужбы в связи с важностью для национальной безопасности любых вопросов, связанных с ИИ-технологиями. В декабре 2020 года Graphcore привлекла $222 млн инвестиций, капитализация компании на тот момент составляла $2,77 млрд.

Источник изображения: Graphcore

Компания предлагает вычислительные системы BOW-2000 IPU Machine, каждая из которых включает по четыре чипа BOW IPU, которые обеспечивают ИИ-производительность до 1,4 Пфлопс. Чипы разработаны при поддержке TSMC и используются 3D-упаковку WoW (Wafer-on-Wafer). Также доступны кластеры BOW POD, насчитывающие от 16 до 1024 чипов. На момент дебюта сообщалось, что 16-чиповы BOW POD16 более чем в пять раз производительнее NVIDIA DGX A100, но при этом вдвое дешевле.

Хотя на бумаге всё выглядело довольно многообещающе, компания столкнулась с трудностями при реализации своих решений. У Graphcore попросту нет достаточно средств, чтобы выдержать гонку с NVIDIA. По слухам, компания уже вела с инвесторами переговоры по поводу привлечения дополнительных капиталов, но не преуспела. Более того, ожидался и очередной раунд инвестиций в III квартале 2023 года, но никакой информации о нём так и не поступило.

В число потенциальных покупателей Graphcore входят британская Arm, японская Softbank и даже OpenAI. Косвенным свидетельством вероятной продажи служит заявление инвестиционного фонда Chrysalis Investments Ltd., имеющего в Graphcore долю. В декабре фонд заявил, что одна из компаний в его портфолио находится в процессе продажи, а через несколько недель довёл оценочную стоимость Graphcore до $528 млн — обычно такое происходит незадолго до значимых событий.

Modine Manufacturing решила диверсифицировать свои активы, вложившись в иммерсионное охлаждение. Как сообщает Datacenter Dynamics, компания приобрела активы стартапа TMGcore, предлагавшего однофазные и двухфазные системы иммерсионного охлаждения для HPC-систем. Сейчас Modine принадлежит производитель чиллеров Airedale.

TMGcore ещё в 2019 году представила роботизированную двухфазную иммерсионную платформу OTTO, а позже показал мобильную платформу OTTO EdgeBox. Также в портфолио компании есть компактная (2,4 м²) однофазная 200-кВт 48U-платформа ComputeCore и аналогичная платформа CryptoCore для тех, кто занимается майнингом.

Источник изображения: TMGcore

Modine приобрела как интеллектуальную собственность, так и другие активы TMGcore, заявив, что это укрепит позиции компании в качестве провайдера комплексных решений для охлаждения вычислительной техники. При этом само юридическое лицо, стоящее за TMGcore, не приобреталось. По словам представителя Modine, покупка активов поможет компании предлагать системы воздушного, жидкостного и гибридного охлаждения.

Хотя иммерсионные системы пока считаются нишевой технологией для майнинга и высокопроизводительных вычислений, давно предсказывается, что рост плотности размещения вычислительных мощностей позволит таким СЖО выйти на более широкий рынок, а катализатором станет развитие ИИ-платформ. В Modine ссылаются на оценки экспертов, которые прогнозируют, что рынок систем иммерсионного охлаждения к 2028 году вырастет до $7,8 млрд.