Компания HPE анонсировала, как утверждается, первую в отрасли архитектуру прямого жидкостного охлаждения (DLC), в составе которой вообще не используются вентиляторы. Решение ориентировано на дата-центры для ресурсоёмких нагрузок ИИ и НРС.

Отмечается, что эффективность ИИ-ускорителей следующего поколения повышается, но их энергопотребление продолжает расти. Поэтому ЦОД, рассчитанные на масштабные рабочие нагрузки ИИ, внедряют новые системы охлаждения. Наиболее эффективной технологией, как заявляет HPE, на сегодняшний день является DLC.

Представленное решение включает жидкостное охлаждение для CPU и GPU, blade-сервера целиком, локального хранилища, сетевой фабрики, стойки, модуля/кластера и блок распределения охлаждающей жидкости (CDU). Применяется высокоплотная конструкция с интегрированной сетевой фабрикой, дополненная специальным ПО для мониторинга. При этом обеспечивается гибкость выбора ИИ-ускорителей. «Новая архитектура прямого жидкостного охлаждения обеспечивает снижение энергопотребления на 90 % по сравнению с традиционными системами воздушного охлаждения», — говорит Антонио Нери (Antonio Neri), президент и генеральный директор HPE.

Источник изображения: HPE

Полностью безвентиляторная архитектура DLC обеспечивает ряд преимуществ по сравнению с другими решениями. В частности, затраты на охлаждение «лезвия» сокращаются на 37 % по сравнению с гибридным прямым жидкостным охлаждением. Это позволяет снизить расходы на коммунальные услуги, а также уменьшить выбросы вредных газов в атмосферу. Кроме того, достигается высокая плотность монтажа оборудования, благодаря чему занимаемые площади в ЦОД могут быть уменьшены в два раза.

Отметим, что российская Группа компаний РСК давно предлагает узлы (в том числе с ускорителями), СХД, коммутаторы и стойки с полностью жидкостным охлаждением.

Облачный провайдер CoreWeave привлёк кредитную линию на $650 млн от крупного инвестиционного бизнеса для масштабирования своей деятельности по всему миру. По данным Silicon Angle, лидерами раунда финансирования стали JPMorgan Chase, Goldman Sachs и Morgan Stanley, к ним присоединились Barclays, CitiGroup, Deutsche Bank, Jefferies, Mizuho, MUFG и Wells Fargo.

За последние 18 месяцев компания уже привлекла $12,7 млрд в виде акционерного капитала и долговых обязательств, оценка компании составила $19 млрд. В компании утверждают, что новая кредитная линия будет способствовать росту в быстроразвивающейся сфере ИИ.

Сегодня CoreWeave выступает оператором публичного облака, обеспечивающего доступ к ускорителям NVIDIA для ИИ и рендеринга — в том числе доступны NVIDIA H100 и H200. Ещё в августе компания заявила, что стала первым облачным провайдером, предоставившим клиентам доступ к новейшим ускорителям NVIDIA H200. Обучение и внедрение больших языковых моделей (LLM) требует больших вычислительных ресурсов, но CoreWeave говорит, что её инфраструктура позволяет легко масштабировать ИИ-нагрузки в облаке.

Источник изображения: CoreWeave

На сегодня инвестиции в ИИ-платформы очень популярны, поскольку спрос на вычисления продолжает расти. Например, ранее в этом месяце OpenAI уже привлекла кредитную линию на $4 млрд и ещё $6.6 миллиарда в рамках инвестиционного раунда. При этом в формировании кредитных линий CoreWeave и OpenAI зачастую участвуют одни и те же инвестиционные компании.

Недавно CoreWeave открыла европейскую штаб-квартиру в Лондоне. При этом она намерена инвестировать $3,5 млрд в расширение бизнеса в Европе. В том числе речь идёт об открытии двух ЦОД в Великобритании, не считая дата-центров в Норвегии, Швеции и Испании. До конца года компания намерена получить в своё распоряжение до 28 ЦОД по всему миру. В 2025 году запланировано открытие ещё 10 дата-центров.

В апреле прошлого года CoreWeave получила $221 млн, а потом — ещё $200 млн. В августе 2023 года было объявлено о долговом финансировании в размере $2,3 млрд под залог ускорителей NVIDIA. В декабре того же года CoreWeave провела раунд финансирования на $642 млн, а в мае текущего года она получила $1,1 млрд. Позже компания привлекла ещё $7,5 млрд. Наконец, в октябре появилась информация о намерении Cisco инвестировать в компанию. При этом в рамках сделки CoreWeave может получить оценку в $23 млрд.

ABB Robotics объявила о сотрудничестве с американским стартапом Molg для разработки роботизированных микрозаводов, способных восстанавливать и перерабатывать неисправное оборудование ЦОД. По данным Datacenter Dynamics, микрозаводы Molg автономно собирают и разбирают сложные электронные устройства вроде серверов, ноутбуков и промышленной электроники.

Поскольку многие из таких устройств содержат редкоземельные элементы, автоматизация их переработки обеспечит определённые экономические преимущества — материалы можно будет применять в новых устройствах. Микрозаводы предназначены для гиперскейлеров, управляющих крупными сетями дата-центров, и компаний, занятыми утилизацией различных IT-активов (IT Asset Disposition-компании).

Интерес к новым разработкам подогревается значительным прогрессом вычислительной техники. В результате появилась насущная необходимость обновлять оборудование на объектах гиперскейлерах более регулярно, что ведёт к появлению электронных отходов в больших объёмах.

Источник изображений: Molg

По словам представителя Molg, инвестиции ABB позволят ускорить работу по созданию более экоустойчивого, «циклического» производственного процесса для электроники, благодаря чему обеспечен круговорот в индустрии ценных материалов и повышается надёжность цепочки поставок.

«Циркулярный» подход к ЦОД стал весьма популярным. К 2030 году масса мировых электронных отходов должна достичь 75 млн тонн. Микрозаводы для их утилизации должны сыграть важную роль в сокращении таких отходов — также они поддержат более эффективные и устойчивые операции в секторе ЦОД.

В результате развития экоустойчивых подходов к переработке гиперскейлеры нарастили инвестиции в компании, занимающиеся утилизацией. Так, Microsoft инвестировала в Cyclic Materials — подконтрольный REE стартап, специализирующийся на переработке жёстких дисков. Seagate также пришла к восстановлению и очистке б/у HDD. Lenovo готова продавать восстановленные ПК и серверы. Amazon создала целую фабрику по восстановлению и переработке собственного серверного оборудования. А Meta✴ и вовсе экспериментирует с технологиями утилизации строительных отходов с помощью грибов.

Подразделение дубайской Damac Group инвестирует около $1 млрд в дата-центры в Таиланде. По данным Bloomberg, это продолжение тренда крупных IT-игроков на формирование крупных ЦОД и ИИ-инфраструктур в Юго-Восточной Азии.

Подконтрольная Damac компания Edgnex Data Centers готовится вложить более ฿32 млрд (около $1 млрд) в три-четыре кампуса ЦОД. Реализация проектов будет осуществляться через совместное предприятие, открытое с местным оператором ЦОД Proen Corp. Первый объект будет расположен в Бангкоке и заработает уже к марту 2025 года, исходная ёмкость — 5 МВт, позже она будет увеличена до 20 МВт.

Похожий проект готовится реализовать и Google — компания тоже намерена потратить $1 млрд на строительство дата-центров в Таиланде, чтобы удовлетворить растущий спрос на ИИ-решения. Предполагается, что такие вливания помогут перезапустить местную экономику, страдающую от ряда экономических проблем. Юго-Восточная Азия с населением около 685 млн человек, открывает перспективы для роста Microsoft, NVIDIA и Amazon, которые тратят миллиарды долларов на местную ИИ-инфраструктуру.

Источник изображения: Edgnex

Как заявляют в самой Damac, компания будет расширять ёмкость ЦОД в Бангкоке по мере того, как правительство начнёт поддерживать инициативы по развитию цифровой экономики. В числе потенциальных клиентов — гиперскейлеры и связанные с ИИ компании, а также правительственные ведомства. Всего компания запланировала строительство ЦОД общей ёмкостью 100 МВт.

Кроме того, она планирует вкладывать средства и в возведение в стране элитного жилья. В Индии же, к примеру, застройщик элитного жилья обратил внимание на рынок ЦОД. Допускается, что успех Damac поможет проложить дорогу и другим дубайским компаниям для инвестиций в эту страну.

В конце июня уже появилась новость о том, что Власти Таиланда одобрили $291 млн инвестиций в местную индустрию ЦОД. Индонезия, Малайзия и Таиланд уже привлекли миллиарды долларов инвестиций на развитие ЦОД от американских и азиатских операторов и гиперскейлеров. Индийскому рынку дата-центров тоже прогнозируют рост, а Сингапур, похоже, наоборот, вскоре может потерять статус не только регионального, но и международного лидера индустрии дата-центров.

Корпорация MiTAC Computing Technology представила серверы и материнские платы, рассчитанные на работу с новейшими процессорами EPYC 9005 (Turin). Дебютировали системы разного уровня, в том числе решения для ИИ-нагрузок и НРС-задач.

В частности, вышел двухсоктеный сервер MiTAC Tyan TN85-B8261 типоразмера 2U, разработанный специально для HPC и ML. Он поддерживает до четырёх двухслотовых GPU-ускорителей, 24 модуля DDR5 RDIMM и восемь SFF-накопителей NVMe U.2 с возможностью горячей замены.

Кроме того, анонсирован односокетный GPU-сервер MiTAC Tyan FT65T-B8050 формата 4U. Есть восемь слотов для модулей DDR5, восемь посадочных мест для SATA-накопителей LFF и два отсека для SFF-устройств NVMe U.2 с возможностью горячей замены. Данная модель допускает установку двух GPU-ускорителей.

Ещё одна новинка — MiTAC G8825Z5: это двухсокетный сервер 8U, поддерживающий ИИ-ускорители AMD Instinct MI325X. Машина может нести на борту до 4 Тбайт памяти DDR5-6000. Доступны восемь посадочных мест для SFF-накопителей U.2 с возможностью горячей замены. Система рассчитана на ресурсоёмкие задачи ИИ и НРС.

Источник изображения: MiTAC

Представлены 2U-серверы MiTAC Tyan TS70-B8056 и TS70A-B8056 для облачных хранилищ. Первый получил 12 фронтальных отсеков для LFF-накопителей и два тыльных отсека для SFF-устройств NVMe U.2. Вторая модель располагает 26 отсеками для накопителей SFF NVMe U.2 с возможностью горячей замены.

Наконец, анонсированы компактный односокетный облачный сервер MiTAC Tyan GC68C-B8056 формата 1U с 24 слотами DDR5 и 12 отсеками для устройств SFF NVMe U.2, а также материнские платы MiTAC Tyan S8050 и MiTAC Tyan S8056.

Компания MSI анонсировала серверы и материнские платы с поддержкой новейших процессоров AMD EPYC Turin. Вышли системы разного уровня, включая решения для ИИ-задач, машинного обучения и HPC. Также получили поддержку Turin и некоторые модели систем, изначально рассчитанных на установку AMD EPYC Genoa

В частности, представлена двухсокетная модель S2301 2U CXL Memory Expansion Server с поддержкой технологии CXL 2.0. Она оснащена восемью разъёмами E3.S 2T для CXL-модулей и восемью слотами E3.S 1T NVMe. Машина предназначена для приложений с интенсивным использованием данных, таких как НРС-нагрузки и резидентные базы данных.

Вышли несколько вычислительных серверов. Так, двухузловая модель CD370-S4051-X2 формата 3U оснащена 12 отсеками PCIe 5.0 x4 U.2 NVMe в расчёте на узел, а двухузловая версия CD270-S4051-X2 стандарта 2U предлагает по шесть таких отсеков на узел. В свою очередь, четырёхузловой вариант CD270-S4051-X4 типоразмера 2U имеет по три отсека PCIe 5.0 x4 U.2 NVMe на узел, а в качестве опции доступно жидкостное охлаждение.

Источник изображения: MSI

Односокетный сервер корпоративного уровня CX271-S4056 формата 2U предлагает 24 слота для модулей оперативной памяти DDR5-5200. Эта система доступна в вариантах с 8 и 24 отсеками для накопителей PCIe 5.0 x4 U.2 NVMe. Кроме того, упомянуты слоты PCIe 5.0 x16 OCP для сетевых адаптеров. Машина подходит для ИИ, виртуализации и облачных приложений в современных ЦОД.

На ресурсоёмкие ИИ-задачи ориентированы односокетные GPU-серверы G4101-01 и G4101-03 с жидкостным охлаждением. Они оснащены 12 слотами DDR5 DIMM и четырьмя слотами PCIe 5.0 тройной ширины с возможностью установки ускорителей, TDP которых достигает 450 Вт. Могут быть задействовать до 12 накопителей PCIe 4.0 U.2 NVMe. Применены блоки питания мощностью 3000 Вт с сертификатом Platinum или Titanium.

Установку процессоров EPYC 9005 также поддерживают корпоративные серверы S2206-05-10G, S2206-06-10G и S1206-02-10G с портами 10G SFP+, материнские платы D4056 DC-MHS M-DNO Type-4 HPM и D4051 DC-MHS M-DNO Type-2 HPM.

Компания ASRock Rack анонсировала широкий спектр решений, поддерживающих процессоры AMD EPYC 9005 (Turin). Дебютировали, в частности, серверы общего назначения, высокопроизводительные GPU-системы, серверы хранения, OCP-платформы, материнские платы и пр.

Одной из ключевых новинок стал мощный сервер 6U8M-TURIN2 формата 6U. Эта модель поддерживает установку двух чипов в исполнении SP5, а также 24 модулей DDR5-6000. Во фронтальной части расположены 12 отсеков для SFF-накопителей NVMe (PCIe 5.0 x4). Кроме того, есть два коннектора М.2 (PCIe 3.0 x4 или SATA-3) для SSD формата 22110/2280.

Доступны восемь слотов HHHL PCIe5.0 x16 и три слота FHHL PCIe5.0 x16. Система может комплектоваться ИИ-ускорителями AMD Instinct MI325X. В оснащение входят два сетевых порта 1GbE на базе Intel i350, выделенный сетевой порт на основе Realtek RTL8211F, контроллер ASPEED AST2600, четыре порта USB 3.2 Gen1 Type-A (USB 3.0), аналоговый разъём D-Sub. Установлены восемь блоков питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium. За охлаждение отвечают 21 вентилятор диаметром 80 мм.

Источник изображения: ASRock Rack

В списке новинок значатся 4U-серверы 4U10G-TURIN2 и 4U8G-TURIN2 с поддержкой памяти DDR5-6000, двухсокетная материнская плата TURIN2D48G-2L+ с 48 слотами DIMM, а также платы TURIN2D24G-2L+ и TURIN2D24TM3-2L+ с 24 слотами для модулей ОЗУ.

В число ранее доступных систем, которые получили поддержку EPYC 9005 после обновления BIOS, вошли: 1U4L4E-GENOA/2T, 1U4L-GENOA/2T, 1U8S4E-GENOA/2T, 1U12L4E-GENOA/2Q, 2U12L8E-GENOA2, 1U12E-GENOA/EVAC, 1U12E-GENOA/2L2T, 1U24E1S-GENOA/2L2T, 1U12E-GENOA2/EVAC, 1U12E-GENOA2, 2U24E-GENOA2, 4U36L8E-GENOA/2T, 4U60L8E-GENOA/2T, 2U4G-GENOA/M3, 4U4G-GENOAX, 4U10G-GENOA2 и 4U8G-GENOA2.

Российский производитель серверного оборудования OpenYard сообщил о создании программно-аппаратного комплекса (ПАК) на основе СУБД YDB, предназначенного для бизнес-критичных систем. Новое решение найдёт применение в высоконагруженных корпоративных инфраструктурах с повышенными требованиями к надёжности и отказоустойчивости, например, в крупных банках, промышленных, телекоммуникационных компаниях, говорит OpenYard.

ПАК OpenYard построен на 19″ серверах корпоративной серии, которые выпускаются в собственном производственном комплексе полного цикла, находящемся в Рязанской области. Программная часть ПАК представляет собой открытое, масштабируемое и высокодоступное решение на основе СУБД YDB от Яндекса. YDB подходит для всех профилей нагрузок и видов обработки данных: миграции с неактуальных транзакционных решений и построения корпоративных хранилищ данных, консолидации баз данных, разработки высоконагруженных сервисов.

Источник изображения: OpenYard

Также YDB поддерживает автоматическое горизонтальное масштабирование. Уровень доступности кластеров YDB составляет 99,99 %. Благодаря производительности свыше 3 млн TPS с помощью YDB можно создавать высоконагруженные системы федерального масштаба для большого количества пользователей или с большим потоком транзакций.

OpenYard отметила, что ПАК полностью соответствует законодательным и регуляторным требованиям, будет выпускаться серийно и подойдёт для широкого круга заказчиков. ПАК обеспечивает централизованное управление и поддержку софта и оборудования в режиме одного окна. Сейчас компания занимается процедурой внесения ПАК OpenYard на основе платформы YDB в Реестр российской промышленной продукции Минпромторга. Предзаказ на ПАК можно будет оформить позже в этом году.

Компания Supermicro анонсировала серверы семейства H14 с новейшими процессорами серии AMD EPYC 9005 (Turin) и ускорителями Instinct MI325X. В серию вошло большое количество систем для различных задач, включая обучение языковых моделей, инференс, НРС-нагрузки и пр.

В частности, дебютировали новые машины Hyper в форм-факторе 1U и 2U. Они допускают установку двух процессоров EPYC 9005 (до 192 ядер) с показателем TDP до 500 Вт и до 9 Тбайт памяти в 24 слотах DIMM. Младшая из этих моделей рассчитана на 12 накопителей SFF с интерфейсом NVMe/SATA, старшая — на 24.

Вышли также новые серверы CloudDC: эта универсальная модель типоразмера 1U оптимизирована для использования в облачных дата-центрах. Она оснащена одним чипом EPYC 9005. Есть 12 отсеков для SFF-устройств NVMe/SATA. Система разработана в соответствии со стандартом DC-MHS (Data Center Modular Hardware System).

Дебютировали четырёхузловые решения GrandTwin и FlexTwin формата 2U высокой плотности. В первом случае применяется один чип EPYC 9005 на узел, во втором — два. GrandTwin подходит для таких задач, как объектные хранилища, виртуализация и пр. Во FlexTwin применено жидкостное охлаждение: эти серверы предназначены для требовательных рабочих нагрузок.

Источник изображения: Supermicro

В семействе Н14 также представлены мощные серверы 5U GPU System, 4U GPU System (СЖО) и 8U GPU System для ИИ-задач. Первая из перечисленных систем может быть укомплектована десятью PCIe-ускорителями двойной ширины, вторая — восемью. Для модели формата 8U предусмотрено использование карт AMD Instinct MI325X.

Компания Lenovo объявила о выпуске серверов ThinkSystem на новейших процессорах EPYC 9005 Turin, которые AMD официально представила на этой неделе. Некоторые системы комплектуются мощными ИИ-ускорителями Instinct MI325X.

Чипы EPYC 9005 Turin доступны для таких серверов, как ThinkSystem SR635 V3 и ThinkSystem SR645 V3 формата 1U, а также ThinkSystem SR655 V3 и ThinkSystem SR665 V3 типоразмера 2U. Все они могут работать с платформами Windows Server, SUSE Linux Enterprise Server, Red Hat Enterprise Linux и VMware vSphere.

Односокетная модель ThinkSystem SR635 V3 оснащена 12 слотами для модулей памяти TruDDR5-6400 суммарным объёмом до 1,5 Тбайт. Возможна установка 12 накопителей SFF с интерфейсом SAS/SATA/NVMe или 16 устройств EDSFF. Кроме того, предусмотрены два коннектора M.2 и два отсека для системных SFF-накопителей в тыльной части. Есть четыре посадочных места для однослотовых PCIe-ускорителей.

Вариант ThinkSystem SR645 V3, в свою очередь, поддерживает установку двух процессоров и 24 модулей ОЗУ суммарным объёмом до 6 Тбайт. Возможны следующие конфигурации подсистемы хранения данных: 4 × LFF, 12 × SFF или 16 × EDSFF. Упомянуты три слота PCIe 4.0, два разъёма PCIe 5.0 и слот OCP 3.0.

Источник изображения: Lenovo

Серверы ThinkSystem SR655 V3 и ThinkSystem SR665 V3 поддерживают соответственно один и два процессора EPYC 9005 и 12 и 24 модуля TruDDR5-6400. У первого устройства есть десять слотов PCIe и разъём OCP 3.0, у второго — 12 слотов PCIe (9 стандарта PCIe 5.0) и разъём OCP 3.0. Обе модели могут нести на борту до 20 накопителей LFF или до 40 накопителей SFF.