Компания Dell анонсировала сервер PowerEdge XE9785 на аппаратной платформе AMD, предназначенный для ресурсоёмких задач в области ИИ, включая обучение моделей и инференс. Двухсокетное устройство выполнено в форм-факторе 10U и оснащено воздушным охлаждением.

Допускается установка двух процессоров AMD EPYC 9005 Turin, насчитывающих до 192 вычислительных ядер. Доступны 24 слота для модулей оперативной памяти DDR5-6400 RDIMM суммарным объёмом до 6 Тбайт. Во фронтальной части могут быть установлены до 16 NVMe-накопителей E3.S (PCIe 5.0) общей вместимостью до 245,76 Тбайт или до 10 NVMe-изделий U.2 суммарной ёмкостью до 153,6 Тбайт. Кроме того, есть два внутренних коннектора для SSD типоразмера М.2.

Сервер несёт на борту восемь ускорителей AMD Instinct MI355X с 288 Гбайт памяти HBM3E (8 Тбайт/с). Задействован интерконнект AMD Infinity Fabric. В качестве альтернативного варианта предлагается конфигурация с восемью ускорителями NVIDIA HGX B300 и технологией NVIDIA NVLink. Питание обеспечивают 12 блоков мощностью 3200 Вт с сертификатом 80 Plus Titanium (с возможностью горячей замены).

Источник изображения: Dell

Габариты системы составляют 439,5 × 482,3 × 1044,7 мм, масса — 172,3 кг (с установленными картами MI355X). В зоне GPU находятся 15 вентиляторов, в области CPU — пять (все с поддержкой горячей замены). Среди прочего упомянуты слот OCP 3.0 (PCIe 5.0 x8), два сетевых порта RJ45, интерфейс Mini-DisplayPort, по одному порту USB Type-A и Type-C.

Кроме того, компания Dell объявила о возможности использования ускорителей AMD Instinct MI350P в составе своих серверов PowerEdge XE7745 и R7725. Эти устройства рассчитаны на приложения ИИ, платформы виртуализации, базы данных и пр.

Некоммерческая организация Open Compute Project (OCP) обнародовала спецификацию серверных стоек Open Rack Wide (ORW) от Meta✴, которая дополняет более общую базовую спецификацию. Стойки разработаны для дата-центров, ориентированных на ИИ и НРС, разработанную Meta✴ и дополняющую базовый вариант стандарта. Стандарт ORW положен в основу платформы AMD Helios. Габариты стоек ORW составляют 2390 мм в высоту, 1219 мм в глубину и 1200 мм в ширину. Таким образом, стойка ORW вдвое шире стандартных стоек Open Rack V3 (600 мм).

Конструкция ORW рассчитана на плотное размещение тяжёлого оборудования — крупногабаритных серверов с GPU-ускорителями, мощных СХД и пр. Грузоподъёмность рамы должна составлять 4700 кг (без учёта массы собственно стойки). Подчёркивается, что на показатель влияет множество факторов, включая пространственное распределение IT-оборудования, количество и расположение поперечных распорок и пр. Любые дополнительные элементы, установленные в стойку, необходимо учитывать при расчёте максимальной грузоподъёмности.

ORW-стойка рассчитана на 44OU-единицы для узлов удвоенной ширины или 47U для 19″ узлов. Возможно комбинирование различных типов оборудования — конструкция стойки предусматривает наличие вырезов для кронштейнов крепления серверов обоих типов. Также прописана поддержка обычных 21″ шасси, в этом случае ёмкость стойки составляет 88OU. Интересно, что NVIDIA в стойках Kyber перейдёт к вертикальным узлам. Впрочем, компания наверняка тоже отдаст спецификации OCP, как это было со стойкой Oberon.

Источник изображения: AMD

В стойках ORW обеспечивается циркуляция воздуха от фронтальной области к тыльной. В обычных условиях эксплуатации в верхней, нижней и боковых частях не предусмотрены отверстия, через которые горячий воздух может проникать в холодный коридор дата-центра. Конструкция должна включать передний и задний каналы для организации кабелей, которые могут укладываться вертикально во всех четырёх углах рамы.

Источник изображения: AMD

В спецификации сказано, что доступ к высоковольтным линиям на шине постоянного тока должен быть исключен, если она подключена к IT-оборудованию. Стойки ORW совместимы с различными конструкциями шин питания — как с воздушным, так и с жидкостным охлаждением. Интерфейс шинопровода аналогичен ORv3 HPR (High Power Rack). Предполагаемое номинальное входное напряжение, обеспечиваемое модулем питания ORv3, составляет 51 В DC. Вся подсистема питания IT-оборудования должна поддерживать входные напряжения в диапазоне от 46 В до 52 В. Требуются датчики напряжения и температуры, силовой (100 А) и обратный (100 А) каналы, а также заземление. Типовая мощность — до 4,8 кВт на коннектор (узел).

Источник изображения: OCP

Нужно отметить, что OCP продвигает перевод дата-центров на DC-питание. Предполагается, что такая архитектура позволит повысить плотность и энергоэффективность вычислений. Концепция предусматривает возможность выделение подсистемы питания в отдельную стойку и переход к 400/800 В DC с выносом AC/DC-преобразование AC/DC за пределы машинных залов. Передачу энергии планируется осуществлять через общую DC-шину, соединяющую все стойки, или по отдельным кабелям (либо комбинированно).

Между тем перед операторами ИИ-дата-центров встаёт проблема, связанная с ростом массы IT-оборудования. Современные стойки 42U с набором серверов весят 680–1150 кг, а для ORW предусмотрена нагрузка до почти 5 т. Из-за этого возникают сложности с обустройством полов и перекрытий. Из-за большой массы оборудования многие операторы предпочитают строить одноэтажные дата-центры вместо многоэтажных. Хотя как раз для ИИ-кластеров с точки зрения интерконнекта эффективнее именно последние. Однако для Meta✴, возможно, важнее скорость развёртывания — она даже обходится без капитального строительства.

Компании Compal Electronics и Verda (ранее известна как DataCrunch) объявили о стратегическом партнёрстве, направленном на формирование ИИ-инфраструктуры следующего поколения. Стороны сосредоточат усилия на реализации проектов в Европе и Азиатско-Тихоокеанском регионе.

В рамках сотрудничества Compal будет поставлять серверные платформы высокой плотности на основе GPU-ускорителей. Говорится о применении жидкостного охлаждения. Серверы оптимизированы для ИИ-нагрузок нового типа, в том числе агентных приложений, которые используют машинное обучение для сбора и обработки огромных объёмов данных в реальном времени. Раннее сообщалось, что Verda готовится к развёртыванию систем на базе Arm AGI, а также GB300 и Vera Rubin.

Отмечается, что готовящиеся к выпуску серверы обладают высокой тепловой эффективностью, что важно в плане устойчивого развития облачных решений Verda. Эта компания имеет дата-центры в Финляндии, полностью работающие на возобновляемой энергии. Кроме того, Verda управляет ЦОД в Исландии и намерена построить объект в Латвии.

Источник изображения: Compal

В целом, партнёрство направлено на усиление позиций Verda на рынке облачных услуг. Недавно компания сообщила о привлечении $117 млн для создания облачной инфраструктуры нового поколения для задач ИИ. Средства поступили от Lifeline Ventures, byFounders, Tesi, Varma и других инвесторов.

В свою очередь, Compal усиливает собственную значимость в качестве инфраструктурного партнёра для неооблачных операторов. Compal обладает инженерными знаниями в области НРС, теплового проектирования и системной интеграции, что позволяет клиентам развёртывать энергоэффективные ИИ-инфраструктуры. Compal продолжает расширять свои производственные мощности на Тайване, во Вьетнаме и США, что помогает в удовлетворении потребностей заказчиков в различных регионах. При этом повышается надёжность работы цепочек поставок.

HPE анонсировала серверы ProLiant Compute EL220 и EL240 Gen12 для приложений ИИ и критически важных рабочих нагрузок на периферии. Устройства выполнены на основе шасси ProLiant Compute EL2000, которое спроектировано специально для эксплуатации в суровых условиях. Системы на базе EL2000 могут использоваться при температурах от -40 до +55 °C и влажности до 95 %. Говорится об устойчивости к воздействию сильных вибраций, которые могут наблюдаться, например, на борту самолётов или наземной техники.

Источник изображений: HPE

Шасси допускает установку двух серверов ProLiant Compute EL220 Gen12 типоразмера 1U или одного сервера ProLiant Compute EL240 Gen12 в форм-факторе 2U. Эти устройства выполнены на процессорах Intel Xeon 6700 (Sierra Forest-SP/Granite Rapids-SP), которые могут насчитывать до 144 вычислительных ядер. Объём оперативной памяти DDR5 достигает 2 Тбайт. Возможен монтаж двух SSD формата М.2 (NVMe) и четырёх накопителей EDSFF. Модификация ProLiant Compute EL240 Gen12 также может быть укомплектована двумя GPU-ускорителями одинарной ширины или одной картой двойной ширины. Упомянуты средства управления iLO 7. В продажу новинки поступят позднее в текущем году.

Кроме того, HPE представила обновлённую версию компактного edge-сервера ProLiant DL145 Gen11 на аппаратной платформе AMD. Это устройство переведено на процессоры EPYC 8005 Sorano, насчитывающие до 84 ядер. Поддерживается до 768 Гбайт DDR5. Система может быть оборудована двумя SFF-накопителями или шестью EDSFF-изделиями. Могут быть задействованы до трёх GPU одинарной ширины или один ускоритель двойной ширины. Сервер уже доступен для заказа.

Giga Computing, подразделение Gigabyte Group, анонсировала OCP-сервер TO46-SD3-LA07 для ресурсоёмких ИИ-нагрузок. Новинка выполнена на платформе NVIDIA HGX B300 в форм-факторе 4OU и наделена прямым жидкостным охлаждением. Говорится, что применённая СЖО охватывает и секцию GPU, и зону CPU. Предусмотрена функция обнаружения утечек.

Источник изображений: Giga Computing

Система несёт на борту два процессора Intel Xeon 6 6500/6700 поколения Granite Rapids-SP. Доступны 32 слота для модулей DDR5 RDIMM/MRDIMM. Во фронтальной части расположены восемь отсеков для SFF-накопителей (NVMe) с возможностью горячей замены. Кроме того, могут быть установлены два SSD типоразмера M.2 с интерфейсом PCIe 5.0 x4 и PCIe 5.0 x2.

Сервер оборудован четырьмя слотами PCIe 5.0 x16 для карт расширения формата FHHL. Говорится о совместимости с DPU NVIDIA BlueField-3. Могут быть реализованы восемь OSFP-портов InfiniBand XDR с пропускной способностью до 800 Гбит/с или сдвоенные 400GbE-порты на базе NVIDIA ConnectX-8 SuperNIC. Кроме того, есть два сетевых порта 10GbE на основе контроллера Intel X710-AT2. Интерфейсные разъёмы, включая гнёзда RJ45 для сетевых кабелей и порты USB Type-A, сосредоточены во фронтальной части.

Giga Computing отмечает, что сервер TO46-SD3-LA07 подходит для решения таких задач, как обучение крупных ИИ-моделей и инференс. Система построена с применением открытых стандартов и модульных принципов, обеспечивая масштабируемость и эффективность в рамках корпоративных инфраструктур и дата-центров гиперскейлеров.

Британский ИИ-стартап Lumai анонсировал семейство серверов для инференса Lumai Iris с использованием оптических вычислений, предназначенное для исполнения в реальном времени больших языковых моделей (LLM) с миллиардами параметров. Семейство Lumai Iris включает серверы Nova, Aura и Tetra. Lumai Iris Nova уже доступен для оценки гиперскейлерами, неооблачными платформами, предприятиями и исследовательскими институтами.

Lumai заявил, что использование Lumai Iris позволяет ускорить выполнение задач инференса, используя свет вместо кремниевой обработки. Оптическая вычислительная система Lumai обеспечивает более быстрый инференс, более высокую эффективность выполнения и до 90 % меньшее энергопотребление по сравнению с традиционными архитектурами, при этом являясь более экологичными по сравнению с традиционными системами на базе GPU. Впрочем, технические детали оптических ИИ-ускорителей пока не раскрыты.

Источник изображений: Lumai

Компания отметила, что спрос на вычисления для ИИ смещается от обучения моделей к крупномасштабному инференсу, когда модели используются в реальных приложениях. По мере роста объёмов вычислительных задач ЦОД сталкиваются с жёсткими ограничениями по энергопотреблению и масштабируемости, с которыми традиционные кремниевые архитектуры с трудом справляются. Компания заявила, что семейство Iris призвано решить проблемы с энергопотреблением и стоимостью ИИ-инфраструктуры за счёт повышения производительности на киловатт.

Традиционные кремниевые архитектуры сталкиваются с фундаментальными физическими ограничениями в масштабируемости, энергопотреблении и тепловой эффективности. Каждое новое поколение кремниевых чипов предлагает небольшие улучшения, но при этом требует значительно больше энергии и средств для масштабирования. «По мере перехода отрасли в эру инференса мы одновременно пересекаем порог посткремниевой эры, — сказал Сяньсинь Го (Xianxin Guo), генеральный директор и соучредитель Lumai. — Переходя от электронно-фотонной вычислительной парадигмы к фотонной, Lumai может обеспечить увеличение производительности на порядок при значительной экономии энергии».

Lumai отметила, что оптические вычисления позволяют значительно повысить эффективность выполнения обработки ИИ-нагрузок. Технология оптических вычислений Lumai, разработанная на основе исследований в Оксфордском университете, использует свет в трёхмерном среде, тогда как обычные чипы «живут» в 2D. Благодаря использованию массового пространственного параллелизма, миллионы операций выполняются одновременно, обеспечивая низкую стоимость и высокую пропускную способность токенов при выполнении ресурсоёмких вычислительных задач.

Технология Lumai также показала свою эффективность на этапе предварительного заполнения дезагрегированных архитектур инференса, обрабатывая токены с максимальной эффективностью и масштабированием. Iris Nova выполняет инференс в реальном времени моделей Llama 8B и 70B с помощью гибридного процессора. Его гибридная архитектура сочетает цифровую обработку для управления системой и ПО с оптическим тензорным движком для основных математических операций. Такой подход обеспечивает бесшовную интеграцию серверов в ЦОД.

Стартап Majestic Labs анонсировал сервер нового типа Prometheus, призванный решить проблему «стены памяти» в современных ИИ-системах, оперирующих моделями с огромным количеством параметров. Утверждается, что Prometheus может обеспечить производительность, сопоставимую с несколькими стойками традиционных серверов, одновременно снижая энергопотребление и общую стоимость владения.

Компания Majestic Labs вышла из скрытого режима (Stealth) в ноябре прошлого года. Стартап отмечает, что в современных ИИ-системах наблюдается разрыв между объёмом и производительностью памяти и вычислительными возможностями ускорителей. Majestic Labs предлагает решить проблему путём внедрения новой архитектуры, предполагающей разделение памяти и вычислительных ресурсов. Речь идёт об использовании специализированных ИИ-ускорителей и блоков быстрой памяти, объём которой составит до 128 Тбайт в рамках одного сервера.

Источник изображения: Majestic Labs

В составе Prometheus задействованы проприетарные чипы AI Processing Units (AIU) под названием Ignite. Они объединяют CPU-ядра на базе Arm с векторными и тензорными движками RISC-V. При этом используется единое пространство памяти. Говорится о поддержке популярных фреймворков, таких как PyTorch, vLLM и OpenAI Triton, что позволяет запускать существующие рабочие нагрузки без изменения кода.

По заявлениям Majestic Labs, платформа Prometheus способна работать с ИИ-моделями с огромными контекстными окнами и триллионами параметров. При этом отсутствуют фрагментация и узкие места, присущие традиционным ИИ-серверам. Среди сфер применения названы смешанные экспертные системы, ИИ-агенты, графовые нейронные сети и пр.

Tenstorrent представила вычислительную систему Galaxy Blackhole на базе ускорителей Blackhole с архитектурой RISC-V, которая позиционируется как системная ИИ-платформа, способная конкурировать с другими решениями за счёт стабильной производительности инференса, высокоскоростного доступа к памяти и масштабируемой сети — трёх факторов, которые всё чаще определяют эффективность развёртывания ИИ в реальных условиях, пишет Forbes.

6U-сервер Tensorrent Galaxy Blackhole с воздушным охлаждением основан на 32 ИИ-ускорителях Blackhole суммарной производительностью 23 Пфлопс в режиме FP8. Система включает 6,2 Гбайт SRAM (суммарно 2,9 Пбайт/с) и 1 Тбайт GDDR6 (суммарно 16 Тбайт/с). Высокоскоростную связь между узлами при горизонтальном масштабировании обеспечивают 800GbE-порты — до 56 портов на систему с общей пропускной способностью 11,2 Тбайт/с (в дуплексе).

Стоимость системы Tensorrent Galaxy Blackhole составляет $110 тыс. Восьмичиповые системы NVIDIA DGX будут производительнее, но и обойдутся в три-пять раз дороже, сообщил The Register. Базовый суперкластер Galaxy Supercluster стоимостью в $440 тыс. включает четыре системы Blackhole. При этом архитектура Tenstorrent поддерживает масштабирование до 32 узлов с 1024 ускорителями. Mesh-сеть Tenstorrent не ограничивается одним узлом. Подобно кластерам TPU от Google или Trainium2 от Amazon, её можно расширить для поддержки более крупных моделей, более высокой пропускной способности или большей интерактивности, добавив больше узлов и отрегулировав параллелизм тензоров и конвейеров.

Источник изображений: Tenstorrent

Как сообщает Tenstorrent, для DeepSeek V3 её четырёхузловые суперкластеры Blackhole Galaxy Supercluster могут обрабатывать запрос на 100 тыс. токенов — эквивалент 166 страниц текста — менее чем за четыре секунды. Tenstorrent заявила, что кластеры Galaxy Blackhole могут генерировать видео быстрее, чем в реальном времени, а также очень быстро генерировать токены LLM. Демонстрационные версии систем Tenstorrent настроены на обычный режим с генерацией текста с удобочитаемой скоростью, и режим Blitz, обеспечивающий максимально быструю обработку данных, подходящую для таких приложений, как генерация кода и агентный ИИ.

В режиме Blitz MoE-модель DeepSeek-671B обеспечивает «до 350 т/с на пользователя со временем получения первого токена менее 4 с», сообщила компания. Ресурс EE Times протестировал этот режим за несколько дней до официального запуска, получив 255 т/с на пользователя для коротких запросов в стиле чат-бота. Этот режим поддерживает пакетную обработку от 8 до 64 и длину контекста до 128 тыс токенов. Он работает на 16 серверах Galaxy (512 чипов) с использованием конвейерного параллелизма на этапе декодирования.

Компания отметила, что её системы не нуждаются в дезагрегации. «Мы можем выполнять и [предварительное заполнение, и декодирование] на одном узле, — сообщил генеральный директор Tenstorrent Джим Келлер (Jim Keller) изданию EE Times. — Мы создаём большой кластер, на котором можно запускать предварительное заполнение и декодирование LLM, генерацию видео, агентный ИИ… мы не специализируемся на чём-то одном. У нас много чипов, большой объём SRAM, но все чипы имеют DRAM, и все они тесно связаны между собой, поэтому наша платформа гораздо более универсальна».

Компания Supermicro объявила о создании новой площадки DCBBS (Data Center Building Block Solutions) — своего самого крупного кампуса в Кремниевой долине и четвертого по счёту объекта в районе залива Сан-Франциско (Калифорния, США). Комплекс расположен неподалёку от штаб-квартиры Supermicro в Сан-Хосе. Его появление позволит расширить производство серверного оборудования на территории США. Это, как отмечается, поможет в укреплении потенциала американской инфраструктуры ИИ.

Кампус площадью 66,3 тыс. м² расположился на территории 13,3 га. На базе кампуса будет осуществляться полный спектр операций — от разработки и тестирования передового оборудования до изготовления и обслуживания. Supermicro DCBBS предоставляет комплексную модульную инфраструктуру для ИИ. При этом обеспечивается гибкость развёртывания — от отдельных ускорителей на базе GPU и сетевых коммутаторов до полнофункциональных стоек, сопутствующей инфраструктуры, ПО для управления и профессиональных услуг.

Источник изображения: Supermicro

Supermicro отмечает, что спрос на ИИ-системы продолжает стремительно расти со стороны корпоративных заказчиков и облачных провайдеров. Этому способствует появление всё более сложных и ресурсоёмких рабочих нагрузок. Интегрированный подход Supermicro — от выполнения проектирования на системном уровне до поставок стоечных систем — обеспечивает ускорение строительства ЦОД, повышение энергоэффективности и снижение общей стоимости владения. Новый кампус Supermicro поможет существенно расширить производственные мощности, доведя общую площадь объектов компании в районе залива Сан-Франциско до 371,6 тыс. м².

Российский разработчик и производитель вычислительной техники «Гравитон» представил шесть серверов на аппаратной платформе Intel, предназначенных для реализации масштабных IT-проектов в сегментах, где наличие техники в реестре Минпромторга РФ не является обязательным требованием. В зависимости от модификации устройства подходят для решения различных задач — от облачных сервисов и виртуализации до нагрузок ИИ и НРС.

В частности, дебютировали модели СН2124И5 и СН2127И5 в форм-факторе 4U и 7U соответственно. Они рассчитаны на два процессора Xeon Sapphire Rapids или Xeon Emerald Rapids с TDP до 350 Вт. Поддерживается до 8 Тбайт оперативной памяти DDR5 в виде 32 модулей. У сервера СН2124И5 слоты расширения выполнены по схеме 10 × PCIe 5.0 х16 FHFL + 1 × OCP NIC. Есть 12 фронтальных отсеков для LFF-накопителей NVMe/SATA/SAS и два коннектора M.2 2280/22110 (PCIe 5.0). Возможна установка восьми GPU с энергопотреблением до 350 Вт. В свою очередь, система СН2127И5 имеет аналогичные характеристики, но позволяет использовать до восьми GPU с TDP до 600 Вт.

Кроме того, анонсированы серверы СН2122И6 (2U), СН2242И6 (2U), СН2124И6 (4U) и СН2127И6 (7U) с поддержкой двух чипов Xeon 6 (Sierra Forest-SP/Granite Rapids-SP) с показателем TDP до 350 Вт. У первой из этих систем слоты расширения выполнены по схеме 6 × PCIe 5.0 х16 FHFL + 2 × OCP NIC (или 6 × PCIe 5.0 х16 FHFL + 2 × PCIe 5.0 х8 HHHL + 2 × OCP NIC), у трёх других — 10 × PCIe 5.0 х16 FHFL + 1 × OCP NIC. Во всех случаях возможно использование до 8 Тбайт памяти DDR5 (32 модуля).

Источник изображений: «Гравитон»

Модель СН2122И6 поддерживает следующие накопители: 12 × LFF NVMe/SATA/SAS во фронтальной части, 2 × SFF SATA/SAS или 4 × SFF NVMe/SATA/SAS, а также 2 × M.2 2280/22110 (PCIe 5.0). Модификации СН2242И6, СН2124И6 и СН2127И6 рассчитаны на накопители в конфигурации 12 × LFF NVMe/SATA/SAS и 2 × M.2 2280/22110 (PCIe 5.0). Две старшие версии поддерживают восемь GPU с TDP до 350 и 600 Вт.

Все серверы располагают контроллером Aspeed AST2600 с выделенным сетевым портом управления 1GbE и воздушной системой охлаждения. Устанавливаются блоки питания мощностью до 3000 Вт с сертификатом 80 Plus Platinum. Заявлена совместимость с Windows и Linux. Гарантия производителя составляет три года.