Компания HPE сообщила о том, что её серверы ProLiant Gen11 получили поддержку новейших процессоров AMD EPYC 9005 Turin, официально представленных на этой неделе. Кроме того, дебютировала мощная система ProLiant Compute XD685, ориентированная на наиболее сложные нагрузки ИИ.

Обновлённые модели ProLiant Gen11 унаследовали ключевые характеристики у аналогичных версий на чипах AMD EPYC Genoa. При этом, как утверждает HPE, благодаря переходу на EPYC 9005 Turin прирост общей производительности достигает 35 %, а энергетической эффективности — 25 %. Эти машины установили 30 новых мировых рекордов.

В семейство ProLiant Gen11 входят устройства типоразмера 1U и 2U с поддержкой одного и двух процессоров. Предлагаются гибкие возможности в плане организации подсистемы хранения данных. Серверы уже доступны для заказа в некоторых регионах.

Источник изображения: HPE

В свою очередь, новая система ProLiant Compute XD685, показанная на изображении, выполнена в формате 5U. Она комплектуется двумя чипами EPYC 9005 Turin. В оснащение могут входить до восьми ИИ-ускорителей AMD Instinct MI325X или AMD Instinct MI300X. В стандартной конфигурации используется воздушное охлаждение, а при необходимости может быть развёрнуто прямое жидкостное охлаждение. Вместе с тем HPE Services предлагает полный спектр настраиваемых услуг для развёртывания крупных кластеров ИИ. Приём предварительных заказов на ProLiant Compute XD685 уже начался; организовать поставки НРЕ планирует в I квартале 2025 года.

Вчера компания AMD анонсировала серверные процессоры EPYC 9005 (Turin) и ускорители Instinct MI325X. Если верить AMD, новинки устанавливают новые эталоны производительности в своих сферах применения.

О процессорах речь пойдёт в отдельном материале, а сейчас попробуем разобраться с Instinct MI325X — чем же именно он отличается от представленного ранее MI300X, архитектура которого в своё время была разобрана достаточно подробно.

Сама AMD позиционирует MI325X в качестве наследника MI300X, способного конкурировать с NVIDIA H200 и, возможно, даже с B200. В сравнении с тем, что было опубликовано ранее, характеристики новинки несколько изменились. В частности, новый ускоритель получил 256 Гбайт памяти HBM3e, а не 288 Гбайт, как было обещано ранее.

Источник здесь и далее: AMD via WCCFTech

На приведённых слайдах с изображением кристалла MI325X отчетливо видно, что количество сборок HBM по-прежнему равно восьми, однако вместо ожидаемых сборок ёмкостью 36 Гбайт использованы менее ёмкие «стопки» на 32 Гбайт. Это не позволяет говорить о 50 % приросте по объёму, только о 33 %. Но и это немало! Пропускная способность подросла с 5,3 до 6 Тбайт/с.

Последнее может быть объяснено повышением тактовой частоты, но из-за тесной интеграции HBM3e с остальными частями ускорителя должна была вырасти и производительность. Тем не менее, AMD приводит же цифры, что и для MI300X —1,3 Пфлопс в режиме FP16 и 2,6 Пфлопс в режиме FP8. По сути, улучшены только характеристики подсистемы памяти.

Архитектурно MI325X полностью подобен предшественнику, за исключением блока HBM. Он по-прежнему базируется на CDNA 3, имеет такое же количество транзисторов (153 млрд) и производится с использованием тех же техпроцессов, 5 нм для блоков XCD и 6 нм для IOD. Но теплопакет превышает 750 Вт, в то время как у MI300X данный параметр не достигал столь высокого значения.

Ускорители подобного класса невозможно представить вне программной экосистемы. В настоящий момент AMD приводит данные о превосходстве MI325X над NVIDIA H200, варьирующемся в районе 20-40 % (в зависимости от нагрузки). Конечно, отчасти это заслуга памяти, но основной прирост заключается в оптимизации программной среды ROCm. По словам AMD, в задачах обучения и инференса производительность в версии 6.2 была увеличена более чем вдвое.

Для сравнения, в первых тестах MI300X в MLPerf Inference 4.1 отстал от NVIDIA H200 примерно на 50 %. Однако для полноты картины следует дождаться результатов тестов, проведённых сторонними источниками. Кроме того, H200 уже не самый совершенный ускоритель NVIDIA — в следующем году MI325X предстоит столкнуться с B200 на базе архитектуры Blackwell.

Ускорители Instinct MI325X будут доступны в I квартале 2025 года, но уже сейчас ясно, что усложнить жизнь своему главному конкуренту AMD в состоянии: так, вся обработка Llama 405B, используемой Meta✴, легла на плечи именно на MI300X. Активно используются решения AMD и в ЦОД Microsoft Azure.

Что касается следующего поколения ускорителей AMD Instinct MI355X, то оно намечено на II половину 2025 года. Оно получит обновлённую архитектуру CDNA 4, о которой пока нет никаких сведений, кроме упоминания о поддержке режимов FP6 и FP4. Вычислительные тайлы будут переведены на 3-нм техпроцесс, а их количество, как ожидается, возрастёт с 8 до 10. Тем не менее, роста тепловыделения избежать не удастся: заявлен теплопакет до 1000 Вт.

В Instinict MI355X получит дальнейшее развитие и подсистема памяти. Объём набортной HBM3e всё-таки достигнет 288 Гбайт, а пропускная способность вырастет с 6 до 8 Тбайт/с. Для связки из восьми MI355X AMD заявляет производительность в 18,5 Пфлопс в режиме FP16, что позволяет говорить о 2,31 Пфлопс для единственного ускорителя — то есть о примерно 80 % прироста в сравнении с MI325X.

Делать какие-либо далеко идущие выводы о решениях на базе CDNA 4 рано: вероятнее всего, даже лаборатории AMD ещё не располагают финальной версией MI355X, а кроме того, как уже понятно, огромную роль играет постоянно изменяющаяся и совершенствуемая программная среда, которая ко II половине 2025 года может претерпеть существенные изменения.

А вот гибридным решениям AMD планирует положить конец: преемника для Instinct MI300A, сочетающего в себе архитектуры CDNA 3 и Zen 4 не запланировано. Похоже, рынок для таких решений оказался слишком мал.

Французская компания Denv-R спустил на воду свой первый плавучий дата-центр. По информации Datacenter Dynamics, объект разместился на берегу Луары в Нанте. Компания представила концепт речного ЦОД в 2022 году, а первый 200-кВт объект анонсировала в апреле 2023 года. Тогда речь шла о четырёх стойках в контейнере площадью 100 м², покрытом солнечными панелями и установленном на плавучей платформе от Geps Techno.

Как сообщают представители Denv-R, речь идёт о кульминации семилетней работы. Речной ЦОД не занимает места на суше и использует воду Луары для охлаждения своих систем. Решение Denv-R идентично концепции плавучего ЦОД Nautilus Data Technologies, размещённого в Калифорнии. Но в Denv-R утверждают, что их решение компактнее и лучше подходит для использования в черте города.

Источник изображения: Denv-R

Кроме того, её система охлаждения пассивна и не требует насосов. Ранее сообщалось, что Denv-R также разрабатывает и оффшорную версию ЦОД, которая будет использовать энергию морских волн для получения электричества. Keppel, ранее инвестировавшая в Nautilus, также планирует построить плавучий парк ЦОД в Сингапуре, на водородном топливе.

Партнёром Denv-R является основанная в 2011 году Geps Techno, которая разрабатывает «умные» буи и платформы. Например, вариант Wavegem Platform оснащён солнечным и «волновым» генераторами энергии, для питания находящегося на борту или неподалёку оборудования. В прошлом году компания объединила усилия с Meta✴, чтобы выяснить, смогут ли её платформы использоваться для питания подводных кабелей посреди океана.

Компания TrendFocus, по сообщению ресурса Storage Newsletter, подвела предварительные итоги развития мирового рынка HDD в III квартале 2024 года. Общие отгрузки накопителей составили от 30,8 млн до 32,6 млн ед., тогда как их суммарная вместимость превысила 325 Эбайт. Продажи растут на фоне хорошего спроса на Nearline-решения.

Отмечается, что в годовом исчислении поставки HDD в штуках поднялись на 7,4–13,7 %. В сегменте жёстких дисков LFF и SFF корпоративного класса отгрузки составили около 15,3 млн шт. при суммарной ёмкости 275 Эбайт. При этом было реализовано около 0,8 млн производительных HDD.

Источник изображения: Barez Omer / Unsplash

Крупнейшим игроком является Seagate с долей 40,6–40,8 %: в течение III квартала эта компания реализовала 12,5–13,3 млн накопителей, продемонстрировав рост на 3,9–10,6 % в годовом исчислении. На втором месте в рейтинге располагается Western Digital, занимающая 40,2–40,3 % мирового рынка: компания продала 12,4–13,1 млн устройств, что на 19,1–25,8 % больше по сравнению с III четвертью 2023-го. Замыкает тройку Toshiba, удерживающая 19,0–19,2 % отрасли: у этой компании поставки за год снизились на 5,3–0,5 %, оказавшись на уровне 5,9–6,2 млн ед.

В исследовании сказано, что квартальные отгрузки LFF-изделий для настольных ПК и потребительской электроники (включая решения для систем видеонаблюдения) составили около 9 млн штук. Поставки SFF-устройств для ноутбуков и электроники зафиксированы на уровне 6,4 млн шт.

Компания AMD представила ряд новых решений, включая серверные процессоры серии EPYC 9005 (Turin) и ускорители Instinct MI325X, которые, по словам компании, устанавливают новый стандарт производительности для ЦОД.

Процессоры AMD EPYC 5-го поколения под кодовым названием Turin производятся с использованием техпроцесса 3 нм и 4 нм TSMC. Они предлагают тактовую частоту до 5,0 ГГц и от 8 до 192 ядер. AMD сообщила, что новая серия обеспечивает прирост показателя IPC на 17 % по сравнению с EPYC Genoa для корпоративных и облачных рабочих нагрузок и до 37 % в ИИ- и HPC-задачах по сравнению с Zen 4.

Серия AMD EPYC 9005 включает 64-ядерный AMD EPYC 9575F, специально разработанный для ИИ-платформ на базе ускорителей, которым требуются максимальные возможности CPU. Турбочастота может достигать 5 ГГц, тогда как решение конкурента ограничено 3,8 ГГц — он до 28 % быстрее обрабатывает и передаёт данные ускорителям, что важно для требовательных рабочих нагрузок ИИ.

Источник изображений: AMD

В серии AMD EPYC 9005 доступны две версии чипов: 128-ядерная версия с классическими ядрами Zen5 и 192-ядерная версия с Zen5c. Оба варианта EPYC 9005 используют сокет SP5 и совместимы с некоторыми существующими платформами для Genoa (Zen4). Новинки поддерживают 12-канальную память DDR5-6400, а также предлагают полноценные обработку инструкций AVX-512 (целиком 512 бит за раз).

Как сообщает компания, флагманский процессор серии EPYC 9965 имеет 192 ядра Zen5c и тактовую частоту до 3,7 ГГц. Серверы на базе процессоров AMD EPYC 9965 обеспечивают по сравнению с серверами на базе процессоров Intel Xeon Platinum 8592+ (Emerald Rapids):

• До 4 раз более быстрое время получения результатов в бизнес-приложениях, таких как перекодирование видео;
• До 3,9 раза более быстрое время получения результатов в научных и HPC-приложениях;
• До 1,6 раза более высокую производительность на ядро в виртуализированной инфраструктуре.

Также сообщается, что в сравнении с конкурентом 192-ядерный процессор EPYC 9965 обеспечивает до 3,7 раза большую производительность на end-to-end рабочих нагрузках ИИ, таких как TPCx-AI, которые имеют решающее значение для эффективного подхода к генеративному ИИ.

Что касается AMD Instinct MI325X, то новый ускоритель, построенный на архитектуре AMD CDNA 3, имеет 256 Гбайт памяти HBM3e с пропускной способностью 6,0 Тбайт/с, что соответственно в 1,8 и 1,3 раза больше, чем у NVIDIA H200. Ускоритель обеспечивает 2,6 Пфлопс производительности в режиме FP8, 1,3 Пфлопс производительности в режиме FP16.

Как утверждает AMD, по сравнению с H200 новый ускоритель в 1,3 раза быстрее в задачах инференса ИИ-модели Mistral 7B (FP16), в 1,2 раза — Llama 3.1 70B (FP8), в 1,4 раза — Mixtral 8x7B (FP16). Ускорители AMD Instinct MI325X будут доступны с I квартала 2025 года.

AMD также анонсировала следующее поколение ускорителей серии AMD Instinct MI350 на основе архитектуры AMD CDNA 4, разработанные для обеспечения 35-кратного улучшения производительности инференса по сравнению с ускорителями на базе AMD CDNA 3. Серия AMD Instinct MI350 получит до 288 Гбайт памяти HBM3e на ускоритель и поддержку форматов FP6/FP4. Новинка будет доступна во II половине 2025 года.

Компания Selectel анонсировала собственную аппаратную платформу, не без оснований претендующую на звание «самого современного российского сервера». Ранее компания собирала серверы из отдельных компонентов других поставщиков, что снижало затраты и степень зависимости от определённого поставщика, но наличие собственной платформы, производимой на контрактных мощностях, должно ещё больше снизить капиталовложения и при этом обеспечить более высокую надежность благодаря контролю за производством.

Основой новой платформы является системная плата собственной разработки Selectel, рассчитанная на установку процессоров Xeon 6 (Granite Rapids и Sierra Forest) последнего поколения, а также фирменное шасси, оснащённое двумя блоками питания. При этом в планах Selectel замена прошивок BIOS/UEFI на собственные аналоги, способные обеспечивать нормальную работу сервера и поддержку всех компонентов, а также предоставлять клиентам расширенную функциональность. Впрочем, Selectel продолжит использовать и серверы с системными платами других производителей.

Источник изображений: Selectel

В случае собственных серверов Selectel пока речь идёт только о «малом» разъёме Intel LGA 4710, предназначенном для процессоров серий Xeon 6700E (Sierra Forest, до 144 ядер, доступны уже сейчас) и будущих же «малых» вариантов Granite Rapids — Xeon 6700P (до 86 ядер, появятся в I квартале 2025 года). Обе серии характеризуются использованием восьмиканального контроллера памяти DDR5-6400 и теплопакетом до 350 Вт включительно. Для охлаждения использованы мощные вентиляторы со скоростью вращения 16 тыс. об./мин. (шесть или восемь шт.).

Новая платформа Selectel имеет двухпроцессорную конфигурацию с 16 разъёмами DIMM на каждый процессор, что позволяет суммарно устанавливать в сервер до 8 Тбайт оперативной памяти. Сервер существует в двух конфигурациях, SSE-I112-G6 (1U) и SSE-I224-G6 (2U). В обоих случаях конфигурацию дополняет сетевой адаптер OCP 3.0 x16. За питание отвечает пара БП CRPS мощностью 1 кВт каждый класса 80+ Platinum с 90-% эффективностью во всем диапазоне нагрузок и возможностью горячей замены.

1U-вариант поддерживает установку 12 SFF NVMe SSD с горячей заменой и двух накопителей M.2 (x2), дополненных двумя ускорителями формата FHHL или тремя — HHHL. 2U-вариант включает до 26 SFF-накопителй — 10 × NVMe + 16 × SAS/SATA — и пару M.2 (x2). При этом ускорителей формата FHHL может быть уже шесть, благо общее количество линий PCIe 5.0 в системе составляет 176 (по 88 на процессор). Удалённое управление сервером осуществляется с помощью BMC с фирменной прошивкой, включающей в себя возможности управления профилями питания и поддержку открытого API Redfish.

Новые серверы могут быть арендованы заказчиком в одном из ЦОД компании. Стандартная конфигурация развёртывается в течение 7 мин. с 1/10GbE-подключением и 1-Гбит/с интернет-каналом. но доступны также и произвольные конфигурации с GPU, аппаратными RAID-контроллерами, возможностью апгрейда и сетевым подключением на скоростях до 400 Гбит/с. Также имеется возможность заказа новых серверов Selectel для использования на собственной площадке (on-premise) с арендной моделью оплаты.

Стартап TensorWave из Лас-Вегаса провёл раунд финансирования на условиях SAFE (simple agreements for future equity), в результате которого привлёк $43 млн, сообщили ресурсы DataCenter Dynamics и The Register. Условия SAFE означают, что инвесторы имеют право при определённых обстоятельствах конвертировать свои инвестиции в акции компании, но не смогут потребовать возврат денег. Финансовый раунд возглавил вице-президент Nexus, также в нём приняли участие Maverick Capital, Translink Capital, Javelin Venture Partners, Granite Partners и AMD Ventures.

Полученные средства TensorWave планирует использовать для оснащения своего основного ЦОД ускорителями AMD Instinct MI300X, на расширение команды, а также на подготовку к внедрению следующего поколения ускорителей Instinct MI325X и запуска новой корпоративной инференс-платформы Manifest в IV квартале 2024 года. По словам компании, Manifest, разработанная для поддержки более крупных контекстных окон ИИ-моделей с уменьшенной задержкой, помимо быстрого инференса позволяет анализировать сложные документы и безопасно обрабатывать и хранить конфиденциальные данные.

Источник изображения: TensorWave

Основанный в прошлом году стартап TensorWave, в отличие от большинства участников рынка ИИ, использующих ускорители NVIDIA, делает ставку на ускорители AMD Instinct. Разворачивать системы на базе MI300X стартап начал этой весной. Ускоритель MI300X также получил достаточно широкое распространение среди ряда облачных провайдеров. В частности, его использует Microsoft для обслуживания ИИ-модели OpenAI GPT-4 Turbo и многих сервисов Copilot. Oracle готова развернуть кластер из 16 384 MI300X. Также облачный стартап Vultr начал предлагать инстансы на базе MI300X.

MI300X имеет больше памяти, чему у того же NVIDIA H100 — 192 Гбайт против 80 Гбайт. С выпуском ускорителей следующего поколения MI325X в конце этого года AMD ещё больше увеличит преимущество, поскольку ёмкость HBM3e-памяти ускорителя вырастет до 288 Гбайт. Это втрое больше, чем у H100, и наполовину больше, чем у будущих ускорителей NVIDIA Blackwell, говорит компания.

Больший объём памяти особенно ценен для тех, кто запускает крупные ИИ-модели в FP16-формате. При 1536 Гбайт на узел система на базе MI300X может легко вместить модель Llama 3.1 405B от Meta✴, тогда как при использовании ускорителей H100 для этого её придётся разделить между несколькими системами или ужать с помощью 8-бит квантования. Можно также «втиснуть» несжатую модель в один узел с ускорителями NVIDIA H200, но тогда не останется достаточно места для большего контекстного окна, поддерживаемого моделью.

Компания Blue Owl, занимающаяся управлением бизнес-активами, намерена приобрести инвестиционную группу IPI Partners. По данным Reuters, стоимость сделки составит около $1 млрд: 80 % будет отдано ценными бумагами, оставшиеся 20 % — валютой. Компания видит большой инвестиционный потенциал в сфере ЦОД, связанный с ростом спроса на облачные и ИИ-технологии.

По данным СМИ, информация о возможной покупке появилась в начале октября. IPI Partners представляет собой совместное предприятие, принадлежащее управляющей инвестициями компанией Iconiq Capital (занята инвестициями в интересах частных лиц и семейного бизнеса) и частной инвестиционной компанией Iron Point Partners (работает в интересах непубличных компаний).

Источник изображения: Afif Ramdhasuma/unsplash.com

Для Blue Owl это «пробный шар» в сфере цифровых инфраструктур, сделка позволит получить под управление активы на сумму около $10,5 млрд. В портфолио IPI Partners входят 82 дата-центра по всему суммарной ёмкостью 2,2 ГВт. Инвестиционная компания владеет бизнесом Stack Infrastructure, сформированным в 2019 году в результате слияния оператора ЦОД T5 и трёх объектов Informat. Также в 2022 году была создана дочерняя компания Radius DC, ответственная за edge-проекты.

В распоряжении Blue Owl находятся активы приблизительно на сумму $192 млрд. Недавно компания создала совместное предприятие с Chirisa и PowerHouse для строительства ЦОД на территории США, в основном для ИИ-облака CoreWeave. Покупка IPI Partners стала уже четвёртым приобретением Blue Owl в этом году. Ранее компания приобрела Kuvare Asset Management, Prima Capital Advisors и Atalaya Capital Management.

Американская криптомайнинговая компания MARA (Marathon Digital Holdings) объединила усилия с компанией NGON. По данным Datacenter Dynamics, партнёры запустили микро-ЦОД на 25 МВт с питанием от попутного (факельного) газа с нефтяных скважин в Техасе и Северной Дакоте. Объекты планируется окончательно ввести в эксплуатацию к январю 2025 года.

ЦОД будут питаться только за счёт излишков газа, сопутствующего нефти на месторождениях. В противном случае они были бы просто сожжены. Это поможет местным энергокомпаниям более эффективно снизить выбросы метана. Эффективность утилизации метана при сжигании в факелах составляет 92 %, а в газовых генераторах — до 99 %. Всё это позволит значительно снизить операционные расходы, в то же время повысив экоустойчивость нефтедобычи. Дополнительно появится возможность генерации углеродных кредитов в реестре Verra.

Источник изображения: MARA

MARA располагет 760 МВт майнинговых мощностей. Часть работает на возобновляемых источниках энергии, но в основном электричество поступает из американских магистральных электросетей, на 80 % зависящих от ископаемого топлива. Компания намерена перейти на более экологичные меотды работы. В 2023 году был запущен пилотный проект с переработкой метана со свалок в Юте с установкой по добыче биткоинов на 280 кВт. В Финляндии MARA подключила свой ЦОД к районной системе центрального отопления.

Источник изображения: MARA

Операторы ЦОД, использующие электричество, получаемое в ходе сжигания попутного газа, подчёркивают, что процесс полезен окружающей среде, поскольку применяется «мусорная» энергия, которая тратилась бы впустую. При этом энергетические установки позволяют утилизировать больше метана, являющегося одним из самых опасных парниковых газов. При сгорании метана выделяется CO₂ — тоже парниковый газ, причём значительно более устойчивый. Тем не менее, для окружающей среды он считается намного менее опасным. Аналогичные проекты уже активно реализуются по всему миру. Такие решения есть, например, у Crusoe, CryptoBlox, White Rock и др.

У Microsoft, как оказалось, не хватает мощностей ЦОД для обеспечения всех потребностей OpenAI. По данным The Information, в ИИ-компании намерены агрессивно масштабировать свои вычислительные способности.

По словам журналистов, после того как OpenAI привлекла в октябре $6,6 млрд инвестиций, финансовый директор Сара Фрайар (Sarah Friar) выступила перед сотрудниками, заявив, что компания будет активнее искать дата-центры и ИИ-чипы. Ранее она же сообщала акционерам, что Microsoft слишком медлительна для работы с ИИ-стартапом. Например, компания xAI Илона Маска (Elon Musk) в кратчайшие сроки запустила крупный ИИ ЦОД в Мемфисе, когда в этом возникла необходимость.

OpenAI постепенно отдаляется от Microsoft, которая остаётся ключевым владельцем доли в компании. В июне была анонсирована сделка с Oracle по аренде серверов в дата-центре, пока что строящемся в Абилине (Техас). Хотя Microisoft упомянута в пресс-релизе, IT-гигант не слишком вовлечён в проект. Вместо этого он фактически будет арендовать серверы и предоставлять их OpenAI. Это позволяет говорить, что компания всё ещё является эксклюзивным облачным провайдером последней.

Источник изображения: Mariia Shalabaieva/unsplash.com

Теперь OpenAI ведёт переговоры об аренде этого дата-центра целиком, к середине 2026 года его ёмкость составит почти 1 ГВт. Если Oracle удастся получить больше энергии, площадка вырастет до 2 ГВт. Дополнительно OpenAI может заняться своим давно обещанным дата-центром Stargate на 5 ГВт, но уже без Microsoft — если ИИ-компания сможет найти финансирование для ЦОД стоимостью более $100 млрд и снабдить его энергией.

По словам главы OpenAI Сэма Альтмана, выступившего на этой неделе перед сотрудниками, затраты теоретически можно снизить, используя чипы, разрабатываемые самой OpenAI, но пока непонятно, на какой стадии реализации находится этот проект. Ранее сообщалось, что Альтман пытается убедить власти США в необходимости строительства в стране сети 5-ГВт ЦОД.