Корпорация Intel в ходе конференции ISC 2023, как сообщает AnandTech, поделилась информацией о проекте Aurora по созданию суперкомпьютера с производительностью экзафлопсного уровня. Эта система создаётся для Аргоннской национальной лаборатории Министерства энергетики США.

Изначально анонс HPC-комплекса Aurora состоялся ещё в 2015 году с предполагаемым запуском в 2018-м: ожидалось, что машина обеспечит быстродействие на уровне 180 Пфлопс. Однако реализация проекта значительно затянулась, а технические параметры платформы неоднократно менялись. Пока что развёрнуты тестовый кластер Sunspot.

Как теперь сообщается, в конечной конфигурации Aurora объединит 10 624 узла, каждый из которых будет включать два процессора Xeon Max и шесть ускорителей Ponte Vecchio. Таким образом, общее количество CPU будет достигать 21 248, число GPU — 63 744. Быстродействие FP64, как и было заявлено ранее, превысит 2 Эфлопс.

Источник изображений: Intel (via AnandTech)

Каждый процессор оперирует 64 Гбайт памяти HBM, ускоритель — 128 Гбайт. В сумме это даёт соответственно 1,36 Пбайт и 8,16 Пбайт памяти HBM с пиковой пропускной способностью 30,5 Пбайт/с и 208,9 Пбайт/с. В дополнение система сможет использовать 10,9 Пбайт памяти DDR5 с пропускной способностью до 5,95 Пбайт/с. Вместимость подсистемы хранения данных составит 230 Пбайт со скоростью работы до 31 Тбайт/с.

На сегодняшний день Intel поставила более 10 тыс. «лезвий» для Aurora, а это означает, что практически все узлы готовы к окончательному монтажу. Ввод суперкомпьютера в эксплуатацию намечен на текущий год. Для НРС-платформы готовится специализированная научная модель генеративного ИИ — Generative AI for Science, насчитывающая около 1 трлн параметров. Применять Aurora планируется для решения наиболее ресурсоёмких задач в различных областях.

Глобальная инвестиционная компания KKR сообщила о заключении соглашения по приобретению фирмы CoolIT Systems (CoolIT) — известного канадского разработчика систем прямого жидкостного охлаждения DLC (Direct Liquid Cooling). Финансовые условия договора не раскрываются.

CoolIT была основана в 2001 году. Компания занимается проектированием и производством решений жидкостного охлаждения для ЦОД и ПК. В частности, как сообщается, запатентованная DLC-технология Split-Flow повышает надёжность и срок службы оборудования, снижает эксплуатационные расходы, сокращает энергопотребление и выбросы углерода. При этом достигается возможность повышения плотности монтажа серверных компонентов по сравнению с традиционными методами воздушного охлаждения.

Источник изображения: CoolIT

Ожидается, что, получив доступ к ресурсам и капиталу KKR, компания CoolIT сможет ускорить развитие своих технологий и вывод инновационных решений на коммерческий рынок. Речь идёт о поставках продуктов для дата-центров, облачных платформ, систем НРС и пр. KKR в рамках сделки рассчитывает на дальнейшее масштабирование одного из лучших в своём классе решений DLC.

Отмечается также, что KKR инвестирует в CoolIT в рамках своей стратегии Global Impact. Эта инициатива, в частности, направлена на поддержку компаний, которые вносят ощутимый вклад в достижение одной или нескольких Целей устойчивого развития ООН. Ожидается, что сделка будет закрыта во втором квартале 2023 года при условии получения необходимых разрешений со стороны регулирующих органов.

Компания Google обнародовала новую информацию о своей облачной суперкомпьютерной платформе Cloud TPU v4, предназначенной для решения задач ИИ и машинного обучения с высокой эффективностью. Система может использоваться в том числе для работы с крупномасштабными языковыми моделями (LLM).

Один кластер Cloud TPU Pod содержит 4096 чипов TPUv4, соединённых между собой через оптические коммутаторы (OCS). По словам Google, решение OCS быстрее, дешевле и потребляют меньше энергии по сравнению с InfiniBand. Google также утверждает, что в составе её платформы на OCS приходится менее 5 % от общей стоимости. Причём данная технология даёт возможность динамически менять топологию для улучшения масштабируемости, доступности, безопасности и производительности.

Отмечается, что платформа Cloud TPU v4 в 1,2–1,7 раза производительнее и расходует в 1,3–1,9 раза меньше энергии, чем платформы на базе NVIDIA A100 в системах аналогичного размера. Правда, пока компания не сравнивала TPU v4 с более новыми ускорителями NVIDIA H100 из-за их ограниченной доступности и 4-нм архитектуры (по сравнению с 7-нм у TPU v4).

Изображение: Google

Благодаря ключевым инновациям в области интерконнекта и специализированных ускорителей (DSA, Domain Specific Accelerator) платформа Google Cloud TPU v4 обеспечивает почти 10-кратный прирост в масштабировании производительности по сравнению с TPU v3. Это также позволяет повысить энергоэффективность примерно в 2–3 раза по сравнению с современными DSA ML и сократить углеродный след примерно в 20 раз по сравнению с обычными дата-центрами.

В ходе мероприятия для инвесторов Intel подтвердила свои планы по противодействию процессорам AMD EPYC Bergamo, в которых будет использоваться архитектура с высокой плотностью ядер Zen4c, а также всё нарастающему давлению Arm. Intel придерживается планов по созданию собственных архитектур с производительными и энергоэффективными ядрами для чипов Xeon.

Intel объявила, что рассчитывает выпустить следующее, пятое по счёту поколение процессоров Xeon Scalable под кодовым названием Emerald Rapids (EMR), преемников Sapphire Rapids (SPR), в IV квартале 2023 года. Компания также продемонстрировала чип Emeralds Rapids, состоящий из двух чиплетов (тайлов в терминологии Intel). Sapphire Rapids, напомним, имеется четыре тайла меньших размеров. Сообщается, что образцы Emerald Rapids уже доступны избранным заказчикам. Не вдаваясь особо в технические подробности, компания рассказала, что Emerald Rapids будет работать в том же диапазоне TDP, что и Sapphire Rapids, что повысит общую производительность платформы в пересчёте на Вт.

Изображения: Intel

Учитывая то, что Emerald Rapids будет использовать ту же платформу LGA 4677, что и Sapphire, заказчики смогут заменить Sapphire на Emerald в существующих решениях. Такой подход позволит легко модернизировать уже внедрённые системы, а в случае производителей оборудования — ускорить вывод Emerald Rapids на рынок. Emerald Rapids будет построен на том же техпроцессе Intel 7. Это означает, что прирост производительности должен быть обеспечен за счёт архитектурных улучшений. Intel сообщила о «повышенной плотности ядер», поэтому можно предположить, что у Emerald Rapids будет больше ядер в сравнении с Sapphire Rapids.

Emerald Rapids

Вслед за Emerald Rapids компания планирует начать в 2024 году поставки чипов следующего поколения Granite Rapids (GNR) на базе производительных P-ядер. Сообщается, что вычислительные тайлы Granite Rapids будут выпускаться с использованием техпроцесса Intel 3. Intel также впервые сообщила, что Granite Rapids будут поддерживать MCR DIMM (DDR5-8800+) и обеспечат ПСП в пределах 1,5 Тбайт/с (12 каналов памяти). Ещё одной особенностью станет полный переход на чиплетную компоновоку с независимым IO-тайлом. Первые образцы Granite Rapids уже тестируются некоторыми заказчиками.

Emerald Rapids

В первой половине 2024 года должен выйти и процессор Sierra Forest (SRF), первый Intel Xeon с энергоэффективными E-ядрами (следующее за Gracemont поколение) общим числом до 144 единиц. Сообщается, что Sierra Forest и Granite Rapids будут использовать одну и ту же платформу Birch Stream. Следует отметить, что чипы Sierra Forest появятся несколько раньше, чем Granite Rapids, и тоже будут использовать техпроцесс Intel 3, а также IO-тайлы. Отмечается, что Sierra Forest даже в текущем виде оказались на удивление стабильно работающими. Более того, их уже тестирует как минимум один заказчик Intel.

Sierra Forest

На смену Sierra Forest придут в 2025 году чипы Clearwater Forest (CWF), которые станут первыми в семействе Intel Xeon, основанными на техпроцессе Intel 18A. По словам Intel, её заказчики не хотят серверные процессоры смешанной архитектуры, то есть требуют чипы либо только с P-ядрами, либо только с E-ядрами. Sierra Forest сейчас является, пожалуй, наиболее важным продуктом для Intel и для демонстрации производственных возможностей, и для сохранения заказчиков среди гиперскейлеров.

Что касается ускорителей, то компания в этом году планирует подготовить сразу 15 различных FPGA в сериях Agilex и Stratix, а также eASIC. Intel, как уже говорилось ранее, не забрасывает работу над специализированными ускорителями Habana, но грядущие Gaudi3 от нынешних Gaudi2 будут отличаться переходом с 7-нм на 5-нм техпроцесс. Отменённых Rialto Bridge в планах более нет, да и Falcon Shores тоже не упоминаются. При этом Intel считает, что к 2027 году в области ИИ-чипов соотношение между CPU и GPU будет на уровне 60/40.

На выставке-конференции MWC 2023 компания Huawei демонстрирует не только телекоммуникационные новинки, но и новые решения в области хранения данных. Именно в Барселоне Huawei представила свои новые СХД — OceanStor Dorado 2000 и OceanProtect X3000, предназначенные для малых и средних предприятий.

Как и старшие собратья, OceanStor Dorado 2000 являет собой хранилище класса all-flash, но сама система несколько проще в сравнении с Dorado 3000 и поддерживает только Fibre Channel (FC32) и iSCSI (25GbE). Объём системного кеша может варьироваться от 128 до 512 Гбайт, но SCM нет. Типичная конфигурация начального уровня содержит до 25 накопителей (SAS-3) общим объёмом 10–50 Тбайт. Максимальное количество контроллеров в системе сокращено с 16 до 8.

При этом система может обслуживать до 400 SSD и поддерживает не только RAID 5/6, но и фирменный RAID-TP, выдерживающий одновременный выход из строя трёх накопителей. Также поддерживаются фирменные алгоритмы сжатия и дедупликации данных. OceanStor Dorado 2000 гарантирует доступность данных на уровне 99,9999 %.

К решениям начального уровня относится и система защиты данных OceanProtect X3000, также построенная на архитектуре Active-Active (по характеристикам аналогична Dorado 200) и позволяющая восстанавливать потерянные в результате сбоя данные в крайне сжатые сроки. Как и все системы OceanProtect она предлагает современную продвинутую защиту от кибер-вымогателей.

На MWC 2023 компания Intel, как и обещала когда-то, представила специализированное решение для ускорения внедрения 5G и 4G, которое упрощает развёртывание виртуализированных сетей радиодоступа (vRAN) — процессоры Xeon Sapphire Rapids с интегрированным ускорителем vRAN Boost. Новинки, по словам компании, оптимизированы для сигнальной обработки и обработки пакетов, балансировки, ИИ и машинного обучения, а также динамического управления энергопотреблением.

Новинки позволят телеком-провайдерами консолидировать уже развёрнутые сети 4G/5G, удвоив ёмкость vRAN (по сравнению с Ice Lake-SP), а также вдвое улучшить энергоэффективность обработки L1-трафика в режиме реального времени благодаря расширенным возможностям сбора телеметрии и управления состоянием отдельных ядер (переход в сон и обратно) с низким уровнем задержки, а также гибкого перераспределения сетевых и иных нагрузок между ядрами.

Компания предложит заказчикам две серии Xeon EE (Enhanced Edge) с числом ядер до 20 или до 36 шт. и восемью каналами памяти, DDR5-4000 и DDR5-4400 соответственно. В обоих случаях речь об односокетных платформах. Некоторые модели также имеют поддержку AMX-инструкций и расширенный диапазон рабочих температур. Компанию новинкам составят FPGA Agilex 7, eASIC N5X и сетевые контроллеры E810 (Columbiaville).

Источник: Intel

Xeon EE используют расширения AVX (в частности, AVX512-FP16) для обработки сигналов и аппаратные блоки ускорения vRAN Boost для прямой коррекции ошибок (FEC, Forward Error Correction) и дискретного преобразования Фурье (DFT, Discrete Fourier Transformation), что позволяет снизить энергопотребление на величину до 20 % по сравнению с обычными Sapphire Rapids, поскольку для них и более ранних CPU требуются дискретные ускорители вроде ACC100. Для работы с новыми функциями предлагается DPDK и VPP, а драйверы совместимы с O-RAN ALLIANCE Accelerator Abstraction Layer (AAL) API. Также поддерживается и референсная платформа Intel FlexRAN.

В целом же, Intel продолжает продвигать идею замены специализированного 4G/5G-оборудования на как можно более стандартные серверы, что приводит к снижению совокупной стоимости владения (TCO) и повышает функциональность, гибкость и масштабируемость сетей нового поколения благодаря переходу к программно определяемым решениям. Среди ключевых партнёров компания называет Advantech, Capgemini, Canonical, Dell Technologies, Ericsson, HPE, Mavenir, Quanta Cloud Technology, Rakuten Mobile, Red Hat, SuperMicro, Telefonica, Verizon, VMware, Vodafone и Wind River.

На MWC 2023 также были показаны анонсированные на днях edge-серверы Dell на базе новых Xeon EE. Кроме того, Intel при сотрудничестве с SK Telecom разработала референсную программную платформу Intel Infrastructure Power Manager для ядра 5G-сети, которая позволяет ещё больше снизить (до -30 %) фактическое энергопотребление процессоров. Наконец, компания на пару с Samsung продемонстрировала работу 5G UPF (User Plane Function) на скорости 1 Тбит/с, для чего оказалось достаточно двухсокетного сервера с Sapphire Rapids, который, судя по всему, всё же был снабжён ускорителями.

Британский пенсионный фонд National Employment Savings Trust (Nest) досрочно завершил контракт стоимостью до £1,5 млрд с французским поставщиком ИТ-услуг Atos, сообщил ресурс The Register. Контракт на поставку французской компанией ПО, компонентов сети и ИТ-инфраструктуры для Nest был прекращён спустя два года после его подписания, хотя он был рассчитан на 10 лет с возможностью продления на 5 лет. Ещё 3 года отводилось на переходный период.

The Register обратился к Nest и Atos с просьбой сообщить причину досрочного завершения сделки, но обе организации отказались от комментариев. По словам источников The Register, пенсионный фонд в последний момент внёс несколько «изменений в дизайн». Но когда Atos сообщила о необходимости продлить из-за этого сроки поставки продукта, пенсионный фонд заявил о прекращении контракта.

Источник изображения: Atos

Atos должна была в течение двух лет заниматься проектированием и созданием будущей цифровой платформы, необходимой для реализации стратегии Nest, которая должна была работать вместе с существующими сервисами TCS (предыдущего подрядчика Nest), а плавный переход на платформу Atos был запланирован на первую половину 2023 года. Однако Nest что-то не устроило в предложенной Atos концепции, и он потребовал внести изменения, не меняя сроки перехода на платформу. В итоге, как сообщает The Register, Nest продолжит работу с TCS, пока будет пересматривать свои планы по поводу цифровизации.

В Nest сообщили, что им потребуется время, чтобы определиться, какая поддержка потребуется в дальнейшей работе, отметив, что работа фонда будет продолжена в обычном режиме. The Register подсчитал, что расторжение контракта может привести к потере 1000 рабочих мест Atos в Великобритании и Индии. Пенсионная схема Nest была запущена в 2010 году в рамках реализации пенсионной реформы правительства Великобритании. Её услугами пользуется более 870 тыс. работодателей и более 9,8 млн участников программы по всей Великобритании.

Компания Pliops, разработавшая собственный вариант DPU-ускорителя XDP, объявила о расширении его функциональности. Нововведения должны повысить производительность NVMe SSD, продлить им жизнь и ускорить процесс восстановления в случае сбоя. Анонс Pliops говорит о новых службах XDP-RAIDplus, XDP-AccelDB и XDP-AccelKV, назначение которых понятно из названия.

XDP-RAIDplus предназначена для максимизации скорости ввода-вывода накопителей с интерфейсом NVMe, а также позволяет создавать защищённые массивы без потери эффективной ёмкости. Заявляется о 26,6 % прироста по объёму при использовании 6 дисков ёмкостью 15 Тбайт в сравнении с обычным RAID5. При этом в случае сбоя ускоритель перестраивает массив только в части, затронутой отказавшим и заменённым накопителем, а не целиком, что ускоряет процесс перестройки на 65 %, при этом меньше страдает производительность и минимизируется время простоя. Благодаря сочетанию этих функций стоимость владения флеш-массивом может снижаться на величину до 50 %.

Преимущества XDP-RAIDplus в сравнении с классическими решениями. Источник: Pliops

Функция XDP-AccelDB представляет собой движок-ускоритель для СУБД (MySQL/MariaDB, MongoDB) и программно определяемых хранилищ. Движок поддерживает атомарную запись, умную буферизацию и выравнивание данных, что позволяет говорить о 3,2-кратном увеличении количества транзакций за единицу времени, а также о трёхкратном снижении латентности. Наконец, XDP-AccelKV — ускоритель Key-Value хранилищ, предназначенный для решений типа RocksDB или WiredTiger. В сравнении с полностью программными решениями он, как утверждается, способен повысить производительность на порядок.

Облачная платформа Amazon Web Services (AWS), по сообщению Bloomberg, намерена значительно расширить инфраструктуру дата-центров в Вирджинии (США). Сообщается, что на строительство новых ЦОД в этом регионе до 2040 года будет выделено приблизительно $35 млрд.

Amazon уже имеет значительное присутствие в Северной Вирджинии. Облачный провайдер открыл свой первый кластер ЦОД и офисов в этом регионе в 2006 году, а с 2011-го инвестировал в развитие соответствующей инфраструктуры примерно $35 млрд. Компания не раскрывает количество и точное местоположение своих дата-центров, ссылаясь на коммерческую тайну и соображения безопасности.

Источник изображения: Amazon

О новых планах AWS, как отмечает Datacenter Dynamics, объявили Партнёрство экономического развития Вирджинии и губернатор штата Гленн Янгкин (Glenn Youngkin). Регион привлекателен для операторов ЦОД с точки зрения налоговых льгот и относительно недорогой электроэнергии. Проект предполагает, что AWS построит нескольких новых кампусов дата-центров по всей Вирджинии. Это создаст приблизительно 1000 дополнительных рабочих мест.

«Вирджиния является мировым лидером в области инноваций и облачных вычислений. С 2006 года компания AWS инвестировала более $35 млрд в регион, увеличив общий валовой внутренний продукт Содружества Вирджинии почти на $7 млрд, и ежегодно поддерживает тысячи рабочих мест. Опираясь на эти успешные начинания, мы планируем к 2040 году дополнительно инвестировать $35 млрд», — заявил Роджер Венер (Roger Wehner), директор по экономическому развитию AWS.

Источник изображения: Amazon

Amazon активно развивается в Северной Вирджинии, крупнейшем в мире рынке ЦОД. Помимо приобретения земли в округах Лаудон и Принс-Уильям, компания намерена развернуть площадки в округах Фокир, Калпепер и Фэрфакс. Однако некоторые проекты AWS столкнулись с сильным сопротивлением местных жителей, в результате чего часть инициатив была приостановлена. Домовладельцы и гражданские активисты жалуются на высокий уровень шума от дата-центров, который производится круглосуточно и без выходных. Причём никаких мер для решения проблемы не предпринимается.

Претензии также связаны с тем, что строительство новых ЦОД предполагается в особых зонах — сельской местности, исторических местах вроде Национального поля битвы в Манассасе, а также в местах захоронений предков многих жителей. Это породило массовые протесты. Наконец, в регионе из-за огромного количества дата-центров возникла нехватка электроэнергии: для питания ЦОД попросту недостаёт линий электропередач.

Dell, пусть и с некоторым запозданием, представила сразу несколько модельных рядов серверов на базе новых Intel Xeon Sapphire Rapids.

В первую очередь обновление затронуло серию Core, которая получила пять новых моделей: компактный одноюнитовый сервер PowerEdge R660, две вариации PowerEdge R760 высотой 2U, одна из которых, R760xa, рассчитана на установку шести ускорителей: четырёх двухслотовых с теплопакетом 300 Вт в передней корзине и двух компактных (TDP 75 Вт) — в задней. В случае использования только однослотовых плат ускорителей их число можно увеличить до 12, так что это одна из самых высокоплотных и при этом компактных платформ для ускорителей.

Dell PowerEdge R660/R660xs. Источник изображений: StorageReview

Модели R760 и R660 с суффиксом xs относятся к сегменту начального уровня, они лишены некоторых опций, реализованных в основной серии. Также в среди новинок есть серверы PowerEdge R960 и R860 высотой 4U и 2U, интересные тем, что это не двух-, а четырёхпроцессорные системы. В своё время Dell пропустила поколение 4S-платформу на базе Cooper Lake-SP, так что в своём классе это долгожданное обновление.

Dell PowerEdge R760. Источник изображений: StorageReview

Модель Dell PowerEdge C6220 представляет собой модульное шасси высотой 2U c четырьмя вычислительными узлами на базе Sapphire Rapids. Она оснащена фирменной «мультивекторной» системой воздушного охлаждения, достаточно эффективной, чтобы позволить экономию на СЖО.

Модели начального уровня и модульное шасси PowerEdge C6620 с воздушным охлаждением

Для гиперскейлеров компания предлагает Dell HS5610 и HS5620 высотой 1 и 2U соответственно. В этих решениях компания воплотила тенденцию облачных провайдеров к отказу от проприетарных решений: система удалённого управления и мониторинга здесь базируется на OpenBMC и Open Server Manager.

Есть среди новинок и модель в башенном форм-факторе, PowerEdge T560. Она поддерживает пару Sapphire Rapids c TDP до 250 Вт и может вмещать 12 полноразмерных накопителей 3,5″, либо 24 — в формате 2,5″. Возможна установка двух полноразмерных ускорителей.

Серверы PowerEdge с поддержкой NVIDIA SXM5 и Intel Ponte Vecchio

Наконец, мощные системы серии XE9680/9640/8640 предназначены для машинного обучения и спроектированы с учётом соответствующих требований. Старшая модель поддерживает установку восьми ускорителей NVIDIA H100 (SXM5), либо восьми A100 (SXM4), а младшая XE8640 — четырёх таких ускорителей. PowerEdge XE9640 интересна ориентацией на использование ускорителей Intel Max (Ponte Vecchio) с поддержкой интерконнекта GPU-GPU.

Новые серверы Dell имеют ряд любопытных фирменных особенностей, среди которых выделяется BOSS-N1. Это отдельный RAID-контроллер с поддержкой безопасной загрузки UEFI и предназначенный для установки операционной системы. Как указывает литера N, новинка использует накопители NVMe. Дисковая корзина BOSS-N1 доступна с задней панели сервера и поддерживает функцию горячей замены.

Источник изображений: StorageReview

Не забросила Dell и направление аппаратных RAID-контроллеров, представив в этой серии новинку PERC12, которая, если верить заявлениям, вдвое превосходит по производительности решение предыдущего поколения и вчетверо — показатели PERC10. Контроллер поддерживает PCIe 5.0 и все современные интерфейсы: SATA-3, SAS-4 и NVMe. Также анонсирован контроллер H965e для создания JBOD-массивов с поддержкой SAS-4.