Команда Эдинбургского университета активно лоббирует выделение учреждению £800 млн ($1,02 млрд) для строительства суперкомпьютера экзафлопсного класса. Ранее новое британское правительство фактически отказалось продолжать реализацию некогда уже одобренного проекта, ссылаясь на дефицит бюджета.

Ожидалось, что страна выделит почти миллиард долларов на строительство передового суперкомпьютера, причём изначально речь шла об использовании отечественных компонентов. В октябре 2023 года было объявлено, что именно Эдинбург станет пристанищем первой в Великобритании вычислительной машины экзафлопсного уровня. Суперкомпьютер должен был заработать уже в 2025 году. Университет даже успел потратить £31 млн ($38 млн) на строительство нового крыла Advanced Computing Facility.

Источник изображения: Adam Wilson/unsplash.com

Однако в начале августа 2024 года британское правительство объявило, что не будет выделять £1,3 млрд ($1,66 млрд) на ранее одобренные технологические и ИИ-проекты. На тот момент представитель Министерства науки, инноваций и технологий (Department for Science, Innovation, and Technology) заявил, что властям приходится принимать «трудные и необходимые» решения.

По данным СМИ, вице-канцлер Эдинбургского университета сэр Питер Мэтисон (Peter Mathieson) пытается лично лоббировать среди министров выделение средств на обещанный суперкомпьютер. В письме сотрудникам университета он отметил, что диалог с Министерством науки, инноваций и технологий продолжится и будет взаимодействовать с академическими и промышленными кругами для возобновления инвестиций. По словам учёного, университет десятки лет был лидером в HPC-сфере Великобритании и до сих пор остаётся центром реализации суперкомпьютерных и ИИ-проектов.

Если средства всё-таки удастся выбить у британских чиновников и система заработает, она будет в 50 раз производительнее нынешней системы ARCHER2. Тем временем в материковой Европе ведётся активная работа над собственными проектами. В частности, начались работы по строительству суперкомпьютера экзафлопсного уровня класса Jupiter на Arm-чипах и ускорителях NVIDIA. Впрочем, весной этого года Великобритания вновь присоединилась к EuroHPC, так что со временем страна сможет поучаствовать в европейских HPC-проектах.

Консорциум компаний запустил пилотный проект облачного сервиса IceCloud на базе исландского ЦОД с необычными возможностями. The Register сообщает, что дата-центр будет полностью снабжаться возобновляемой энергией для того, чтобы его клиенты смогли достичь своих экологических, социальных и управленческих обязательств (ESG).

Проект IceCloud Integrated Services представляет собой частное облако с широкими возможностями настройки для того, чтобы предложить клиентам экономичную масштабируемую платформу, в том числе для ИИ и прочих ресурсоёмких задачах. В консорциум на равных правах входят британский поставщик ЦОД-инфраструктур Vesper Technologies (Vespertec), разработчик облачного ПО Sardina Systems и оператор Borealis Datacenter из Исландии.

Vespertec занимается созданием кастомных серверов, хранилищ и сетевых решений, в том числе стандарта OCP. Sardina отвечает за облачную платформу Fish OS. Это дистрибутив OpenStack для частных облачных сервисов, интегрированный с Kubernetes и сервисом хранения данных Ceph. Предполагается, что облачная платформа не будет имитировать AWS и Azure. Решение ориентировано на корпоративных клиентов с задачами, требующими высокой производительности, малого времени отклика и высокого уровня доступности.

Источник изображения: Robert Lukeman/unsplash.com

Таких предложений на рынке уже немало, но IceCloud на базе ЦОД Borealis Datacenter позволит клиентам использовать исключительно возобновляемую энергию и экономить на охлаждении благодаря прохладному местному климату. Выполнение компаниями-клиентами ESG-обязательств, а также снижение на 50 % энергопотребления вне периодов часов пиковых нагрузок и снижение потребления на 38 % в целом ведёт к существенному снижению стоимости эксплуатации облака, говорят авторы проекта.

Источник изображения: Vespertec

До заключения контракта на обслуживание в облаке IceCloud с клиентом ведутся переговоры для выяснения его потребностей в программном и аппаратном обеспечении и пр. После этого клиенту делается индивидуальное пакетное предложение. Перед окончательным принятием решения клиент может протестировать сервис и, если его всё устраивает, он получит персонального менеджера.

Эксперты подтверждают, что размещение ЦОД на севере имеет три ключевых преимущества. Низкие температуры окружающей среды позволяют экономить на охлаждении, обеспечивая низкий индекс PUE. Сам регион богат возобновляемой энергией и, наконец, в Исландии не так тесно в сравнении с популярными европейскими локациями ЦОД во Франкфурте, Лондоне, Амстердаме, Париже и Дублине.

Шесть специализированных центров коллективного пользования (ЦКП) сформировали консорциум «Распределённая научная суперкомпьютерная инфраструктура», чтобы осуществлять координацию совместных действий по комплексному развитию и поддержке суперкомпьютерных центров и специализированных центров данных для решения актуальных научных, научно-технических и социально-экономических задач, сообщил Telegram-канал Министерства науки и высшего образования РФ.

В консорциум вошли ХФИЦ ДВО РАН (г. Хабаровск), Институт автоматики и процессов управления ДВО РАН (г. Владивосток), Институт динамики систем и теории управления им. В.М. Матросова СО РАН (г. Иркутск), Институт вычислительной математики и математической геофизики СО РАН (г. Новосибирск), Институт математики и механики им. Н.Н. Красовского УрО РАН (г. Екатеринбург) и Институт космических исследований РАН (г. Москва).

Источник изображения: ЦКП «Центр данных ДВО РАН»

Инфраструктура консорциума включает 900 серверов c суммарной пиковой производительностью 1,5 ПФлопс и системами хранения научных данных ёмкостью более 15 Пбайт. С её помощью можно обеспечивать работу распределённых специализированных информационных систем сбора, хранения и обработки научных данных, находящихся в различных регионах страны, говорится в сообщении. На данный момент участники консорциума предоставляют доступ к компьютерным ресурсам и оказывают квалифицированную поддержку для 240 организаций России.

Компания MSI в ходе выставки Future of Memory and Storage 2024 (FMS) анонсировала сервер S2301, предназначенный для работы с резидентными базами данных, НРС-приложениями, платформами для автоматизации проектирования электроники (EDA) и пр.

Сервер поддерживает стандарт CXL 2.0 на основе интерфейса PCIe. Технология обеспечивает высокоскоростную передачу данных с малой задержкой между хост-процессором и такими устройствами, как серверные ускорители, буферы памяти и интеллектуальные IO-блоки.

На основе CXL 2.0 функционирует высокопроизводительный механизм доступа к памяти, который позволяет модулям расширения напрямую взаимодействовать с иерархией памяти CPU. При этом дополнительные блоки памяти работают так, как если бы они были частью собственной памяти системы. Подключив к серверу модули расширения CXL, можно с высокой эффективностью масштабировать ресурсы для обработки сложных задач.

Источник изображения: MSI

Сервер MSI S2301 поддерживает установку двух процессоров AMD EPYC поколения Turin. Доступны 24 слота для модулей ОЗУ. Возможно применение CXL-модулей в форм-факторе E3.S 2T (PCIe 5.0 x8). Такие решения, в частности, в августе 2023 года представила компания Micron Technology. Устройства имеют вместимость 128 и 256 Гбайт. Кроме того, память DRAM с поддержкой CXL 2.0 предлагает Samsung.

Во фронтальной части нового сервера располагаются отсеки для SFF-модулей. Говорится об использовании софта Memory Machine X разработки MemVerge, который оптимизирует затраты и помогает улучшить производительность ИИ-приложений и других ресурсоёмких рабочих нагрузок путём интеллектуального управления памятью.

Японская научная группа RIKEN Center for Computational Science представила виртуальную версию принадлежащего ей Arm-суперкомпьютера, которую можно развернуть в облаке AWS. По данным The Register, суперкомпьютер считался самым производительным в мире в 2020 году, пока его не потеснила первая экзафлопсная машина Frontier двумя годами позже.

Источник изображения: RIKEN

Центр намерен упростить желающим использование системы Fugaku, поэтому в RIKEN и решили создать виртуального двойника, способного работать в облаке или даже на суперкомпьютерах, принадлежащих другим компаниям. Представители центра сообщили, что построить машину из 160 тыс. узлов недостаточно, ведь необходимы ещё и программные решения. Другими словами, в облаке полностью воспроизвели программную HPC-экосистему Fugaku, которая включает массу оптимизированных для Arm пакетов и специализированного ПО.

Первая версия Virtual Fugaku доступна в виде Singularity-образа. Она предназначена для запуска на Arm-процессорах Amazon Graviton3E, которые оптимизированы для задач HPC/ИИ. Как и процессоры Fujitsu A64FX, используемые в Fugaku, они предлагают инструкции Scalable Vector Extension (SVE). Основная ОС — RHEL 8.10. ПО собрано с использованием GCC 14.1 и библиотеки OpenMPI, которая поддерживает EFA. В Amazon крайне довольны выбором AWS в качестве базовой платформы для Virtual Fugaku.

Источник изображения: RIKEN

В будущем возможно портирование Virtual Fugaku и на другие архитектуры, но на какие бы платформы его ни перенесли, в RIKEN надеются, что инстансы «продолжат дело» своего родителя. Исследователи заявили, что результаты использования Fugaku, включая разработки, связанные с контролем заболеваний, созданием новых материалов и лекарств, хорошо известны. В ходе эксплуатации специалисты получили богатый опыт обращения с суперкомпьютером и намерены поделиться им с обществом.

В RIKEN даже рассматривают Virtual Fugaku как стандартную платформу для использования программных HPC-решений — если суперкомпьютерные центры по всему миру примут этот формат, пользователи оценят богатство библиотеки ПО. Впрочем, некоторые эксперты считают, что такая концепция не вполне жизнеспособна — HPC-задачи часто связаны с использованием оборудования, оптимизированного под конкретные цели, поэтому маловероятно, что одна программная платформа подойдёт всем заинтересованным сторонам.

Компания NVIDIA, по сообщению ресурса The Information, вынуждена повременить с началом массового выпуска ИИ-ускорителей следующего поколения на архитектуре Blackwell, сохранив высокие темпы производства Hopper. Проблема, как утверждается, связана с технологией упаковки Chip on Wafer on Substrate (CoWoS) от TSMC.

Отмечается, что NVIDIA недавно проинформировала Microsoft о задержках, затрагивающих наиболее продвинутые решения семейства Blackwell. Речь, в частности, идёт об изделиях Blackwell B200. Серийное производство этих ускорителей может быть отложено как минимум на три месяца — в лучшем случае до I квартала 2025 года. Это может повлиять на планы Microsoft, Meta✴ и других операторов дата-центров по расширению мощностей для задач ИИ и НРС.

По данным исследовательской фирмы SemiAnalysis, задержка связана с физическим дизайном изделий Blackwell. Это первые массовые ускорители, в которых используется технология упаковки TSMC CoWoS-L. Это сложная и высокоточная методика, предусматривающая применение органического интерпозера — лимит возможностей технологии предыдущего поколения CoWoS-S был достигнут в AMD Instinct MI300X. Кремниевый интерпорзер, подходящий для B200, оказался бы слишком хрупок. Однако органический интерпозер имеет не лучшие электрические характеристики, поэтому для связи используются кремниевые мостики.

В используемых материалах как раз и кроется основная проблема — из-за разности коэффициента теплового расширения различных компонентов появляются изгибы, которые разрушают контакты и сами чиплеты. При этом точность и аккуратность соединений крайне важна для работы внутреннего интерконнекта NV-HBI, который объединяет два вычислительных тайла на скорости 10 Тбайт/с. Поэтому сейчас NVIDIA с TSMC заняты переработкой мостиков и, по слухам, нескольких слоёв металлизации самих тайлов.

Вместе с тем у TSMC наблюдается нехватка мощностей по упаковке CoWoS. Компания в течение последних двух лет наращивала мощности CoWoS-S, в основном для удовлетворения потребностей NVIDIA, но теперь последняя переводит свои продукты на CoWoS-L. Поэтому TSMC строит фабрику AP6 под новую технологию упаковки, а также переведёт уже имеющиеся мощности AP3 на CoWoS-L. При этом конкуренты TSMC не могут и вряд ли смогут в ближайшее время предоставить хоть какую-то альтернативную технологию упаковки, которая подойдёт NVIDIA.

Таким образом, как сообщается, NVIDIA предстоит определиться с тем, как использовать доступные производственные мощности TSMC. По мнению SemiAnalysis, компания почти полностью сосредоточена на стоечных суперускорителях GB200 NVL36/72, которые достанутся гиперскейлерам и небольшому числу других игроков, тогда как HGX-решения B100 и B200 «сейчас фактически отменяются», хотя малые партии последних всё же должны попасть на рынок. Однако у NVIDIA есть и запасной план.

План заключается в выпуске упрощённых монолитных чипов B200A на базе одного кристалла B102, который также станет основой для ускорителя B20, ориентированного на Китай. B200A получит всего четыре стека HBM3e (144 Гбайт, 4 Тбайт/с), а его TDP составит 700 или 1000 Вт. Важным преимуществом в данном случае является возможность использования упаковки CoWoS-S. Чипы B200A как раз и попадут в массовые HGX-системы вместо изначально планировавшихся B100/B200.

На смену B200A придут B200A Ultra, у которых производительность повысится, но вот апгрейда памяти не будет. Они тоже попадут в HGX-платформы, но главное не это. На их основе NVIDIA предложит компромиссные суперускорители MGX GB200A Ultra NVL36. Они получат восемь 2U-узлов, в каждом из которых будет по одному процессору Grace и четыре 700-Вт B200A Ultra. Ускорители по-прежнему будут полноценно объединены шиной NVLink5 (одночиповые 1U-коммутаторы), но вот внутри узла всё общение с CPU будет завязано на PCIe-коммутаторы в двух адаптерах ConnectX-8.

Главным преимуществом GX GB200A Ultra NVL36 станет воздушное охлаждение из-за относительно невысокой мощности — всего 40 кВт на стойку. Это немало, но всё равно позволит разместить новинки во многих ЦОД без их кардинального переоборудования пусть и ценой потери плотности размещения (например, пропуская ряды). По мнению SemiAnalysis, эти суперускорители в случае нехватки «полноценных» GB200 NVL72/36 будут покупать и гиперскейлеры.

Эксперты IDC рассчитывают, что установленная ёмкость дата-центров в Азиатско-Тихоокеанском регионе к 2028 году достигнет 94,4 ГВт, а совокупный среднегодовой темп роста (GAGR) достигнет 14,2 %. Как заявляют в Datacenter Dynamics со ссылкой на доклад компании, в прогнозе не учитываются показатели Японии.

В документе IDC объявила, что расходы на увеличение IT-ёмкостей увеличились год к году на 9,6 %. Тем не менее эксперты добавили, что показатели роста рынка могут удвоиться в 2024 году до 18,3 %. Рост во многом связывается с появлением многочисленных дата-центров гиперскейл-уровня и попыткой модернизации инфраструктуры в регионе. Конечно, не последнюю роль играет и бум ИИ-технологий.

Источник изображения: analogicus/pixabay.com

По словам представителя IDC, цифровая трансформация и генеративный ИИ ведут к реорганизации дата-центров, что ведёт к беспрецедентному росту и технологическому развитию Азиатско-Тихоокеанского региона. В компании считают, что новые законы о локализации данных заставляют местные корпорации пересмотреть принципы размещения и обработки данных для того, чтобы их инфраструктура соответствовала быстро меняющимся и неоднородным правилам в регионе.

Недостаток электроэнергии и перебои в цепочках поставок в регионе представляют риск для роста ЦОД — пока нечто подобное наблюдается и во всём мире. При это спрос на ЦОД в регионе значительно превышает предложение, а энергии для новых кампусов может и не хватить.

Новый состав правительства Великобритании, сформированный в июле, отменил решение предыдущей администрации о выделении £1,3 млрд на финансирование технологических и ИИ-проектов, включая строительство в Центре передовых вычислений Эдинбургского университета (ACF) экзафлопсного суперкомпьютера при поддержке национального центра AI Research Resource (AIRR), который должен был быть запущен в эксплуатацию в 2025 году. Об этом сообщил ресурс DatacenterDynamics (DCD).

В прошлом году правительство консерваторов выделило £800 млн на экзафлопсный суперкомпьютер и £500 млн на дополнительное финансирование AIRR. Однако нынешнее лейбористское правительство заявило, что в планах расходов предыдущего правительства не было выделено нового финансирования для этой программы, и поэтому проекты не будут продолжены.

Источник изображения: EPCC

В Центре передовых вычислений Эдинбургского университета (ACF) уже есть суперкомпьютер, и после объявления в октябре 2023 года о предстоящем строительстве нового, им был израсходован £31 млн на строительство дополнительного помещения в здании для центра Edinburgh Parallel Computing Centre (EPCC). Что дальше будет с этим проектом пока неясно.

Отвечая на просьбу DCD прокомментировать ситуацию, представитель Департамента науки, инноваций и технологий Великобритании (DSIT) заявил, что в правительстве по-прежнему привержены созданию технологической инфраструктуры, но приходится принимать сложные решения для восстановления экономической стабильности и реализации национальной миссии по росту экономики.

Следует отметить, что в прошлом месяце правительство Великобритании объявило о планах инвестировать £100 млн в пять новых центров квантовых исследований в Глазго, Эдинбурге, Бирмингеме, Оксфорде и Лондоне.

Российская компания «Систэм Электрик» (Systême Electric; ранее — Schneider Electric) объявила о выпуске чиллеров семейства CoolFlow, которые, как утверждается, обладают широкими возможностями для адаптации под индивидуальные требования заказчика. Новинки ориентированы на применение в современных дата-центрах.

Отмечается, что новые решения сочетают в себе передовые технологии для достижения высокой энергетической эффективности и улучшения экологических показателей. Чиллеры обеспечивают надёжное охлаждение серверного оборудования, одновременно минимизируя энергопотребление и углеродный след.

Источник изображений: «Систэм Электрик»

В семейство CoolFlow входят устройства воздушного охлаждения с опцией фрикулинга двух типов. Это модели на базе спиральных компрессоров холодопроизводительностью от 30 до 700 кВт, а также чиллеры на основе винтовых компрессоров холодопроизводительностью от 300 до 1500 кВт. Решения оснащены встроенным гидромодулем, который включает в себя все необходимые компоненты для выполнения только одного подключения к чиллеру — без необходимости внешних подсоединений к вспомогательному оборудованию, например, насосам.

Устройства изначально оснащены специальным зимним комплектом, который позволяет эксплуатировать их при температурах до -45 °C. При необходимости может быть добавлен высоконапорный насос.

Преимуществом чиллеров семейства CoolFlow названы широкие возможности в плане кастомизации. Устройства можно адаптировать к индивидуальным требованиям каждого проекта, оптимизируя их для конкретных условий эксплуатации. Благодаря модульной конструкции достигается гибкость масштабирования: допускается создание систем различной мощности, подходящих для разных объектов — от небольших до крупных дата-центров. Чиллеры CoolFlow могут применяться не только для строительства и эксплуатации ЦОД, но и в других отраслях промышленности, а также для создания микроклимата в офисах и бизнес-центрах.

«Систэм Электрик» предлагает возможность изменения стандартных размеров чиллеров и модификации их базовых характеристик. В частности, заказчики могут выбрать двойной или раздельный ввод питания, определённую насосную группу (1/1+1/1 с VSD/1+1 c VSD), а также установку источника бесперебойного питания на контроллер, расходомеров, накопительного бака, сетевых карт RS485 или SNMP, металлических сетчатых фильтров на теплообменники и пр.

Компания Vertiv представила модульную платформу MegaMod CoolChip, предназначенную для построения дата-центров высокой плотности для задач ИИ. Утверждается, что данное решение позволяет сократить время развёртывания вычислительных мощностей примерно в два раза по сравнению с традиционным строительством.

Отмечается, что стремительное развитие генеративного ИИ, машинного обучения и НРС-приложений приводит к необходимости изменения обычной концепции ЦОД. Из-за большого количества мощных ускорителей требуется внедрение более эффективных систем охлаждения. В случае MegaMod CoolChip реализуется гибридный подход с воздушным и жидкостным охлаждением.

Инфраструктура MegaMod CoolChip может включать в себя блоки распределения охлаждающей жидкости Vertiv XDU, стойки с поддержкой СЖО Vertiv Liquid-cooled Rack, решения Vertiv Air Cooling, стоечные блоки распределения питания Vertiv rPDU и пр. Модульная архитектура MegaMod CoolChip предусматривает возможность установки до 12 стоек в ряд. Мощность каждой из них может превышать 100 кВт.

Источник изображения: Vertiv

MegaMod CoolChip поставляется в виде отдельных блоков, которые монтируются непосредственно на месте размещения дата-центра. Возможны различные варианты организации воздушно-жидкостного охлаждения. Для СЖО используется технология однофазного прямого жидкостного охлаждения Direct-To-Chip. Возможно резервирование охлаждающих систем по схеме N+1.