Лос-Аламосская национальная лаборатория (LANL) Министерства энергетики США сообщила о запуске суперкомпьютера Crossroads — первого в мире крупного вычислительного комплекса, полагающегося исключительно на процессоры Intel Xeon Sapphire Rapids, в том числе с HBM-памятью. Система будет применяться для решения сложных научных задач, связанных с ядерным арсеналом США.

О создании 165-Пфлопс машины впервые было объявлено в конце 2020 года, а первая фаза установки Crossroads была завершена в октябре 2022 года. Тогда говорилось, что по FP64-производительности новый суперкомпьютер превзойдёт существующую систему LANL Trinity в четыре раза. Отличительной чертой машины является то, что она полагается исключительно на CPU Intel.

Как теперь сообщается, в июне оставшееся оборудование, включая компоненты системы жидкостного охлаждения, было доставлено в Стратегический вычислительный комплекс (Strategic Computing Complex), где размещены HPC-системы LANL. После этого специалисты HPE произвели монтаж узлов и обеспечили подключение Crossroads к сети лаборатории. В настоящее время проводится первоначальная диагностика систем Crossroads. Суперкомпьютер станет доступен пользователям нынешней осенью.

Источник изображения: LANL

Утверждается, что Crossroads обеспечит в четыре–восемь раз более высокую производительность по сравнению с Trinity при решении сложных задач моделирования. Но точные показатели быстродействия пока не раскрываются. Известно, что в состав суперкомпьютера входят узлы с HBM-версией Sapphire Rapids (Intel Max), а также подсистема хранения данных типа All-Flash.

Компания Tesla, по сообщению Tom's Hardware, в минувший понедельник, 28 августа 2023 года, запустила вычислительный кластер для решения ресурсоемких задач, связанных с ИИ. В основу платформы положены 10 тыс. ускорителей NVIDIA H100.

Отмечается, что система обеспечивает пиковую производительность в 340 Пфлопс FP64 для технических вычислений и 39,58 Эфлопс INT8 для приложений ИИ. Таким образом, по производительности FP64 кластер превосходит суперкомпьютер Leonardo, который располагается на четвёртой позиции в нынешнем рейтинге Тор500 с показателем 304 Пфлопс.

Фактически кластер Tesla на базе NVIDIA H100 является одной из самых мощных платформ в мире. Он подходит не только для обработки алгоритмов ИИ, но и для НРС-задач. Благодаря данной системе Tesla значительно расширит свои ресурсы для создания полноценного автопилота. А это поможет компании Илона Маска получить конкурентные преимущества перед другими разработчиками умных транспортных средств. На формирование кластера потрачено около $300 млн.

Изображение: Twitter / Sawyer Merritt

Однако на рынке сформировался дефицит ускорителем NVIDIA H100. На этом фоне Tesla создаёт ИИ-суперкомпьютер Dojo, в основу которого лягут специализированные чипы собственной разработки — Tesla D1. К концу следующего года, по словам Илона Маска, производительность ИИ-систем Tesla может быть доведена до 100 Эфлопс. Стоимость проекта оценивается в $1 млрд. На обучение ИИ-моделей Tesla намерена потратить более $2 млрд в текущем году и примерно такую же сумму в 2024-м.

Как сообщает Silicon Angle, учёные Гарвардского университета развёрнули в Google Cloud Platform облачный суперкомпьютер для эффективного изучения способов лечения заболеваний сердца. Ожидается, что такой метод использования облачных ресурсов поможет и другим учёным, имеющим затруднения с доступом к мощным HPC-системам.

По словам учёных, исследование предполагало моделирование новой методики лечения, в теории позволяющей растворять тромбы и устранять опухолевые клетки в кровеносной системе. Для этого требовались большие вычислительные ресурсы, обычно доступные только пользователям суперкомпьютеров. Команде выделили машинное время для проведения лишь одной симуляции на суперкомпьютере, поэтому им пришлось искать выход из положения. В итоге учёные обратились к Citadel Securities, которая помогла развернуть виртуальный суперкомпьютер в облаке Google.

Источник изображения: franganillo/pixabay.com

Платформы вроде Google Cloud по умолчанию не очень хорошо подходят для выполнения научных задач, поскольку для этого требуется ряд изменений в инфраструктуре, которые уже делаются. А пока Гарвард совместно с Citadel Securities и Швейцарской высшей технической школой Цюриха объединили тысячи инстансов в Google Cloud для создания виртуального суперкомпьютера. Они провели тонкую настройку ПО для объединения распределённых ресурсов и добились порядка 80 % производительности реального суперкомпьютера.

Впрочем, некоторые эксперты сомневаются, что такой метод доступа к HPC-ресурсам составит конкуренцию настоящим суперкомпьютерам, поскольку загрузка облачных платформ и без того высока, особенно в эпоху освоения генеративного ИИ. Отметим, что масштабные облачные HPC-системы сами по себе далеко не новы. Один из первых экспериментов был сделан ещё в 2019 году, тогда удалось объединить 50 тыс. ускорителей. А пару лет назад облачный суперкомпьютер Descartes Labs попал в TOP500.

Поскольку термоядерный синтез стал одной из самых популярных технологических тем, соответствующим проектам выделяется немало ресурсов. Как сообщает The Register, Министерство энергетики Соединённых Штатов (DoE) намерено вложить более $100 млн в суперкомпьютерные проекты, которые призваны ускорить развитие термоядерной энергетики.

Всего будет потрачено $112 млн на 12 проектов. Программа Scientific Discovery through Advanced Computing (SciDAC) объединила уже существующие проекты Fusion Energy Sciences (FES) и Advanced Scientific Computing Research (ASCR). Такая комбинация, возможно, позволит осуществить новый прорыв в сфере «чистой» энергетики, задействовав ресурсы суперкомпьютеров, в том числе систем экзафлопсного класса.

В декабре 2022 года DoE уже выделило $33 млн исследователям, желающим применить машинное обучение и ИИ для анализа экспериментов с термоядерным синтезом. Основной акцент в этом случае делался на развитии пилотных технологий синтеза с помощью вычислительных систем. Средства были выделены после успехов Ливерморской национальной лаборатории (LLNL), которой удалось запустить реакцию термоядерного синтеза с положительным КПД (правда, без учёта затрат на питание лазеров для старта реакции).

Источник изображения: ChadoNihi/unsplash.com

С помощью суперкомпьютеров в рамках новой программы SciDAC предполагается моделирование изменения состояний плазмы в экстремальных условиях, изучение турбулентности в реакторах, использование ИИ для прогнозирования и устранения проблем потери энергии, моделирование стеллараторов и разработка пилотных термоядерных электростанций в целом.

Министерство экономики, торговли и промышленности Японии (METI), по сообщению ресурса Datacenter Dynamics, реализует проект по созданию нового суперкомпьютера, предназначенного для генеративного ИИ. Его ресурсы будут доступны через облачную платформу местным компаниям, которые ведут разработки в соответствующей сфере.

Вычислительный комплекс расположится в новом исследовательском центре Японского национального института передовых технических наук и технологии (AIST). На создание этой площадки METI предоставит финансирование в размере $226 млн. Центр будет специализироваться на суперкомпьютерных и квантовых технологиях.

Источник изображения: AIST

Подробности о проекте не раскрываются. По имеющейся информации, строящийся вычислительный комплекс получит более 2 тыс. ускорителей NVIDIA. В создании системы принимают участие специалисты Sakura Internet. Ввод суперкомпьютера в эксплуатацию запланирован на 2024 год.

Нынешний суперкомпьютер AIST под названием AI Bridging Cloud Infrastructure (ABCI) используется примерно 3000 компаний и организаций. В текущем рейтинге Тор500 он занимает 24-е место с производительностью приблизительно 22 Пфлопс. Но этой системе не хватает ресурсов для работы с генеративным ИИ. Будущий вычислительный комплекс обеспечит примерно в 2,5 раза более высокое быстродействие.

Индийские метеорологи ожидают важное пополнение IT-парка. По данным DataCenter Dynamics, чтобы они моли делать более точные метеорологические прогнозы и моделировать погодные и климатические процессы, было решено установить два новых суперкомпьютера производительностью 10 и 18 Пфлопс соответственно. Уже имеющиеся кластеры Pratyush (4 Пфлопс) и Mihir (2,8 Пфлопс) продолжат свою работу совместно с новыми машинам в рамках миссии Monsoon Phase 3.

Ожидаемая дата ввода первого будущего суперкомпьютера в эксплуатацию пока не называется, как и его достоверные спецификации. Вторая же машина, судя по всему, одна из двух, на которые Индия недавно оформила заказ — общая мощность систем составит около 18 Пфлопс, хотя данные в разных источниках не вполне совпадают.

Источник изображения: cookieone/pixabay.com

По данным местных чиновников, решение о покупке новых суперкомпьютеров вызвано «чрезвычайно неустойчивыми» климатическими условиями. Новые аппаратные мощности позволят увеличить разрешающую способность при картографировании климатических изменений с 12×12 км до 6×6 км. Одна из машин будет использоваться для краткосрочных прогнозов, вторая — для более долгосрочного моделирования.

Техасский центр передовых вычислений (TACC) при Техасском университете в Остине (США) анонсировал НРС-комплекс Stampede3, на создание которого Национальный научный фонд (NSF) выделил $10 млн. Новый суперкомпьютер станет последователем систем Stampede (2012 год) и Stampede2 (2017 год).

В состав Stampede3 войдут 560 узлов на базе двух 56-ядерных процессоров Intel Xeon Max с 64 Гбайт встроенной памяти HBM2e. Это в сумме даст почти 63 тыс. вычислительных ядер общего назначения, а пиковая производительность составит около 4 Пфлопс (FP64). Кроме того, Stampede3 будет включать в себя 10 серверов Dell PowerEdge XE9640, содержащих 40 ускорителей Intel Max (Ponte Vecchio).

Примечательно, что новые CPU-узлы не будут оснащаться DDR5. Если памяти на ядро для некоторых задач будет не хватать, то их перенесут на другие узлы — в составе Stampede3 будут повторно задействованы 224 узла Stampede2 с двумя 40-ядерными процессорами Intel Xeon Ice Lake-SP и 256 Гбайт RAM. Более того, к ним присоединятся 1064 узла системы Stampede2, каждый из которых содержит два чипа Intel Xeon Skylake-SP с 24 ядрами и 192 Гбайт памяти.

Источник изображения: TACC

Фактически TACC теперь полностью избавилась от Xeon Phi и сохранила часть узлов от старых систем в новой машине, а некоторые пустила на создание склада запчастей. В общей сложности Stampede3 объединит 1858 вычислительных узлов, содержащих более 140 000 процессорных ядер и свыше 330 Тбайт памяти. Пиковая производительность составит почти 10 Пфлопс.

Ещё одна интересная особенность суперкомпьютера — использование новейшего 400-Гбит/с интерконнекта Omni-Path. Точнее, часть старых систем останется с 100G Omni-Path, хотя коммутаторы будут обновлены. То есть Cornelis Networks сдержала обещание, пропустив поколение OPA-200 и сразу перейдя к созданию OPA-400. Кроме того, суперкомпьютер получит полностью новое All-Flash (QLC) хранилище VAST вместимостью 13 Пбайт и скоростью доступа 450 Гбайт/с, тоже на базе серверов Dell. СХД придёт на замену Lustre-хранилищу.

Узлы Stampede3 будут поставлены осенью нынешнего года, а на полную мощность суперкомпьютер заработает в начале 2024-го. Комплекс станет частью вычислительной экосистемы ACCESS Национального научного фонда.

Министерство обороны США (DoD) объявило о планах по развёртыванию новой суперкомпьютерной системы в рамках Программы модернизации высокопроизводительных вычислений (HPCMP). Комплекс получил название Blueback — в честь американской подводной лодки USS Blueback (SS-581).

Сообщается, что Blueback расположится в Центре суперкомпьютерных ресурсов в составе DoD (Navy DSRC), который находится в ведении Командования морской метеорологии и океанографии (CNMOC). Суперкомпьютер заменит три старых вычислительных комплекса в экосистеме HPCMP.

Основой Blueback послужит платформа HPE Cray EX4000. Архитектура включает процессоры AMD EPYC Genoa, 128 гибридных ускорителей AMD Instinct MI300A (APU) и 24 ускорителя NVIDIA L40, связанных между собой 200G-интерконнектом Cray Slingshot-11. В состав комплекса войдёт Lustre-хранилище Cray ClusterStor E1000 вместимостью 20 Пбайт, включая 2 Пбайт пространства на базе SSD NVMe. Объём системной памяти — 538 Тбайт. Общее количество вычислительных ядер будет достигать 256 512.

Источник изображения: Jonathan Holloway / DoD

Ожидается, что суперкомпьютер Blueback будет введён в эксплуатацию в 2024 году. Кстати, совсем недавно центр Navy DSRC получил НРС-систему Nautilus производительностью 8,2 Пфлопс. Она содержит 176 128 ядер и 382 Тбайт памяти.

Компания Tesla, по сообщению The Register, до конца 2024 года потратит более $1 млрд на создание мощного вычислительного комплекса Dojo, который поможет в разработке инновационных технологий для роботизированных автомобилей. В основу Dojo лягут специализированные чипы собственной разработки — Tesla D1. 25 таких ускорителей в виде массива 5 × 5 объединяются в рамках одного узла, который в Tesla называют «системой на пластине» (System On Wafer).

Как отмечает The Verge, компания Tesla намерена совместить в одном шасси шесть таких «систем на пластине», тогда как одна стойка будет включать два шасси. В такой конфигурации производительность на стойку превысит 100 Пфлопс (BF16/CFP8). Таким образом, система из десяти шкафов позволит преодолеть экзафлопсный барьер. Более того, уже к концу следующего года, по словам главы Tesla Илона Маска, производительность может быть доведена до 100 Эфлопс.

Источник изображения: Tesla

В своём отчете за II квартал 2023 года Tesla обозначила «четыре основных технологических столпа», необходимых для решения проблемы автономности транспортных средств: это чрезвычайно большой набор реальных данных, обучение нейронных сетей, аппаратные компоненты и ПО. «Мы разрабатываем каждый из этих столпов собственными силами. В этом месяце мы делаем ещё один шаг к более быстрому и дешёвому обучению нейронной сети с началом производства нашего суперкомпьютера Dojo», — говорится в заявлении компании.

Компания Cerebras Systems анонсировала суперкомпьютер Condor Galaxy 1 (CG-1), предназначенный для решения ресурсоёмких задач с применением ИИ. Это одна из первых действительно крупных машин на базе уникальных чипов Cerebras. В проекте стоимостью $100 млн приняла участие холдинговая группа G42 из ОАЭ, которая занимается технологиями ИИ и облачными вычислениями. G42 является основным заказчиком комплекса.

В текущем виде комплекс CG-1, расположенный в Санта-Кларе (Калифорния, США), объединяет 32 системы Cerebras CS-2 и обеспечивает производительность на уровне 2 Эфлопс (FP16). В IV квартале ткущего года будут добавлены ещё 32 системы Cerebras CS-2, что позволит довести быстродействие до 4 Эфлопс (FP16). Ожидаемый уровень энергопотребления составит порядка 1,5 МВт или более.

Источник изображений: Cerebras (via ServeTheHome)

В системах Cerebras CS-2 применяются гигантские чипы Wafer-Scale Engine 2 (WSE-2), насчитывающие 2,6 трлн транзисторов. Такие чипы имеют 850 тыс. тензорных ядер и несут на борту 40 Гбайт памяти SRAM. Системы выполнены в формате 15 RU и укомплектованы шестью блоками питания мощностью 4 кВт каждый. Задействована технология жидкостного охлаждения. Отдельно отмечается, что программный стек позволит без проблем и существенных модификаций кода работать с ИИ-моделями.

После ввода в строй второй очереди комплекс CG-1 суммарно получит 54,4 млн ИИ-ядер, 2,56 Тбайт SRAM и внутренний интерконнект со скоростью 388 Тбит/с. Их дополнят 72 704 ядра AMD EPYC Milan и 82 Тбайт памяти для хранения параметров. По словам создателей, мощностей суперкомпьютера хватит для обучения модели с 600 млрд параметров и на очередях длиной до 50 тыс. токенов. При этом производительность масштабируется практически линейно.

Cerebras и G42 будут предоставлять доступ к CG-1 по облачной схеме, что позволит заказчикам использовать ресурсы ИИ-суперкомпьютера без необходимости управлять моделями или распределять их по узлам и ускорителям. CG-1 — первый из трёх ИИ-суперкомпьютеров нового поколения. В I полугодии 2024 года будут построены комплексы CG-2 и CG-3, полностью аналогичные CG-1, которые будут объединены в распределённый ИИ-кластер. А к концу следующего года у Cerebras будет уже девять систем CG.

Для Cerebras это означает, что компания более не является стартапом, поскольку в её решения заказчики поверили и без участия в индустриальных тестах вроде MLPerf. Кроме того, теперь компания является не просто очередным производителем «железа», а предоставляет услуги, которые и помогут ей заработать в будущем.