Ресурс insideHPC обнародовал подробности об архитектуре подсистемы хранения данных суперкомпьютера Frontier, установленного в Окриджской национальной лаборатории (ORNL) Министерства энергетики США. Этот комплекс возглавляет нынешний рейтинг TOP500, демонстрируя производительность в 1,102 Эфлопс и пиковое быстродействие в 1,685 Эфлопс.

Сообщается, что система хранения Frontier носит название Orion. Она состоит из 50 шкафов с накопителями суммарной вместимостью приблизительно 700 Пбайт. Эти устройства хранения распределены по трёхуровневой схеме, включащей SSD, HDD и другие энергонезависимые решения, на базе которых развёрнуты ФС Lustre и ZFS. Данные возрастом более 90 дней автоматически перемещаются в архив.

Источник изображения: ORNL

Один из уровней, производительный, объединяет 5 400 NVMe SSD, обеспечивающих ёмкость 11,5 Пбайт. Пиковые скорости чтения и записи информации достигают 10 Тбайт/с. Показатель IOPS (количество операций ввода/вывода в секунду) при произвольном чтении и записи превышает 2 млн. Второй уровень содержит 47 700 жёстких дисков (PMR). Их общая вместимость равна 679 Пбайт. Максимальная скорость чтения массива — 4,6 Тбайт/с, скорость записи — 5,5 Тбайт/с. В состав третьего уровня включены 480 устройств NVMe суммарной ёмкостью 10 Пбайт для работы с метаданными.

В целом, архитектура соответствует той, что была запланирована изначально. Однако теперь представитель ORNL подтвердил правильность выбранного гибридного подхода к хранению информации, отметив, что одна из выполняемых на суперкомпьютере задач генерирует 80 Пбайт в день и что ему не хотелось бы, чтобы из-за недостаточно быстрого хранилища столь мощная машина простаивала без дела.

Компания Google обнародовала новую информацию о своей облачной суперкомпьютерной платформе Cloud TPU v4, предназначенной для решения задач ИИ и машинного обучения с высокой эффективностью. Система может использоваться в том числе для работы с крупномасштабными языковыми моделями (LLM).

Один кластер Cloud TPU Pod содержит 4096 чипов TPUv4, соединённых между собой через оптические коммутаторы (OCS). По словам Google, решение OCS быстрее, дешевле и потребляют меньше энергии по сравнению с InfiniBand. Google также утверждает, что в составе её платформы на OCS приходится менее 5 % от общей стоимости. Причём данная технология даёт возможность динамически менять топологию для улучшения масштабируемости, доступности, безопасности и производительности.

Отмечается, что платформа Cloud TPU v4 в 1,2–1,7 раза производительнее и расходует в 1,3–1,9 раза меньше энергии, чем платформы на базе NVIDIA A100 в системах аналогичного размера. Правда, пока компания не сравнивала TPU v4 с более новыми ускорителями NVIDIA H100 из-за их ограниченной доступности и 4-нм архитектуры (по сравнению с 7-нм у TPU v4).

Изображение: Google

Благодаря ключевым инновациям в области интерконнекта и специализированных ускорителей (DSA, Domain Specific Accelerator) платформа Google Cloud TPU v4 обеспечивает почти 10-кратный прирост в масштабировании производительности по сравнению с TPU v3. Это также позволяет повысить энергоэффективность примерно в 2–3 раза по сравнению с современными DSA ML и сократить углеродный след примерно в 20 раз по сравнению с обычными дата-центрами.

Научно-исследовательский вычислительный центр Московского государственного университета имени М.В. Ломоносова и Межведомственный суперкомпьютерный центр Российской академии наук опубликовали обновлённую редакцию списка TOP 50 самых мощных компьютеров России.

Лидирующие позиции в рейтинге сохранили установленные в дата-центрах «Яндекса» вычислительные комплексы «Червоненкис» (1 место, пиковая производительность 29,4 Пфлопс; 25 место в TOP500), «Галушкин» (2 позиция, производительность в пределе 20,6 Пфлопс) и «Ляпунов» (3 место, пиковая производительность 20 Пфлопс). На четвёртой строчке списка остался развёрнутый в IT-инфраструктуре «Сбера» суперкомпьютер «Кристофари Нео» с пиковой производительностью 14,9 Пфлопс. В основу всех перечисленных машин положены ускорители NVIDIA A100 и интерконнект InfiniBand HDR.

Источник: TOP 50

На пятой позиции в TOP 50 разместился также принадлежащий «Сберу» вычислительный комплекс «Кристофари» (пиковая производительность 8,8 Пфлопс). Эта система относится к первому поколению суперкомпьютеров компании, построена с использованием ускорителей NVIDIA V100 и интерконнекта InfiniBand EDR.

Источник: TOP 50

В обновлённом рейтинге 41 из 50 систем построены на процессорах Intel. Количество гибридных суперкомпьютеров, использующих для вычислений ускорители, составляет 35, коммуникационную сеть InfiniBand — 33. Восемь машин построены с применением сетевой инфраструктуры Ethernet, а систем с Omni-Path — пять.

Приводятся составителями рейтинга и другие количественные показатели. В частности, сообщается, что 26 систем задействованы в науке и образовании, 7 ориентированы на конкретные прикладные исследования. По числу представленных в списке систем лидирует HPE (11 суперкомпьютеров), далее следуют российские компании РСК (10 систем в рейтинге) и «Т-Платформы» (8 машин; ныне банкрот).

В Центре вычислительных наук Университета Цукубы (University of Tsukuba; префектура Ибараки, Япония), по сообщению HPC Wire, началась эксплуатация HPC-комплекса Pegasus, спроектированного компанией NEC. Это, судя по всему, один из последних суперкомпьютеров, который получит большой объём памяти Optane Pmem, производство которой было остановлено Intel.

Система объединяет 120 узлов NEC LX 102Bk-6 на основе одного процессора Xeon Platinum 8468 поколения Sapphire Rapids (48 ядер; 96 потоков; 2,1–3,8 ГГц; 350 Вт), работающего в тандеме со 128 Гбайт оперативной памяти DDR5-4800, дополненных 2 Тбайт памяти Optane PMem 300 (Crow Pass). Любопытно, что по умолчанию часть Optane-памяти отведена под XFS-том (fsdax), но по желанию пользователи могут выбрать и другой режим работы. Кроме того, в состав каждого из узлов входят один PCIe-ускоритель NVIDIA H100.

Источник изображения: Университет Цукубы

Также каждый узел имеет по два накопителя NVMe SSD на 3,2 Тбайт (7 Гбайт/с), а объединены они 200G-интерконнектом Quantum-2 InfiniBand. Дополняет HPC-комплекс гибридное хранилище на базе DDN ES200NV/ES7990X/SS9012, объединяющее NL-SAS HDD вместимостью 18 Тбайт (7200 об/мин) и 1,92-Тбайт NVMe SSD. Суммарная доступная ёмкость составляет приблизительно 7,1 Пбайт, а скорость обмена данными — порядка 40 Гбайт/с.

Источник изображения: Университет Цукубы

Кроме того, применены три дополнительных узла NEC LX 124Rk-2 с двумя чипами Xeon Platinum 8468, 256 Гбайт памяти DDR5, накопителем NVMe SSD и InfiniBand-подключением. Быстродействие Pegasus теоретически достигает 6,5 Пфлопс для вычислений двойной точности. Использовать мощности нового суперкомпьютера планируется в таких областях, как астрофизика, климатология, биология, здравоохранение, Big Data и ИИ. В Университете Цукубы есть ещё один необычный суперкомпьютер Cygnus, объединяющий ускорители NVIDIA Tesla и Intel FPGA.

Корпорация Fujitsu, по сообщению ресурса HPC Wire, модернизировала суперкомпьютер Gadi, установленный в Национальном университете Австралии в Канберре (NCI). Комплекс получил узлы на новейших процессорах Intel Xeon Sapphire Rapids, что позволило существенно понять общую производительность.

В прежней конфигурации в HPC-системе Gadi уже широко применялись различные чипы Intel. В состав суперкомпьютера, в частности, входят 3074 узла, каждый из которых содержит два 24-ядерных процессора Intel Xeon Cascade Lake и 192 Гбайт памяти.

Также в состав комплекста входят 804 узла с парой 14-ядерных чипов Broadwell, 192 узла с двумя 16-ядерными процессорами Skylake и 160 узлов, каждый из которых наделён четырьмя ускорителями NVIDIA V100 и двумя 24-ядерными процессорами Intel Xeon Cascade Lake-SP. Наконец, есть 10 узлов с двумя 14-ядерными чипами Intel Broadwell и 512 Гбайт памяти и два узла NVIDIA DGX A100.

Изображения: NCI Australia

После модернизации, как сообщается, комплекс получил 720 узлов с парой 52-ядерных процессоров Intel Xeon Sapphire Rapids и 512 Гбайт RAM, объединённых 200G-интерконнектом InfiniBand HDR. О быстродействии обновлённого суперкомпьютера ничего не сообщается, но ранее Gadi обеспечивал пиковую производительность в 15,14 Пфлопс и занимал 62-ю строку в списке Top500.

Отмечается, что появление узлов на базе Sapphire Rapids — это лишь первый этап масштабной программы по расширению вычислительных ресурсов NCI. Планируется добавление новых GPU и улучшение подсистемы электропитания. Общие инвестиции в проект составят около $26 млн.

Компании Mitsui и NVIDIA в ходе весенний конференции GTC 2023 анонсировали проект Tokyo-1. Это, как утверждается, первый в мире суперкомпьютер с генеративным ИИ, спроектированный специально для фармацевтической отрасли. Мощности новой системы будут предоставляться японским заказчикам, включая фармацевтические организации и стартапы. HPC-комплекс поможет ускорить разработку передовых лекарственных препаратов благодаря использованию ИИ. Клиенты также смогут запускать на базе Tokyo-1 большие ИИ-модели с помощью ПО и сервисов NVIDIA BioNeMo.

На начальном этапе суперкомпьютер объединит 16 узлов NVIDIA DGX H100, каждый из которых получит восемь ускорителей NVIDIA H100. За работу системы будет отвечать фирма Xeureka, дочерняя структура Mitsui, специализирующаяся на разработке лекарств с помощью ИИ. С течением времени в состав комплекса будут включены дополнительные вычислительные узлы, что позволит поднять его производительность. Ввод суперкомпьютера в эксплуатацию намечен на конец 2023 года.

Источник изображения: NVIDIA

Модели ИИ, работающие на базе Tokyo-1, помогут в создании новых молекулярных структур для лекарственных препаратов. Инициатива также будет включать семинары и обучающие курсы по применению ускоренных вычислений в фармацевтической области. Клиенты смогут получить доступ к выделенному серверу на платформе Tokyo-1, а также воспользоваться технической поддержкой со стороны Xeureka и NVIDIA. Заказчики смогут приобрести программные решения Xeureka для молекулярной динамики, квантовой химии и иных расчётов.

Отмечается, что, используя NVIDIA BioNeMo, исследователи смогут масштабировать ИИ-модели до миллионов и миллиардов параметров в различных приложениях, включая предсказание структуры белка. Крупные японские фармацевтические компании, включая Astellas Pharma, Daiichi-Sankyo и Ono Pharmaceutical, уже заявили о намерении использовать Tokyo-1 при реализации своих проектов.

Российские исследователи совместно с коллегами из Канады сообщили о разработке метода, который позволяет практически на порядок сократить время выявления частиц COVID-19 в слюне человека по сравнению с широко распространённым тестом ПЦР.

В работах приняли участие специалисты из Федерального исследовательского центра «Красноярский научный центр СО РАН» (ФИЦ КНЦ СО РАН), Красноярского государственного медицинского университета имени профессора В.Ф. Войно-Ясенецкого (КрасГМУ) и Сибирского федерального университета (СФУ).

Учёные смоделировали короткие нуклеотидные последовательности — аптамеры. Они специфично связываются с одним из самых редко мутирующих белков вируса, благодаря чему со 100-% точностью выявляют его уханьский вариант, а также штаммы «Омикрон» и «Дельта». Предложенный подход даёт возможность ускорить выявление коронавируса практически в десять раз, а также удешевить процедуру. Кроме того, медики смогут выявлять заболевание на самых ранних стадиях.

Источник изображения: РСК

«Исследователи с помощью технологии эволюции ДНК в пробирке создали короткие последовательности ДНК и проследили за взаимодействием с N-белком коронавируса, составляющим основу его оболочки. В отличие от S-белка, используемого SARS-CoV-2 для проникновения в человеческие клетки, устройство N-белка почти не меняется, что позволяет использовать его в качестве опознавательного знака всех существующих штаммов коронавируса», — отмечается в публикации.

В ходе выполнения работ исследователи задействовали более 1700 вычислительных узло-часов из ресурсов Межведомственного суперкомпьютерного центра Российской академии наук (МСЦ РАН). Эта HPC-платформа состоит из нескольких энергоэффективных и высокоплотных вычислительных систем на базе серверов с жидкостным охлаждением. Они спроектированы и установлены в МСЦ РАН специалистами группы компаний РСК.

Исследование поддержано грантом Президентской программы Российского научного фонда (РНФ). В ходе работ учёным удалось отобрать 16 аптамеров, способных связываться с оболочкой вируса SARS-CoV-2. Самым удачным (по сочетанию двух признаков — силы связывания и избирательности) из них признан tNSP3: он стал основой для новой высокочувствительной системы тестирования на коронавирусную инфекцию. В ходе тестов tNSP3 позволил определить N-белок в количествах, сопоставимых с чувствительностью ПЦР.

Корпорация Microsoft сообщила о том, что на базе облачной платформы Azure станут доступны высокопроизводительные масштабируемые инстансы ND H100 v5 для нагрузок, связанных со сложными ИИ-моделями, в частности, с генеративными приложениями на основе нейросетей. ND H100 v5 могут использоваться при реализации таких проектов, как чат-бот ChatGPT на базе нейросети. Этот бот использует языковую модель OpenAI GPT-3, насчитывающую 175 млрд параметров.

Фото: Microsoft

Система предусматривает использование ускорителей NVIDIA H100. Восемь таких GPU объединены посредством NVSwitch и NVLink 4.0. Возможно масштабирование до тысяч ускорителей при помощи сети на базе NVIDIA Quantum-2 InfiniBand, которая обеспечивает пропускную способность до 400 Гбит/с в расчёте на GPU (до 3,2 Тбит/с на виртуальную машину). В составе ND H100 v5 применяются процессоры Intel Xeon Sapphire Rapids, обеспечивающие интерфейс PCIe 5.0 и 16 каналов DDR5-4800. Ранее NVIDIA планировала массово разворачивать в облаках специализированные HPC/ИИ-системы на базе H100.

На этой неделе премьер-министр Великобритании Риши Сунак (Rishi Sunak) представил программу, которая позволит стране «укрепить своё место в качестве мировой сверхдержавы в области науки и технологий к 2030 году». Одним из главных проектов программы должно стать создание HPC-системы, способной соперничать по мощности с самым производительным суперкомпьютером в мире Frontier (без учёта китайских OceanLight и Tianhe-3), установленным в США. По словам источников, министерство финансов пока не дало согласия на финансирование проекта.

Согласно данным источников ресурса Bloomberg, в настоящее время канцлер казначейства Великобритании обсуждает предложение Департамента науки, инноваций и технологий, созданного в феврале, вложить £800 млн ($946 млн) в создание суперкомпьютера. Frontier, к примеру, обошёлся США в $600 млн. Как утверждают в департаменте, суперкомпьютер обеспечит финансовый импульс отечественной технологической отрасли, поскольку, как предполагается, вычислительная система будет построена британскими фирмами с использованием чипов и систем, созданных британскими же производителями. То есть участие американской HPE и французской Atos, построивших многие из самых мощных суперкомпьютеров в мире, не предполагается.

ARCHER2 — самый мощный суперкомпьютер Великобритании (Фото: EPCC/The University of Edinburgh)

Ресурс The Register допустил, что ответственность за создание суперкомпьютера возложат на британский стартап Graphcore, который уже работает над ИИ-суперкомпьютером Good Machine. Стоит эта система около $120 млн, а производительность её составляет 10 Эфлопс в вычислениях пониженной точности (не FP64). The Register также допускает участие в проекте Arm, поскольку в Великобритании был запущен в работу первый в мире Arm-суперкомпьютер Isambarad, а японский Fugaku возглавлял TOP500. Ещё одним потенциальным участником проекта называется американская NVIDIA, которая также задействует Arm-ядра в новейших чипах Grace Superchip и Grace Hopper.

Источник: Hyperion Research

Ситуация с мощными машинами усугубляется тем, что Великобритания в связи с Brexit'ом покинула консорциум EuroHPC, в создании которого принимала активное участие. Суперкомпьютеры EuroHPC уже занимают третье (финский LUMI от HPE) и четвёртое (итальянский Leonardo от Atos) место в последнем TOP500. В скором времени EuroHPC будут развёрнуты самый мощный европейский ИИ-суперкомпьютер MareNostrum-5, первый экзафлопсный суперкомпьютер JUPITER и шесть квантовых компьютеров. При этом Евросоюз активно вкладывается в создание собственных CPU и ускорителей, а также СХД.

Южнокорейское Министерство науки и информационных технологий ввело в эксплуатацию новый суперкомпьютер вычислительной мощностью 35 Пфлопс и стоимостью почти $35 млн. Как сообщает DataCenter Dynamics, суперкомпьютер расположен в ЦОД Research Data Center хаба AI Innovation Hub, находящегося на территории кампуса Университета Кореи в Сеуле, и предназначен для решения научных задач.

По данным издания, в спонсируемом государством проекте принимает участие 631 учёный и ислледователь. Одновременно нагружать суперкомпьютер задачами смогут порядка 100 исследователей. В министерстве считают, что новый проект поможет Южной Корее поддерживать на должном уровне вычислительные мощности в быстро меняющемся ИИ-секторе. По словам представителя министерства, власти не пожалеют ресурсов на поддержку исследований в этой сфере.

Источник изображения: Ciaran O'Brien/unsplash.com

В 2021 году Южная Корея объявила о намерении создать собственные чипы, которые впоследствии станут основой отечественных серверов и суперкомпьютеров. Речь в том числе про ИИ-ускорители, развитие которых было, в частности, поручено SK Group (Sapeon), Rebellions, FuriosaAI — все три компании уже анонсировали свои решения, а SK не так давно удвоила производительность своего ИИ-суперкомпьютера Titan.