РСК заслуженно занимает ведущее место в индустрии российских разработчиков систем высокопроизводительных вычислений (HPC). А без таких вычислений современные научные исследования зачастую немыслимы. Уникальный микроЦОД, разработанный и установленный силами RSC в Физико-техническом институте имени А.Ф. Иоффе, помогает российским учёным в астрофизике и исследованиях термоядерного синтеза.

Новая система РСК МикроЦОД была смонтирована в Физико-техническом институте имени А.Ф. Иоффе ещё в сентябре прошлого года, а вскоре после этого вошла в рейтинг Top50 наиболее производительных HPC-систем России и стран СНГ с показателем производительности 66,12 Тфлопс.

РСК МикроЦОД представляет собой полностью законченный и готовый к работе сверхкомпактный кластер, который можно разместить практически в любом помещении. Физически он представляет собой шкаф с вычислительными узлами «РСК Торнадо», объединёнными общей СЖО с поддержкой охлажденгия «горячей водой», то есть с температурой входящего теплоносителя +65 °C. При этом конструктив шкафа выполнен таким образом, что замена вычислительных узлов, модулей СЖО или блоков питания не требует остановки системы и может выполняться «на горячую».

РСК МикроЦОД

Такой шкаф высотой 42U может содержать до 153 узлов, а общий показатель энергоэффективности PUE — достигаться значения менее 1,06. За управление и мониторинг в РСК микроЦОД отвечает фирменная модульная программная платформа «БазИС» с открытым исходным кодом. В духе времени большинство компонентов в новой системе реализовано как программно определяемые, что также упрощает развёртывание, обслуживание и модернизацию данной HPC-платформы.

Система также может масштабироваться до 51 «большого» узла, а вариант, установленный в ФТИ, содержит 20 узлов с двумя Intel Xeon Gold 6248R (24C/48T, 3,0-4,0 GHz, 35,75 Мбайт кеша, 205 Ватт TDP) и 384 Гбайт RAM. Для хранения данных используются SSD Intel, межузловая связь построена на базе технологии Intel Omni-Path. МикроЦОД легко поддаётся модернизации и может быть усилен новейшими Xeon Scalable третьего поколения, а также накопителями Optane 200.

В ФТИ имени А.Ф. Иоффе этот суперкомпьютер участвует в ряде ключевых физических и астрофизических исследований, проводимых в России сегодня. К примеру, он задействован в задаче по созданию управляемой среды для термоядерного синтеза, и этот вклад трудно переоценить — ведь за термоядерным синтезом будущее энергетики. Традиционно ещё со времён СССР ставка делается на токамаки, для запуска термоядерной реакции в плазме применяется её нагрев с помощью высокочастотного излучения.

Плазма — объект крайне сложный и капризный в поведении, но новый суперкомпьютер позволил лаборатории физики высокотемпературной плазмы ФТИ создать полную трёхмерную модель поведения ВЧ в плазме токамака. Такая модель уже рассчитана для малого токамака ФТ-2, а также для куда более крупного Т-15МД, установленного в Курчатовском институте в Москве.

Применяется новая система и в фундаментальных астрофизических исследованиях. Уже представлены уникальные результаты МГД-моделирования структуры магнитных полей в пульсарных туманностях Vela и PSR B1929+10. Также проведено кинетическое моделирование спектров электронов и позитронов, испускаемых быстродвижущимися пульсарами в подобного класса туманностях. Составлены модельные карты излучения для пульсаров Vela и PSR J0437-4715 Это позволит учёным лучше понять устройство Вселенной, частью которой все мы являемся.

Компания NVIDIA в рамках конференции GPU Technology Conference 2021 анонсировала ускорители A10 и A30, предназначенные для обработки приложений искусственного интеллекта и других задач корпоративного класса.

Модель NVIDIA A10 использует 72 ядра RT и может оперировать 24 Гбайт памяти GDDR6 с пропускной способностью до 600 Гбайт/с. Максимальное значение TDP составляет 150 Вт. Новинка выполнена в виде полноразмерной карты расширения с интерфейсом PCIe 4.0: в корпусе сервера устройство займёт один слот расширения. Производительность в вычислениях одинарной точности (FP32) заявлена на уровне 31,2 терафлопса. Новинку можно рассматривать как замену NVIDIA T4.

Модель NVIDIA A30, в свою очередь, получила исполнение в виде двухслотовой карты расширения с интерфейсом PCIe 4.0. Задействованы 24 Гбайт памяти HBM2 с пропускной способностью до 933 Гбайт/с. Показатель TDP равен 165 Вт. Обе новинки используют архитектуру Ampere с тензорными ядрами третьего поколения.

Решения подходят для применения в серверах массового сегмента, рабочих станциях, а также в составе платформы NVIDIA EGX и для периферийных вычислений.

Компания NVIDIA представила сегодня акселератор корпоративного класса A16: анонс новинки состоялся в рамках мероприятия GPU Technology Conference 2021. Ускоритель поможет в организации дистанционной работы, что актуально в текущей эпидемиологической обстановке. В такой ситуации востребованы платформы виртуальных рабочих столов (VDI).

В инфраструктуре VDI среды виртуальных рабочих мест размещаются на централизованном сервере и развёртываются по запросу. Для поддержания работы таких систем как раз и предназначен ускоритель NVIDIA A16. Решение объединяет четыре графических процессора с архитектурой Ampere. Также имеются аппаратные (де-)кодеры NVENC (x4) и NVDEC (x8).

Используется 64 Гбайт памяти GDDR6 — по 16 Гбайт на процессор.Устройство позволяет формировать виртуальные GPU (vGPU) с памятью объёмом 1, 2, 4, 8 или 16 Гбайт. Имеется поддержка технологий NVIDIA Virtual PC (vPC), Virtual Applications (vApps), RTX Workstation (vWS), Virtual Compute Server (vCS).

Ускоритель выполнен в виде карты расширения с интерфейсом PCIe 4.0. В компьютерном корпусе новинка займёт два слота. Для дополнительного питания служит 8-контактный разъём; заявленный показатель TDP — 250 Вт. Поставки акселератора NVIDIA A16 начнутся в текущем году. Более точные сроки начала продаж и стоимость разработчик раскроет позднее.

В рамках GTC’21 NVIDIA анонсировала Arm-процессоры Grace серверного класса, которые станут компаньонами будущих ускорителей компании. Это не означает полный отказ от x86-64, но это позволит компании предложить клиентам более глубоко оптимизированные, а, значит, и более быстрые решения. NVIDIA говорит, что новый CPU позволит на порядок повысить производительность систем на его основе в ИИ и HPC-задачах в сравнении с современными решениями.

Процессор назван в честь Грейс Хоппер (Grace Hopper), одного из пионеров информатики и создательницы целого ряда основополагающих концепций и инструментов программирования. И это имя нам уже встречалось в контексте NVIDIA — в конце 2019 года компания зарегистрировала торговую марку Hopper для MCM-решений.

Компания не готова раскрыть полные технически характеристики новинки, которая станет доступна в начале 2023 года, но приводит некоторые интересные детали. В частности, процессор будет использовать Arm-ядра Neoverse следующего поколения (надо полагать, уже на базе ARMv9),  которые позволят получить в SPECrate2017_int_base результат выше 300. Для сравнения — система с парой современных AMD EPYC 7763 в том же бенчмарке показывает результат на уровне 800.

Вторая особенность Grace — использование памяти LPDRR5X (с ECC, естественно). В сравнении с DDR4 она будет иметь вдвое большую пропускную способность (ПСП) и в 10 раз меньшее энергопотребление. Число и скорость каналов памяти не уточняются, но говорится о суммарной ПСП в более чем 500 Гбайт/с на процессор. А у того же EPYC 7763 теоретический пик ПСП чуть больше 200 Гбайт/с. Очевидно, что другие процессоры к моменту выхода NVIDIA Grace тоже увеличат и производительность, и пропускную способность памяти. Гораздо более интересный вопрос, сколько линий PCIe 5.0 они смогут предложить. Если допустить, что у них будет 128 линий, то общая скорость для них составит чуть больше 500 Гбайт/с.

И NVIDIA этого мало — процессоры Grace получат прямое, кеш-когерентное подключение к GPU по NVLInk 4.0 (14x) с суммарной пропускной способностью боле 900 Гбайт/с. GPU тоже, как и прежде, будут общаться напрямую друг с другом по NVLink. Скорость связи между двумя CPU превысит 600 Гбайт/с, а в сборке из четырёх модулей CPU+GPU суммарная скорость обмена данными между системной памятью процессоров и GPU в такой mesh-сети составит 2 Тбайт/с. Но самое интересное тут то, что у памяти CPU (LPDDR5X) и GPU (HBM2e) в такой системе будет единое адресное пространство. Собственно говоря, таким образом компания решает давно назревшую проблему дисбаланса между скоростью обмена данными и доступным объёмом памяти в различных частях вычислительного комплекса.

Для сравнения можно посмотреть на архитектуру нынешних DGX A100 или HGX. У каждого ускорителя A100 есть 40 или 80 Гбайт набортной памяти HBM2e (1555 или 2039 Гбайт/с соответственно) и NVLInk-подключение на 600 Гбайт/c, которое идёт к коммутатору NVSwitch, имеющего суммарную пропускную способность 1,8 Тбайт/с. Всего таких коммутаторов шесть, а объединяют они восемь ускорителей. Внутри этой NVLInk-фабрики сохраняется достаточно высокая скорость обмена данными, но как только мы выходим за её пределы, ситуация меняется.

Схема NVIDIA DGX A100. Источник: Microway

Каждый ускоритель A100 имеет второй интерфейс — PCIe 4.0 x16 (64 Гбайт/с), который уходит к PCIe-коммутатору, каковых в DGX A100 имеется четыре. Коммутаторы, в свою очередь, объединяют между собой сетевые 200GbE-адаптеры (суммарно в дуплексе до 1,6 Тбайт/с для связи с другими DGX A100), NVMe-накопители и CPU. У каждого CPU может быть довольно много памяти (от 512 Гбайт), но её скорость ограничена упомянутыми выше 200 Гбайт/c.

Узким местом во всей этой схеме является как раз PCIe, поэтому переход исключительно на NVLInk позволит NVIDIA получить большой объём памяти при сохранении приемлемой ПСП, не тратясь лишний раз на дорогую локальную HBM2e у каждого GPU. Впрочем, если компания не переведёт на NVLink и собственные будущие DPU Bluefield-3 (400GbE), которые будут скармливать связке CPU+GPU по, например, GPUDirect Storage данные из внешних NVMe-oF хранилищ и объединять узлы DGX POD, то PCIe 5.0 в составе Grace стоит ждать. Это опять-таки упростит и повысит эффективность масштабирования.

В целом, всё это необходимо из-за быстрого роста объёма ИИ-моделей — в GPT-3 уже 175 млрд параметров, а в течение пары лет можно ожидать модели уже с 0,5-1 трлн параметров. Им потребуются не только новые решения для обучения, но и для инференса. То же касается и физических расчётов — модели становятся всё больше и требовательнее + ИИ здесь тоже активно внедряется. Параллельно с разработкой Grace NVIDIA развивает программную экосистему вокруг Arm и своих решений, готовя почву для будущих систем на их основе.

Одной из такой систем станет суперкомпьютер Alps в Швейцарском национальном компьютерном центре (Swiss National Computing Centre, CSCS), который придёт на смену Piz Daint (12 место в нынешнем рейтинге TOP500). Этот суперкомпьютер серии HPE Cray EX, в частности, сможет в семь раз быстрее обучить модель GPT-3, чем машина NVIDIA Selene (5 место в TOP500). Впрочем, на нём будут выполняться и классические HPC-задачи в области метеорологии, физики, химии, биологии, экономики и так далее. Ввод в эксплуатацию намечен на 2023 год. Тогда же в США появится аналогичная машина от HPE в Лос-Аламосской национальной лаборатории (LANL). Она дополнит систему Crossroads, использующую исключительно процессоры Intel Xeon Sapphire Rapids.

Компания Fujitsu представила серверы нового поколения Primergy M6 на аппаратной платформе Intel: в семейство вошли шесть моделей, рассчитанных на монтаж в стойку. Все устройства используют процессоры Intel Xeon Ice Lake-SP.

Названные чипы относятся к решениям Xeon Scalable третьего поколения. Такие изделия содержат до 40 вычислительных ядер. Платформа обеспечивает поддержку оперативной памяти DDR4-3200 и интерфейса PCI Express 4.0 (до 64 линий на разъём).

В серию Primergy M6 вошли серверы RX2530 M6 и RX2540 M6: они подойдут для виртуализации центров обработки данных, организации совместной работы, традиционных нагрузок и баз данных. Системы CX400 M6, CX2550 M6 и CX2560 M6 представляют собой многоузловые серверы с высокой плотностью компоновки для высокопроизводительных вычислений (HPC).

Наконец, анонсировано устройство GX2570 M6: оно предназначено для нагрузок, связанных с обработкой и анализом данных, глубинным обучением, развёртыванием виртуальных рабочих столов и ресурсоёмкой обработкой графики. Эта система допускает установку до восьми графических ускорителей.

«В новых моделях Primergy представлен ряд инноваций, который включает поддержку нового форм-фактора EDSFF для SSD накопителей, а также удвоенную производительность ввода-вывода. Благодаря этим улучшениям серверы Primergy M6 способны создавать гибкую и динамичную платформу для программно-определяемых, гиперконвергентных, контейнерных и гибридных архитектур», — отмечает Fujitsu.

Ресурс ServeTheHome подтвердил, что компания Lenovo использует AMD Platform Secure Boot (PSB) для привязки процессоров AMD к своему оборудованию. Это означает, что если процессор был единожды запущен в составе платформы с необходимыми настройками PSB, то его нельзя будет использовать в системах других производителей. «Отвязать» такой CPU практически невозможно.

В частности, эта функция эффективно блокирует возможность использования ЦП на другой материнской плате или, по крайней мере, на материнской плате, не принадлежащей оригинальному производителю. AMD PSB использует встроенную в процессоры SoC AMD Secure Processor для аппаратного Root-of-Trust и управления другими функциями безопасности. По умолчанию PSB не включена, но каждый OEM-производитель волен использовать её по своему усмотрению.

Процессоры также по умолчанию разблокированы и могут быть использованы в любой платформе. Если таковой окажется система с активированной PSB, то в CPU будет намертво «зашита» информация о ключе, которым подписываются прошивки, BIOS/UEFI OEM-вендора. Это позволяет создать надёжную цепочку доверенной загрузки, начиная от «железа» и заканчивая ОС, что не только защищает от вмешательства в систему, но и предотвращает, к примеру, возможность кражи процессоров.

Однако в случае обновления системы путём установки другого CPU, старый фактически превращается в электронные отходы, если только он не попадает в руки того, у кого уже есть совместимая система. Если же материнская плата выйдет из строя, то владельцу придётся покупать новую плату у того же производителя. Причём это касается не только серверов — AMD PSB позволяет «привязывать» не только EPYC, но и AMD Ryzen Pro (Renoir и Cezanne) и Threadripper Pro.

Dell первой стала использовать PSB для привязки процессоров к своему оборудованию ещё во времена AMD EPYC 7001. Lenovo последовала её примеру и тоже стала использовать PSB в готовых системах. В свою очередь, HPE заявила, что не использует привязку CPU. Другие крупные вендоры, как правило, по умолчанию также не активируют привязку процессоров, но по желанию заказчика могут её включить.

Китайский гигант Alibaba, работающий в сфере интернет-коммерции, намерен развернуть новый центр обработки данных (ЦОД) с передовой системой иммерсионного (погружного) жидкостного охлаждения (СЖО). Как сообщает ресурс DigiTimes, площадка расположится в Ханчжоу (столица провинции Чжэцзян, КНР).

По оценкам Alibaba, применение иммерсионной СЖО позволит сократить энергозатраты дата-центра до 70 % по сравнению с традиционным воздушным охлаждением. При этом также существенно экономятся площади для размещения серверного оборудования. Партнёром Alibaba в рамках проекта по развёртыванию нового ЦОДа выступает контрактный производитель Hon Hai Precision Industry Co. (Foxconn). Поставками необходимых шасси и трубопроводов займётся Kaori Heat Treatment.

Фотографии Reuters

Отмечается, что в течение пяти лет Alibaba планирует развернуть 15 дата-центров, каждый из которых будет оснащён 200 модулями иммерсионного охлаждения. Однако из-за пандемии реализация данного проекта замедлилась. Так, в 2020-м компания смогла установить только 40 модулей СЖО.

Впрочем, в нынешнем году ожидается улучшение ситуации: к ноябрю Alibaba намерена ввести в строй ещё 160 иммерсионных модулей, завершив создание своего первого центра обработки данных с охлаждением соответствующего типа. Между тем, добавляет DigiTimes, сейчас наблюдается ухудшение ситуации с поставками серверных комплектующих, включая интегральные схемы, пассивные компоненты, шасси и кабели.

Компания Penguin Computing, являющаяся подразделением SMART Global Holdings, взяла на вооружение новейшую серверную платформу Intel — процессоры Xeon Scalable третьего поколения, относящиеся к семейству Xeon Ice Lake-SP. В семейство Penguin Relion сейчас входит в общей сложности пятнадцать систем. Это серверы типоразмера 1U, 2U и 4U, предназначенные для монтажа в стойку.

Некоторые модели предназначены для высокопроизводительных вычислений на базе GPU. К примеру, в сервер Relion XE4118GT можно установить до десяти акселераторов или специализированных карт расширения. Доступны также решения с поддержкой большого количества накопителей. Так, сервер Relion XE4112 допускает установку 36 устройств хранения данных типоразмера 3,5 дюйма с возможностью «горячей» замены.

Для большинства новых моделей доступна поддержка до 3 Тбайт DDR4 или до 6 Тбайт памяти DRAM+Optane PMem, что весьма полезно для анонсированной в прошлом году платформы Penguin LiveData на базе MemVerge Memory Machine. Она позволяет развернуть решения класса Big Memory с возможностью ускорения вычислений благодаря GPU.

Министерство торговли Соединённых Штатов ввело новые санкции в отношении китайских компаний и организаций: в чёрный список попали сразу семь структур, чья деятельность связана с высокопроизводительными вычислениями и суперкомпьютерными платформами. Это означает, что американским компания придётся получать особое разрешение для работы с ними.

В заявлении американских властей говорится, что в список включены компании и организации из КНР, которые «занимались созданием суперкомпьютеров, используемых китайскими военными, а также способствовали разработке оружия массового поражения и поддерживали дестабилизирующие программы Китая по модернизации вооружённых сил».

В чёрный список попали:

• Компания Tianjin Phytium Information Technology;
• Компания Sunway Microelectronics;
• Шанхайский центр проектирования высокопроизводительных интегральных микросхем (Shanghai High-Performance Integrated Circuit Design Center);
• Национальный суперкомпьютерный центр Цзинаня (National Supercomputing Center Jinan);
• Национальный суперкомпьютерный центр Чжэнчжоу (National Supercomputing Center Zhengzhou);
• Национальный суперкомпьютерный центр Шэньчжэня (National Supercomputing Center Shenzhen);
• Национальный суперкомпьютерный центр Уси (National Supercomputing Center Wuxi).

Нужно отметить, что в центре в Уси (на фотографии выше) располагается вычислительный комплекс Sunway TaihuLight, который в своё время возглавлял рейтинг мощнейших систем мира Top500. А сама компания Sunway, попавшая под санкции, сейчас занимается разработкой суперкомпьютера экзафлопсного класса на основе китайских технологий.

В 2019 году аналогичные санкции коснулись компаний Sugon, Higon, Chengdu Haiguang Integrated Circuit, Chengdu Haiguang Microelectronics Technology, также Института компьютерных технологий Уси Цзяннань (Wuxi Jiangnan Institute of Computing Technology). Это, в частности, повлияло на создание суперкомпьютера Sugon на базе «клонов» AMD EPYC. В 2015 году в чёрный список попали национальные суперкомпьютерные центры в Чанше, Гуанчжоу и Тяньцзине, а также Оборонный научно-технический университет Народно-освободительной армии Китая.

Компания Inspur Information анонсировала семейство серверов M6, в которое вошли 16 моделей разного класса, предназначенных для применения в центрах обработки данных и в составе облачных платформ. Системы подходят для решения задач, связанных с большими данными и искусственным интеллектом.

Новинки могут работать с процессорами Intel Xeon Scalable третьего поколения, которые были официально представлены на этой неделе. Чипы, также известные как Xeon Ice Lake-SP, объединяют до 40 вычислительных ядер. Реализована поддержка оперативной памяти DDR4-3200 и интерфейса PCI Express 4.0 (до 64 линий на разъём).

Серверы Inspur M6 рассчитаны на монтаж в стойку. В зависимости от модели используется форм-фактор 1U, 2U или 4U. Некоторые устройства (например, NF8260M6) дают возможность сформировать систему хранения данных класса All-Flash на основе твердотельных накопителей NVMe.

В семейство также входит сервер NF5468M6: он допускает установку до 20 ускорителей с интерфейсом PCIe для организации высокопроизводительных вычислений.

Кроме того, в серию вошли серверы i24M6 и i48M6 с высокой плотностью компоновки: конструкция первого предполагает использование четырёх узлов, второго — восьми. Более подробную информацию о представленных системах можно найти на этой странице.