Не так много времени прошло с тех пор, когда суперкомпьютеры были огромными машинами, занимавшими целый зал, а то и не один. Строились такие монстры годами, ввод в эксплуатацию тоже не всегда был прост и занимал достаточно много времени.

А сегодня система с аналогичными суперкомпьютерам недавнего прошлого возможностями занимает совсем немного места и может быть быстро развёрнута практически где угодно, как утверждает компания ScaleMatrix.

На выставку, сопутствующую конференции SC19, ScaleMatrix привезла компактные модульные платформы с говорящим названием AI Anywhere, способный предложить уровень производительности 8 или 13 петафлопс в весьма скромных габаритах. В основе новой разработки лежат шасси DDC Cabinet Technology серии S с интегрированной гибридной водо-воздушной системой охлаждения.

При габаритах основания всего 61 × 201 сантиметр и высоте 288 сантиметров эти шасси вмещают до 45 стандартных «юнитов» и могут обеспечить устанавливаемую начинку мощностью от 17 до 52 киловатт, в зависимости от комплектации. Если верить анонсу компании-разработчика, для развёртывания AI Anywhere достаточно крыши и подведённого к месту установки трёхфазного питания.

Основой новых систем являются вычислительные серверы NVIDIA DGX-1 (40960 ядер Volta, 1 Пфлопс) или DGX-2 (81920 ядер Volta, 2 Пфлопс), причём в обоих случаях используются ускорители Tesla V100 с быстрой шиной NVLink 2.0. Таких серверов в системе AI Anywhere несколько, за «общение» между ними отвечает коммутатор Mellanox класса 100GbE, а за хранение данных ‒ система NetApp A800, базирующаяся на флеш-памяти.

Дополнительно в системе присутствует сервер Microway TwinPro 2U, отвечающий за вход в систему и берущий на себя функции управления и функционирования инфраструктуры Kubernetes. В комплектацию входит также микроканальный чиллер, способный отвести и рассеять до 52 киловатт тепла.

DDC R-Mobile: 24U, ещё более компактное решение, нежели AI Anywhere. Вмещает четыре сервера NVIDIA DGX-1.

Аппаратное обеспечение мертво без ПО и настройки, и ScaleMatrix предоставляет полный спектр услуг, связанных с установкой, наладкой и вводом в эксплуатацию систем AI Anywhere. Система поставляется с менеджером заданий SLURM, комплексом контейнеризации Kubernetes, а также средствами управления Ansible. За визуализацию отвечает Grafana, за мониторинг системы ‒ Prometheus.

DDC R-1000: «кластер в ящике». В данной модели использованы серверы HPE Apollo KL20 на базе Intel Xeon Phi (Knights Landing)

Комплекс услуг также включает в себя трёхлетнее профессиональное сопровождение. ScaleMatrix утверждает, что система AI Anywhere стоит дешевле аналогичных по мощности решений других поставщиков. Стоимость базовой платформы составляет $1,626 миллиона, в эту цену входят шасси, флеш-хранилище, система охлаждения, сетевая инфраструктура и серверы управления. Вычислительное «ядро» стоит от $921 тысячи до $1,84 миллиона, в зависимости от комплектации и количества ускорителей V100 (от 32 до 104). Таким образом, цена самого мощного варианта AI Anywhere не превышает $3,5 миллиона.

В сравнении с суперкомпьютерами прошлых поколений это небольшая цена, особенно с учётом компактности и вычислительных возможностей AI Anywhere. Также на выставке были продемонстрированы и другие компактные вычислительные решения на базе шасси производства DDC Cabinet Technology, которая является подразделением ScaleMatrix.

В Денвере на международной конференции SC 2019, посвящённой серверам, NVIDIA представила набор программного обеспечения Magnum IO, позволяющий исследователям в области ИИ и HPC обрабатывать большие объёмы данных за считанные минуты вместо нескольких часов.

Magnum IO устраняет узкие места и, по оценкам компании, позволяет до 20 раз ускорить обработку массивов данных в многосерверных вычислительных узлах с использованием GPU в задачах вроде финансового анализа и моделирования климата. В разработке также участвовали лидеры индустрии DataDirect Networks, Excelero, IBM, Mellanox и WekaIO.

«В основе всего того, что связано с ИИ, находится обработка больших объёмов собранных или смоделированных данных. По мере экспоненциального увеличения объёмов и скорости поступления данных их обработка становится одной из самых важных, но и крайне затратных задач для ЦОД. Для экстремальных вычислений нужны экстремально быстрые интерфейсы. Именно это и обеспечивает ПО Magnum IO, применяя GPU-ускорение, кардинально изменившее вычисления, к передаче и хранению данных. Исследователям больше не придется долго ожидать окончания обработки данных. Теперь они смогут сконцентрироваться на сути своей работы», — пояснил учредитель и исполнительный директор NVIDIA Дженсен Хуанг (Jensen Huang).

В основе ПО Magnum IO лежит технология GPUDirect, позволяющая данным обходить ГП и перемещаться по магистралям, созданным графическими процессорами, накопителями и сетевыми устройствами. GPUDirect совместима с широким спектром интерфейсов и API, включая NVIDIA NVLink и NCCL, а также OpenMPI и UCX, и состоит из одноранговых (peer-to-peer) и RDMA-элементов. Последним дополнением стал GPUDirect Storage, позволяющий исследователям в обход процессора получать доступ к хранимым файлам для моделирования, анализа и визуализации.

ПО NVIDIA Magnum IO уже доступно, за исключением GPUDirect Storage, к которому пока открыт ранний доступ, а широкое распространение запланировано на первую половину 2020 года.

Ранее в этом году NVIDIA объявила о намерении более активно поддерживать процессоры ARM и сделать свой полный набор программного обеспечения ИИ и HPC доступным для платформ на базе чипов ARM. Это весьма значимый шаг, потому что на сегодняшний день редко какой суперкомпьютер в первой десятке обходится без графических ускорителей NVIDIA.

А теперь во время открытия SC19 в американском Денвере исполнительный директор NVIDIA Дженсен Хуанг (Jensen Huang) представил базовую платформу, позволяющую заинтересованным компаниям быстро и легко создавать серверы на базе графических ускорителей NVIDIA и процессоров. Эталонная платформа, которая состоит из аппаратных и программных базовых блоков, предназначена для обеспечения более высокопроизводительных вычислений в быстро растущем диапазоне научных и исследовательских направлений.

Кроме того, NVIDIA и ARM показали первые примеры реального эффективного применения систем, построенных на связке чипов обеих компаний. Комбинация ускоренных вычислений NVIDIA CUDA и энергоэффективной архитектуры процессоров ARM в теории предоставит сообществу высокопроизводительных вычислений дополнительный выбор в масштабных задачах.

«Мы усердно работаем над внедрением технологии ARM во всей области HPC, решая некоторые из самых сложных в мире исследовательских задач. Мы очень рады достигнутому в этом году прогрессу в совместном использовании объединённой экосистемы ARM и NVIDIA. Но это только начало», — написала ARM в своём пресс-релизе.

Выбор основы для суперкомпьютера в наши дни весьма широк. Несмотря на популярность архитектуры x86, существуют процессоры c архитектурой POWER и весьма быстрыми темпами набирающие популярность ARM; ожидается появление и решений на базе RISC-V.

Компании Fujitsu и Cray заключили соглашение о разработке новых коммерческих систем класса HPC на базе процессоров A64FX с архитектурой ARMv8.2. 

Машина, разрабатываемая совместно Cray и Fujitsu, будет отнесена к серии Cray CS500. Она должна дебютировать на рынке в середине следующего года. Это не первые ARM-системы производства Cray, ранее компания добавила в серию XC50 узлы на базе Marvell ThunderX2. Надо полагать, что и от ThunderX3 и X4 Cray тоже отказываться не будет. 

Эти чипы разработаны в стенах Fujitsu, они же будут основой нового японского суперкомпьютера Fugaku, который будет установлен в Институте физико-химических исследований (RIKEN) в 2021 году. Они получат поддержку 512-битных векторных инструкций SVE. Имеется в A64FX и оптимизация целочисленных вычислений. Описываемый процессор имеет 48 основных ядер и 4 вспомогательных, размещены они будут в четырёх кластерах по 12 + 1 ядру. Топология соединений — кольцевая.

Каждый из 13-ядерных кластеров получит кеш L2 объёмом 8 Мбайт и будет обращаться к своему модулю HBM2 ёмкостью 8 Гбайт с суммарной пропускной способностью 1 Тбайт/с. По сути, эти модули заменят не только кеши L3 и L4, существенно превзойдя их по объёму, но и оперативную память, ведь каждый процессор автоматически получит по 32 Гбайт HBM2.

Прототип вычислительного модуля Fujitsu на базе A64FX

Для межпроцессорного соединения планируется использовать шину Torus Fusion (Tofu); предусмотрено две линии со скоростью 28 Гбит/с каждая. Имеется также контроллер PCIe 3.0, он предоставляет 16 линий. Процессоры A64FX выпускаются на мощностях TSMC с использованием 7-нм технологических норм. Сообщается, что количество транзисторов на кристалле составляет 8,7 млрд.

Технические характеристики новых систем Fujitsu на базе A64FX

Сама Fujitsu уже анонсировала новые системы на базе A64FX: PRIMEHPC FX1000 и PRIMEHPC FX700. Первое решение использует шасси с жидкостным охлаждением и может содержать до 384 вычислительных узлов, каждый из которых оснащён одним процессором A64FX с частотой 2,2 ГГц. Для межузловой связи используется Tofu Interconnect D, работает система под управлением RHEL 8. Пиковая производительность составляет примерно 3,4 Тфлопс в режиме FP64.

Так выглядит шасси Fujitsu PRIMEHPC FX1000

Модель PRIMEHPC FX700 стоит классом ниже, конструкция у неё более простая. Основой служит стандартное шасси высотой 2U, вмещающее до 8 вычислительных узлов на базе A64FX. Тактовая частота процессоров понижена до 1,8 ‒ 2,0 ГГц, а межузловая связь построена на базе InfiniBand EDR. Охлаждение воздушное. Поставки новых HPC-систем Fujitsu начнутся уже в марте 2020 года. А представить их официально компания собирается на конференции SC19.

Японским клиентам сделано некоторое послабление: доступны конфигурации с числом узлов от 48 в старшей модели и всего от 2 узлов в младшей, в то время как западным заказчикам придётся вести счёт от 192 и 128 узлов соответственно. Fujitsu пока не сообщает о заключении контрактов на новые системы, за исключением уже имеющихся обязательств по Fugaku, а вот Cray уже имеет четырёх заказчиков на будущие суперкомпьютеры.

11 ноября состоялось знаковое событие в сфере открытых архитектур: Барселонский суперкомпьютерный центр объявил об основании лаборатории LOCA. Название расшифровывается как Laboratory for Open Computer Architecture, Лаборатория открытых компьютерных архитектур.

Целью новой организации является разработка европейских высокопроизводительных и энергоэффективных вычислительных решений на базе открытых архитектур — таких как RISC-V, OpenPOWER и MIPS — для последующего их использования в будущих суперкомпьютерах экзафлопсного класса.

Базироваться новая организация будет в Барселоне. К сотрудничеству приглашаются фонды, организации и компании, разделяющие идеи и ценности, заложенные в LOCA — продвижение и развитие открытых архитектур, а также создание на их основе полноценной европейской HPC-инфраструктуры.

Готовность к участию в работе LOCA уже выразили главы фондов RISC-V и OpenPOWER, а также Университет Беркли и отдел HPC и когнитивных систем (HPC and Cognitive Systems) корпорации IBM.

Надо отметить, что инициатива высказана не на пустом месте: ранее в проекте Mont-Blanc уже были продемонстрированы кластеры на базе архитектуры ARM, в настоящее время ведётся разработка европейского высокопроизводительного процессора в рамках проекта EPI.

Суперкомпьютер MareNostrum, Барселонский суперкомпьютерный центр

Глава Барселонского центра, профессор Матео Валеро (Mateo Valero), заявил, что более подробно цели и задачи LOCA будут раскрыты 20 ноября, на конференции Supercomputing Conference 19 (SC19). Возглавит новую лабораторию доктор Джон Д. Дэвис (John D.Davis) из Стэнфордского университета

Барселонский суперкомпьютерный центр известен одним из самых мощных европейских суперкомпьютеров MareNostrum, который смонтирован в крайне необычном месте ‒ в здании ранее заброшенной часовни Торре Жирона. В текущей, четвёртой версии он базируется на процессорах Xeon Scalable вкупе с OmniPath, но в будущем систему планируется дополнить кластерами на основе архитектур POWER9 и ARMv8.

Облачный провайдер Selectel объявила о запуске платформы Selectel HyperServer для «вычислений в памяти» (in-memory).

Как считает руководство компании, HyperServer является альтернативой дорогим и сложным суперкомпьютерам и кластерным системам. В этом есть резон, поскольку настоящий суперкомпьютер требует затрат не только на постройку, но и на поддержание в рабочем состоянии. Сервисная модель, предлагаемая Selectel, позволит сократить расходы на супервычисления.

В основе нового сервиса лежит технология TidalScale, позволяющая объединить от двух до нескольких десятков классических серверов в единый виртуальный сервер. Комплекс серверов работает под управлением гипервизора, в реальном времени распределяющего нагрузку между физическими узлами. TidalScale является конкурентом для ScaleMP vSMP Foundation.

Пока максимальная конфигурация HyperServer может включать в себя 1024 ядра и 64 Тбайт оперативной памяти; возможно, в будущем эти цифры будут увеличены. Оплата новой услуги будет взыматься в соответствии с потреблением вычислительных мощностей. Стоимость владения таким виртуальным «суперкомпьютером» существенно ниже, нежели в случае постройки настоящего кластера сравнимой производительности.

Система HyperServer инсталлируется в течение недели, корректировка технических параметров под задачу клиента требует лишь нескольких дней. Такой подход позволяет использовать супервычисления как для регулярных задач, так и для коротких проектов, ради которых заводить настоящий кластер было бы весьма накладно.

Диапазон решаемых с помощью HyperServer задач достаточно широк: тут и базы данных SAP HANA или Oracle, и создание тестового окружения для ERP-систем, и многое другое. Более подробная информация о новой услуге есть на веб-сайте компании.

Организация UK Research and Innovation объявила, что заключает контракт на постройку нового национального суперкомпьютера Archer2 с компанией Cray. Сообщается, что новый суперкомпьютер будет быстрее своего предшественника более чем в 11 раз.

Первый Archer базируется на дизайне Cray XC30 MPP и использует узлы с 12-ядерными процессорами Intel Xeon E5-2697 v2 (Ivy Bridge), а вот новая модель будет построена на базе новейших чипов AMD EPYC второго поколения (Rome).

При этом базовой была выбрана 64-ядерная модель с частотой 2,2 ГГц. По всей видимости, это EPYC 7742. Возможно, базовая частота процессоров будет несколько занижена с целью снижения общего уровня тепловыделения.

Лезвие (4 узла) первого поколения Archer

Archer первого поколения располагает на данный момент 118080 процессорными ядрами, а в Archer2 этот показатель достигнет 748544 ядер. Неудивительно, что предварительная оценка производительности новой машины выглядит столь оптимистично ‒ речь идёт о цифре в районе 28 петафлопс, а отдельные задачи будут исполняться быстрее в 8,7–18 раз.

Ожидается, что Archer2 станет одним из быстрейших суперкомпьютеров, базирующихся на классических процессорах общего назначения. Машина будет введена в строй 6 мая 2020 года, но в течение 30 дней после запуска она будет работать в режиме стресс-тестирования. Поскольку монтаж планируется провести в том же помещении, где сейчас работает Archer, старый суперкомпьютер UKRI прекратит свою работу 18 февраля и будет демонтирован.

Фрагмент узла Cray Shasta с системой прямого жидкостного охлаждения

Прочие характеристики Archer2 также впечатляют. Каждый из 5848 узлов новой системы будет нести по два 64-ядерных процессора EPYC, а общий объем оперативной памяти достигнет 1,57 петабайта.

Объём файлового хранилища Lustre составит 14,5 петабайт, при этом только для буферизации будет использовано 1,1 петабайта. «Кровеносной системой» Archer2 станет сеть Cray Slingshot нового поколения со скоростью 100 Гбит/с и топологией типа dragonfly.

Разместится новый суперкомпьютер в 23 шкафах Cray Shasta Mountain с системой «прямого» жидкостного охлаждения. В качестве базового программного обеспечения будет использован набор фирменного ПО Cray, оптимизированного с учётом особенностей архитектуры AMD Rome. В основе этого набора лежит специальная версия SUSE Linux Enterprise Server с сопутствующими библиотеками и компиляторами.

Компания Amazon анонсировала ряд новых инстансов облачной платформы Amazon Web Services (AWS) с более высокой пропускной способностью сети.

Новые варианты машин Amazon EC2 M5n, M5dn, R5n и R5dn позволяют использовать 100GbE-подключение с интерфейсом Elastic Fabric Adapter (EFA) для работы HPC‑приложений и ML-нагрузок, требующих высокой производительности и для расчётов, и для обмена данными.

В предлагаемых до этого стандартных инстансах, например, AWS R5 EC2, можно получить пропускную способность до 10 Гбит/с в версиях начального уровня и до 25 Гбит/с — для более дорогих машин. Варианты с индексом «n» обеспечивают пропускную способность для обмена данными в диапазоне от 25 до 100 Гбит/с.

Поскольку стандартная сеть в корпоративных дата-центрах перешла на 25/100 Гбит/с, AWS теперь обеспечивает такую же скорость обмена данными на своих платформах. Добавим, что новые инстансы Amazon EC2 M5n, M5dn, R5n и R5dn работают на базе процессоров 2-го поколения Intel Xeon Scalable (Cascade Lake) с постоянной тактовой частотой всех ядер в турборежиме 3,6 ГГц и частотой одного ядра в турборежиме до 3,9 ГГц. 

Гарвардский университет (США) вводит в строй новый суперкомпьютерный комплекс под названием Cannon (в честь американского астронома Энни Джамп Кэннон).

Комплекс использует серверы Lenovo SD650 NeXtScale, которые предназначены  для высокопроизводительных вычислений. Особенность этих устройств — система охлаждения тёплой водой (с температурой до  +50° C). Эта система используется для отвода тепла от центральных процессоров, оперативной памяти, подсистемы ввода-вывода, локального хранилища данных и регуляторов напряжения.

Корпус серверов, оборудованный патентованными и полностью герметичными быстросъёмными соединениями из нержавеющей стали, умещается в стандартную стойку, поэтому SD650 отличается удобством обслуживания и высочайшей плотностью размещения.

Кластер Cannon использует 670 серверов SD650 NeXtScale, оснащённых процессорами Intel Xeon Platinum 8268 Cascade Lake с 24 вычислительными ядрами. Объём оперативной памяти составляет 192 Гбайт в расчёте на узел.

Жидкостное охлаждение позволяет чипам Xeon функционировать на более высокой частоте — 3,4 ГГц против базового значения в 2,9 ГГц. В результате, пиковая производительность комплекса Cannon достигает практически 3,5 петафлопса.

Кроме того, в составе вычислительной платформы задействованы 16 серверов Lenovo SR670, каждый из которых наделён четырьмя ускорителями NVIDIA Tesla V100.

Кластер Cannon будет использоваться для моделирования различных процессов, решения сложных научных задач и пр. 

Компания Microway создала новые рабочие станции серии WhisperStation, предназначенные специально для решения задач на платформе COMSOL Multiphysics.

COMSOL Multiphysics — это универсальная среда численного моделирования систем, устройств и процессов в различных областях.

«Базовая платформа может использоваться отдельно или в комбинации с дополнительными функциональными модулями, предназначенными для моделирования электромагнитных полей, напряженно-деформированного состояния твёрдых тел, акустических полей, гидродинамических, теплообменных и химических процессов.»

Одна из станций серии WhisperStation

Отмечается, что станции WhisperStation for COMSOL спроектированы с чистого листа специально для названной платформы. Компьютеры могут похвастаться небольшим уровнем шума и высокой производительностью.

Возможна установка процессоров Intel Xeon Scalable второго поколения (Cascade Lake-SP) или чипов Xeon W-3000 Series. Объём оперативной памяти DDR4-2666 достигает 1,5 Тбайт.

Станции комплектуются профессиональными ускорителями NVIDIA Quadro. Есть возможность установки жёстких дисков и быстрых твердотельных накопителей NVMe SSD. Кроме того, упомянут двухпортовый сетевой контроллер Gigabit Ethernet.