В эти дни в Национальной лаборатории Ок-Ридж (Oak Ridge National Laboratory, ORNL), находящейся в американском штате Теннесси, кипит работа по вводу в строй суперкомпьютера Summit, расчётная производительность которого примерно в два раза выше, чем у нынешнего рекордсмена Sunway TaihuLight с пропиской в Китае. С показателем быстродействия около 200 Пфлопс Summit опережает в том числе и своего предшественника Titan (17,6 Тфлопс), базирующегося на процессорах Opteron 6274 и HPC-ускорителях Tesla K20X.

Основой Summit являются приблизительно 4600 серверных узлов IBM Power Systems AC922 «Newell». У Titan узлов в четыре раза больше (18 688 шт.), но на каждый приходится только по одному CPU и GPU. В свою очередь, у «строительного блока» Summit по два центральных и шесть графических процессоров. Узлы AC922, сочетающие в себе процессоры IBM POWER9 и HPC-ускорители NVIDIA Volta GV100 (Tesla V100), демонстрировались на недавней выставке-конференции SC17 в Денвере (штат Колорадо, США).

Узел IBM Power Systems AC922 «Newell»

IBM AC922 собираются в 2U-корпусах, где, кроме прочего, размещаются 16 модулей оперативной памяти DDR4-2666 общим объёмом 512 Гбайт (с возможностью расширения до 2 Тбайт), 1,6 Тбайт энергонезависимой буферной памяти для нужд основного хранилища (суммарно 250 Пбайт, интерфейс 2,5 Тбайт/с), два 2200-Вт блока питания с возможностью горячей замены и множественные узлы системы жидкостного охлаждения.

СЖО замысловатой конструкции призвана справиться с шестью 300-Вт GPU и парой 190-Вт CPU. Воздушное охлаждение для тех же целей было бы не таким дорогим, но эксплуатационные расходы в таком случае могли бы значительно вырасти. Пиковое энергопотребление суперкомпьютера ожидается на уровне 13 МВт (по другим данным — 15 МВт). По этому показателю ORNL Titan скромнее с его 9 МВт в условиях максимальной нагрузки. Система питания Summit проектируется с учётом возможного усиления суперкомпьютера дополнительными узлами. После гипотетического апгрейда предельное энергопотребление может достигать 20 МВт.

HPC-ускоритель NVIDIA на чипе Volta GV100 в форм-факторе SMX2

Согласно Tom’s Hardware, полностью собранный ORNL Summit займёт площадь двух баскетбольных площадок, то есть около 873 квадратных метров. Суммарная длина кабелей Summit составит 219 км. Прежде сообщалось, что суперкомпьютер будет готов к загрузке ресурсоёмкими научными задачами с января 2019 года. Теперь же речь идёт о его вводе в эксплуатацию в течение 2018 года. При этом, как указывает пресс-служба TOP500, Summit уже в июне возглавит обновлённый рейтинг мощнейших серверных систем, где, похоже, пропишется и NVIDIA DGX SaturnV второго поколения на 5280 ускорителях Tesla V100.

Директор Национальной лаборатории Ок-Ридж Томас Закария (Thomas Zacharia) в общении с представителями ресурса top500.org подчеркнул важность ввода в эксплуатацию такого производительного суперкомпьютера, как Summit:

«Один из наших коллективов разрабатывает алгоритм машинного обучения для Summit, чтобы помочь в выборе лучшего метода лечения рака у каждого конкретного пациента, — отметил г-н Закария. — Другая команда сегодня использует ресурсы Titan для проектирования и мониторинга реакторов на базе технологии управляемого термоядерного синтеза. Ещё одна группа специалистов использует машинное обучение, чтобы помочь классифицировать типы траекторий нейтрино, наблюдаемых в ходе различных экспериментов».

Томас Закария (Thomas Zacharia), фото knoxnews.com

Впрочем, исключительно машинным обучением дело не ограничится. Директор лаборатории Ок-Ридж упомянул о таких вариантах использования Summit, как моделирование климата, решение задач из области релятивистской квантовой химии, вычислительной химии, астрофизики, физики плазмы и биофизики. Собственно, многие проекты уже запущены либо могут быть запущены на мощностях Titan, однако нехватка производительности является препятствием для углублённых исследований.

Комплекс зданий Национальной лаборатории Ок-Ридж

Длительная подготовка к запуску Summit объясняется не только необходимостью предварительного тестирования тысяч серверных узлов, но и задержкой со стороны IBM, которая пока не изготовила все заказанные ORNL процессоры POWER9. Со стороны NVIDIA, наоборот, задержек нет, ведь HPC-ускорители Tesla V100 поставляются клиентам уже не первый месяц.

«Сегодня Национальная лаборатория Ок-Ридж находится в завидном положении, — продолжил Томас Закария. — Мы располагаем уникальным опытом исследований в областях химии и физики материалов, нейтронной физики, ядерной физики, компьютерных наук и технических решений. Всё это в сочетании с талантом наших сотрудников позволяет решать проблемы и задачи, связанные с энергетикой, национальной безопасностью, производством и сетевой кибербезопасностью. Одна из наших основных целей заключается в том, чтобы стать ведущим исследовательским центром в мире. Это само по себе вдохновляет нас на новые свершения».

Развернутая в Оук-Риджской национальной лаборатории (США) суперкомпьютерная система Titan достигла уровня производительности в 20 петафлопс и превосходит сейчас по скорости чемпиона из последнего списка Top 500 самых мощных кластеров HPC мира - суперкомпьютер Sequoia из Ливерморской национальной лаборатории имени Лоуренса (США), производительность которого составляет 16,3 петафлопса. Система Titan, базирующаяся на суперкомпьютерных компонентах (блейд-серверах) Cray XK7 и занимающая 200 серверных шкафов, является дальнейшим развитием системы Jaguar, которая была на верхней позиции одного из недавних списков Top 500. Процессоры и сетевые компоненты Jaguar были заменены на новые и более мощные, поэтому системе и дали новое название, которое должно говорить о ее "сверхспособностях".

В системе Titan используется гибридная архитектура, в которой традиционные центральные процессоры от AMD работают в связке с графическими процессорами (GPU) компании NVIDIA. Вся система Cray XK7 состоит из 18688 узлов, каждый из которых включает 16-ядерный процессор AMD Opteron 6274 и ускоряющий графический процессор NVIDIA Tesla K20. Оперативная память системы Titan превышает 700 Тбайт. По словам директора Оук-Риджской лаборатории по компьютерной технике Джеффа Николса (Jeff Nichols), гибридная архитектура (CPU-GPU) позволит системе занять в списке Top 500 то же самое место, которое в нем когда-то занимала система Jaguar, причем энергопотребление Titan повысилось, по сравнению с Jaguar, достаточно незначительно. Мощность энергопотребления каждого из двухсот серверных шкафов Titan составляет 54 киловатта, что считается очень высокой энергетической плотностью. В разработанной компанией Cray системе охлаждения ECOPhlex задействованы два охлаждающих контура, в одном из которых циркулирует хладагент R-134a, а в другом - охлаждаемая чиллерами вода. По словам разработчиков, используемая в системе Titan коммуникационная система Gemini допускает масштабирование Titan до производительности в 50 петафлопс.

Материалы по теме:

• J'son & Partners Consulting отмечает рост российского рынка ЦОД;
• Настоящее и будущее российского серверного рынка: мнение экспертов;
• Российский IT-рынок: факты и тенденции развития в корпоративном сегменте.

Источник:

• datacenterknowledge.com