Одна из причин, по которой у Китая есть неплохие шансы выполнить свою амбициозную цель по достижению экзафлопсных вычислений к 2020 году, заключается в том, что правительство страны финансирует сразу три отличающихся по своей архитектуре проекта по созданию сверхмощного суперкомпьютера. Национальный университет оборонных технологий (National University of Defense Technology, NUDT), Национальный исследовательский центр параллельной вычислительной техники (National Research Center of Parallel Computer, NRCPC) и компания Sugon (также известная как Dawnning) столкнутся во внутреннем соревновании друг с другом, чтобы создать первый в стране (и, возможно, во всём мире) суперкомпьютер с производительностью в 1 экзафлопс.

Для скорейшего создания суперкомпьютера с производительностью в 1 экзафлопс правительство Китая инвестирует сразу в три конкурирующих проекта

На данный момент каждый из участников соревнования разработал и развернул прототип будущей высокопроизводительной системы, состоящий пока что только из 512 узлов. Дальнейшее их масштабирование в суперкомпьютеры с набором из более чем 100 000 узлов будет непростой задачей не только потому, что это огромный скачок, но также и потому, что Китай привержен идее создания собственных суперкомпьютеров с использованием относительно незрелых отечественных процессоров.

На недавней презентации Руибо Ван (Ruibo Wang) из NUDT поделился подробностями о трёх прототипах, которые были развернуты в 2018 году, и рассказал о некоторых деталях плана его организации в отношении их будущего суперкомпьютера Tianhe-3.

Прототип от NRCPC создан только на базе микропроцессоров без использования каких-либо ускорителей и потому, вероятно, самый классический в сравнении с двумя конкурентами. Фактически, это единственная «не ускоренная» архитектура, которая в настоящее время борется за будущее звание топ 1 суперкомпьютера в Поднебесной. Каждый из его узлов оснащён двумя процессорами ShenWei 26010 (SW26010), тем же чипом, который используется для суперкомпьютера Sunway TaihuLight. 26010 имеет 260 ядер и обеспечивает производительность около 3 терафлопс. Предположительно, у проекта Sunway в разработке есть более мощный чип ShenWei следующего поколения для будущей экзафлопсной системы NRCPC. По мнению портала The Next Platform, его производительность должна составить около 10 терафлопс.

Только в суперкомпьютере от NRCPC не планируется использование каких-либо ускорителей

Прототип от компании Sugon представляет собой гетерогенную вычислительную систему, состоящую из узлов, каждый из которых оснащён двумя процессорами Hygon x86 и двумя ускорителями DCU, соединённых между собой по топологии 6D-тор, разработанной японской компанией Fujitsu. Процессор представляет собой лицензионную копию первого поколения EPYC от AMD, а DCU - фирменные ускорители, созданные китайской компанией Hygon самостоятельно. В своей презентации Депей Цянь (Depei Qian) из университета Сиань Цзяотун ещё в 2017 году говорил, что производительность DCU в будущем составит до 15 терафлопс. Один из интересных аспектов прототипа от Sugon заключается в том, что он охлаждается иммерсионной СЖО, что может указывать на то, что чип DCU рассеивает просто огромное количество тепла.

Sugon делает ставку на ускорители компании Hygon и её лицензионные копии процессоров первого поколения EPYC от AMD

Прототип NUDT — это ещё одна гетерогенная архитектура, в данном случае использующая процессоры неизвестного происхождения, а также ускоритель Matrix-2000+, представляющий собой 128-ядерный DSP-чип общего назначения. Можно предположить, что Matrix-2000+ является преемником Matrix-2000, ускорителя, используемого в суперкомпьютере Tianhe-2A с производительностью в 100 петафлопс, который в настоящее время является четвёртым в рейтинге суперкомпьютеров TOP500. На пике Matrix-2000+ обеспечивает производительность в два терафлопса и потребляет около 130 Вт. Если бы данные ускорители использовались для работы суперкомпьютера с производительностью в 1 экзафлопс, то только они потребовали бы около 65 мегаватт для своей работы.

NUDT используют в виде ускорителя DSP-чип собственного производства — Matrix-2000+

Однако для будущего суперкомпьютера Tianhe-3 NUDT планирует использовать разрабатываемый на данный момент DSP-чип Matrix-3000 вместе с неизвестным процессором. Ожидается, что будущий DSP будет иметь не менее 96 ядер и производительность более 10 терафлопс, а 64-ядерный процессор обеспечит дополнительно 2 терафлопса. Каждый узел будет оснащён восемью парами таких ускорителей и процессоров, обеспечивая производительность 96 терафлопс в сумме.

Для будущего суперкомпьютера NUDT планируют использовать следующее поколение своего ускорителя — Matrix-3000, в котором стало заметно меньше ядер, а вот их производительность выросла в разы

Вся система будет состоять из 100 шкафов, каждый из которых содержит 128 блейдов, что дает 1,29 экзафлопс в пике. Все узлы будут подключены к собственной сети с пропускной способностью 400 Гбит/с, используя топологию "3D-бабочки" (3D butterfly). Данная топология обеспечит максимум пять переходов между любыми двумя узлами. Охлаждение будет обеспечиваться гибридной воздушно-водной системой, которая, как ожидается, обеспечит показатель PUE менее 1,1.

Суперкомпьютер от NUDT будет состоять из 100 шкафов, каждый из которых содержит 128 блейдов, которые в свою очередь имеют 8 процессоров и ускорителей Matrix-3000, выдающих производительность в 1,29 экзафлопс в сумме

Главной загадкой остается происхождение процессоров Tianhe-3. Портал The Next Platform предполагает, что это будет некий процессор на архитектуре Arm. И это вполне вероятно, так как Китай уже некоторое время намекает на то, что одна из его супервычислительных систем будет использовать эту архитектуру. Учитывая ожидаемую производительность процессора в 2 терафлопса, он может даже оказаться реализацией Armv8-A с масштабируемым векторным расширением (SVE).

Если NUDT решит пойти по этому пути, одним из возможных вариантов будет лицензирование у Fujitsu производства процессоров A64FX с технологией Arm SVE, стоящих за разрабатываемым на данный момент японским суперкомпьютером с экзафлопсной производительностью — Post-K. Эти процессоры обеспечивают 2,7 терафлопс производительности, а сама Fujitsu предлагает для них набор необходимых HPC-библиотек. В пользу этого варианта свидетельствует и тот факт, что ранее компания уже заявляла о планах продать некоторые технологии, разработанные ею для Post-K.

В любом случае, если разработка Tianhe-3 будет идти по графику, скоро мы узнаем, какой всё-таки процессор в NUDT используют для своего суперкомпьютера.

Инициатива OpenPOWER, как мы уже рассказывали читателям, приносит свои плоды, особенно вместе с проектом OpenCAPI. Итоговая платформа получается более универсальной и сбалансированной, нежели Intel Purley или AMD EPYC. Хотя бы потому, что имеет поддержку PCI Express 4.0 и умеет работать с интерфейсами CAPI и NVLink, а это настоящая находка при проектировании кластерных систем, основанных на использовании дополнительных ускорителей, будь то NVIDIA Volta или платы на базе FPGA. Всё это собрано в едином узле или сервере под названием IBM Winterspoon. Система отличается от другого варианта под названием Cumulus использованием процессоров POWER9 с менее развитым SMT (как известно, POWER9 существует в вариантах SMT4 и SMT8; столь развитой многопоточностью не может похвастаться ни один процессор x86). В Winterspoon использована версия SMT4.

Новинка уже поставляется на рынок с модельным номером AC922. AC в этом случае означает гибридную систему на базе ЦП и ГП, цифра 9 указывает на модель процессора, а две двойки означают два процессорных разъёма и высоту корпуса 2U. IBM очень активно рекламирует платформу POWER9 для задач искусственного интеллекта и машинного обучения, однако AC922 является универсальной системой, подходящей для любого рода задач. Серия процессоров POWER9 Nimbus может насчитывать от 16 до 24 ядер, серверы AC922 поставляются с 22-ядерными чипами, частоты которых мы не знаем. Но речь об опытных поставках. Коммерческие версии получают либо 16-ядерные процессоры с частотной формулой 2,6/3,09 ГГц, либо 20-ядерные с формулой 2,0/2,87 ГГц. Оба варианта удерживаются в рамках теплопакета 190 ватт, так что место для роста ещё есть: к примеру, Intel Xeon SP-8180M имеет теплопакет целых 205 ватт. Стоят процессоры достаточно дорого: 16-ядерный вариант POWER9 обойдётся в $3000, а 20-ядерный будет стоить $4000. Впрочем, на фоне ускорителей Volta это недорого — те оцениваются в $11500 за модуль.

Узел AC922 имеет 16 слотов для установки регистровых модулей DDR4 с коррекцией ошибок. Память, в отличие от POWER8, не использует специального чипа-буфера и подключается к интегрированному в ЦП контроллеру напрямую, что понижает задержки. Поддерживаются модули DDR4-2667 ёмкостью до 64 Гбайт, что позволяет оснащать систему 1 Тбайт оперативной памяти. Обещается поддержка и модулей объёмом 128 Гбайт, что даст AC922 уже 2 Тбайт памяти. Совокупная ПСП при заполнении всех слотов достигает 306 Гбайт/с. Серверы специально ориентированы на использование ускорителей серии NVIDIA Volta в формате SXM2, которые на сегодня можно считать одними из самых мощных. Поддерживается конфигурация либо с четырьмя, либо с шестью модулями Volta G100, причём последняя требует жидкостного охлаждения. Проблем с пропускной способностью нет: четыре линии NVLink 2.0 ускорители используют для общения между собой, а ещё четыре — для общения с процессором; во всех случаях скорость составляет 100 Гбайт/с.

Для суперкомпьютера Summit, о котором мы писали ранее, выбран более мощный вариант с СЖО. Было бы обидно при такой плотности упаковки вычислительных мощностей терять два модуля Volta на узел. Но есть преимущества и у версии с четырьмя ГП: здесь каждый ускоритель имеет канал общения с соседями и процессором шириной уже 150 Гбайт/с, а в некоторых задачах это может оказаться важнее. Подход к подсистеме ввода-вывода у систем AC922 минималистский: каждая имеет два сетевых порта InfiniBand со скоростью 100 Гбит/с, контроллеры которых напрямую подключены к ЦП посредством PCIe x8 4.0. Каждый разъём имеет также слот x16, совместимый с CAPI. Он предназначен для установки специализированных ускорителей или кеширующих модулей, таких, как Intel Optane или решений на базе ReRAM. Имеется дополнительный интерфейс PCIe x4 4.0. Коммутатор PLX Technologies PEX 8733 соединяет всю систему с ЦП и ГП с контроллером подсистемы хранения данных, так что ускорители Volta могут получать данные с SSD, минуя ЦП. AC922 располагает также четырьмя традиционными портами 10GbE, а контроллеры USB, базовый хаб и средства дистанционного управления подключены к первому процессору в системе посредством шины PCIe x1 всё той же версии 4.0.

Локальная система хранения данных представлена двумя двухдюймовыми корзинами SATA, причём, опционально можно использовать и традиционные жесткие диски со скоростью вращения шпинделя 7200 об/мин. Среди опций имеются платы NVMe объёмом 1,6 Тбайт ($3100), а к концу года появится версия объёмом 3,2 Тбайт. Их роль, по словам представителя проекта, в основном, кеширующая, чтобы узлам не приходилось лишний раз нагружать сеть. На данный момент IBM AC922 сертифицирован для использования совместно с Red Hat Enterprise Linux 7.4 (версия little endian for POWER), а во втором квартале появятся специализированные серверные версии Ubuntu. Возможность использования SUSE Linux Enterprise Server пока рассматривается, но остаётся под вопросом, что странно, учитывая популярность именно этой ОС в секторе HPC и платформ SAP HANA. Что касается цен на готовые системы, то предыдущий узел на базе POWER8 под кодовым названием Minksy стоил порядка $65 тысяч, и IBM говорит о сохранении порядка цен. Так что примерно за ту же сумму можно будет получить вдвое больше процессорной мощности и в 2‒6 раз больше мощности ускорителей на базе ГП.

POWER9 это не только серверный сегмент, но в потенциале и неплохие рабочие станции

У энтузиастов может возникнуть вопрос: а совместимы ли эти процессоры POWER9 с платой Talos II? Увы, ответа на этот вопрос мы пока дать не можем, но теоретически новые чипы IBM используют одинаковый форм-фактор и тип разъёма. Но вот кулеры 16-ядерным POWER9, не говоря уж о более мощных моделях с 20, 22 или 24 ядрами, явно понадобятся более солидные, если пользователь такой рабочей станции хочет сберечь свой слух.

Крупнейшие разработчики и производители микропроцессоров не очень-то любят рассказывать о своих проектах суперкомпьютеров, и информацию о таких проектах буквально приходится выцеживать по крупицам. Оригинальный узловой сервер NVIDIA DGX-1, являющийся основой кластера Saturn V, был представлен ещё на конференции SC16. Вся система состояла из 124 серверов DGX-1P, в каждом из которых было установлено по два 20-ядерных процессора Broadwell-EP с частотой 2,2 ГГц и по 8 ускорителей на базе Pascal P100 в форм-факторе SXM2, позволявшим пользоваться интерфейсом NVLink 1.0. На сегодня, однако, в руках NVIDIA есть куда более подходящий ускоритель - Tesla V100, чьи тензорные ядра делают его отличным решением для задач машинного обучения.

С четырьмя узлами DGX-1P, каждый из которых, к слову, мог потреблять до 3200 ватт, система смогла достичь пиковой производительности 4,9 петафлопса на вычислениях двойной точности. Тест матричной математики Linpack Fortran показал 67,5 % эффективности (3,31 петафлопса), что обеспечило системе 28 место в списке Top 500 на ноябрь 2016 года. Стоимость Saturn V составила $13 миллионов. Если бы процессоры Xeon имели интерфейс NVLink, производительность была бы выше, но они такового не имеют, вот почему NVIDIA вкладывает усилия в создание нового узлового сервера на базе процессоров POWER9. Назовём такую модель DGP-1V: в этом названии зашифровано сочетание POWER9 и ускорителей Volta. Новая версия NVLink 2.0 и когерентность кешей ЦП и ГП должна существенно увеличить эффективность такого сервера.

От малого к большому: иерархия узлов Saturn V

Новый Saturn V в максимальной конфигурации будет насчитывать до 660 узлов, оснащённых ускорителями Tesla V100; впрочем, их количество на узел останется прежним — по восемь ускорителей на корпус. Всего в системе будет 5280 процессоров Volta, что даст ей 80 петафлопс пиковой производительности на одинарной точности и 40 петафлопс — на двойной. Но что самое важное, в задачах машинного обучения, где часто используется смесь FP16 и FP32, теоретическая эффективная производительность нового Saturn V может достичь 660 петафлопс. Пока NVIDIA протестировала лишь 33-узловую конфигурацию, показавшую 1,82 петафлопса и эффективность на уровне 58,8 %, но удельная производительность составила 15,1 Гфлопс/ватт против 9,46 Гфлопс/ватт у системы предыдущего поколения.

Среднее звено

Дешёвой новая система не будет: стоимость одного узла в полном оснащении оценивается в $149 тысяч (против $129 тысяч у DGX-1P), и суперкомпьютер Saturn V в новом своём воплощении может обойтись в $100‒$110 миллионов, причём эта цена не включает программное обеспечение для машинного обучения и внешние файловые системы Lustre или GPFS. Но заявка у «зелёных» серьёзная: в районе следующего года NVIDIA надеется смонтировать полную 660-узловую версию Saturn V и достичь показателя 22,3 петафлопса в тестах Linpack, что выведет новый суперкомпьютер на третье место в списке Top 500. Особенно большие надежды возлагаются на задачи машинного обучения: DGX-1P мог обеспечивать в этих сценариях 170 терафлопс, а вот условный DGP-1V за счёт наличия тензорных ядер — уже 960 терафлопс или в 5,6 раз больше.

Высший уровень

Что касается сетевой конфигурации, то основой межузловых соединений станет стандарт InfiniBand EDR со скоростью 100 Гбит/с на кабель. Доступ к основной сети и хранилищам данных обеспечит сеть Ethernet на скорости 10 Гбит/с (несколько странно, что не использован более новый стандарт 25G), а для целей управления и телеметрии хватит и обычного канала Gigabit Ethernet. На среднем уровне коммутацию IB будут выполнять устройства Mellanox Director с 216 портами, а на высшем — ещё более мощные коммутаторы той же серии с 324 портами. Узким местом система межузловых соединений, скорее всего, не станет —  у Mellanox наработан огромный опыт в этой области, и есть полный спектр решений, покрывающих все потребности NVIDIA в проектировании сетевой подсистемы нового Saturn V.

Архитектура x86 с нами давно. Когда-то её уделом были лишь персональные компьютеры, но в последние годы подавляющее большинство серверных систем и прочих решений класса HPC строятся именно на базе процессоров Intel или AMD. Времена господства таких архитектур, как DEC Alpha или MIPS давно позади, хотя, к примеру, IBM POWER всё ещё сопротивляется активному натиску со стороны Intel Xeon и AMD Opteron/EPYC: в свежем рейтинге TOP500 всего 24 машины из 500 используют отличную от x86 архитектуру.

Но по ряду причин x86 даже с 64-битными расширениями не является оптимальной и особенно в том случае, когда речь заходит о соотношении производительности и энергопотребления. Последнее автоматически тянет за собой и повышенное тепловыделение, что в условиях увеличения плотности размещения узлов в ЦОД и суперкомпьютерах представляет собой серьёзную проблему. У x86 есть и ещё один конкурент — это архитектура ARM, которую долгое время никто всерьёз в качестве серверной не воспринимал.

Широко известный слайд, демонстрирующий эволюцию архитектур суперкомпьютеров

Однако ARM это не просто рабочая лошадка в секторе планшетов и смартфонов. Всё зависит от реализации, и некоторые варианты процессоров на базе этой архитектуры обладают весьма серьёзными возможностями. К числу таких чипов относится Cavium ThunderX2. Этот новый чип на базе ARMv8-A был продемонстрирован разработчиками ещё на ISC 2017. Характеристики его выглядят вполне солидно: здесь и 54 ядра с частотой 3 ГГц, и поддержка двухсокетных конфигураций, и шестиканальный контроллер памяти, и 24 порта SATA (и, вероятно, SAS).

Блок-схема ThunderX2

Нельзя забывать и про встроенную поддержку Ethernet 25G, наличие 32 Мбайт общего кеша L2, интегрированные аппаратные средства шифрования и контроллер PCI Express 3.0. При этом теплопакет, по данным Cavium, не превышает 95 ватт. К сожалению, у нас пока нет возможности проверить это утверждение. Но можно представить себе, какой величины достиг бы этот показатель в случае 54-ядерного Xeon, даже в варианте Skylake. Проникновение ARM в сегмент HPC, впрочем, быстрым назвать нельзя, хотя Cavium вполне заслуженно хвалится своими успехами на этом поприще.

Процессоры Cavium используют пусть и свой, но вполне привычный разъём типа LGA

Одна из национальных лабораторий Министерства энергетики США — Аргоннская национальная лаборатория — объявила, что планирует установку нового кластера производства Hewlett Packard Enterprise, а основой этого кластера станут именно процессоры Cavium ThunderX2. Надо полагать, что в такой организации, как Министерство энергетики, хорошо понимают всю важность экономичности суперкомпьютеров. Кластер под названием Comanche Wave будет состоять из 32 узлов. В числе прочего его задачей будет оценка применимости ARM в сфере супервычислений и разработка соответствующего программного обеспечения, включая ARM-версию компилятора LLVM.

Потенциальный конкурент Xeon и EPYC: взгляд вблизи

Именно Аргоннская лаборатория активно поддерживает альтернативные процессорные архитектуры и славится своими разработками для платформ PowerPC и IBM Blue Gene/Q, так что выбор места установки нового кластера не вызывает удивления. Интересно отметить, что Cavium, по сути, смогла перехватить кусок пирога буквально под носом у Intel, которой не удалось заключить контракт на установку суперкомпьютера Aurora на базе процессоров Xeon Phi Knights Hill. Лишь в 2021 году «синие» повторят попытку с процессорами x86, которые будут доступны к тому моменту. Впрочем, не факт, что это будет именно x86.

Как мы уже неоднократно отмечали, одной из важнейших частей любого суперкомпьютера или кластера является система межузловых соединений. Именно от неё зависит то, насколько эффективно будут распараллеливаться ресурсы, ведь медленная сеть легко может свести на нет все преимущества самых мощных процессоров и ускорителей. Сегодня Ethernet претендует на эту роль весьма активно благодаря развитию новых стандартов и достижению скоростей уровня 200 Гбит/с. Но другая технология, исторически раньше укоренившаяся в суперкомпьютерной отрасли, InfiniBand, похоже, не собирается сдавать позиции.

Mellanox Innova-2: новейшее достижение компании в области Ethernet

Говорим InfiniBand, подразумеваем Mellanox. Именно эта компания является самым активным разработчиком соответствующих устройств на рынке InfiniBand. Такое название, как ConnectX, знакомо любому, кто когда-либо интересовался тематикой высокоскоростных межсерверных соединений. Компания опубликовала последнюю статистику, согласно которой, 77 % всех суперкомпьютеров, вошедших в список TOP500 последними, в период с июня по ноябрь текущего года, используют именно InfiniBand. Таких систем в шесть раз больше, нежели применяющих сети собственной разработки и в 15 раз больше, нежели платформ, объединённых стандартом Ethernet.

А вот последние модели адаптеров InfiniBand используют уже новый чипсет ConnectX-6

Всего на долю InfiniBand приходится 60 % всех систем в списке, из этих 60 % две системы входят в пятёрку наиболее производительных суперкомпьютеров в мире. Как считают представители Mellanox, это закономерно, поскольку InfiniBand обладает рядом преимуществ перед Ethernet. Как минимум, данный протокол с самого начала разрабатывался, как предназначенный именно для использования в системах класса HPC, поэтому его создатели сконцентрировались на достижении не только высокой пропускной способности, но и минимизации задержек. Впрочем, Mellanox не отказывается от Ethernet. Напротив, на выставке-конференции SC17 она представила ряд интересных решений, включая новейшие «умные» ускорители на базе связки чипов ConnectX-5 и Xilinx Kintex UltraScale.

Согласно спискам Top500 по состоянию на июнь 2017 года первым в мире по вычислительной мощности по-прежнему остаётся китайский суперкомпьютер Sunway TaihuLight с пиковой производительностью свыше 93 петафлопс. Мы уже рассказывали читателям о его составляющих, в частности, довольно уникальных по архитектуре процессорах.

Но у чемпиона появился опаснейший соперник, правда, родом тоже из КНР. Это суперкомпьютер Tianhe-2, занимавший до недавнего времени вторую строку в рейтинге Top500 с показателем пиковой производительности почти 34 петафлопса. Затем он был разогнан до 55 петафлопс, а теперь пришло время дать бой лидеру.

Tianhe-2: до и после

В последнем варианте Tianhe-2 базировался на связках Intel Xeon и Xeon Phi, таких узлов у него было 16 тысяч. В качестве межблочной связи использовался стандарт 10 Гбит/с с задержкой 1,57 микросекунды, объём оперативной памяти составлял 1,4 петабайт, объём хранимых данных — 12,4 петабайт. Максимальная скорость работы с «дисковой» подсистемой могла достигать 512 Гбайт/с.

Свежая кровь: сопроцессор Matrix-2000

В настоящее время Tianhe-2 подвергается самой серьёзной модернизации за всю свою рабочую карьеру. Новая система будет называться Tianhe-2A, а место ускорителей Xeon Phi в ней займут сопроцессоры Matrix-2000 с уникальной архитектурой, разработанной китайскими специалистами. Чип этот являет собой разновидность DSP, оптимизированную, однако, с прицелом на вычисления общего характера. Декларируется поддержка OpenMP/OpenCL.

Общий план системы и межузловых соединений

В результате подобного апгрейда количество узлов в системе увеличится до 17792, а пиковая производительность при этом почти достигнет 95 петафплос (94,97 петафлопс в проекте). Сетевая подсистема также подвергнется модернизации и скорость передачи данных в среде увеличится до 14 Гбит/с, а латентность упадет до 1 микросекунды. Объём оперативной памяти нарастят до 3,4 петабайт, «дисковой» — до 19 петабайт, а скорость доступа к последней достигнет 1 Тбайт/с.

Старый узел на базе Xeon Phi (слева) и новый на базе Matrix-2000. Процессоры припаиваются непосредственно к плате

Вырастет и энергоэффективность: если раньше удельная производительность составляла 1,9 гигафлопс на ватт, то после модернизации этот показатель превысит 5 гигафлопс на ватт. Впрочем, «смены власти», скорее всего, не произойдет: если в тестах High Performance Linpack TaihuLight может достичь показателя 125,4 петафлопса, то прогнозы по Tianhe-2 скромнее и находятся в районе 70‒80 петафлопс.

За звание обладателя быстрейшего в мире суперкомпьютера активно борются два азиатских тигра — КНР и Япония. Обе страны обладают огромным потенциалом в области разработки микроэлектроники. Пока лидируют китайцы: в списке Top 500 первые два места занимают системы Sunway TaihuLight и Tianhe-2; первая, к тому же, славится своей экономичностью, потребляя всего 15,3 мегаватта при производительности в районе 93 петафлопс. Но это не значит, что Страна восходящего солнца собирается сдаваться. В 2011 году и ранее первое место в списке машин с наилучшим соотношением производительности и уровня энергопотребления занимал японский кластер Tsubame 2. Его наследник, Tsubame 3, готов побороться в высшей лиге, в этом уверен профессор Токийского технологического института Сатоши Мацуока (Satoshi Matsuoka), один из разработчиков вычислительного комплекса.

Сатоши Мацуока демонстрирует один из узлов Tsubame 3. Виден унифицированный контур СЖО

За его плечами двадцатилетний опыт проектирования и строительства кластерных систем различных масштабов, мощностей и назначения. Первый же спроектированный им суперкомпьютер Tsubame 1 (введён в строй в 2006 году) обошёл мощнейший на тот период вычислительный комплекс Earth Simulator, и при этом он был универсальным и пригодным для выполнения задач любого рода. Профессор не без оснований полагает, что его группа одна из первых в области создания гетерогенных архитектур. Опыты в области экономичности, однако, показали, что применение малых экономичных, но узкоспециализированных процессоров не является оптимальным. В итоге была избрана гетерогенная схема с x86 в качестве управляющих процессоров и графических ускорителей в качестве вычислительных модулей.

Главным поставщиком оборудования для Tsubame 3 стала компания HPE

Уже Tsubame 2 был полностью гетерогенным и, как уже было сказано, этому кластеру удалось поставить рекорд экономичности. Его наследник получил такую же архитектуру. В его основе лежит 540 узлов, каждый из которых содержит по четыре ускорителя NVIDIA Tesla P100 (2160 в сумме) и два 14-ядерных процессора Intel Xeon E5-2680 v4 (15120 ядер в сумме). Для межузловой связи имеется пара портов Intel Omni-Path (2160 портов суммарно), а в качестве подсистемы хранения данных применены накопители Intel серии DC с поддержкой NVMe объёмом 2 Тбайт. Такова конфигурация узла HPE Apollo 8600, который по габаритам меньше стандартного корпуса формата 1U.

Ускоритель NVIDIA Tesla P100 в версии NVLink

Над Tsubame 3 была проведена тщательнейшая оптимизация, и она дала свои плоды. Хотя на момент проведённых замеров в июне 2017 года машина работала не в полной конфигурации, ей уже удалось занять 61 место в общем списке Top 500 и выйти на первое место в списке Green 500, отобрав его у NVIDIA DGX-1 и Cray XC50, а также и у Sunway TaihuLight. Показатель составил 14,11 гигафлопс на ватт, что существенно выше предыдущего рекорда —  9,4 гигафлопс на ватт. Полностью система вошла в строй не так давно, 1 августа. Её расчётная мощность составляет 12,1 петафлопс. До TaihuLight, конечно, далековато, но команда Сатоши Мацуока не собирается уступать место в Green 500.

Япония —  лидер экономичности: все три первых места в Green 500 принадлежат ей

Интересен выбор технологии Omni-Path вместо традиционных Ethernet или InfiniBand, но исследователи выяснили, что оптимальным соотношением пропускной системы локальной памяти и скорости межузловых соединений является 2 к 1. С тех пор они придерживаются этого параметра, и скорости, предлагаемые Omni-Path, отлично способствуют сбалансированности системы в целом: Omni-Path даёт скорость 12,5 Гбайт/с, PCIe — 16 Гбайт/с, а NVLink — 20 Гбайт/с. Разница в скоростях составляет менее 2 к 1. Применение новой сетевой технологии позволило «накормить» каждый графический ускоритель в системе так, чтобы он простаивал как можно меньше. Кроме того, адаптеры Omni-Path показали себя более экономичными, нежели эквивалентные им карты InfiniBand. В узлах также использованы коммутаторы PCI Express, и все устройства могут общаться друг с другом независимо от центральных процессоров x86.

Комплекс Tsubame 3 использует жидкостное охлаждение

В интервью зарубежным СМИ Сатоши Мацуока озвучил своё видение идеальной кластерной системы. Такая система должна иметь только одну систему соединений на все компоненты, причём, любое соединение будет коммутируемым. Все протоколы будут скрыты под программной частью и полностью прозрачны для разработчика ПО. К этому стремится его команда разработчиков, но в реальном мире приходится довольствоваться сразу тремя типами соединений, но с прозрачностью дела идут неплохо, за исключением редких случаев. Тем не менее, он отметил, что с использованием Intel Omni-Path требуются некоторые усовершенствования в ЦП. Главная задача разработчиков Tsubame 3 на сегодняшний момент - добиться полной синхронности в работе всех трёх подсистем: Omni-Path, PCIe и NVLink. Разработчики оптимизируют соответствующие алгоритмы и улучшают их масштабируемость. Команде профессора Сатоши Мацуока помогают дружественные разработчики из Университета штата Огайо.

Суперкомпьютер — удовольствие дорогое. Достаточно представить себе залы, заставленные аппаратными шкафами, которые потребляют мегаватты энергии и мегаватты же выделяют в виде тепла, которое надо отвести и рассеять. А если добавить к этому десятки километров медных и оптоволоконных кабелей, то стоимость такого вычислительного монстра перестаёт удивлять. Далеко не все организации могут позволить себе владеть системами такого класса. Тут-то и приходит на выручку идея «суперкомпьютера как сервиса», ранее уже подтвердившая свою работоспособность. Но на что способны такие сервисы сегодня? Как оказалось, весьма и весьма на многое.

Уже несколько лет компания Cycle Computing разрабатывает методы использования сервисов Amazon Web Services в помощь исследователям, нуждающимся в серьёзных вычислительных мощностях, но на сравнительно коротком промежутке времени. Недавно она закончила программу по созданию самого большого кластерного вычислителя Amazon. Созданная система, включившая в себя 156314 процессорных ядер, успешно проработала 18 часов, развив пиковую мощность порядка 1,21 петафлопс. В операции были задействованы ЦОД Amazon по всему миру: в США, Ирландии, Сингапуре, Японии, Бразилии и даже Австралии. Ядра распределились по 16788 системам, в среднем количество ядер на виртуальную машину составило 9,3. Конечно, не всякая вычислительная задача хорошо масштабируется с учётом сравнительно медленной пропускной способности межузловых соединений в таком «виртуальном суперкомпьютере». Отмечается, что даже в тесте Linpack результаты оказались бы меньше из-за высокой латентности соединений.

Однако выгода в тех случаях, где это возможно, очевидна — счёт, выставленный Amazon за использованные вычислительные мощности, составил всего $33 тысячи. Работал же «виртуальный суперкомпьютер» над задачей, поставленной профессором Университета Южной Калифорнии Марком Томпсоном (Mark Thompson). Его команда разрабатывает материалы, с помощью которых можно будет создавать высокоэффективные солнечные панели нового поколения. Вместо сложнейшей и очень дорогостоящей программы исследований, которая заняла бы год работы, удалось воспользоваться системой Schrödinger, которая смогла сэмулировать поведение 205 тысяч молекул. Вклад, внесённый Amazon и Cycle Computing в разработку солнечных батарей нового поколения оценивать пока рано, но сама система оказалась работоспособной. Компанию стоит похвалить за вклад в науку — помимо счёта Amazon, она не взяла с исследователей ни цента.

Российская группа компаний РСК представила своё сверхплотное, масштабируемое и энергоэффективное кластерное решение «РСК Торнадо» на базе новых процессоров семейства Intel Xeon Scalable.

Чипы Xeon Scalable созданы специально для современных центров обработки данных и сетевой инфраструктуры. Они обеспечивают высокую энергоэффективность и производительность на уровне системы, превосходящую производительность предыдущего поколения в среднем в 1,65 раза. Процессоры обладают новой микроархитектурой ядра, новыми встроенными разъёмами и контроллерами памяти, благодаря чему платформа сочетает в себе производительность, надёжность, безопасность и управляемость.

Новые системы «РСК Торнадо» уже показали мировой рекорд производительности — 685,44 терафлопса на стандартный шкаф 42U (80 × 80 × 200 см). Такой результат был достигнут на процессорах Xeon Platinum 8180 поколения Scalable (28 ядер, тактовая частота ядра 2,5 ГГц). Этот показатель в 2,65 раза превышает производительность «РСК Торнадо» на базе самой старшей модели процессоров предыдущего поколения семейства Xeon E5-2600 v4 — а именно, Xeon E5-2699A v4.

РСК предлагает заказчикам универсальные высокоплотные решения «РСК Торнадо» на базе полного набора компонентов для создания современных кластерных вычислительных систем различного масштаба со 100 % жидкостным охлаждением в режиме «горячая вода», включая высокопроизводительные вычислительные узлы на базе 72-ядерного процессора Intel Xeon Phi 7290 и серверной платы Intel S7200AP, новых процессоров семейства Intel Xeon Scalable и плат Intel Server Board S2600BP, с установленными на них твердотельными дисками Intel SSD DC S3520 Series, Intel SSD DC P3520 Series с интерфейсом NVMe в высокоплотных форматах М.2 и новейшим Intel Optane SSD DC P4800X Series. 

Как известно, классические процессорные архитектуры проявляют себя хорошо при решении определённого круга задач, но в ряде особых случаев разработчики вынуждены применять специализированные сопроцессоры, поскольку эффективность обычных ЦП в этих случаях низкая, и они решают задачу, что называется, в лоб — количественным методом, затрачивая на это чудовищное количество системных ресурсов. Сопроцессоры же способны решать такие задачи гораздо быстрее. Простейшим примером могут послужить вычисления с плавающей запятой: сейчас блоки FPU интегрированы в основной кристалл, но когда-то они были отдельными чипами — Intel 8087/80287/80387 или других производителей, таких, как Weitek. В качестве современного примера можно привести векторные процессоры NEC Aurora, о которых мы рассказывали читателям ранее.

Похожего класса разработки имеются и у российских учёных: так, в лабораториях ВНИИЭФ разработан уникальный модулярно-логарифмический сопроцессор, первый научный доклад о котором прозвучал на суперкомпьютерном форуме НСКФ-2016. Глава команды разработчиков, Илья Осинин, заявил, что благодаря использованию нетрадиционной логарифмической системы счисления удалось добиться десятикратного ускорения производительности на операциях умножения и стократного — на операциях деления. И это не только теория: сопроцессор был проверен в работе и аппаратно. Для прототипирования были использованы чипы ПЛИС производства Altera — так поступают практически все разработчики сложных вычислительных устройств, когда им нужно проверить свои теории на практике. Данной разработкой заинтересовались сразу три российских разработчика: АО «МЦСТ», Baikal Electronics и НИСИ РАН.

Внимание со стороны МЦСТ вполне логично: у этой команды уже налажен выпуск восьмиядерных 64-битных процессоров Эльбрус-8С, на основе которых планируется строить не только серверы и рабочие станции, но также и кластерные системы и суперкомпьютеры, в которых сопроцессор Осинина может принести немало пользы. По данным разработчиков, этот чип в 1000 раз быстрее Intel Xeon E5-2697 v3 (Haswell-EP, 14С/28T, 2,6 ГГц, 35 Мбайт L3, 145 ватт) при вычислении логарифмов и в три раза быстрее при обработке сложных полиномов. Интересно, что архитектура у новой разработки гибкая и имеет возможность реконфигурации на лету, что, в числе прочего, позволяет заменять отказавшие вычислительные блоки не прерывая вычислений. Это наверняка оценят как учёные, так и военные. Имеющийся прототип, выполняющий 4 операции за такт, оценивается в 9,2 миллиона транзисторов, что весьма немного по меркам современной индустрии.

При увеличении количества вычислительных блоков до 32 возможности модулярно-логарифмического сопроцессора сравняются с блоком AVX-512, реализованном в процессорах Intel Xeon Phi семейства Knights Landing, но транзисторный бюджет составит всего 73,6 миллиона транзисторов против 86 миллионов у Intel —  налицо 17 % экономия, а значит, и более низкая себестоимость. Помимо этого, группировка ядер в новой архитектуре позволяет выполнять 1024-разрядные операции за один такт, чего не умеет блок расширений AVX-512, ограниченный 512 разрядами за такт. О полной победе над Intel говорить рано, поскольку образец пока работает лишь на частоте 100 МГц — в 26 меньше, чем у решения Intel. Речь идёт о финальной версии с аналогичной частотой 2,6 ГГц, что вполне достижимо в финальной версии с собственным кремнием. Совместим новый сопроцессор не только с решениями МЦСТ, но и практически с любым другим процессором. Из отечественных решений названы чипы Байкал-М и KOMDIV-64.