К конференции International Supercomputing Conference (ISC’14), с недавних пор ежегодно проходящей в Лейпциге, Германия, приурочено одно из важнейших событий серверной отрасли — публикация очередной версии рейтинга самых мощных суперкомпьютеров мира TOP500 и самых энергоэффективных вычислительных систем TOP GREEN500. Рейтинг обновляется раз в полгода: летом — на конференции в Лейпциге, зимой — на аналогичном мероприятии где-нибудь в США. Именно на этой конференции разработчики аппаратных и программных решений для сверхмощных компьютерных систем показывают свои новинки и демонстрируют достигнутые успехи.

Группа компаний РСК, принимающая в последние годы активное участие в международных мероприятиях подобного класса, в рамках ISC’14 представила очередной шедевр российской конструкторской мысли — новейшее параллельное суперкомпьютерное решение RSC PetaStream с прямым жидкостным охлаждением и сверхмассивной плотностью вычислительной мощности.

Суперкомпьютер RSC PetaStream с новым поколением сопроцессорных модулей Intel Xeon Phi 7120D с ходу установил сразу два мировых рекорда этого сезона. Первый рекорд — это максимальная плотность вычислительной мощности: 1,2 ПФЛОПС на квадратный метр занимаемой площади, что на 20% превысило рекорд предыдущей версии системы PetaStream (1 ПФЛОПС на один шкаф), представленной РСК на конференции SC’13 (Supercomputing Conference) в Денвере в ноябре 2013 года. Второй рекорд — энергетический: от одного шкафа русские умудрились отвести до 400 кВт тепловой мощности.

В дни ISC’14 состоялась отдельная презентация, где выступали не только представители РСК, но и специалисты крупнейших международных компаний, а также ряд российских учёных, использующих системы RSC PetaStream в практической ежедневной работе. Ну а представители РСК рассказали не только о достигнутых рекордах, но и о планах на будущее, в частности, анонсировав новый подход к формированию расширенных конфигураций.

Кроме того, на выставке ISC’14 впервые демонстрировались не только различные модули системы RSC PetaStream: в этот раз на стенде компании красовался вычислительный шкаф, что называется, «под ключ», который произвёл изрядное впечатление на посетителей.

RSC PetaStream: взгляд изнутри

Прологом презентации новых систем RSC PetaStream стало выступление Стива Конвея (Steve Convay), вице-президента аналитической компании IDC Research. В своём докладе господин Конвей определил четыре ключевых момента в эволюции современных суперкомпьютеров: вопросы энергопотребления и охлаждения, вычислительной плотности, масштабируемости и разумных инвестиций в программное обеспечение.

После демонстрации подробных слайдов с наглядным справочным материалом и цифрами по тенденциям последних лет Конвей представил прогнозы по развитию рынка сверхмощных вычислений на ближайшие годы. По мнению аналитиков IDC Research, на рубеже до 2016 года затраты центров суперкомпьютерных вычислений на энергообеспечение будут снижаться до 8-9%, при этом всё большее распространение будут получать системы с интеллектуальным управлением, распределяющие нагрузку именно туда, где она требуется в каждый момент времени. Заказчики всё больше будут ориентироваться на аппаратные и системные решения с наиболее эффективным отношением к расходу энергии.

Наряду с появлением более производительных процессоров, сопроцессоров и ускорителей, будут совершенствоваться способы распараллеливания вычислений, в том числе на программном уровне. Уже в начале 2015 года ожидается появление значительного числа систем с вычислительной мощностью порядка 100 петафлопс, при этом на рубеже 2017-2020 годов энергопотребление таких систем снизится до уровня примено 20 МВт, а к 2022-2024 году можно ожидать появления первых «экзафлопсных» систем в форм-факторе нынешних «петафлопсных».

Особенно много внимания в презентации Конвея было уделено инвестициям в программное обеспечение, основные современные алгоритмы которого, согласно прогнозам, будут с трудом масштабироваться уже на этапе достижения вычислительной мощности порядка 100 петафлопс, не говоря уж о следующем, «экзафлопсном» уровне.

Согласно прогнозам IDC Research, архитектура x86, которая нынче занимает более 80% рынка HPC, в ближайшее время останется господствующей в отрасли массивных тяжёлых вычислений. Архитектурам, основанным не на x86-базисе, — таким как ARM, а также необычные разработки китайских и японских компаний, предстоит значительный путь по созданию собственной надёжной экосистемы и достаточного пула приложений. Аналитики также предсказывают продолжение бурного роста рынка сопроцессоров и ускорителей, однако и здесь необходимо определённое время на создание соответствующего программного окружения. С прологом закончили, переходим к собственно PetaStream.

Официальную презентацию нового поколения RSC PetaStream проводил Алексей Шмелёв, исполнительный директор группы компаний РСК.

В аппаратном плане независимые и равнозначные узлы параллельного суперкомпьютера PetaStream выполнены на базе 61-ядерного сопроцессора Intel Xeon Phi 7120D с 16 Гбайт скоростной памяти GDDR5. Отдельно следует подчеркнуть, что это первое в мире законченное решение на основе сопроцессоров Intel Xeon Phi 7120D.

Каждый шкаф RSC PetaStream содержит 1024 равнозначных вычислительных узла c 250 тысячами потоков, при этом узлы системы объединены между собой высокоскоростными соединениями на базе технологии InfiniBand FDR. Использование эффективной подсистемы распределения электропитания с рабочим напряжением 400 В постоянного тока с высоким значением КПД, а также традиционной для архитектуры «РСК Торнадо» технологии прямого жидкостного охлаждения позволило достичь рекордно сверхплотных показателей для архитектуры x86 — до 1,2 петафлопс на вычислительный шкаф при занимаемом объеме всего лишь 2,2 м³. Если принять во внимание, что от каждого шкафа при помощи того самого прямого жидкостного охлаждения можно отвести до 400 кВт тепловой мощности, то получается, что расход электроэнергии – по сравнению аналогичным показателем традиционных кластерных систем для моделирования с высоким уровнем параллелизма – уменьшается в два раза.

Системы RSC PetaStream работают под управлением операционной системы семейства Linux и интегрированного стека программного обеспечения для мониторинга и управления суперкомпьютерными системами, что позволяет применять уже существующие модели программирования, масштабируя их на суперкомпьютерах вплоть до экзафлопcного диапазона.

Как отдельно подчеркнул Алексей Шмелёв, именно системы RSC PetaStream могут стать мостиком между современными кластерами «петафлопсного диапазона» и будущей «эпохой экзаскейла», поскольку, благодаря гибкости конфигурирования архитектуры RSC PetaStream, можно разрабатывать, оптимизировать и тестировать приложения, которые возможно будет эффективно использовать в будущих системах с массивно-параллельными архитектурами и новыми многоядерными процессорами, а также инновационными моделями программирования для экзафлопных вычислений. Ведь в этом случае понадобится обеспечивать миллионы исполняемых вычислительных потоков в одном приложении.

⇡#«РСК Торнадо»: будущее — за системами с гибким конфигурированием

Специалисты группы компаний РСК оптимизировали подход к созданию решений на базе архитектуры «РСК Торнадо», представив расширения базовой архитектуры «РСК Торнадо» для решения различных классов задач. То есть концепция теперь выглядит так: есть базовый узел «РСК Торнадо» на основе двухпроцессорной конфигурации с чипами Intel Xeon E5-2600 v2, а в дополнение к нему существуют различные пакеты расширения под конкретные специфические потребности заказчика.

Например, пакет расширения RSC Tornado HPC Expansion Pack для высокопроизводительных вычислений, оснащённый двумя сопроцессорами Intel Xeon Phi, позволяет повысить производительность одного узла до 2,93 терафлопс. Другое решение — расширение RSC Tornado BigData Expansion Pack, которое позволяет добиться оптимального соотношения «цена — производительность» для высокопроизводительной обработки данных. На Xeon Phi мир клином не сошелся: специализированный пакет расширения RSC Tornado VDI Expansion Pack для задач виртуализации, удаленного доступа к рабочим местам и областей CAD/CAM/CAE может быть – по желанию заказчика – построен на основе карт AMD FirePro S10000 или NVIDIA GRID K1/K2 в связке с высокопроизводительным твердотельным накопителем Intel SSD DC P3700.

Ещё один пакет расширения — RSC Tornado Security&Protection Expansion Pack – разработан для учреждений финансового сектора и подобных заказчиков, чувствительных к максимальной скорости доступа к данным и их защите. Программно-аппаратный пакет расширения RSC SDM Expansion Pack позволяет реализовать разработанную специалистами РСК для узлов «РСК Торнадо» и RSC PetaStream концепцию Software Defined Management, улучшая управляемость и увеличивая доступность вычислительных систем для пользовательских приложений. В рамках данной концепции гибкое объединение управляющих агентов (инфраструктурных компонентов, узлов вычислителя, планировщика и библиотек пользовательских приложений) делает возможным создание новых «проблемно-ориентированных управляющих приложений» (Task Oriented Management Applications, TOMA), позволяющих повысить эффективность использования вычислительного комплекса и снизить эксплуатационные издержки.

Таким образом, каждый заказчик получает гибкое решение, оптимизированное именно для его задач, при этом такой подход позволил повысить доступность специализированных конфигураций и обеспечить легкость модернизации с сохранением рекордной компактности, вычислительной и энергетической плотности. Кроме того, под определённых заказчиков специалисты РСК готовы создавать другие специализированные пакеты расширения.

⇡#RSC PetaStream: слово заказчикам

Мы уже упоминали, что на презентации нового поколения систем RSC PetaStream присутствовал ряд учёных из российских и зарубежных научных учреждений, которые выступили с докладами о своих достижениях.

Наиболее интересным, по мнению вашего покорного слуги, оказалось выступление исследователей из Института вычислительной математики и математической геофизики Сибирского отделения РАН (ИВМиМГ СО РАН) и Новосибирского государственного университета (НГУ). Игорь Черных, представитель ИВМиМГ СО РАН, рассказал об экспериментах по тестированию моделирующего столкновение галактик приложения AstroPhi на системе RSC PetaStream.

По его словам, суперкомпьютерное моделирование таких процессов является единственным способом их изучения. Благодаря мощной вычислительной системе RSC PetaStream с узлами на базе Intel Xeon Phi, с помощью приложения AstroPhi удалось смоделировать столкновение галактик в рекордном разрешении при использовании более миллиарда расчетных ячеек. За счет высокой производительности и хорошей масштабируемости RSC PetaStream время вычислений на одном модуле оказалось в 6 раз меньшим, чем на 4 узлах с процессорами Intel Xeon E5-2690.

Об исследованиях в области жизненно важных для клетки процессов развития, старения и опухолеобразования с изучением фундаментальных закономерностей и механизмов регуляции транскрипции генов (процесса считывания генетической информации) рассказали специалисты Санкт-Петербургского государственного политехнического университета (СПбГПУ) и Петербургского института ядерной физики НИЦ «Курчатовский институт» (ПИЯФ НИЦ КИ), которые также проводили свои исследования с помощью системы RSC PetaStream.

Для изучения различных промежуточных состояний клетки и ее частей с помощью методов молекулярной динамики (одним из результатов являются рассчитываемые траектории частиц) применялся открытый программный комплекс GROMACS, оптимизированный под различные аппаратные архитектуры. В последних версиях GROMACS, по словам докладчиков — Евгения Петухова, начальника отдела системного программного обеспечения СПбГПУ, и Алексея Швецова, младшего научного сотрудника Отделения молекулярной и радиационной биофизики ПИЯФ НИЦ КИ, есть поддержка «родного» режима для сопроцессора Intel Xeon Phi.

Уже на одном вычислительном модуле RSC PetaStream с процессорами Intel Xeon Phi удалось достичь производительности 4,6 терафлопс и скорости решения 1,9 нс/сутки, что сравнимо с показателями десятка двухпроцессорных узлов на базе Intel Xeon E5-2695 v2. Применение массивно-параллельных систем класса RSC PetaStream позволяет расширить временные рамки, захватив интервалы длиной до миллисекунд, и исследовать системы в большем диапазоне размеров.

Международный коллектив исследователей из Университета Хельсинки (University of Helsinki), Института здравоохранения Финляндии (National Institute of health and Welfare) и Рыбинского государственного авиационно-технического университета (РГАТУ) поделился результатами исследования по выявлению причин возникновения и отслеживанию динамики развития эпидемии гриппа, имевшей место в 2009-2011 годах в Финляндии. Используя байесовскую модель распространения инфекции и ее реализацию на основе принципа выборки по значимости, исследователи поставили первоочередную цель оценки количества так называемых скрытых (незарегистрированных) случаев болезни. Для расчетов использовалась математическая статистика, поэтому вычислительных мощностей для реализации метода Монте-Карло, дающего оценку правдоподобия заданного набора параметров, априори не могло быть в достатке. При этом один модуль системы RSC PetaStream на базе восьми Intel Xeon Phi обеспечивает производительность, необходимую для поиска оптимальных траекторий с помощью метода MCMC (Markov Chain Monte Carlo, «метод Монте-Карло по схеме марковских цепей»), так как позволяет выполнять симуляцию со скоростью порядка 360 000 бросков метода Монте-Карло в секунду.

Сотрудники химического факультета МГУ им. М.В. Ломоносова, проводившие свои исследования при поддержке Лаборатории инновационных вычислений Университета Теннеси, рассказали об адаптации библиотеки линейной алгебры MAGMA к новой аппаратной архитектуре и исследовании производительности на системе RSC PetaStream.

По словам учёных, в ряде тестов достигнутая производительность составила более 60% от теоретической (пиковой) производительности использованной конфигурации RSC PetaStream.

⇡#RSC PetaStream: наши на выставке

В этом году на выставочных стендах ISC красовалось множество новых решений от различных компаний. Хотелось бы в связи с этим отметить характерный рост числа решений с водяным или гибридным охлаждением, а некоторые компании наконец-то начали открывать для себя преимущества охлаждения «горячей водой».

В этом плане экспозиция группы компаний РСК выглядит – без всяких преувеличений – как решение из будущего, тем более что в этом году на стенде представлена полноформатная стойка RSC PetaStream.

Представителям РСК действительно есть чем гордиться: многие проблемы, с которыми сталкиваются сегодня специалисты других компаний при разработке систем водяного охлаждения, давным-давно решены инженерами РСК, и реализованное таким образом преимущество во времени можно с пользой потратить на исследования будущих проблем эпохи пресловутого «экзаскейла».

На протяжении всех выставочных часов интерес к экспозиции на стенде РСК не снижался: приходили многочисленные посетители — потенциальные заказчики, а то и специалисты компаний-конкурентов, которые с огромным интересом расспрашивали о нюансах архитектуры «Торнадо».

В завершение сегодняшнего репортажа – без малейшего пафоса или натужного патриотизма – хотелось бы признаться в чувстве гордости за свою страну, которое возникает при знакомстве с РСК. За наших замечательных инженеров и разработчиков, которые своими достижениями удивляют весь мир. Спасибо вам!