История I-Scalare берет свое начало в 2010 году, когда Московский физико-технический институт стал одним из победителей конкурса, проведенного в рамках постановления Правительства России №220 "О мерах по привлечению ведущих ученых в российские образовательные учреждения высшего профессионального образования". Как результат, в вузе было сформировано новое структурное подразделение — "Лаборатория суперкомпьютерных технологий для биомедицины, фармакологии и малоразмерных структур" (Intel super computer applications laboratory for advanced research, I-Scalare), на создание и функционирование которого государством был выделен грант в размере 150 млн рублей. Научным руководителем и заведующим лабораторией был назначен доктор технических наук Владимир Пентковский, известный разработчик программно-аппаратных архитектур, заслуженный исследователь Intel.
Ключевыми направлениями работы нового исследовательского подразделения МФТИ стали создание приложений и оптимизация компьютерных архитектур для задач инновационного развития биомедицины, фармакологии и нанотехнологий на базе высокопроизводительных вычислений. В качестве "целевых" были выбраны несколько прикладных вычислительных задач, связанных с моделированием вирусов, клеточных мембран, а также взаимодействия белков и внешних полей с клеточными мембранами. Все они, с одной стороны, отличаются большой практической ценностью, а с другой — не могут быть решены на имеющихся вычислительных ресурсах и требуют новых подходов к архитектуре кластеров.
Для проведения широкого спектра исследований в рамках деятельности лаборатории задействован суперкомпьютер на базе серверных процессоров Intel Xeon E5-2690, разработанный и установленный специалистами группы компаний РСК. Вычислительный кластер МФТИ построен на базе архитектуры "РСК Торнадо" с жидкостным охлаждением оборудования. С момента создания он претерпел несколько этапов модернизации, в результате чего его производительность выросла в десятки раз (со времени установки первой пилотной системы).
Новое, третье поколение вычислительного комплекса включает в себя две вычислительные стойки, содержащие в сумме 224 вычислительных узла на основе серверных плат Intel S2600JF и двух процессоров Intel Xeon E5-2690 в каждом (всего 448 процессоров, 3584 ядра). Объем оперативной памяти на один узел составляет 64 Гбайт, суммарно в системе доступно 14,3 Тбайт ОЗУ. Коммуникационная сеть построена с использованием высокоскоростного интерфейса Infiniband QDR, для хранения данных в каждом узле задействованы твердотельные накопители Intel серии 320 емкостью по 120 Гбайт каждый. Пиковая производительность платформы на данный момент составляет 83,14 терафлопс (триллионов операций с плавающей запятой в секунду) при занимаемой площади около 4 м2.
В конструкции суперкомпьютера реализована возможность "горячей замены" вычислительных узлов, то есть извлечения и установки любого модуля-лезвия (Blade) без остановки работы остальных элементов системы. Для надежности внутри вычислительных блоков отсутствуют механически движущиеся части, в том числе вентиляторы и жесткие диски. Каждый монтажный шкаф платформы содержит необходимую инфраструктуру: разъемы и коллекторы для объединения охлаждения всех печатных плат, блоков питания и управляющих модулей в общий контур жидкостного охлаждения. При этом система жидкостного охлаждения электронных компонентов разделена на две части — внутреннюю, входящую в состав инфраструктурного шкафа, и внешнюю, размещаемую на улице, вне помещения.
По заверениям представителей группы компаний РСК, за счет более эффективного механизма переноса тепла, реализованного в жидкостной системе охлаждения, достигается существенная (до 68%) экономия электроэнергии — если сравнивать с тем, сколько потребляют схожие кластеры с традиционными системами воздушного конвекционного и принудительного охлаждения. Кроме того, применение жидкостного охлаждения и независимость от существующей инфраструктуры делают вычислительный кластер максимально компактным и позволяют разворачивать «РСК мини-ЦОД» практически в любых помещениях.
Другой отличительной особенностью вычислительного кластера МФТИ является оптимально подобранная конфигурация вычислительных узлов, добиться которой сотрудникам лаборатории I-Scalare удалось за счет моделирования аппаратной составляющей нового поколения комплекса с последующим изучением его производительности на приложениях, решающих задачи молекулярной динамики. Такой эволюционный подход к увеличению производительности суперкомпьютера, предполагающий использование существующей платформы для моделирования следующей, позволяет добиваться максимального коэффициента масштабируемости системы, а также получать качественные и количественные оценки различных компонентов платформы. Понимание того, насколько эффективно будут исполняться программы на оборудовании, подчас еще только запланированном к эксплуатации, позволяет предвидеть и заранее устранить проблемы производительности, добиваясь наилучшей отдачи от дорогостоящей вычислительной системы. На текущий момент специалисты I-Scalare успешно проводят моделирование платформ, по мощности в десять раз превосходящих установленный кластер, то есть имеющих производительность до 830 терафлопс, используя инструментарий Wind River Simics, Intel VTune Amplifier, а также разработанные в лаборатории технологии.
Как было сказано ранее, усилия участвующих в проекте I-Scalare студентов, аспирантов и ученых сфокусированы не только на работе в области исследований и разработки программно-аппаратных архитектур, но и на решении био-медико-фармацевтических задач. В частности, адаптированный к особенностям задач молекулярной динамики и биохимии суперкомпьютер МФТИ используется научной группой под руководством профессора Романа Ефремова из Института биоорганической химии РАН для исследований в области конструирования нового класса антимикробных соединений на основе природных лантибиотиков.
Ученые исследовательской группы химического факультета МГУ им. М.В. Ломоносова под руководством академика Н.С. Зефирова активно используют вычислительные мощности кластера для моделирования структуры белковой оболочки и молекулярной динамики опасных для человека вирусов типа Flavivirus (например, вируса лихорадки Денге, клещевого энцефалита) и процессов их взаимодействия с клетками организма. В ходе проведенных работ специалистам удалось получить информацию о пространственном строении вирусного белка, которую не удавалось добыть экспериментально, а затем проанализировать его динамическое поведение и связывание с ним молекул, препятствующих слиянию флавивирусов с клетками человека. На основе моделирования белков оболочки вируса были предложены вещества, обладающие противовирусной активностью по отношению к вирусу клещевого энцефалита (биологические испытания проведены в ФГБУ "Институт полиомиелита и вирусных энцефалитов им. М.П. Чумакова" РАМН). Помимо этого, в вычислительном поле I-Scalare проводится моделирование молекулярной динамики рецептора NMDA, результаты которого могут быть использованы в будущем для лечения болезней Альцгеймера, Паркинсона и других нейродегенеративных возрастных заболеваний.
Фронт проводимых сотрудниками лаборатории I-Scalare исследований огромен, и останавливаться на достигнутом в МФТИ не намерены. Опираясь на трехлетний опыт работы, участники проекта планируют в ближайшие годы довести производительность моделируемого четвертого поколения вычислительного кластера до 8000 терафлопс и продолжить работы в области исследования и разработки программно-аппаратных архитектур и решения био-медико-фармацевтических задач. Столь внушительных показателей скорости функционирования суперкомпьютера специалисты I-Scalare намерены добиться за счет применения гетерогенной архитектуры, в которой графический ускоритель и процессор действуют как единое целое, использования новой модели иерархии памяти, оптимизации программно-аппаратных компонентов и внедрения прочих инновационных решений. Посредством моделирования эксперты лаборатории планируют также изучить границу роста существующих архитектур и перспективы развития отрасли супервычислений.
Вклад коллектива I-Scalare в развитие суперкомпьютерных технологий в России трудно переоценить — вместе с остальными лабораториями они формируют стратегическую основу современных технических и естественных наук, предоставляя инструменты для новых научных открытий. Нет никаких сомнений в том, что благодаря суперкомпьютеру МФТИ отечественным ученым удастся достичь значимых успехов в моделировании поведения вирусов и в создании в будущем новых лекарств для борьбы со многими опасными заболеваниями.
Ссылки по теме:
- Сайт лаборатории I-Scalare;
- Сведения о вычислительном кластере Московского физико-технического института на сайте группы компаний РСК;
- Информация о высокопроизводительных вычислительных системах на сайте корпорации Intel.
