Российские разработчики представили реконфигурируемую вычислительную систему на базе ПЛИС

Микросхемы ПЛИС (FPGA) являются уникальными по многим параметрам; чего стоит одна возможность программной реконфигурации внутренней схемотехники такого чипа. Причём реконфигурации под требуемую задачу, а ведь известно, что узкоспециализированные чипы решают определённого рода задачи в разы, а то и на порядки быстрее процессоров общего назначения. Нет никакой проблемы превратить ПЛИС, к примеру, в процессор цифровой обработки сигналов или даже эмулировать на ней архитектуру другого процессора, что иногда делают энтузиасты, создающие клоны любимых ретро-консолей и систем типа Amiga. Это было возможно даже на старых поколениях ПЛИС, новые же чипы этого типа представляют собой настоящих монстров производительности. Интерес к ним со стороны разработчиков суперкомпьютеров вполне логичен.

НИИ МВС и НИЦ супер-ЭВМ и нейрокомпьютеров

Ни для кого не секрет, что Российская Федерация нуждается в вычислительных мощностях, как и любое другое крупное государство, имеющее стратегическое влияние на высшем уровне. А в определённых отраслях нужна не просто вычислительная мощность, а мощность, максимально защищённая от атак изнутри — разработанная и проверенная собственными силами и лишённая каких-либо вредоносных «закладок». Хотя тема «закладок» и отдаёт порой изрядной параноидальностью, есть сферы, где лучше лишний раз убедиться в безопасности всего электронного оборудования. Все помят историю с вирусом Stuxnet, полностью парализовавшим иранское производство ядерного топлива и впоследствии обнаруженным даже в системах одной из российских АЭС и на компьютерах международной космической станции. Понемногу эта область вычислительной техники в России развивается: в частности, существует неплохой двухъядерный процессор Байкал-Т1 (28 нм) и более серьёзный восьмиядерный Эльбрус-8С (1,3 ГГц, 4 Мбайт L2, 16 Мбайт L, 250 Гфлопс).

Основа суперкомпьютеров и вычислительных модулей нового поколения

Это процессоры общего назначения; они, несомненно, будут востребованы и найдут своё место в оборонной, аэрокосмической и научной отраслях. Но ведутся исследования и в других направлениях, связанных с вычислительной техникой. В частности, на конференции ПаВТ 2016 НИИ МВС Южного федерального университета (г. Таганрог) и Научно-исследовательский центр супер-ЭВМ и нейрокомпьютеров представили уникальную реконфигурируемую вычислительную систему на основе ПЛИС Virtex UltraScale с жидкостным охлаждением. Последний факт не удивляет: в последнее время владельцы крупных ЦОД и суперкомпьютеров по всему миру активно интересуются темой жидкостного охлаждения и внедряют соответствующие системы, как более выгодные и надёжные в эксплуатации.

Модули с воздушным охлаждением: «Плеяда» (слева) и «Тайгета»

Интересно, что в качестве хладагента используются не дорогостоящие высокомолекулярные составы, выпускаемые компанией 3M и ставящие отечественные системы с СЖО в зависимость от этой компании, а специальное маловязкое масло МД-4,5, обладающее подходящими параметрами, в частности, высокой теплоёмкостью на уровне 1,666 кДж/(кг·К) и низким коэффициентом объёмного расширения. Вполне на уровне и электрические характеристики: электрическая прочность 280 МВ/м и удельное сопротивление 2,2×10¹² Ом. Стоит эта жидкость примерно $15 за килограмм и производится на предприятиях НПЦ Спецнефтьпродукт. Ещё один плюс к автономности и независимости от зарубежных источников. Вероятно, к ней стоит присмотреться и энтузиастам-оверклокерам, особенно тем, кто любит эксперименты.

Конструкция погружной СЖО довольно проста

Сами ПЛИС, разумеется, производятся Xilinx, поскольку освоение такой технологии своими силами — дело не одного года: современные ПЛИС являются чрезвычайно комплексными устройствами и расходы на их разработку (R&D) могут быть весьма солидными, а кроме того, при желании полной автономности производства потребуется постройка соответствующих фабрик, что тоже обойдётся весьма недёшево. Как показали предыдущие эксперименты с модулями «Плеяда» РВС-7 и «Тайгета» с пиковой производительностью на стойку 62 и 43‒53 терафлопса, высокая плотность компоновки модулей и плат с установленными на них микросхемами Virtex-6 или Virtex-7 подтвердили кризис систем воздушного охлаждения при высокой плотности упаковки чипов в малоразмерных корпусах. Температура ПЛИС в модуле «Тайгета» составила 72,9 градуса при допустимом диапазоне 65‒70 градусов, а модуль на базе более сложных чипов UltraScale и вовсе продемонстрировал 85 градусов, что уже угрожало работоспособности ПЛИС.

Вся хитрость —  в правильной подаче хладагента

В итоге была разработана новая компоновка вычислительных ПЛИС-модулей, изначально рассчитанная на применение жидкостного охлаждения с помощью промышленных холодильных установок (чиллеров), тепловой поток к которым должны передавать специальные теплообменники, установленные в каждом модуле. За стандарт был взят форм-фактор шасси высотой 3U для установки в стандартные 19-дюймовые шкафы с расчётом не менее 12 модулей на шкаф. При этом каждый модуль несёт в себе от 12 до 16 плат с 8 ПЛИС, каждая из которых генерирует тепловой поток 100 ватт. Конструкция модуля делится на 2 зоны — вычислительную и теплообменную. В последней установлен автономный циркуляционный насос и высокоэффективный пластинчатый теплообменник, подключаемый к общей чиллер-системе, а также краны на случай аварии или необходимости замены модуля.

Испытательный стенд теплового макета

Вычислительная секция состоит из 12 плат ПВМ, трёх модулей питания, модулей загрузки и управления, платы индикации, а также кросс-платы питания, загрузки. Как уже было сказано, каждая плата вычислительного модуля несёт на себе 8 ПЛИС Kintex UltraScale XCKU095. Это предпоследняя модель в серии 20-нанометровых ПЛИС Kintex, содержащая в себе 1176 логических ячеек, 768 частей DSP, 59,1 Мбайт блочной памяти, 64 трансивера со скоростью передачи данных 16,3 Гбит/с и располагающая 702 линиями ввода/вывода. Кроме ПЛИС на плате содержится оперативная память, флеш-память для загрузки, тактовый генератор с необходимой обвязкой и преобразователи подсистемы питания. Не вполне понятно, почему разработчики выбрали стандарт 12 вольт. Они не были привязаны к существующей инфраструктуре и вполне могли позволить себе эксперименты с более высокими напряжениями, например, 48 вольт — именно этим сейчас занимаются Intel и Google.

Компоновка вычислительного модуля

Любопытно, что в модуле загрузки и управления не обошлось без Intel: в нём может быть установлен любой процессор семейства Broadwell-U, соединённый с ПЛИС Xilinx седьмой серии, которая, в свою очередь, уже общается с остальными платами посредством интерфейсов LVDS/MGT и RS-422. Эта же микросхема отвечает за индикацию и управление насосной группой СЖО. Типовой модуль питания предназначен для подключения к сетям с напряжением 380 вольт и имеет четыре выходных канала по 12 вольт с нагрузочной способностью 80 ампер на канал. Вся вычислительная зона является герметичной, поскольку используется погружная концепция СЖО, не требующая установки теплообменника на каждый греющийся элемент. Такая система содержит меньше соединительных элементов, требующих герметичности, проще в обслуживании и в целом надёжнее, хотя её эксплуатация и сопряжена с некоторыми неудобствами: не слишком-то приятно вынимать из ремонтируемого модуля платы, покрытые слоем охлаждающего масла.

Компоновка модуля управления

Второй, общий контур системы охлаждения является водяным. Применение эффективных теплообменников позволило добиться ситуации, когда даже под нагрузкой средняя температура корпуса ПЛИС составила от 50,3 до 52,6 градусов в зависимости от модели. Температура хладагента при этом не поднималась выше 19,3 градусов. Таким образом, прототип нового вычислительного модуля был успешно испытан и проведённые эксперименты доказали, что погружная система охлаждения работоспособна и в состоянии отвести до 12 киловатт тепла. Блоки питания тоже не подкачали и смогли обеспечить эффективность до 89 %. Похоже, им смело можно присваивать сертификат не ниже 80 PLUS Silver. Также доказали свою эффективность при обмене данными между ПЛИС интегрированные в них высокоскоростные трансиверы последнего поколения: в пределах модуля проблемы «бутылочного горлышка» не наблюдалось.

Образец модуля «Скат». Хорошо видны особенности системы охлаждения

Новый вычислительный модуль получил название «Скат». Хотя внешне он выглядит абсолютно непримечательно — как обычный серверный корпус формата 3U, внутри расположена высокоэффективная жидкостная система охлаждения погружного типа, обеспечивающая гидравлический «обдув» важных компонентов. При полной компоновке с использованием шкафа 47U 12 модулей «Скат» могут обеспечить пиковую производительность на уровне 1 петафлопса при общей потребляемой мощности 154 киловатта. Для сравнения, суперкомпьютер IBM Roadrunner, введённый в строй в 2008 году при сопоставимой вычислительной производительности занимает площадь около 1100 квадратных метров, весит 226 тонн и потребляет 3,9 мегаватта электроэнергии. Отечественный «Ломоносов» при пиковой мощности 1,7 петафлопс занимает 252 квадратных метра и потребляет 2,8 мегаватта электроэнергии. Преимущества архитектуры «Скат», таким образом, очевидны.

Стандартный вычислительный узел с 12 модулями «Скат»

Использование единой холодильной системы легко позволяет собирать из таких шкафов вычислительную систему любой необходимой мощности. Тут возникает вопрос «бутылочного горлышка» при обмене данными между шкафами, но эта проблема, вероятно уже решена разработчиками и соответствующие интерфейсы (100GbE или 290GbE EDR Infiniband) входят в состав системы. Конечно, новые суперкомпьютерные модули используют ПЛИС зарубежного производства, но доля вложенного в их проектирование и отладку труда столь велика, что их вполне можно считать отечественными. «Скат» вполне можно считать одной из самых удачных разработок в мире реконфигурируемых суперкомпьютеров; во всяком случае в этой конструкции, достигнута непревзойдённая плотность упаковки вычислительных узлов и высочайшая эффективность охлаждения. Вполне возможно, что именно за ПЛИС-системами — будущее супервычислений: никакая другая архитектура не может предложить сравнимого уровня гибкости конфигурации. Системы, разработанные в НИИ МВС, уже используются в ряде ведомств РФ.