Cornelis Networks, созданная выходцами из Intel для дальнейшего развития интерконнекта Omni-Path (OPA), получила контракт на исследования и разработки с Национальным управлением ядерной безопасности Министерства энергетики (NNSA) США стоимостью $18 млн. Cornelis сообщила, что выделенных средств в совокупности с другими инвестициями вполне достаточно для создания программного-аппаратных решений OPA-400 (400 Гбит/с), которые должны появиться уже в следующем году.

В рамках проекта Next-Generation High Performance Computing Network (NG-HPCN) Cornelis и NNSA займутся разработкой и производством технологий интерконнекта следующего поколения для поддержки научных и инженерных рабочих нагрузок NNSA, а также высокопроизводительных вычислений (HPC). Курировать проект будет Ливерморская национальная лаборатория Лоуренса (LLNL) при участии ещё двух лабораторий NNSA — Лос-Аламосской (LANL) и Сандийской (SNL) национальных лабораторий.

Изображение: NHR

Напомним, что Intel отказалась от развития Omni-Path в 2019 году. Годом позже было объявлено, что все наработки по OPA переходят к Cornelis Networks, которая анонсировала 100-Гбит/с решения под брендом Omni-Path Express (OPX). OPX является несколько доработанной версией OPA-100. в частности, появилась поддержка фреймворка Open Fabrics Interface (OFI), разработанного альянсом OpenFabrics Alliance (OFA). OPX-решения станут массово доступны в течение ближайших недель.

А вот поколение OPA-200 (200 Гбит/с) компания решила пропустить, сосредоточившись на развитии OPA-400. Полученные от NNSA средства пойдут на развитие открытой (open source) программной платформы, ускорение моделирования будущих сетей на базе OPA-400 и разработка коммутационной инфраструктуры для OPA-400. Конкурировать Cornelis придётся в первую очередь с NVIDIA, которая ещё в позапрошлом году анонсировала 400-Гбит/с решения InfiniBand NDR.

Контракт с Cornelis финансируется из бюджета программы Advanced Simulation Computing (ASC) NNSA в рамках инвестиционного портфеля инициативы Exascale Computing Initiative (ECI). В рамках данной программы шести поставщикам технологий (в том числе и Intel, создавшей Omni-Path) были выделены средства на развития решений для экзафлопсных вычислений в США. Конечная цель Cornelis в рамках контракта с NNSA — подготовка нового поколения интерконнекта для будущих суперкомпьютеров экзафлопсного класса.

От собственной технологии интерконнекта Omni-Path (OPA) компания Intel довольно неожиданно отказалась летом 2019 года, хотя на тот момент OPA-решения составляли достойную конкуренцию InfiniBand EDR, Ethernet и проприетарным интерконнектам как по скорости, так и по уровню задержки и поддержки необходимых для высокопроизводительных вычислений (HPC) функций. В конце прошлого года все наработки по OPA перешли к компании Cornelis Networks, образованной выходцами из Intel.

В арсенале Intel были процессоры Xeon и Xeon Phi со встроенным интерфейсом Omni-Path, PCIe-адаптеры, коммутаторы и сопутствующее ПО. Казалось бы, у технологии большое будущее, однако второе поколение шины OPA, поддерживающее скорость 200 Гбит/с, так и не было выпущено, а компания сосредоточилась на Ethernet. При этом NVIDIA уже анонсировала InfiniBand NDR (400 Гбит/c), да и 200GbE-решениями сейчас никого не удивить.

Однако идеи, заложенные в Omni-Path, не умерли, и упавшее знамя нашлось, кому подхватить. Cornelis Networks быстро принялась за дело — через месяц после представления компании уже были представлены новые машины с Omni-Path, причём как на базе Intel, так и на базе AMD. А на ISC 2021 Cornelis Networks анонсировала полный спектр собственных решений под брендом Omni-Path Express, реализующих все основные достоинства технологии.

Конечно, процессоров с разъёмом Omni-Path мы по понятным причинам уже не увидим, но компания предлагает низкопрофильные хост-адаптеры с пропускной способностью до 25 Гбайт/с (100 Гбит/с в каждом направлении). Они поддерживают открытый фреймворк Open Fabrics Interface (OFI) и предлагают коррекцию ошибок с нулевой латентностью. В качестве разъёма используется популярный в индустрии QSFP28.

Также представлен ряд коммутаторов. В серии CN-100SWE есть модели с поддержкой горячей замены, которые имеют 48 портов и общую пропускную способность до 1,2 Тбайт/с при латентности, не превышающей 110 нс. Поддерживается организация виртуальных линий Omni-Path Express и фреймы большого размера, от 2 до 10 Кбайт. При этом коммутаторы компактны и занимают всего 1 слот в стандартной стойке.

Директор CN-100SWE предназначен для крупных кластерных систем. Он является модульным и может занимать от 7U до 20U, реализуя при этом от 288 до 1152 портов Omni-Path Express со скоростью 100 Гбит/с на порт. Латентность при этом не превышает 340 нс. Для сравнения, сети на базе Ethernet, как правило, оперируют значениями в десятки миллисекунд в лучшем случае.

Технологиями Cornelis Networks уже заинтересовался крупный российский поставщик HPC-систем, группа компаний РСК, которая и ранее поставляла кластеры и суперкомпьютеры с Omni-Path, в том числе с коммутаторами, снабжёнными фирменной СЖО. РСК получила наивысший партнёрский статус Elite+ у Cornelis и уже готова интегрировать Omni-Path Express в системы «РСК Торнадо» на базе третьего поколения процессоров Xeon Scalable.

Ливерморская национальная лаборатория им. Э. Лоуренса, принадлежащая Министерству энергетики США, объявила о вводе в строй высокопроизводительного вычислительного комплекса Mammoth, который займётся решением задач, связанных с пандемией. Проект реализован в партнёрстве с компаниями AMD, Supermicro и Cornelis Networks.

Финансирование работ по созданию суперкомпьютера осуществлялось в рамках инициативы Coronavirus Aid, Relief and Economic Security (CARES) Act. Систему планируется применять для геномной аналитики, нетрадиционного моделирования и других задач, нацеленных на борьбу с коронавирусом.

В состав Mammoth входят 64 узла Supermicro с процессорами AMD EPYC второго поколения, а объединяет узлы интерконнект Omni-Path от Cornelis Networks, недавно отпочковавшейся от Intel. Это одна из первых систем с «возрождённым» Omni-Path, да ещё и в необычом сочетании с AMD, что даёт надежду на успешное развитие Cornelis Networks.

Каждый узел содержит два 64-ядерных чипа с возможностью одновременной обработки до 128 потоков инструкций, 2 Тбайт памяти DRAM и почти 4 Тбайт флеш-памяти. Таким образом, общий объём оперативной памяти достигает 128 Тбайт, а энергонезависимой памяти — почти 256 Тбайт.

Пиковое быстродействие достигает 294 Тфлопс. Отмечается, что благодаря своей архитектуре и большому объёму памяти суперкомпьютер позволяет сократить время выполнения определённых задач геномной аналитики с нескольких суток до нескольких часов.

Добавим, что на сегодняшний день коронавирус инфицировал по всему миру почти 50 млн человек. Количество смертельных случаев превысило 1,2 млн.

В начале августа стало известно, что корпорация Intel прекращает разработку продуктов с шиной Omni-Path второго поколения с пропускной способностью 200 Гбит/с на порт. Первое поколение интерконнекта было представлено в 2017 году, компания даже поставляла процессоры Xeon серии «F» с интегрированным адаптером Omni-Path.

Но теперь и они должны покинуть рынок. На этой неделе Intel распространила уведомление, в котором сообщала о графике прекращения поставок процессоров с поддержкой Omni-Path.

Источник изображения: Intel

Заказать подобные процессоры можно будет до 24 апреля следующего года, последняя партия покинет склады Intel девятого октября того же года. Как всегда, подобное решение продиктовано смещением спроса на другие продукты Intel. Очевидно, что процессоры Xeon с интегрированнной поддержкой Omni-Path особой популярностью не пользовались.

Источник изображения: Intel

Клиенты Intel не видят будущего для продуктов с поддержкой Omni-Path, поскольку второе поколение скоростного интерфейса на рынок не выйдет. Соответственно, они достаточно быстро потеряли интерес и к первому поколению этой шины. По всей видимости, конкурировать с решениями Mellanox, которая скоро перейдёт под контроль NVIDIA, компания Intel собирается за счёт создания более быстрых версий Ethernet и перехода на кремниевую фотонику.

Довольно неожиданно компания Intel отказалась от развития интерконнекта Omni-Path, которую она продвигала в серверных и HPC-платформах сначала для соединения узлов, в том числе для гиперконвергентных систем. Первое поколение шины Omni-Path с пропускной способностью до 100 Гбит/с на порт появилось несколько лет назад. Но ожидаемого второго поколения решений с пропускной способностью до 200 Гбит/с уже не будет.

Ускорители Intel Xeon Phi с интегрированными контроллером и шиной Omni-Path

Информацию о прекращении разработки и выпуска продукции Intel OmniPath Architecture 200 (OPA200) компания подтвердила, например, нашим коллегам с сайта HPCwire. Компания продолжит поддержку и поставку решений с шиной OPA100, но поставок продуктов с архитектурой OPA200 на рынок больше не будет.

В принципе, сравнительно слабая поддержка шины Intel OmniPath со стороны клиентов рынка высокопроизводительных систем намекала на нечто подобное. Большей популярностью у строителей суперсистем и не только продолжает пользоваться InfiniBand и её новое HDR-воплощение с той же пропускной способностью до 200 Гбит/с. В свете ликвидации OPA200 становится понятно, почему Intel схватилась с NVIDIA за право поглощения компании Mellanox. Но не вышло: приз ушёл к NVIDIA.

«Вообще, половина инсталляций в TOP500 использует Ethernet, но в основном 10/25/40 Гбит/с, и лишь совсем чуть-чуть может похвастаться 100 Гбит/с. InfiniBand установлен почти в 130 машинах, а Omni-Path есть чуть больше чем в 40. Остальное — проприетарные разработки».

Что остаётся Intel? У лидера рынка микропроцессоров есть I/O-активы. Компания около 8 лет активно выстраивает направление для развития коммуникаций в ЦОД. За это время она поглотила разработчика коммутационных ASIC компанию Fulcrum Microsystems, подразделение по разработке адаптеров и коммутаторов InfiniBand компании QLogic и коммуникационное подразделение компании Cray. Относительно свежей покупкой Intel стала компания Barefoot Networks, разработчик решений для Ethernet-коммутаторов.

Похоже, Intel решила вернуться к классике: InfiniBand (что менее вероятно) и Ethernet (что более вероятно), а о проприетарных шинах в виде той же Omni-Path решила забыть. В конце концов, Ethernet-подразделение компании славится своими продуктами. Новое поколения Intel Ethernet 800 Series способно заменить OPA100.

За звание обладателя быстрейшего в мире суперкомпьютера активно борются два азиатских тигра — КНР и Япония. Обе страны обладают огромным потенциалом в области разработки микроэлектроники. Пока лидируют китайцы: в списке Top 500 первые два места занимают системы Sunway TaihuLight и Tianhe-2; первая, к тому же, славится своей экономичностью, потребляя всего 15,3 мегаватта при производительности в районе 93 петафлопс. Но это не значит, что Страна восходящего солнца собирается сдаваться. В 2011 году и ранее первое место в списке машин с наилучшим соотношением производительности и уровня энергопотребления занимал японский кластер Tsubame 2. Его наследник, Tsubame 3, готов побороться в высшей лиге, в этом уверен профессор Токийского технологического института Сатоши Мацуока (Satoshi Matsuoka), один из разработчиков вычислительного комплекса.

Сатоши Мацуока демонстрирует один из узлов Tsubame 3. Виден унифицированный контур СЖО

За его плечами двадцатилетний опыт проектирования и строительства кластерных систем различных масштабов, мощностей и назначения. Первый же спроектированный им суперкомпьютер Tsubame 1 (введён в строй в 2006 году) обошёл мощнейший на тот период вычислительный комплекс Earth Simulator, и при этом он был универсальным и пригодным для выполнения задач любого рода. Профессор не без оснований полагает, что его группа одна из первых в области создания гетерогенных архитектур. Опыты в области экономичности, однако, показали, что применение малых экономичных, но узкоспециализированных процессоров не является оптимальным. В итоге была избрана гетерогенная схема с x86 в качестве управляющих процессоров и графических ускорителей в качестве вычислительных модулей.

Главным поставщиком оборудования для Tsubame 3 стала компания HPE

Уже Tsubame 2 был полностью гетерогенным и, как уже было сказано, этому кластеру удалось поставить рекорд экономичности. Его наследник получил такую же архитектуру. В его основе лежит 540 узлов, каждый из которых содержит по четыре ускорителя NVIDIA Tesla P100 (2160 в сумме) и два 14-ядерных процессора Intel Xeon E5-2680 v4 (15120 ядер в сумме). Для межузловой связи имеется пара портов Intel Omni-Path (2160 портов суммарно), а в качестве подсистемы хранения данных применены накопители Intel серии DC с поддержкой NVMe объёмом 2 Тбайт. Такова конфигурация узла HPE Apollo 8600, который по габаритам меньше стандартного корпуса формата 1U.

Ускоритель NVIDIA Tesla P100 в версии NVLink

Над Tsubame 3 была проведена тщательнейшая оптимизация, и она дала свои плоды. Хотя на момент проведённых замеров в июне 2017 года машина работала не в полной конфигурации, ей уже удалось занять 61 место в общем списке Top 500 и выйти на первое место в списке Green 500, отобрав его у NVIDIA DGX-1 и Cray XC50, а также и у Sunway TaihuLight. Показатель составил 14,11 гигафлопс на ватт, что существенно выше предыдущего рекорда —  9,4 гигафлопс на ватт. Полностью система вошла в строй не так давно, 1 августа. Её расчётная мощность составляет 12,1 петафлопс. До TaihuLight, конечно, далековато, но команда Сатоши Мацуока не собирается уступать место в Green 500.

Япония —  лидер экономичности: все три первых места в Green 500 принадлежат ей

Интересен выбор технологии Omni-Path вместо традиционных Ethernet или InfiniBand, но исследователи выяснили, что оптимальным соотношением пропускной системы локальной памяти и скорости межузловых соединений является 2 к 1. С тех пор они придерживаются этого параметра, и скорости, предлагаемые Omni-Path, отлично способствуют сбалансированности системы в целом: Omni-Path даёт скорость 12,5 Гбайт/с, PCIe — 16 Гбайт/с, а NVLink — 20 Гбайт/с. Разница в скоростях составляет менее 2 к 1. Применение новой сетевой технологии позволило «накормить» каждый графический ускоритель в системе так, чтобы он простаивал как можно меньше. Кроме того, адаптеры Omni-Path показали себя более экономичными, нежели эквивалентные им карты InfiniBand. В узлах также использованы коммутаторы PCI Express, и все устройства могут общаться друг с другом независимо от центральных процессоров x86.

Комплекс Tsubame 3 использует жидкостное охлаждение

В интервью зарубежным СМИ Сатоши Мацуока озвучил своё видение идеальной кластерной системы. Такая система должна иметь только одну систему соединений на все компоненты, причём, любое соединение будет коммутируемым. Все протоколы будут скрыты под программной частью и полностью прозрачны для разработчика ПО. К этому стремится его команда разработчиков, но в реальном мире приходится довольствоваться сразу тремя типами соединений, но с прозрачностью дела идут неплохо, за исключением редких случаев. Тем не менее, он отметил, что с использованием Intel Omni-Path требуются некоторые усовершенствования в ЦП. Главная задача разработчиков Tsubame 3 на сегодняшний момент - добиться полной синхронности в работе всех трёх подсистем: Omni-Path, PCIe и NVLink. Разработчики оптимизируют соответствующие алгоритмы и улучшают их масштабируемость. Команде профессора Сатоши Мацуока помогают дружественные разработчики из Университета штата Огайо.

На проходящей в эти дни выставке-конференции ISC 2017 (г. Франкфурт-на-Майне, Германия) российская группа компаний РСК представила ряд инновационных продуктов, в частности универсальное высокоплотное решение «РСК Торнадо» с СЖО на «горячей воде», коммутаторы Intel Omni-Path с жидкостным охлаждением и обновленный программный стек «РСК БазИС» для управления кластерами.

Сверхплотное масштабируемое кластерное решение «РСК Торнадо» оборудовано системой прямого жидкостного охлаждения, которая охватывает все элементы вычислительного шкафа, в том числе коммутаторы высокоскоростной сети. Вычислительная система использует потенциал 72-ядерного процессора Intel Xeon Phi 7290, и именно ей принадлежит мировой рекорд вычислительной плотности для архитектуры x86 — 1,41 Пфлопс на шкаф или свыше 490 Тфлопс/м³. В состав узлов «РСК Торнадо» входят 16-ядерные процессоры Intel Xeon E5-2697А v4 (Broadwell-EP), серверные платы Intel S7200AP для Xeon Phi и Intel S2600KPR для Xeon, твердотельные накопители Intel SSD DC S3520, DC P3520 Series и Optane DC P4800X.

В одном стандартном шкафу типоразмера 19" 42U (800 × 800 мм) можно разместить до 153 узлов «РСК Торнадо». Для их охлаждения достаточно СЖО, работающей в режиме «горячая вода»: температура хладоносителя на входе в вычислительные узлы и коммутаторы может достигать 65 °C. Отсутствие потребности во фреоновом контуре и чиллерах позволяет уменьшать затраты на охлаждение до 6 % в структуре общих затрат на электроэнергию.

Отметим, что следующее поколение кластеров «РСК Торнадо» готово к поддержке серверных процессоров Intel Xeon семейства Skylake-SP, дебют которых ожидается во второй половине текущего года.

Помимо «Торнадо», специалисты РСК продемонстрировали на ISC 2017 первый в мире охлаждаемый с помощью жидкости в режиме «горячая вода» 48-портовый коммутатор Intel Omni-Path Edge Switch 100. Устройство предназначено для построения высокоскоростных межузловых соединений со скоростью неблокируемой коммутации до 100 Гбит/c на порт.

Архитектура Intel Omni-Path (OPA) является комплексным решением для высокоскоростной коммутации и передачи данных. С её помощью достигается значительный рост производительности приложений в HPC при минимальных затратах. При одинаковом бюджете Intel OPA позволяет подключать на 26 % больше серверов по сравнению с существующими решениями, а также снизить энергопотребление вплоть до 60 %.

Анонсированный на ISC 2017 обновлённый интегрированный программный стек «РСК БазИС» предназначен для управления и мониторинга кластерных систем. «БазИС» — открытая и легко расширяемая платформа на основе ПО с открытым исходным кодом и микроагентной архитектуры. Она позволяет управлять центрами обработки данных и их отдельными элементами — вычислительными узлами, коммутаторами, инфраструктурными компонентами, задачами и процессами. На стенде РСК на ISC 2017 демонстрировались новые функции «БазИС» по мониторингу и управлению территориально распределённых ЦОД.

Напомним, что в начале июня решения РСК были представлены на конференции IXPUG Russia 2017.

Технология InfiniBand, обеспечивающая высокую скорость передачи данных с минимальными задержками, не слишком известна рядовому пользователю, но в мире кластеров и суперкомпьютеров она, без преувеличения, является основной средой. Современные реализации InfiniBand легко демонстрируют скорости до 300 Гбит/с (EDR), а в недалёком будущем, с внедрением стандарта HDR, производительность вырастет до 600 Гбит/с. И всё это при латентности порядка 0,5 микросекунды. Физически InfiniBand может использовать как традиционные медные кабеля, так и оптоволоконные.

Пример 100-гигабитного адаптера InfiniBand: простота реализации означает приемлемую стоимость

Тем не менее, корпорация Intel, похоже, решила объявить стандарту InfiniBand настоящую войну, противопоставив ей свою технологию межузловых соединений Omni-Path. Если верить имеющейся на данный момент информации, Omni-Path, работая на скорости 100 Гбит/c, имеет на 56 % более низкие задержки, нежели аналогичная реализация InfiniBand. Кроме того, Intel уже имеет в своём арсенале коммутационный процессор Omni-Path, способный обслуживать 48 портов, в то время, как текущее поколение коммуникаторов InfiniBand ограничено 36 портами на чип.

Преимущества Omni-Path по мнению Intel

Intel планирует активное продвижение оптической технологии Omni-Path на рынок суперкомпьютеров, и это наступление имеет шансы увенчаться успехом: во-первых, Omni-Path обладает обратной совместимостью с инфраструктурой Intel TrueScale, базирующейся на InfiniBand, а, во-вторых, о поддержке Omni-Path уже объявили такие профильные компании, как TE, Altair, Bright Computing, Ansys, ESI, E4, FlowScience, MSC Software, Icon, SUSE и RedHat. Новая среда разрабатывается с учётом поддержки новых ускорителей Xeon Phi под кодовым именем Knights Landing. Они появятся во второй половине следующего года и будут способны развивать мощность свыше 3 терафлопс. Первыми суперкомпьютерами, использующими Knights Landing, станут Лос-Аламосский Trinity и система Cori, заказанная министерством экономики США.

Говорить о капитуляции InfiniBand рано, если вообще имеет смысл: технология хорошо освоена и имеет развитую инфраструктуру. Кроме того, она тоже будет развиваться. Появятся коммутаторы с большим количеством портов, будут внедрены более высокие скорости передачи данных. Так что мы бы не рискнули поставить в этой гонке на скорую победу Intel. Война может оказаться довольно затяжной.