Пять лет назад мы рассказывали о первом поколении российского интерконнекта Ангара или, если говорить более официально, межузловой высокоскоростной коммуникационной сети для суперкомпьютеров и кластеров. В рамках Elbrus Tech Day разработчики из НИЦЭВТ рассказали про второе поколение интерконнекта под названием Ангара-2, которое будет намного быстрее и эффективнее предыдущего.

В сравнении с первой версией были уменьшены задержки — они составляют менее 0,8 мкс, что ниже, нежели у нынешних InfiniBand FDR/EDR/HDR и Intel OmniPath. Снизилась и задержка на сетевой хоп. Скорость соединения выросла до 200 Гбит/с (в планах 400 Гбит/с), появилась поддержка топологий сети вплоть до 6D-тора.

Как и прежде, развитая поддержка RDMA позволяет в рамках сети эффективно строить гибридные системы, включающие в себя узлы на базе архитектур x86, Эльбрус и ARM, а также различные ускорители, в том числе, на базе ПЛИС. Кроме того, создатели работают и над поддержкой NVMe-oF. А в Ангара-2 также появится полноценная поддержка SR-IOV.

Для сети Ангара разработан собственный программный стек, ориентированный, в первую очередь, на высокопроизводительные вычисления. Как и в случае Intel DPDK, есть возможность общения приложений непосредственно с адаптером, минуя стандартные механизмы ядра Linux, за счёт чего и достигается низкий уровень задержек MPI. В Ангара-2 появится более широкий набор поддерживаемых типов сообщений, что упростит создание распределённых СХД на её основе.

Но может Ангара работать и с TCP/IP — совсем недавно разработчики представили вторую версию стека, обеспечивающего функциональность IP-over-Angara. Этот вариант не столь производителен, зато обеспечивает совместимость с существующими IP-решениями, позволяя задействовать RDMA для, к примеру, кластерных ФС.

Решения второго поколения должны появиться к концу текущего года. Контроллер Ангара-2 получит 32 линии PCIe 4.0, причём будет возможность мультихостового подключения — одна карта сможет обслуживать сразу несколько узлов. Адаптеры будут выпущены как в формате полноразмерных карт расширения с шестью портами QSFP-DD для безкоммутаторной топологии, так и в виде низкопрофильных плат с двумя портами для работы с коммутатором.

В первом случае возможно объединить до 1024 узлов в 3D-тор, во втором же использование 40-портовых коммутаторов позволит связать 20480 узлов в сеть с топологией 4D-тор. Под заказ НИЦЭВТ готов создать кастомные варианты с поддержкой 6D-тора и скоростями до 400 Гбит/с на порт.

Первое поколение Ангары уже давно используется в составе различных кластеров, в том числе с современными AMD EPYC Rome. Оно же будет актуально и для новых российских процессоров Эльбрус, так как в прошлом поколении, по словам представителя НИЦЭВТ, скорость работы фактически упирается в южный мост КПИ-2, который имеет только линии PCIe 2.0 x16 и x4.

В рамках NVIDIA GTC 2020 China компания поведала о своих достижениях и планах. Одной из тем ключевого доклада конференции стал рассказ о наработках исследовательского подразделения NVIDIA Research в области становящейся всё более и более актуальной интегрированной кремниевой фотоники, без которой вычислительные системы будущего вряд ли обойдутся.

Сейчас скорость передачи данных для электрических соединений, говорит NVIDIA, достигает 50 Гбит/с на пару, в перспективе её можно увеличить до 100-200 Гбит/с, но прыгнуть выше этой планки будет уже очень трудно. Практически единственный путь в этом случае — переход на оптические линии связи. Это предполагает — по крайней мере сейчас, на стадии концепта — смену компоновки. В нынешних системах DGX/HGX на базе A100 максимальная конфигурация платы включает восемь ускорителей, расположенных горизонтально и объединённых NVSwitch.

Суммарная пропускная способность канала NVLink между двумя ускорителями составляет 600 Гбайт/с, а NVSwitch — 4,8 Тбайт/с. Но этим всё и ограничивается — длина NVLink-подключений составляет порядка 0,3 м. За пределы шасси они не выходят, так что сейчас всё в итоге упирается в намного более медленную шину PCIe 4.0 и подключенные к ней адаптеры, которые дают суммарную скорость всего в 500 Гбайт/с.

Такое несоответствие в скорости обмена данными внутри и между шасси ограничивает возможность эффективного масштабирования. Переход, к примеру, на InfiniBand NDR не решит проблему, так как даст лишь удвоение скорости. Поэтому-то NVIDIA видит будущее в интегрированных в ускорители оптических трансиверах на базе кремниевой фотоники.

Они позволят не только увеличить длину подключений до 20-100 м, что позволит объединить ускорители в пределах нескольких стоек, а не только одного шасси, но и вдвое повысить энергоэффективность — с 8 пДж/бит для «меди» до 4 пДж/бит для «оптики». Как обычно, предполагается использование несколько длин волн (DWDM) в одном волокне, каждая из которых будет нести 25-50 Гбит/с, что даст суммарно от 400 Гбит/с до нескольких Тбайт/с.

Для работы с несколькими длинами будут использоваться кольцевые модуляторы. И всё это будет упаковано вместе с другим «кремнием». То есть это, в целом, та же схема, что мы видели ранее у Intel, да и у других вендоров тоже. Правда, NVIDIA пока не приводит ряд других технических характеристик, но уже говорит о возможности объединить до 18 ускорителей в одном шасси благодаря вертикальной ориентации карт и до 9 шасси в стойке, что даст пул из 171 карт. Для связи пулов ускорителей будут использоваться оптические коммутаторы NVSwitch, объединённые в сеть Клоза.

Вместе с обновлёнными ускорителями A100 и продуктами на его основе NVIDIA анонсировала и решения на базе стандарта InfiniBand NDR который, как и положено, удваивает пропускную способность одной линии до 100 Гбит/с. Новые адаптеры и DPU NVIDIA получат порты 400 Гбит/c, а коммутаторы — 64 порта 400 Гбит/с или 128 портов 200 Гбит/c, способных обработать 66,5 млрд пакетов в секунду. Модульные коммутаторы позволят получить до 2048 портов с суммарной пропускной способностью 1,64 Пбит/с.

Кроме того, повышена масштабируемость сети, которая способна объединить более миллиона GPU всего с тремя «прыжками» (hops) между любыми из них. А с ростом числа узлов снижаются и стоимость владения, и энергопотребление, что будет важно для суперкомпьютеров экзафплосного класса. Компания отдельно отмечает, что для InfiniBand NDR удалось сохранить возможность использования пассивных медных кабелей на коротких расстояниях (до 1,5 м).

Помимо увеличения пропускной способности, вчетверо повышена производительность MPI, за что отвечают отдельные аппаратные движки. А ИИ-приложения могут получить дополнительное ускорение благодаря технологии Mellanox SHARP (Scalable Hierarchical Aggregation and Reduction Protocol). DPU же за счёт наличия ядер общего назначения могут взять на себя часть обработки данных и попутно отвечать за безопасность, изоляцию, мониторинг и управление инфраструктурой. Вообще NVIDIA говорит о распределённом CPU, «живущем» в сети, который эффективно дополняет ускорители компании.

Однако у InfiniBand NDR, как и у конкурирующего стандарта 400GbE, есть и обратная сторона медали. Для новых адаптеров требуются или 16 линий PCIe 5.0, или 32 линии PCIe 4.0. PCIe 5.0 будет доступен ещё нескоро, а линии PCIe 4.0 в современных системах жаждут не только адаптеры, но и накопители, и собственно ускорители. Использование PCIe-свитчей может снизить эффективность обмена данными, так что, вероятно, интереснее всего было бы увидеть DPU с root-комплексами, да покрупнее. Первые продукты на базе нового стандарта должны появиться в втором квартале 2021 года.

В этом году мероприятие Intel Architecture Day выдалось богатым на различного рода анонсы новых технологий, начиная с техпроцессов и заканчивая описанием того, как Intel видит будущее сетей и интерконнектов. Вопрос наиболее эффективного объединения компонентов вычислительных комплексов в единое, эффективно работающее целое стоит давно, но именно сейчас на него самое время дать ответ.

Проблема межсоединений (interconnect) существует сразу на нескольких уровнях: от упаковки кристаллов ЦП, ГП и различных ускорителей до уровня ЦОД и даже более высокого уровня, включающего в себя и высокоскоростные сети нового поколения. На промежуточном уровне, как мы уже знаем, Intel собирается решить проблему межпроцессорного взаимодействия с помощью протоколов CXL и DSA, причём CXL сможет использовать уже имеющуюся физическую инфраструктуру PCI Express.

Этим он напоминает подход, реализованный AMD в EPYC, которые общаются между собой посредством PCIe, но подход Intel является более универсальным и разносторонним. Data Streamig Accelerator же поможет при взаимодействии одного узла вычислительного кластера с другим; об этом подробнее рассказывалось ранее.

На самом глубинном уровне отдельных чипов Intel видит будущее за совмещением электроники и фотонных технологий. Предполагается, что функции ввода-вывода удастся переложить на оптический интерфейс, чиплет которого будет устанавливаться на общую с вычислительными кристаллами подложку EMIB. Дебютировала эта технология соединений достаточно давно, ещё в момент анонса процессоров Kaby Lake-G, в которых посредством EMIB были объединены кристаллы Kaby Lake, HBM-памяти и графического ускорителя AMD Vega. Но вот до оптики дело не дошло.

Почему Intel выбирает фотонику? Ответов на этот вопрос несколько: во-первых, рост пропускной способности при использовании традиционных электрических соединений имеет предел, а фотоника при использовании мультиволновых лазеров способна обеспечить порядка 1 Тбит/с на волокно. Во-вторых, фотоника позволяет использовать более длинные пути соединений — оптика не столь беспощадна к расстояниям, как медь и прочие металлы на сопоставимых скоростях. При этом плотность размещения интерфейсов может быть в шесть раз выше, нежели у PCI Express 6.0 и это при сопоставимых показателях латентности.

Переход на фотонику потребует внедрения новых высокоскоростных оптических модулей и коммутаторов. Здесь Intel полагается на платформу Barefoot Tofino 2, включающую в себя элементы фотоники. Работоспособные прототипы программируемых коммутаторов на базе Tofino 2 с пропускной способностью 12,8 Тбит/с были продемонстрированы компанией ещё весной этого года. 16 оптических каналов обеспечивали функционирование четырёх портов 400G. Использование новых, более скоростных SerDes-блоков позволит увеличить эти показатели.

Важным компонентом новой сетевой платформы является открытость (буквально переход к решениям open source) и программируемость, как на уровне коммутатора, так и конечных точек. На нижнем уровне находятся шины, связывающие CPU, xPU (различные ускорители) и память. Данные к ним и от них проходят через «умные» сетевые адаптеры (SmartNIC), которые сами по себе могут обрабатывать «на месте» часть проходящей через них информации. Такие адаптеры активно развиваются уже сейчас. 

На физическом уровне, как уже было сказано, ставка сделана на фотонику и оптические соединения. Выпуск трансиверов класса 400G и 800G на её основе уже не за горами. Ещё один важный компонент будущей сети — всестороння и повсеместная телеметрия, которая поможет оптимизировать работу всех компонентов на лету. Использование такой платформы способно не только ускорить производительность в конкретных сценариях, но в перспективе и упростить инфраструктуру ЦОД.

В отличие от «процессороцентричной», «сетецентричная» модель представляет всю систему в виде набора унифицированных вычислительных блоков и блоков хранения данных, объединённых сетевой топологией типа «leaf-spine». В качестве сроков внедрения новой архитектуры Intel называет 2025 год. Вполне возможно, что она сможет, как было сказано в презентации, объединить буквально всё на расстоянии от микрон до сотен миль.

Согласно исследованию аналитической компании Data Bridge Market Research, глобальный рынок решений Data Center Interconnect (DCI) достигнет к 2025 году $9,763 млрд с 4,0 млрд в 2017, с совокупными среднегодовыми темпами роста в размере 11,9 %. 

Одним из основных факторов, влияющих на рынок DCI, аналитики называют дата-центры, сосредоточенные на снижении энергопотребления, и обеспечении требований к пропускной способности и консолидации широкополосной сети (WAN). 

Повышенный корпоративный спрос на вертикальный быстрый переход на использование облачных сервисов — это ещё один фактор, который будет стимулировать спрос на мировом рынке DCI.

Лидирует на рынке в сегменте DCI компания Cisco Systems. За ней следуют Equinix, Inc., Digital Realty Trust, Ciena Corporation, Nokia, Huawei Technologies Co., Ltd., Infinera Corporation, ADVA Optical Networking, Juniper Networks, Inc., Colt Technology Services Group Limited, Extreme Networks, Inc., Fiber Mountain, Inc., Pluribus Networks, ZTE Corporation, RANOVUS Inc., FUJITSU, Megaport и т. д.

Компания GigaIO, разработчик сетевых систем для центров обработки данных, анонсировала новую сетевую архитектуру, полностью совместимую со спецификациями PCI Express 4.0.

Обычно при проектировании кластерных систем и суперкомпьютеров, в тех случаях, когда требуется обеспечить минимальные задержки или прямой доступ вычислительных узлов к памяти друг друга, используется InfiniBand, современные Ethernet-решения или проприетарные интерконнекты.

Сетевая карта FabreX Gen4

Новая разработка GigaIO, архитектура FabreX Gen4, обеспечивает ещё более впечатляющие характеристики в сравнении с привычными решениями — она позволяет реализовывать полнодуплексные соединения со скоростью до 512 Гбит/с и полностью поддерживает доступ узла к памяти всех других узлов в сети. Латентность при этом измеряется долями микросекунды.

Коммутатор FabreX

Сети FabreX базируются на унифицированной, программно-определяемой инфраструктуре и полностью поддерживают современные технологии виртуализации и контейнеризации, а также NVMe over Fabrics. Обеспечена совместимость с аппаратными компонентами с поддержкой PCI Express 3.0, разумеется, ценой соответствующей потери в скорости. Допустимо даже смешанное использование компонентов PCIe 3.0 и 4.0 в одной сети. Управление сетью реализовано через набор стандартных API Redfish.

GigaIO FabreX использует кабели SFF-8644 (до трёх метро по меди, до 100 метров по оптике)

GigaIO предлагает полный спектр компонентов FabreX: коммутаторы различных уровней, сетевые адаптеры, кабельные компоненты и сопутствующее программное обеспечение. Поставки оборудования FabreX Gen4 должны начаться во втором квартале этого года.

В начале августа стало известно, что корпорация Intel прекращает разработку продуктов с шиной Omni-Path второго поколения с пропускной способностью 200 Гбит/с на порт. Первое поколение интерконнекта было представлено в 2017 году, компания даже поставляла процессоры Xeon серии «F» с интегрированным адаптером Omni-Path.

Но теперь и они должны покинуть рынок. На этой неделе Intel распространила уведомление, в котором сообщала о графике прекращения поставок процессоров с поддержкой Omni-Path.

Источник изображения: Intel

Заказать подобные процессоры можно будет до 24 апреля следующего года, последняя партия покинет склады Intel девятого октября того же года. Как всегда, подобное решение продиктовано смещением спроса на другие продукты Intel. Очевидно, что процессоры Xeon с интегрированнной поддержкой Omni-Path особой популярностью не пользовались.

Источник изображения: Intel

Клиенты Intel не видят будущего для продуктов с поддержкой Omni-Path, поскольку второе поколение скоростного интерфейса на рынок не выйдет. Соответственно, они достаточно быстро потеряли интерес и к первому поколению этой шины. По всей видимости, конкурировать с решениями Mellanox, которая скоро перейдёт под контроль NVIDIA, компания Intel собирается за счёт создания более быстрых версий Ethernet и перехода на кремниевую фотонику.

Медленное интернет-подключение может вывести из себя любого, но только представьте, что «испытывают» суперкомпьютеры, для которых в настоящее время даже самое современное сетевое оборудование не может обеспечить необходимый поток данных. 

Десятки тысяч процессоров и ядер выполняют практически мгновенную обработку любой информации, но, в итоге, высокопроизводительные системы вынуждены простаивать, ожидая обмена данными по морально устаревшим сетевым интерфейсам.

Управление перспективных исследовательских проектов Министерства обороны США (DARPA), кажется, эта ситуация больше не устраивает, поэтому оно запускает программу под названием FastNICs нацеленную на создание нового стека сетевых технологий, который будет в 100 раз быстрее старого.

DARPA уверена, что существующий сетевой стек технологий устарел и представляет собой узкое место для современных высокоскоростных вычислений, поэтому агентство запускает специальную программу, которая должна решить данную проблему

По оценке DARPA, современные многопроцессорные сервера, сервера с GPU и аналогичные вычислительные узлы совместными усилиями могут работать с потоком данных примерно 10¹⁴ бит в секунду (100 Тбит/с). Примерно такую же агрегированную пропускную способность могут обеспечить современные высокоплотные коммутаторы верхнего уровня. Но при этом связующий их сетевой стек, как правило, в 100-1000 раз медленнее. 

«Истинным узким местом для пропускной способности процессора является сетевой интерфейс, используемый для подключения машины к внешней сети, такой как Ethernet, что серьезно ограничивает возможности загрузки данных», — объясняет др. Джонатан Смит (Dr Jonathan Smith), менеджер программ в Информационном инновационном офисе DARPA.

Для решения данной проблемы агентство запускает программу Fast Network Interface Cards (FastNIC). Задачей программы будет повысить производительность сетевого стека в 100 раз за счёт принципиально иных подходов. Причём для получения такого значительного прироста производительности потребуется переделка всего стека — от уровня прикладных и системных приложений до аппаратного обеспечения.

«Создание сетевого стека сопряжено с большими затратами и сложностями», — указывает Смит. «Начинается оно с аппаратного обеспечения: если вы не сможете сделать его правильно, то вы застрянете. Программное обеспечение просто не может выполнять задачи быстрее, чем позволяет физический уровень, поэтому сначала нам нужно изменить именно его».

Одновременно исследователи займутся разработкой системного программного обеспечения, необходимого для управления аппаратными ресурсами FastNIC. Для достижения 100-кратного увеличения пропускной способности на уровне приложений программное обеспечение должно будет поддерживать максимально эффективную параллельную передачу данных между сетевым оборудованием и другими элементами системы.

Агентство указывает на то, что все разработанные в рамках программы инструменты и библиотеки будут предоставлены сообществу в виде открытого исходного кода, а также будут совместимы минимум с одной из открытых операционных систем.

Прежде всего DARPA заинтересована в новых технологиях для ускорения задач машинного обучения, в том числе распознавания образов при работе со множеством датчиков, например, установленных на беспилотных летательных аппаратах.

К участию в программе приглашаются все заинтересованные организации, которые имеют теоретические наработки по созданию сетей работающих на 10-терабитных скоростях, чтобы продемонстрировать эффективность своего решения на примере одного из выбранных агентством прикладных приложений.

Временные ограничения на данный момент не установлены, но, как и обычно, DARPA гарантирует финансовую поддержку и вознаграждения всем участникам проекта. Подробнее о программе на английском языке вы можете прочитать здесь. Напомним, что ранее DARPA анонсировала проект PAPPA, нацеленный на создание нового стека технологий для высокопараллельного ПО с целью ускорения выполнения ряда задач в 10 000 раз.

Довольно неожиданно компания Intel отказалась от развития интерконнекта Omni-Path, которую она продвигала в серверных и HPC-платформах сначала для соединения узлов, в том числе для гиперконвергентных систем. Первое поколение шины Omni-Path с пропускной способностью до 100 Гбит/с на порт появилось несколько лет назад. Но ожидаемого второго поколения решений с пропускной способностью до 200 Гбит/с уже не будет.

Ускорители Intel Xeon Phi с интегрированными контроллером и шиной Omni-Path

Информацию о прекращении разработки и выпуска продукции Intel OmniPath Architecture 200 (OPA200) компания подтвердила, например, нашим коллегам с сайта HPCwire. Компания продолжит поддержку и поставку решений с шиной OPA100, но поставок продуктов с архитектурой OPA200 на рынок больше не будет.

В принципе, сравнительно слабая поддержка шины Intel OmniPath со стороны клиентов рынка высокопроизводительных систем намекала на нечто подобное. Большей популярностью у строителей суперсистем и не только продолжает пользоваться InfiniBand и её новое HDR-воплощение с той же пропускной способностью до 200 Гбит/с. В свете ликвидации OPA200 становится понятно, почему Intel схватилась с NVIDIA за право поглощения компании Mellanox. Но не вышло: приз ушёл к NVIDIA.

«Вообще, половина инсталляций в TOP500 использует Ethernet, но в основном 10/25/40 Гбит/с, и лишь совсем чуть-чуть может похвастаться 100 Гбит/с. InfiniBand установлен почти в 130 машинах, а Omni-Path есть чуть больше чем в 40. Остальное — проприетарные разработки».

Что остаётся Intel? У лидера рынка микропроцессоров есть I/O-активы. Компания около 8 лет активно выстраивает направление для развития коммуникаций в ЦОД. За это время она поглотила разработчика коммутационных ASIC компанию Fulcrum Microsystems, подразделение по разработке адаптеров и коммутаторов InfiniBand компании QLogic и коммуникационное подразделение компании Cray. Относительно свежей покупкой Intel стала компания Barefoot Networks, разработчик решений для Ethernet-коммутаторов.

Похоже, Intel решила вернуться к классике: InfiniBand (что менее вероятно) и Ethernet (что более вероятно), а о проприетарных шинах в виде той же Omni-Path решила забыть. В конце концов, Ethernet-подразделение компании славится своими продуктами. Новое поколения Intel Ethernet 800 Series способно заменить OPA100.

Ростех сообщает о том, что российские специалисты разработали коммуникационную сеть «Ангара» следующего поколения, которая позволяет объединять любые компьютеры с поддержкой PCI Express в мощные вычислительные кластеры.

Платформа «Ангара» даёт возможность формировать суперкомпьютерные комплексы самого разного масштаба. Специальные адаптеры позволяют взаимодействовать узлам, находящимся как в одном здании, так и на расстоянии в несколько тысяч километров друг от друга (правда, тут уже речь о низких задержках не идёт).

Разработку системы ведёт «Научно-исследовательский центр электронной вычислительной техники», который входит в холдинг «Росэлектроника» госкорпорации Ростех. Сеть «Ангара» нового поколения обеспечивает в три раза более высокую скорость обмена данными по сравнению с предыдущей версией платформы. Таким образом, существенно возрастёт общая производительность суперкомпьютерного комплекса.

«Ангара» даёт возможность объединять в единую сеть практически любое количество узлов — от нескольких единиц до десятков тысяч. Для связи могут использоваться стандартные медные или оптические кабели. Коммуникационная задержка при передаче данных между вычислительными узлами составит всего 0,85 мкс.

Сеть «Ангара» также может являться основой ЦОДов, систем хранения данных, программно-аппаратных комплексов для работы с большими данными. Ожидается, что новая разработка даст толчок развитию суперкомпьютерных технологий в России, а также отечественной науки и промышленности в целом. О первом поколении данного интерконнекта можно узнать в материале с ПаВТ-2016. 

«Ангара»: низкопрофильный адаптер

Обновление. Разработчики уточнили, что это не следующее поколение их интерконнекта, а новая версия первого поколения сети: «На выставке Иннопром-2018 АО «НИЦЭВТ» представило второе поколение сетевого оборудования Ангара на базе СБИС ЕС8430. Данное решение включает в себя low-profile адаптер ЕС8432 и 24-портовый сетевой коммутатор. Обновленная версия сетевого оборудования в первую очередь предназначена для использования в составе вычислительных кластеров с высокими требованиями к плотности компоновки системы. Также обеспечена поддержка кабелей со стандартным коннектором CXP».

Сетевой коммутатор «Ангара»