Пять лет назад мы рассказывали о первом поколении российского интерконнекта Ангара или, если говорить более официально, межузловой высокоскоростной коммуникационной сети для суперкомпьютеров и кластеров. В рамках Elbrus Tech Day разработчики из НИЦЭВТ рассказали про второе поколение интерконнекта под названием Ангара-2, которое будет намного быстрее и эффективнее предыдущего.
В сравнении с первой версией были уменьшены задержки — они составляют менее 0,8 мкс, что ниже, нежели у нынешних InfiniBand FDR/EDR/HDR и Intel OmniPath. Снизилась и задержка на сетевой хоп. Скорость соединения выросла до 200 Гбит/с (в планах 400 Гбит/с), появилась поддержка топологий сети вплоть до 6D-тора.
Как и прежде, развитая поддержка RDMA позволяет в рамках сети эффективно строить гибридные системы, включающие в себя узлы на базе архитектур x86, Эльбрус и ARM, а также различные ускорители, в том числе, на базе ПЛИС. Кроме того, создатели работают и над поддержкой NVMe-oF. А в Ангара-2 также появится полноценная поддержка SR-IOV.
Для сети Ангара разработан собственный программный стек, ориентированный, в первую очередь, на высокопроизводительные вычисления. Как и в случае Intel DPDK, есть возможность общения приложений непосредственно с адаптером, минуя стандартные механизмы ядра Linux, за счёт чего и достигается низкий уровень задержек MPI. В Ангара-2 появится более широкий набор поддерживаемых типов сообщений, что упростит создание распределённых СХД на её основе.
Но может Ангара работать и с TCP/IP — совсем недавно разработчики представили вторую версию стека, обеспечивающего функциональность IP-over-Angara. Этот вариант не столь производителен, зато обеспечивает совместимость с существующими IP-решениями, позволяя задействовать RDMA для, к примеру, кластерных ФС.
Решения второго поколения должны появиться к концу текущего года. Контроллер Ангара-2 получит 32 линии PCIe 4.0, причём будет возможность мультихостового подключения — одна карта сможет обслуживать сразу несколько узлов. Адаптеры будут выпущены как в формате полноразмерных карт расширения с шестью портами QSFP-DD для безкоммутаторной топологии, так и в виде низкопрофильных плат с двумя портами для работы с коммутатором.
В первом случае возможно объединить до 1024 узлов в 3D-тор, во втором же использование 40-портовых коммутаторов позволит связать 20480 узлов в сеть с топологией 4D-тор. Под заказ НИЦЭВТ готов создать кастомные варианты с поддержкой 6D-тора и скоростями до 400 Гбит/с на порт.
Первое поколение Ангары уже давно используется в составе различных кластеров, в том числе с современными AMD EPYC Rome. Оно же будет актуально и для новых российских процессоров Эльбрус, так как в прошлом поколении, по словам представителя НИЦЭВТ, скорость работы фактически упирается в южный мост КПИ-2, который имеет только линии PCIe 2.0 x16 и x4.
