О проблемах и путях развития стандарта Ethernet мы совсем недавно рассказывали читателям. Как было упомянуто в заметке, одной из самых важных вех в процессе этого развития является создание сетевых процессоров с огромной агрегированной пропускной способностью. Об одном из таких процессоров мы поведаем сегодня. На конференции Hot Chips представитель компании Cisco Systems Джейме Маркевич (Jamie Markevitch) продемонстрировал безымянный, но уже поставляемый клиентам чип и рассказал о его особенностях. Это большая редкость — услышать подробности о корпоративных разработках такого уровня, исключением может послужить Mellanox и ещё пара компаний. К сожалению, самого интересного, а именно, снимков процессора для коммутаторов с пропускной способностью 6,5 Тбит/с показано не было, но интерес представляет и архитектура чипа, способного работать на скорости 400 Гбит/с.

Против ожидания, вся процессорная мощь NPU находится в правом кристалле

Это не 16-нм ASIC под названием CloudScale, представленный Cisco в марте 2016 года, основанный на сигнальном стандарте 25G и применяемый в серии корневых коммутаторов Nexus 9500. Данная версия выпущена раньше и использует 22-нм техпроцесс, но, скорее всего, имеет схожую с CloudScale архитектуру. Данный NPU не является монолитным устройством с фиксированным количеством портов, он предназначен для построения модульных систем с несколькими такими сетевыми процессорами на борту, соединяемыми собственной шиной. Чип очень похож на начинку коммутаторов Nexus 9000, но в тех была использована ещё более старая 28-нм версия. Пока Intel рассуждает о гибридных процессорах, Cisco уже имеет решения с такой архитектурой в своём арсенале и выпускает их серийно. Описываемый кристалл состоит из 9,2 миллиардов транзисторов и имеет 672 процессорных ядра, каждое из которых способно выполнять до 4 потоков.

Общая архитектура и расположение функциональных блоков внутри NPU

Объём памяти SRAM составляет внушительные 353 Мбайт. Это очень дорогая и быстрая память, в данном процессоре она играет роль кеша нулевого уровня, в котором хранятся как инструкции, так и данные для каждого потока (не ядра!). На каждый кластер из 16 ядер имеется и более привычный кеш L1. Каждое ядро имеет восьмистадийный неблокируемый конвейер, между потоками он переключается по алгоритму round-robin. Всего в чипе 42 16-ядерных кластера, они соединены с кешем инструкций L2, имеющим 4-уровневую ассоциативность. Он же служит межъядерной соединительной сетью, объединяющей все функциональные блоки процессора воедино. Внутренняя сеть работает на частоте 1 ГГц и обладает совокупной пропускной способностью более 9 Тбит/с. Имеется 276 интерфейсов типа SERDES для общения с внешним миром. Часть транзисторного бюджета, разумеется, задействована для реализации всяческих ускорителей, буферов и контроллеров интерфейсов.

NPU и его подсистемы памяти

Cisco не раскрывает деталей о том, какой набор инструкций используется в их сетевых процессорах. Это может быть что угодно, включая полностью уникальный набор, не похожий на существующие ARM, MIPS, POWER или x86. Ядра ориентированы на «работу до конца», это означает, что каждый поток, обрабатывающий пакет, отвечает за него в течение всего времени прохождения через NPU. Это исключает простаивание или «переброс пакетов» между ядрами. Различные типы пакетов требуют разных вычислений и имеют разные размеры, поэтому производительность процессорного массива в Cisco NPU непостоянна. Тем не менее, решение поддерживает традиционные пути программирования и может использовать языки C или ассемблер. Поскольку каждый пакет занимает свой поток, это означает одновременную обработку 2688 пакетов. Пакеты поступают из внешней памяти DRAM в массив SRAM, причём, ускорители могут обращаться к DRAM независимо от основного массива, который получает данные из SRAM.

Серия корневых коммутаторов Cisco Nexus 9000 использует описываемые в заметке NPU

Сетевой процессор Cisco, описанный в презентации, способен обрабатывать пакеты на скорости 800 Гбит/с, но более привычно говорить о 400 Гбит/с в полнодуплексном режиме. Интерфейс SERDES имеет совокупную пропускную способность порядка 6,5 Тбит/с. Большая часть линий используется для подключения DRAM и TCAM (Ternary Content Addressable Memory) — последняя являет собой некий гибрид SRAM и DRAM и обычно используется для хранения списков доступа (Access Control List, ACL). Большая часть функциональных блоков NPU работает на частоте 760 МГц или 1 ГГц, что на фоне современных ЦП общего назначения выглядит весьма скромно. Интерфейсы MAC поддерживают воплощение PHY практически любого типа со скоростями от 10 до 100 Гбит/с. В составе процессора имеется встроенный менеджер трафика, способный дирижировать 256 тысячами запросов за раз и выдерживать при этом нагрузку порядка половины триллиона объектов в секунду (в основном, пакетов).

В модели Nexus 9000 на снимке хорошо видны четыре NPU. Сверхмощное охлаждение не требуется

Интегрированные блоки ускорителей предназначены для разгрузки процессора от обработки таких функций, как IPv4 и IPv6 prefix look ups, сжатия и хеширования диапазона IP-адресов, приоритизации пакетов и сбора статистики QoS. Внутри упаковки имеется также некоторое количество собственной памяти DRAM, и это хорошо видно на снимке процессора — причём, логика, против ожиданий, занимает меньший кристалл, а больший приходится именно на память. Подключается она с помощью 28 линий SERDES, работающих на скорости 12,5 Гбит/с, что вдвое медленнее продвигаемого сейчас стандарта 25, но совокупная производительность двух контроллеров памяти составляет порядка 37,5 Гбайт/с — не так уж мало, хотя современные ЦП умеют работать с памятью и быстрее. Интересно, что 22-нм техпроцесс используется не везде: с его применением произведён только сам процессор, а вот логика SERDES использует 28-нм, а DRAM и вовсе выпущена с применением 30-нм технологических норм. Приведённое описание даёт неплохое представление о возможностях NPU Cisco. Пусть это предыдущее поколение, но с учётом параметров чипа довольно легко представить, на что способны аналогичные процессоры нового поколения, выпущенные с использованием 16-нм техпроцесса.

За термином RoCE стоит технология RDMA over Converged Ethernet, позволяющая использовать режим DMA в сетевой инфраструктуре. При этом не используются ресурсы ядра ОС и процессора, что разгружает серверы для выполнения более важных задач вместо обработки сетевого трафика. Одним из лидеров в этой области является компания Mellanox с серией процессоров ConnectX. На сегодняшний день создано уже шестое поколение этих уникальных чипов, которые могут работать и как контроллеры InfiniBand, и как решения Ethernet. Но Alibaba Group решила использовать в своих центрах обработки данных проверенные временем адаптеры на базе чипов ConnectX-4 EN.

Двухпортовый адаптер Mellanox ConnectX-4 EN

Эти процессоры полностью поддерживают Ethernet на скорости 100 Гбит/с, способны работать в режиме SR-IOV и освобождают центральный процессор от всего, что связано с обработкой транспортных сетевых операций. Имеется аппаратный механизм виртуализации и средства ускорения таких видов трафика, как NVGRE, VXLAN и GENEVE. Адаптеры используют интерфейс PCIe x16 3.0 и бывают как одно-, так и двухпортовыми. Они совместимы со всем диапазоном скоростей Ethernet, от 1 до 100 Гбит/с. Некоторые модели ограничены скоростями 40/56 Гбит/с, но во всех случаях используется разъём типа QSFP28. Поддерживается подключение как пассивной меди с защитой от статического электричества, так и активных оптических кабелей.

Один из залов ЦОД Alibaba Group

Не в последнюю очередь технологии Mellanox были выбраны из-за наличия подробнейшего программного сопровождения. Комплект DPDK (Data Path Development Kit) предоставляет простой и удобный фреймворк для организации систем быстрой обработки пакетных данных и позволяет разработчикам быстро создавать действующие прототипы. Активное сотрудничество с крупными китайскими компаниями и центрами обработки данных скажется благотворно как на доходах Mellanox, так и на таких клиентах, как Alibaba Group, которые получают в своё распоряжение быструю и надёжную сетевую инфраструктуру класса 25/100G. В целом также наблюдается тенденция перехода китайских компаний на более скоростные и совершенные сетевые решения.

Вычислительные мощности постоянно растут, и вместе с ними растут требования к сетевой инфраструктуре. Если для домашнего пользователя стандартом давно стал проводной Gigabit Ethernet, который в последнее время активно теснит распространение беспроводных устройств формата 802.11ac, то в серверных и кластерных системах, а также суперкомпьютерах остро стоит вопрос производительности сетевой среды. Скоростями в районе 10‒40 Гбит/с уже никого не удивишь, и индустрия активно осваивает новые стандарты, такие, как 100G. Компания Broadcom, известная в числе прочего и своими сетевыми процессорами, представила новое поколение чипов с поддержкой скорости 100 Гбит/с.

Новые чипы серии Smart NIC NetXtreme BCM588xx являются первыми в мире полностью программируемыми сетевыми процессорами с поддержкой стандарта 100G. В их основе лежит кластер из 8 ядер ARMv8 (Cortex-A72) с частотой 3 ГГц, оптимизированный с учётом использования в сценариях типа NVMe over Fabric. Чипы производятся с использованием 16-нм техпроцесса FinFET+ и поддерживают интерфейс PCI Express 3.0. Также в них интегрирован трёхканальный контроллер памяти DDR4 — опция, абсолютно необходимая при построении эффективных сетей с такими скоростями. Имеется криптографический движок с производительностью 90 Гбит/с и средства разгрузки при работе с массивами RAID. В настоящее время Broadcom уже поставляет образцы новых сетевых платформ как в виде платы расширения PCIe 3.0 формата HHHL (BCM58802), так и в виде платы формата ATX (BCM58808). Полностью с характеристиками нового семейства можно ознакомиться на сайте компании-разработчика.

Адаптер Emulex Fibre Channel шестого поколения (3,2 Гбайт/с)

Также Broadcom анонсировала новые решения класса NVMe over Fibre Channel — эта физическая среда часто используется для подключения вычислительных узлов к системам хранения данных, и полноценная поддержка набирающего популярность протокола NVMe приходится тут как нельзя более кстати. Этот протокол оптимизирован с учётом особенности твердотельных накопителей, которые в последнее время активно вытесняют традиционные механические жёсткие диски из СХД, особенно там, где требуется высокая производительность на случайных операциях. Новые адаптеры, выпускаемые под брендом Emulex, прошли квалификационное тестирование на соответствие стандарту NVMe over FC (Gen 6, 3,2 Гбайт/с) и совместимость с продуктами других производителей, в частности, коммутаторами Brocade X6 Director, G620 и серией Cisco MDS 9000.

Компания Axiomtek представила сервер NA345R, предназначенный для решения таких задач, как организация виртуальных частных сетей (VPN), использование межсетевых экранов и пр.

Новинка рассчитана на монтаж в стойку: она соответствует типоразмеру 1U. Габариты составляют 430 × 250 × 44 мм, вес — приблизительно 7 килограммов.

Основой служит аппаратная платформа Intel Apollo Lake. Корпоративные заказчики смогут выбирать между версиями с процессором Celeron N3350 и Atom x5-E3940. Первый из названных чипов содержит два вычислительных ядра и графический ускоритель Intel HD Graphics 500. Номинальная тактовая частота составляет 1,1 ГГц, форсированная — 2,4 ГГц. Второй процессор имеет четыре вычислительных ядра с номинальной тактовой частотой 1,6 ГГц и возможностью повышения до 1,8 ГГц. В состав изделия также входит графический контроллер Intel HD Graphics 500.

Сервер поддерживает до 8 Гбайт оперативной памяти SO-DIMM DDR3L-1866. Возможна установка одного 2,5-дюймового накопителя и одного модуля mSATA. Устройство наделено шестью портами Gigabit Ethernet, двумя разъёмами USB 3.0, интерфейсом HDMI (опционально — D-Sub), а также портом RS232 RJ45 для управления. Говорится о совместимости с Windows 10 и Linux (Yocto Project).

Поставки сервера Axiomtek NA345R должны начаться в текущем месяце. О цене не сообщается. 

Объединённый холдинг «Росэлектроника» (входит в госкорпорацию «Ростех») объявил о начале поставок на гражданский рынок коммуникационных адаптеров, способных объединять тысячи компьютеров в высокоскоростные сети для решения суперкомпьютерных задач в области аналитики, прогнозирования и проектирования.

Платформа под названием «Ангара» даёт возможность формировать вычислительные системы самого разного масштаба. Адаптеры позволяют взаимодействовать узлам, находящимся как в одном здании, так и на расстоянии в несколько тысяч километров друг от друга.

В одной сети могут концентрироваться мощности до 32 тысяч компьютеров. При этом обеспечивается взаимодействие узлов разных производителей, в том числе с разной архитектурой центральных процессоров.

Основой адаптеров служит сверхбольшая интегральная схема (СБИС) ЕС8430. Утверждается, что по функциональности, производительности и надёжности «Ангара» сопоставима с современными разработками мировых лидеров в этой области — Cray, IBM, Mellanox.

«Разработка решает проблему дефицита вычислительных мощностей в отечественной промышленности и науке. Создаваемые сети способны решать множество задач — от прогноза метеорологической обстановки до моделирования запуска космических аппаратов. Что важно, это делается без огромных вложений в строительство новых суперкомпьютерных объектов, на базе уже существующих мощностей», — заявляет «Росэлектроника». 

Компанию Mellanox заслуженно считают лидером в области разработок, связанных с интерфейсом и стандартом InfiniBand, но она занимается и сетевыми решениями в целом, в том числе, и связанными с Ethernet. Сейчас компания анонсировала новую платформу IDG4400 Flex Network, сердцем которой является сетевой процессор Indigo NPS-400. Он способен вести обработку пакетов без потерь на всех уровнях, от L2 до L7 на скоростях до 500 Гбит/с и производить глубокое сканирование пакетов данных (deep packet inspection, DPI) на скорости до 320 Гбит/с при количестве потоков данных, исчисляемых миллионами. По словам компании-разработчика, NPS-400 в 20 раз превосходит все остальные предложения этого класса, имеющиеся сейчас на рынке. Единичная платформа IDG4400 выполнена в стоечном корпусе высотой 1U и работает под управлением специальной версии Linux. Для программирования сетевых функций используется распространённый язык С.

Одна платформа типа IDG4400 способна обслуживать на уровне DPI полный серверный шкаф. К тому же, процессор Indigo может использоваться совместно с системами коммутации, разработанными Mellanox и тем самым обеспечивать создание сред Ethernet с подключениями на скоростях 10, 25, 40, 50 или 100 Гбит/с. При этом гарантируется детерминированная доставка пакетов с нулевыми потерями и обеспечивается масштабируемость в случае необходимости наращивания мощности сетевой экосистемы. Сочетание IDG4400 и Spectrum Ethernet обеспечивает центры обработки данных любой степени сложности готовым, высокопроизводительным и выгодным решением, способным выполнять задачи коммутации и инспекции пакетов на всех уровнях.

Один из примеров использования платформы Indigo IDG4400

В настоящее время задачи сетевой безопасности и прочие сетевые задачи часто строятся на базе дорогостоящих серверов общего назначения и используют общие ресурсы, такие, как процессорное время и оперативная память. Применение платформы Mellanox Indigo IDG4400 Flex Network в сочетании с коммутаторами Spectrum Ethernet позволяет разгрузить серверы от вышеупомянутых задач и высвободить процессорное время и прочие ресурсы. Решение Mellanox является более выгодным в использовании, ведь разгружая серверы, оно снижает и величину затрат на обеспечение функционирования ЦОД. В дополнение к аппаратным решениям, Mellanox предоставляет полный набор программных средств для разработчиков, внедряющих новую сетевую платформу. Входящие в комплект разработчика библиотеки совместимы со стандартом OpenNPU и отлично интегрируются с программным обеспечением с открытым исходным кодом.

Крупнейшие разработчики и производители сетевого оборудования подписали меморандум о взаимопонимании с целью помочь провайдерам услуг связи справиться с проблемами, связанными с внедрением технологий виртуализации сетевых функций (NFV) и облачной трансформацией сетей.

Новая инициатива получила название NFV-ITI — NFV Interoperability Testing Initiative («Тестирование оперативной совместимости технологий виртуализации сетевых функций»). В проекте принимают участие Cisco, Ericsson, Huawei и Nokia.

Участники инициативы объясняют, что внедрение виртуальных сетевых функций в современных сетях может быть сопряжено с трудностями из-за несовместимости отдельных компонентов разных производителей. Чтобы их преодолеть, участники проекта NFV-ITI будут совместно поддерживать оперативную совместимость NFV-элементов в конкретных проектах клиентов для упрощения и ускорения вывода на рынок новых приложений и сервисов.

Все тесты оперативной совместимости технологии NFV составлены с учётом запросов отрасли. Их будет проводить специальная рабочая группа Европейского института по стандартизации в области телекоммуникаций (ETSI).

Приоритетной задачей станет тестирование оперативного взаимодействия конфигураций коммерческих NFV-решений, которые используются в сетях провайдеров услуг связи. По его итогам будут составлены общие рекомендации относительно сценариев, критериев, процессов и методики испытаний, а также инструкций, шаблонов и инструментов. Полученный в результате опыт будет применён в коммерческой практике. 

О том, что компания ASUS решила переломить ценовую политику в мире 10-гигабитных сетей Ethernet и сделать их по-настоящему доступными рядовому пользователю мы уже сообщали в заметке, посвящённой выпуску бытового коммутатора XG-U2008, располагающего двумя портами 10GBase-T и восемью обычными портами Gigabit Ethernet.

Но сетевые карты стандарта 10Gbase-T стоят достаточно дорого, в отличие от моделей с разъёмом SFP+. ASUS не могла оставить такое положение вещей без внимания и дополнила новинку выпуском сетевого адаптера ROG 10G Express. Это обычная плата расширения с разъёмом PCI Express x4 2.0, заключённая в фирменный чёрный кожух Republic of Gamers с красным логотипом. Новинка будет поставляться совместно с платами  Maximus VIII Extreme/Assembly, но не исключена и возможность её продажи в качестве отдельного продукта.

Внутри скрывается сетевой адаптер 10Gbase-T, но по какой-то неизвестной нам причине ASUS решила выбрать в качестве основы для новинки не решения Intel, а чипсет Tehuti Networks TN9710. По всей видимости, данный чипсет был выбран из-за его более низкой стоимости. Состоит он из чипа MAC TN4010 и контроллера физического уровня X3310P. Поддерживаются все современные технологии, а также размер кадра Ethernet до 16 Кбайт.

Технология Power over Ethernet очень удобна, когда сетевых устройств много — не приходится возиться с многочисленными адаптерами питания, поскольку питание устройства получают прямо по витой паре. Обычно для реализации PoE требуется установка дополнительных инжекторов питания, что лишь усложняет схему сети, но с сетевыми адаптерами Innodisk ESPL-G4P1 и EMPL-G2P1 такого не потребуется.

Новые сетевые карты, рассчитанные на стандарт Gigabit Ethernet, снабжены интерфейсами PCI Express 2.0 x1 и mini-PCIe, соответственно; они имеют встроенные инжекторы питания PoE, соответствующие стандартам 802.3af и 802.3at/af. Первый реализован в двухпортовой модели EMPL-G2P1 и может выдавать в сеть мощность до 15 ватт, а второй поддерживается четырёхпортовой моделью ESPL-G4P1, и максимальная мощность здесь составляет уже 30 ватт.

Внешнее питание к картам подводится посредством шестиконтактного разъёма PCIe. Обе модели имеют защиту от перенапряжения до 2 киловольт и защиту по стандарту 2000V HiPOT. Модель ESPL-G4P1 использует коммутатор PCIe и четыре независимых чипа-контроллера GbE. Она доступна уже сейчас. А вот двухпортовая более компактная модель EMPL-G2P1 в форм-факторе Mini-PCIe будет доступна лишь в конце сентября этого года.

Специалисты Казанского квантового центра КНИТУ-КАИ и Университета ИТМО реализовали пилотный проект по запуску первой в России многоузловой квантовой сети.

Как сообщают «Известия», опытная квантовая линия развёрнута на сети оператора связи ПАО «Таттелеком». Специальное оборудование интегрировано в оптоволоконную инфраструктуру: с его помощью генерируются, кодируются, передаются и принимаются однофотонные сигналы, посредством которых осуществляется защита передаваемой информации.

Нужно отметить, что экспериментальные образцы подобных защищённых систем связи существовали и ранее. Однако до недавних пор все они работали исключительно в лабораторных условиях, поскольку использовали специальное оптоволокно и другие компоненты, недоступные на коммерческом рынке.

Первая квантовая сеть, соединившая два узла, заработала в  университете ИТМО в 2014 году — тогда учёным удалось объединить два корпуса вуза по стандартному подземному оптоволоконному кабелю. А в прошлом году была введена в строй квантовая сеть, соединившая два здания «Газпромбанка» в Москве.

Новый пилотный проект — это первая в России квантовая сеть с четырьмя узлами. Система построена с применением оригинальных разработок российских специалистов. Главными задачами проекта названы: тестирование технологии, отработка механизмов интеграции квантовых каналов в существующую телекоммуникационную инфраструктуру и масштабирование квантовой сети.

Предполагается, что в перспективе квантовые сети с высоким уровнем защиты будут востребованы в корпоративном секторе, финансовой области, государственном сегменте, военной промышленности и пр.