Не столь давно производители микроэлектроники праздновали выпуск первых чипов для коммутаторов с пропускной способностью 25,6 Тбит/с. Но в эпоху массового распространения 400GbE и начала внедрения 800GbE этого может оказаться недостаточно. Ряд ведущих производителей микрочипов объявил о выпуске нового поколения сетевых ASIC с пиковой способностью коммутации 51,2 Тбит/с. К их числу теперь относится Marvell с чипом Teralynx 10 и оптической платформой Nova.

Источник изображений здесь и далее: Marvell

Чип Teralynx 10 изначально спроектирован, как основа для инфраструктуры класса 800GbE. Чип содержит 512 блоков SerDes со скоростью передачи данных 112 Гбит/с и может быть сконфигурирован как 32 × 1,6 Тбит/с или 64 ×  800 Гбит/с. Впрочем, поддерживаются и менее скоростные конфигурации портов. В новом чипе имеется отдельный встроенный Arm-сопроцессор, а также блок безопасного удалённого управления с интерфейсами PCIe 3.0 x4 и 10GbE.

Блок-схема Teralynx 10

Новая платформа Teralynx ведёт своё происхождение от разработок компании Innovium, приобретённой Marvell в августе 2021 года и даже в новой, высокопроизводительной итерации сохраняет совместимость на уровне ПО. Так, полностью поддерживаются продвинутые функции телеметрии и предиктивной аналитики Teralynx Flashlight.

Также компания анонсировала первое в индустрии поколение гибридной платформы Nova, предназначенной для сетей класса 1,6 Тбит/с (16 × 100G ↔ 8 × 200G). Новые DSP (PAM4) предлагают именно такие оптические трансиверы в форм-факторе OSFP-XD, а 5-нм техпроцесс и использование интегрированной фотоники позволили снизить энергопотребление DSP до менее 28 Вт. Поставки новых чипов должны начаться уже во II квартале.

Компания Fortinet пополнила список собственных ASIC новой моделью FortiSP5. Новый чип FortiSP5 выполнен с использованием 7-нм техпроцесса и относится к пятому поколению «процессоров безопасности» по классификации Fortinet.

Его главное назначение — организация достаточно производительной и при этом безопасной периферийной (edge) инфраструктуры, в том числе, с поддержкой стека технологий 5G. Процессор универсален, в его состав входит облегчённая версия движка NP7, аппаратные блоки криптографии, блоки ускорения VXLAN/GRE, а также два восьмиядерных кластера процессорных ядер общего назначения. Чип поддерживает сетевые интерфейсы со скоростями от 1 до 40 Гбит/с.

Источник изображений: Fortinet

Возможности SP5 включают в себя полноценный межсетевой экран L7, причём Fortinet заявляет о лучшей в своём классе производительности. По сравнению с решениями на базе классических процессоров SP5 потребляет на 88 % меньше энергии, а значит, обеспечивает и менее высокую стоимость владения оборудованием. Новый ASIC FortiSP5 станет основой целого ряда межсетевых экранов начального и среднего уровней, которые компания планирует к выпуску позднее в этом году.

Производительность SP5 в типичных для него сценариях.

Растущие объемы сетевого трафика, широкое распространение медиа-сервисов и видеоконференций, новые облачные услуги — всё это требует и нового сетевого «железа», способного справляться с повышающейся нагрузкой. И если не так давно для ASIC высшего класса нормой стал считаться показатель 25,6 Тбит/с, то сейчас вендоры осваивают следующий уровень производительности. Первенство в этой гонке принадлежит NVIDIA с её чипами Spectrum-4, но сейчас в игру вступила Broadcom.

Компания представила пятое поколение «сетевого кремния» в серии StrataXGS Tomahawk, тоже способное осуществлять коммутацию на скоростях до 51,2 Тбит/с — 5-нм чип Tomahawk 5 (BCM78900). Появление ASIC такого класса существенно облегчает жизнь разработчикам HPС-систем для задач машинного обучения, поскольку позволит объединить в единый комплекс больше узлов без «наценки» на латентность в конфигурациях 64х800GbE, 128х400GbE или 256х100GbE. Поддерживается RoCEv2 и другие протоколы RDMA, виртуализация и сегментация сетей, VxLAN и прочие современные технологии.

Источник: Broadcom

Несколько ограничивают возможности новинки SerDes-блоки Peregrine (PAM4/106 Гбит/с). Каждые 8 таких блоков собраны в трансиверное ядро, всего ядер в новом чипе 64, что ограничивает эффективную производительность на порт именно цифрой 800 Гбит/с. Достоинством Tomahawk 5 станет его экономичность: использование 5-нм техпроцесса позволило довести удельное энергопотребление до цифры менее 1 Вт на 100 Гбит/с, то есть речь идёт о потреблении в районе 500 Вт для полной конфигурации. Цифра немалая, но всё же позволяющая сохранить воздушное охлаждение. Кроме того, новый ASIC снабжён шестью Arm-блоками для настраиваемой потоковой телеметрии.

Следует отметить, что реальной потребности в таких скоростях пока очень немного: лишь 15 % (в деньгах) рынка Ethernet-устройств приходится на 400G-оборудование, но Broadcom считает, что постоянный рост аппетитов гиперскейлеров должен довести этот показатель до более чем 50 % уже к 2026 году. В случае же Tomahawk 5 пока речь идёт о первых поставках самих чипов, которые OEM-производителям ещё предстоит интегрировать в свои продукты. Они должны появиться на рынке в следующем году.

Компания Kraftway на Международной промышленной выставке «Иннопром 2022» в Екатеринбурге продемонстрировала твердотельный накопитель (SSD) на базе первого отечественного SSD-контроллера — решения собственной разработки К1942ВК018. Показанный SSD уже применяются в системах с российскими процессорами «Эльбрус».

Представлено изделие Kraftway ASIC v2 на базе архитектуры RISC-V, производившееся по 28-нм техпроцессу TSMC HPC+. Возможно применение чипов флеш-памяти 3D MLC и TLC, а в перспективе и QLC. Чипы могут быть от Kioxia, Micron, а теперь ещё и от китайской YMTC. Впрочем, как отмечает вендор, MLC-память уже выводится из массового производства.

В показанных SSD применена память российской GS Nanotech, которую делают из чипов Micron и Kioxia. В устройстве задействован интерфейс PCIe 4.0 x4 (аппаратная реализация NVMe 1.4), а максимальная ёмкость достигает 16 Тбайт. Скорость последовательного чтения/записи превышает 1500 Мбайт/с. Показатель IOPS при произвольном чтении и произвольной записи 4-Кбайт блоками — свыше 200 тыс. и 150 тыс. соответственно.

Контроллер предлагает поддержку интерфейса ONFi 4.0 (не менее 800 MT/s) и 8 каналов памяти (16 путей на канал). Реализована поддержка soft-LDPC, RAID over NAND, мониторинг, управление питанием и т.д. Контроллер может применяться для изготовления накопителей в форм-факторах PCIe-карты расширения HHHL (на фото выше), M.2 и EDSFF E.1S/E.1L. Заявленное энергопотребление составляет 2–4 Вт.

Специализированными ИИ-ускорителями сейчас никого не удивить. Версии, предназначенные для обучения моделей, уже сравнялись по сложности и энергопотреблению с современными GPU, но и чипы, служащие для запуска натренированных моделей, не всегда отличаются простотой.

Компания Neuchips пошла другим путём, анонсировав ASIC RecAccel N3000, который отличается повышенной экономичностью и пониженным тепловыделением при высоком уровне производительности. Это сделает его подходящим для «умных» платформ периферийных вычислений, которые часто вынуждены работать в жёстких тепловых и энергетических рамках. В данном случае речь идёт о компактных, но мощных инференс-системах.

Новинка выполнена с использованием 7-нм техпроцесса TSMC и изначально спроектирована для запуска рекомендательных моделей глубокого машинного обучения (deep learning recommendation models, DLRM). В течение второго полугодия компания намеревается вывести на рынок OCP-модули для серверов, причём сразу в двух форм-факторах: двойном M.2 и в виде платы расширения с интерфейсом PCI Express 5.0.

Источник: Neuchips

Компания провела полноценное тестирование RecAccel N3000 в MLPerf и уверена в успехе новинки. Ускоритель использует фирменные алгоритмы 8-бит квантизации и калибровки, гарантирующие точность на уровне 99,95% от FP32, встроенная система кеширования снизит трафик к внешней памяти LPDDR5 на 50%, а эффективность использования ПСП, наоборот, повысится на 30%.

Архитектура, спроектированная Neuchips, обеспечивает энергоэффективность в районе 1 мкДж на каждый результат, что позволяет разработчикам говорить о производительности новой ASIC-платформы выше ранее запланированного уровня 20 млн инференс-решений в секунду при потреблении 20 Вт. На данный момент оценить этот показатель в сравнении с уже существующими решениями достаточно сложно, поскольку речь может идти о разных моделях и сценариях их применения.

Отметим, что подобные ускорители существовали уже в 2020 году. Сейчас известно лишь то, что RecAccel N3000 получит аппаратный RoT и будет поддерживать все популярные рекомендательные варианты ИИ-моделей, включая DLRM, WND, DCN и NCF. Впрочем, есть основания полагать, что всё это не пустые обещания, поскольку создал компанию бывший глава Global Unichip Corporation, дочернего предприятия TSMC, которая занимается разработкой заказных ASIC и IP-блоков.

Meta✴ наняла Джона Даму (Jon Dama), специалиста по сетевым чипам Intel, чтобы он возглавил программу по проектированию полупроводников в группе разработки аппаратного обеспечения для инфраструктуры компании. Дама получил должность директора данного направления в этом месяце. Согласно профилю на LinkedIn, он «отвечает за несколько проектных групп, внедряющих инновации» в области масштабирования ЦОД.

Дама сообщил, что у Meta✴ уже сформирована соответствующая команда, и он надеется с её помощью добиться значительного прогресса в ускорении обработки данных. Дама проработал в Intel более 10 лет, куда он попал после приобретения в 2011 году технологическим гигантом производителя сетевых ASIC Fulcrum Microsystems. В Intel Дама занимался разработкой полупроводниковых решений для различного сетевого оборудования для ЦОД и рынка телекоммуникаций, включая и IPU/DPU.

Изображения: Intel

Вполне возможно, что интерес Мета✴ к Джону Даму объясняется именно тем, что в течение двух лет он руководил со стороны Intel совместной с Google разработкой нового класса устройств IPU Mount Evans (на базе ASIC), ориентированных на ЦОД гиперскейлеров. Фактически он занимал пост директора по полупроводниковым решениям для облаков и IPU в техническом департаменте Intel Connectivity Group.

После этого он перешёл на должность исполнительного директора по разработке полупроводниковых компонентов в Connectivity Group, где отвечал за «полный жизненный цикл разработки микросхем» для продуктов группы, теперь входящей в недавно появившееся бизнес-подразделение Intel Network and Edge Group (NEX). Дама, в частности, занимался ASIC коммутаторов Tofino 2 и Tofino 3, которые были получены в результате поглощения Barefoot Networks в 2019 году. Он также курировал разработку новых IP-блоков для программируемой обработки сетевого трафика и Ethernet, с упором на повышение их энергоэффективности.

Похоже, Мета✴ планирует повысить свою независимость от производителей чипов для ЦОД. Ресурс The Information сообщил в прошлом месяце, что Meta✴ стремится «контролировать ключевые технологии и уменьшить свою зависимость от поставщиков готовых микросхем». И хотя собственная разработка полупроводников требует значительных вложений, она потенциально позволит со временем снизить затраты.

Также несколько месяцев назад в СМИ сообщалось, что Meta✴ разрабатывает собственные серверные чипы, один из которых предназначен для повышения производительности машинного обучения для рекомендательных систем, а другой — для повышения производительности транскодирования видео для стриминга. Дальше всех в деле обретения независимости от сторонних поставщиков продвинулась облачная платформа AWS, у которой уже есть собственные CPU и SSD, ИИ-ускорители для обучения и инференса и собственно DPU Nitro, которые явно вдохновили другие компании на создание аналогичных решений.

NVIDIA, нынешний владелец Mellanox, представила обновления своих решений InfiniBand NDR: коммутаторы Quantum-2, сетевые адаптеры ConnectX-7 и ускорители DPU BlueField-3. Это весьма своевременный апдейт, поскольку 400GbE-решения набирают популярность, а с приходом PCIe 5.0 в серверный сегмент станут ещё более актуальными.

NVIDIA Quantum-2 (Здесь и ниже изображения NVIDIA)

Первый и самый важный анонс — это платформа Quantum-2. Новый коммутатор не только обеспечивает вдвое более высокую пропускную способность на порт (400 Гбит/с против 200 Гбит/c), но также предоставляет в три раза больше портов, нежели предыдущее поколение. Это сочетание позволяет снизить потребность в коммутаторах в 6 раз при той же суммарной ёмкости сети. При этом новая более мощная инфраструктура также окажется более экономичной и компактной.

Более того, Quantum-2 относится к серии «умных» устройств и содержит в 32 раза больше акселераторов, нежели Quantum HDR первого поколения. В нём также реализована предиктивная аналитика, позволяющая избежать проблем с сетевой инфраструктурой ещё до их возникновения; за это отвечает технология UFM Cyber-AI. Также коммутатор предлагает синхронизацию времени с наносекундной точностью, что важно для распределённых нагрузок.

7-нм чип Quantum-2 содержит 57 млрд транзисторов, то есть он даже сложнее A100 с 54 млрд транзисторов. В стандартной конфигурации чип предоставляет 64 порта InfiniBand 400 Гбит/с, однако может работать и в режиме 128 × 200 Гбит/с. Коммутаторы на базе нового сетевого процессора уже доступны у всех крупных поставщиков серверного оборудования, включая Inspur, Lenovo, HPE и Dell Technologies. Возможно масштабирование вплоть 2048 × 400 Гбит/с или 4096 × 200 Гбит/с.

NVIDIA ConnectX-7

Конечные устройства для новой инфраструктуры InfiniBand доступны в двух вариантах: это относительно простой сетевой адаптер ConnectX-7 и куда более сложный BlueField-3. В первом случае изменения, в основном, количественные: новый чип, состоящий из 8 млрд транзисторов, позволил вдвое увеличить пропускную способность, равно как и вдвое же ускорить RDMA и GPUDirect.

NVIDIA BlueField-3

DPU BlueField-3, анонсированный ещё весной этого года, куда сложнее с его 22 млрд транзисторов. Он предоставляет гораздо больше возможностей, чем обычный сетевой адаптер или SmartNIC, и крайне важен для будущего развития инфраструктурных решений NVIDIA. Начало поставок ConnectX-7 намечено на январь, а вот BlueField-3 появится только в мае 2021 года. Оба адаптера совместимы с PCIe 5.0.