Компания QNAP Systems анонсировала акселераторы серии Mustang, рассчитанные на применение в системах, использующих алгоритмы искусственного интеллекта и машинного обучения.

В семейство вошли два ускорителя — Mustang V100 и Mustang F100. Изделие Mustang V100 объединяет восемь процессоров Intel Movidius Myriad X MA2485. Решение подходит для систем машинного зрения. Акселератор выполнен в виде карты расширения с интерфейсом PCI Express x4. Габариты составляют 169,54 × 80,05 × 23,16 мм.

Ускоритель Mustang F100, в свою очередь, использует перепрограммируемую вентильную матрицу (FPGA) Intel Arria 10 GX1150. В оснащение входят 8 Гбайт памяти DDR4. Для установки акселератора требуется слот PCI Express x8. Размеры — 169,5 × 68,7 × 33,7 мм.

Акселераторы могут использоваться в серверах, настольных компьютерах, рабочих станциях, а также в сетевых хранилищах данных (NAS), допускающих установку карт расширения.

Говорится о совместимости с программными платформами Ubuntu 16.04.3 LTS, CentOS 7.4, Windows 10 и QTS. Информации об ориентировочной цене на данный момент, к сожалению, нет. 

Компания Gyrfalcon Technology анонсировала компактное устройство 2803 Plai Plug, призванное повысить производительность компьютеров при выполнении операций, связанных с искусственным интеллектом (ИИ).

Новинка представляет собой ИИ-акселератор, выполненный в виде USB-брелока. Поддерживается интерфейс USB 3.0, обеспечивающий пропускную способность до 5 Гбит/с.

В составе решения применён чип Gyrfalcon Lightspeeur 2803S. Заявлено быстродействие в 16,8 триллиона операций в секунду (TOPS) при энергопотреблении 700 мВт. Таким образом, производительность в расчёте на 1 Вт затрачиваемой энергии достигает 24 TOPS. Отмечается, что устройство Gyrfalcon 2803 Plai Plug может использоваться при решении таких задач, как распознавание изображений, обнаружение и отслеживание перемещения объектов, обработка естественной речи, визуальная аналитика, распознавание лиц, бизнес-аналитика и пр. 

SDK поддерживает фреймворки TensorFlowe, Caffe, ResNet, MobileNet, VGG CNN. Правда, компания теперь требует от потенциальных покупателей портфолио ИИ-проектов и примерные планы по использованию новинки и оставляет за собой право отказать в доступе к SDK и документации. Приобрести новинку можно будет по ориентировочной цене 70 долларов США. Конкурирующий продукт Intel Neural Compute Stick 2 (NCS 2) с VPU-процессорами Myriad X стоит $100.

Компания Qualcomm Technologies анонсировала ускоритель искусственного интеллекта Cloud AI 100, предназначенный для использования в составе облачных платформ.

Технических подробностей о новинке пока не слишком много. Отмечается лишь, что изделие разработано с чистого листа, а при изготовлении применяется 7-нанометровая технология.

Qualcomm заявляет, что акселератор обеспечивает более чем десятикратный прирост производительности в расчёте на один ватт затрачиваемой энергии по сравнению с используемыми сегодня решениями для ускорения выполнения операций, связанных с искусственным интеллектом.

Qualcomm Cloud AI 100 может применяться при решении задач, связанных с расширенной реальностью (Extended Reality), обработкой естественной речи, компьютерным зрением, выполнением переводов с одного языка на другой в режиме реального времени и пр.

Говорится о поддержке программных библиотек PyTorch, Glow, TensorFlow, Keras и ONNX.

Пробные поставки ускорителя Qualcomm Cloud AI 100 планируется начать во второй половине текущего года. О сроках коммерческого использования решения ничего не сообщается. 

В последние годы вычислительные платформы взяли курс на многокомпонентность. Прежде всего, это функционирование в одной системе разнородных (гетерогенных) процессорных архитектур и разного рода специализированных ускорителей на FPGA, GPU или ASIC. Сразу же оказалось, что между процессором (хостом) и ускорителями возникают узкие места для перекачки больших массивов данных. Это особенно заметно, когда ускорители обладают значительными объёмами кеширующей или другой бортовой памятью.

Проблему могли и могут решить интерфейсы и протоколы, которые обеспечили бы согласованность обращения к памяти и кешам процессора общего назначения и ускорителей (через общее адресное пространство и другое). И такие интерфейсы стали появляться. Это NVIDIA NVLink, GenZ и CCIX, не считая некоторых проприетарных разработок AMD и ARM. Часть из этих стандартов/межсоединенний открыты, часть нет. Сегодня к таким интерфейсам добавился ещё один, созданный в недрах компании Intel, но декларируемый как открытый и свободный от лицензионных отчислений.

Компания Intel сообщила, что девять компаний, включая её, создали консорциум Compute Express Link (CXL) и спецификации CXL версии 1.0. Кроме Intel основателями консорциума стали компании Alibaba, Cisco, Dell EMC, Facebook, Google, HPE, Huawei и Microsoft. Компании AMD, Xilinx, IBM и ARM не вошли в консорциум CXL. Все они продвигают фактически конкурента стандарту CXL ― стандарт CCIX. Как и CCIX, спецификации CXL опираются на физический интерфейс и протокол PCI Express. Правда, CCIX использует интерфейс PCI Express 4.0, а CXL ― PCI Express 5.0. Это, кстати, отодвигает реализацию интерфейса CXL на 2021 год, что даёт дорогу CCIX. Зато период популярности PCIe 4.0 ожидается очень коротким, после чего на сцену надолго выйдет интерфейс PCIe 5.0 и новоявленный Compute Express Link. Тем не менее, стандарты CCIX и CXL, очевидно, ждёт прямое столкновение и совсем непонятно, кто из них в итоге станет доминирующим.

Консорциум CXL и Intel не раскрывают деталей спецификаций Compute Express Link. Утверждается, что стандарт CXL обеспечит минимальные задержки при обмене данными хоста с ускорителями и станет одним из самых скоростных интерфейсов для подобного обмена. Поскольку протокол CXL будет работать на типичном интерфейсе PCI Express 5.0, реализация поддержки Compute Express Link будет стоить минимальных денег. Участники консорциума вообще будут освобождены от уплат лицензионных отчислений. В компании Intel ожидают, что к консорциуму CXL присоединятся другие разработчики процессоров и ускорителей и вместе они смогут разработать новую версию спецификации ― CXL 2.0.

Кстати, стандарт CXL активно поддержал консорциум GenZ. Сообщается, что GenZ и CXL будут дополнять друг друга, а не перекрывать возможности одного или другого протокола. Это означает, что с CXL могут согласовывать свои разработки компании AMD и ARM. Это даёт надежду, что история с «лебедем, раком и щукой» останется басней, а не очередной практикой для индустрии.

На выставке SC18, которая на прошлой неделе состоялась в Далласе, штат Техас, было показано множество продуктов, использующих FPGA-матрицы от компании Xilinx. Среди них оказались фирменные ускорители вычислений и системы на их основе, а также новые «умные» твердотельные накопители SmartSSD.

На своём собственном стенде Xilinx продемонстрировала новейший ускоритель вычислений Alveo U280. Он построен на 16-нм FPGA-матрице с архитектурой Xilinx UltraScale. Её дополняет 8 Гбайт памяти HBM2 с пропускной способностью 460 Гбайт/с и два модуля памяти DDR4 по 16 Гбайт каждый. Также отметим использование интерфейса PCI Express 4.0 x8 и поддержку CCIX.

Напомним, что платформа CCIX разрабатывается для обеспечения связи между абсолютно всеми компонентами системы, которые не сочетаются напрямую. И теперь она получила реализацию в кремнии. Также отметим, что сейчас консорциум CCIX активно продвигает свой стандарт, и на многих стендах SC18 были замечены решения, использующие его.

Как и другие ускорители серии Alveo, новый Alveo U280 предназначен для центров обработки данных. По словам производителя, ускорители на FPGA способны наилучшим образом подстраиваться под те задачи, выполнение которых на него возложено, что в результате делает их универсальным решением. Здесь сразу стоит отметить, что Xilinx сейчас активно работает над средствами разработки и стремится сделать их как можно проще, чтобы облегчить работу с её ускорителями, дав возможность сборки кода  C/C++/OpenCL для FPGA. Это один из главных моментов в борьбе с Intel, которая давно занимается аналогичными компиляторами для продуктов Altera. 

Возможно, в том числе и по этой причине ускорители на базе FPGA от Xilinx получают всё большее распространение. В том числе в облаках: у Amazon уже есть Ryft, а Microsoft планирует внедрить продукты компании в Azure. На SC18 оказалось непривычно много решений с платами Alveo, которые производители готовы предлагать заказчикам в составе своих систем наряду с Altera или даже в качестве альтернативы NVIDIA, так как последние решения компании оптимизированы и для работы с ИИ. 

Главной новинкой на стенде Xilinx стали так называемые SmartSSD, созданные совместно с Samsung. Данные «умные» накопители сочетают в себе однокристальную платформу с FPGA под названием Xilinx ZU19EG MPSoC, а также оперативную память (DDR или HBM), ну и, конечно же, саму твердотельную память V-NAND от Samsung. Ключевое отличие от обычных SSD в том, что SmartSSD сам частично занят вычислениями и обработкой данных, так сказать, не отходя от кассы. Такой подход обсуждается годами, но только сейчас получил хорошую реализацию в «железе».  

Строго говоря, это не первая попытка совместить SSD и FPGA в «одном флаконе» — такие решения ещё два года назад демонстрировала компания Smart IOPS, но они были ориентированы скорее на оптимизацию потоков данных, обращений к накопителю и предварительной выборке. Понятно, что полностью всю обработку данных переложить на плечи SmartSSD нельзя, но вполне стандартные операции шифрования, архивирирования, дедупликации ему под силам. Кроме того, разработчики упоминают ещё и (де)кодирование видео или работу с ИИ. В любом случае важно то, что таким образом можно существенно снизить обмен между накопителем и остальной системой, так как передаваться будут уже предобработанные данные + значительно сокращается путь самих данных в сравнении с установленными порознь SSD и FPGA. 

На стенде с этим SmartSSD свои решения демонстировала компания Bigstream, которая занимается акселерацией работы с базами данных и BigData-системами с помощью FPGA и GPU. Конкретный пример — значительное ускорение комплексной выборки данных из Spark за счёт обработки записей на FPGA. Отдельно отмечается, что для конечных пользователей всё это происходит прозрачно, так как слой оффлоада задач лежит ниже, на уровне фреймворка или драйвера БД. Похожие решения для гетерогенных вычислений, в том числе в облаках, совместно с Xilinx предлагает и BLACKLYNX. К слову, обратите внимание на слайд выше. С накопителем Samsung PM983 мы уже знакомы — это «линеечный» SSD формата NF-1. А вот PM983F, похоже, тот же SSD, но с FPGA на борту. 

Были показаны также и «умные» сетевые адаптеры, оснащённые FPGA-матрицами Xilinx. Например, решение от Mellanox Technologies под названием Innova-2, которое было впервые представлено ещё год назад. Затея, в целом, та же, что у SmartSSD: переконфигурируемость и предварительная обработка данных на лету. 

Huawei также создаёт ускорители на FPGA от Xilinx

Как и говорилось в самом начале, на выставке было показано множество продуктов, использующих FPGA-матрицы Xilinx. Отдельного внимания заслуживает сотрудничество AMD и Xilinx, которое началось не так давно, но уже в следующем году может принести довольно интересные плоды.

На стенде AMD была показана разрабатываемая платформа на базе процессора EPYC «Rome» и ускорителей Xilinx Alveo с интерфейсом PCIe 4.0. Также эта платформа может иметь твердотельные накопители Samsung с NVMe PCIe 4.0, InfiniBand-карту Mellanox с пропускной способностью 200 Гбит/с и сетевой адаптер Ethernet Broadcom Thor, также со скоростью 200 Гбит/с. Отдельно стоит обратить внимание, что здесь нет компонентов от Intel и NVIDIA: CPU, накопителей, интерконнекта и ускорителей. Кроме того, AMD может предложить и собственные Instinct'ы для вычислений. 

Компания QNAP Systems анонсировала весьма любопытное решение — акселератор Mustang-200, призванный повысить производительность сетевого хранилища данных или настольного компьютера.

Новинка выполнена в виде карты расширения с интерфейсом PCIe 2.0 x4. Ускоритель, как утверждается, хорошо подходит для платформ видеонаблюдения с большим количеством камер, систем обработки мультимедийных материалов, приложений с функциями искусственного интеллекта и пр.

Акселератор Mustang-200 будет предлагаться в трёх базовых версиях. Модели Mustang-200-i7-1T/32G-R10 и Mustang-200-i5-1T/32G-R10 содержат соответственно по два процессора Intel Core i7-7567U (два ядра; 3,5–4,0 ГГц) и Core i5-7267U (два ядра; 3,1–3,5 ГГц). Эти ускорители несут на борту по два твердотельных накопителя Intel 600P SSD ёмкостью 512 Гбайт (по одному на процессор) и по 32 Гбайт оперативной памяти DDR4 (по 16 Гбайт на процессор).

Ещё одна версия акселератора — Mustang-200-C-8G-R10 — комплектуется двумя чипами  Celeron 3865U (два ядра; 1,8 ГГц) и 8 Гбайт памяти DDR4 (по 4 Гбайт на процессор).

Для каждого из процессоров в составе ускорителей предусмотрен собственный сетевой контроллер 10GbE. В качестве программной платформы применяется система mQTS.

Информации о цене решений QNAP Mustang-200 пока нет. 

Суперкомпьютерная выставка ISC 2018 во Франкфурте-на-Майне запомнится в том числе специализированными векторными процессорами SX-Aurora Tsubasa японской компании NEC, способными ускорять выполнение ресурсоёмких задач на языках C, C++ и Фортран. Внешне устройства с 16-нм архитектурой NEC Aurora можно принять за обычные ускорители на основе графических процессоров, однако решения NEC не будут напрямую конкурировать с NVIDIA Tesla и AMD Radeon Instinct.

По сравнению с прошлогодними экспонатами SX-Aurora/Vector Engine 0.1, новые устройства радуют разнообразием систем охлаждения. Векторные процессоры объединены брендом Vector Engine 1.0 и могут играть первую скрипку как в однопроцессорных рабочих станциях, так и серверах и суперкомпьютерах.

Ускорители SX-Aurora Tsubasa состоят из восьмиядерного кристалла с 16 Мбайт разделяемой кеш-памяти, тактовой частотой от 1,4 до 1,6 ГГц и пиковой производительностью 2,15 или 2,45 Тфлопс (FP64), а также шести микросхем буферной памяти HBM2 общим объёмом 24 или 48 Гбайт. Пропускная способность подсистемы памяти достигает внушительных 1,2 Тбайт/с.

Для работы процессоров достаточно питания от слота PCI Express x16, а также от 8-контактного разъёма PCI-E Power. Таким образом, их энергопотребление не превышает 225 Вт.

Наличие центробежного вентилятора у двухслотового Vector Engine 1.0 предусмотрено только в младшей версии Type 10C с быстродействием 2,15 Тфлопс и 24 Гбайт памяти HBM2. Данное устройство подходит для рабочих станций или совсем небольших серверов. Отсутствие вентилятора — верный признак «серверности». Такие ускорители могут базироваться на различных кристаллах, включая модификации 10A и 10B с 48 Гбайт памяти.

Наиболее продвинутый вариант Vector Engine 1.0 предусматривает установку водоблока и, соответственно, жидкостное охлаждение. Фронтальная усилительная пластина-радиатор охлаждает элементы питания и вспомогательные микросхемы. Применение СЖО призвано снизить нагрев, уровень шума и энергопотребление.

Без чего векторные ускорители NEC SX-Aurora Tsubasa не могут обойтись, так это без центрального процессора — в этой роли выступают модели Intel Xeon Gold 6100 Series и Xeon Silver 4100 Series. Системы в сборе содержат от 1-й до 64-х карт Vector Engine 1.0 и потребляют в нагрузке от 0,6 до 30 кВт.

Обнародованная ресурсом BenchLife PDF-презентация графических решений AMD Radeon Pro и сопутствующего программного обеспечения привлекла к себе внимание упоминанием мощного ускорителя Radeon Pro V340 для аппаратной виртуализации GPU. Устройство обходится без интерфейсов вывода изображения, но при этом позволяет использовать собственные ресурсы 32 пользователям одновременно.

Карта выполнена в двухслотовом форм-факторе, занимает в длину около 28 см и охлаждается посредством СЖО либо массивного радиатора, нуждающегося в интенсивном обдуве. Единственные официальные характеристики аппаратной составляющей адаптера Radeon Pro V340, приведённые на слайде рядом с ним — объём буферной памяти типа HBM2 в 32 Гбайт и наличие интегрированного процессора безопасности (security processor).

Казалось бы о 32 гигабайтах памяти HBM2 у видеокарты AMD можно говорить только в контексте 7-нм версии ускорителя Vega 10 — Vega 20. Однако у Advanced Micro Devices имеется альтернатива использованию пока ещё «сырого» чипа в виде связки из двух ядер Vega 10 с 16 Гбайт HBM2 по периметру каждого из кристаллов. Это объясняет внушительные габариты устройства и упрощает распараллеливание нагрузки.

Ядро Vega 10

Свидетельством тому, что Radeon Pro V340 не станет первым ускорителем на 7-нм чипе Vega 20, а будет использовать дуэт 14-нм Vega 20, является его обозначение в драйвере вида «AMD686C.4 = "AMD Radeon Pro V340 MxGPU"». Фрагмент «MxGPU» указывает на многочиповое исполнение новичка. Решение прибегнуть к Vega 10 говорит о неготовности Radeon Technologies Group предоставить клиентам профессиональную графику на базе Vega 20 в обозримом будущем. Себестоимость устройства с одним ядром всяко ниже, тем не менее подрядчики AMD — GlobalFoundries и TSMC — пока не могут похвастаться выдающимися успехами в освоении 7-нм нормы и отгрузить нужное количество кристаллов Vega 20.

Опытный образец Vega 20

Учитывая двухчиповую конфигурацию ускорителя и возможное несоответствие его программного обеспечения нужной степени готовности, не удивительно, что в GFXBench инженерный семпл Radeon Pro V340 показал довольно слабые результаты, уступив, в частности, карте Radeon Vega Frontier Edition.

Корпорация Intel объявила об отказе от коммерческого выпуска ускорителей Xeon Phi 7200 поколения Knights Landing в форм-факторе карт, мотивируя решение растущей популярностью процессоров KNL в форм-факторе LGA3647-1 и соответствующих платформ. Таким образом, карты NVIDIA Tesla P100/V100 становятся фактически эксклюзивными игроками на рынке ускорителей высокопроизводительных вычислений (high-performance computing, HPC).

Обсуждаемые ускорители Intel, это сопроцессоры Xeon Phi 7220A, 7220P и 7240P, которые обладают работающими на частоте 1,2–1,3 ГГц 68 ядрами общего назначения (способными исполнять 272 ветки кода одновременно) и экипированные 16 Гбайт MCDRAM. Данные карты были использованы для разработки программного обеспечения различными близкими партнерами Intel, но никогда не выпускались как коммерческие продукты (хотя TYAN была готова поддерживать сопроцессоры Intel Xeon Phi с шиной PCIe). Принимая это во внимание, в конце августа Intel прекратила производство и отгрузку указанных изделий Xeon Phi серии 7200 без инициирования длительной программы прекращения выпуска (end-of-life, EOL), которая позволила бы партнёрам приобрести дополнительные устройства. Судя по всему, это произошло потому, что никто из партнёров Intel никогда не приобретал сопроцессоры Xeon Phi 7200 в сколько-то заметных количествах. При этом, процессоры Xeon Phi 7200 поколения Knights Landing для гнезда LGA3647-1 поставляются и будут доступны в будущем.

Intel Xeon Phi 7200 поколения Knights Landing

Прежде чем Intel объявила о прекращении производства карт Xeon Phi 7220A, 7220P и 7240P, компания удалила упоминания о них со своего веб-сайта. Отвечая на вопрос о причинах, представитель Intel сказал, что производитель решил не предлагать данные изделия для «массового» рынка, но Xeon Phi остаются ключевым элементом семейства продуктов Intel.

Заявление Intel, размещенное на форуме, а не в пресс-релизе, гласит: «Intel постоянно оценивает рыночные перспективы для продуктов с целью предложить лучшие решения для задач своих клиентов. В рамках этого продолжающегося процесса, Intel решила не выпускать сопроцессоры Intel Xeon Phi 7200 (кодовое имя Knights Landing) на рынок. Учитывая быстрый рост использования процессоров Intel Xeon Phi 7200, Intel решила не разворачивать выпуск сопроцессоров Knights Landing для общего рынка. Процессоры Intel Xeon Phi остаются ключевым элементом нашего портфолио решений для клиентов».

Сопроцессоры Intel Xeon Phi с интерфейсом PCI Express

Корпорация Intel не указала точной причины нежелания выпускать карты-сопроцессоры Xeon Phi 7200 для массового рынка. На этот счёт можно строить лишь предположения. Вычислительная мощность сопроцессоров Xeon Phi 7220A, 7220P и 7240P немногим ниже 3 триллионов операций с плавающей запятой в секунду (TFLOPS, двойная точность, FP64), что ниже производительности процессоров Xeon Phi 7200 в форм-факторе LGA, которая составляет 3–3,4 TFLOPS. Из других особенностей процессоров Xeon Phi 7200 можно отметить собственные линии интерфейса PCI Express и возможность соединения с различной периферией. Поскольку гнездо LGA3647-1 не поддерживает многопроцессорных конфигураций, создание систем с несколькими процессорами Xeon Phi 7200 невозможно, а значит, для увеличения плотности вычислительных мощностей логичней использовать карты Xeon Phi. В этой связи отказ от выпуска PCIe-сопроцессоров Knights Landing выглядит странным.

Впрочем, если рассматривать карты Intel Xeon Phi в сравнении с прямыми конкурентами — ускорителями NVIDIA Tesla P100 и выходящими вскоре NVIDIA Tesla V100, — то сравнение будет не в пользу первых. Дело в том, что пиковая вычислительная производительность Tesla P100 поставляет 4–4,7 TFLOPS FP64, тогда как Tesla V100 увеличит этот показатель до 7 TFLOPS FP64. Таким образом, клиентам, которые заинтересованы в максимальной производительности и для которых неважна совместимость с x86, имеет смысл смотреть именно на современные NVIDIA Tesla.

Intel Xeon Phi 7200 поколения Knights Landing

По крайней мере, на данный момент Intel не хочет конкурировать с различными PCIe-ускорителями вычислений. Большой вопрос заключается в том, нужно ли это на самом деле, учитывая автономные возможности Xeon Phi и их характеристики производительности. Но это совершенно другой разговор.

Корпорация Intel выпустила акселератор DLIA (Deep Learning Inference Accelerator), выполненный в виде карты расширения PCIe.

Изделие предназначено для реализации проектов в области глубокого обучения. Это может быть, скажем, распознавание изображений с высокой эффективностью при относительно небольшом энергопотреблении. Карта может быть использована в составе комплексов обеспечения безопасности для анализа лиц, попадающих в поле зрения видеокамер наблюдения. Сервис-провайдеры смогут задействовать ресурсы DLIA для фильтрации определённого контента.

В основе акселератора лежит перепрограммируемая вентильная матрица (FPGA) — изделие Intel (ранее Altera) Aria 10. В отличие от традиционных процессоров с «жёсткой» архитектурой, конфигурацию FPGA можно менять, используя специализированные программные средства. Это позволяет адаптировать систему для решения конкретного типа задач.

Заявленная производительность ускорителя DLIA достигает 1,5 терафлопса (триллиона операций с плавающей запятой в секунду). Акселератор выполнен в виде полноразмерной карты расширения PCIe Gen3 x16. Заявлена совместимость с программной платформой CentOS 7.2.

Более подробную информацию об ускорителе Deep Learning Inference Accelerator можно найти на сайте Intel.