Ускорители работы с нейросетями делятся, грубо говоря, на две категории: для обучения и для исполнения (инференса). Именно для последнего случая важна не столько «чистая» производительность, сколько сочетание производительности с экономичностью, так как работают такие устройства зачастую в стеснённых с точки зрения питания условиях. Компания Qualcomm предлагает новые ускорители Cloud AI 100, сочетающие оба параметра.

Сам нейропроцессор Cloud AI 100 был впервые анонсирован ещё весной прошлого года, и Qualcomm объявила, что этот чип разработан с нуля и обеспечивает вдесятеро более высокий уровень производительности в пересчёте на ватт, в сравнении с существовавшими на тот момент решениями. Начало поставок было запланировано на вторую половину 2019 года, но как мы видим, по-настоящему ускорители на базе данного чипа на рынке появились только сейчас, причём речь идёт о достаточно ограниченных, «пробных» объёмах поставок.

В отличие от графических процессоров и ПЛИС-акселераторов, которые часто применяются при обучении нейросетей и, будучи универсальными, потребляют при этом серьёзные объёмы энергии, инференс-чипы обычно представляют собой специализированные ASIC. Таковы, например, Google TPU Edge, к этому же классу относится и Cloud AI 100. Узкая специализация позволяет сконцентрироваться на достижении максимальной производительности в определённых задачах, и Cloud AI 100 более чем в 50 раз превосходит блок инференс-процессора, входящий в состав популярной SoC Qualcomm Snapdragon 855.

На приводимых Qualcomm слайдах архитектура Cloud AI 100 выглядит достаточно простой: чип представляет собой набор специализированных интеллектуальных блоков (IP, до 16 юнитов в зависимости от модели), дополненный контроллерами LPDDR (4 канала, до 32 Гбайт, 134 Гбайт/с), PCI Express (до 8 линий 4.0), а также управляющим модулем. Имеется некоторый объём быстрой набортной SRAM (до 144 Мбайт). С точки зрения поддерживаемых форматов вычислений всё достаточно универсально: реализованы INT8, INT16, FP16 и FP32. Правда, bfloat16 не «доложили».

Об эффективности новинки говорят приведённые самой Qualcomm данные: если за базовый уровень принять систему на базе процессоров Intel Cascade Lake с потреблением 440 Ватт, то Qualcomm Cloud AI 100 в тесте ResNet-50 быстрее на два порядка при потреблении всего 20 Ватт. Это, разумеется, не предел: на рынок новый инференс-ускоритель может поставляться в трёх различных вариантах, два из которых компактные, форм-факторов M.2 и M.2e с теплопакетами 25 и 15 Ватт соответственно. Даже в этих вариантах производительность составляет 200 и около 500 Топс (триллионов операций в секунду), а существует и 75-Ватт PCIe-плата формата HHHL производительностью 400 Топс; во всех случаях речь идёт о режиме INT8.

Данные для NVIDIA Tesla T4 и P4 приведены для сравнения

Основными конкурентами Cloud AI 100 можно назвать Intel/Habana Gaia и NVIDIA Tesla T4. Оба этих процессора также предназначены для инференс-систем, они гибче архитектурно — особенно T4, который, в сущности, базируется на архитектуре Turing —, однако за это приходится платить как ценой, так и повышенным энергопотреблением — это 100 и 70 Ватт, соответственно. Пока речь идёт о распознавании изображений с помощью популярной сети ResNet-50, решение Qualcomm выглядит великолепно, оно на голову выше основных соперников. Однако в иных случаях всё может оказаться не столь однозначно.

Новые ускорители Qualcomm будут доступны в разных форм-факторах

Как T4, так и Gaia, а также некоторые другие решения, вроде Groq TSP, за счёт своей гибкости могут оказаться более подходящим выбором за пределами ResNet в частности и INT8 вообще. Если верить Qualcomm, то компания в настоящее время проводит углублённое тестирование Cloud AI 100 и на других сценариях в MLPerf, но в открытом доступе результатов пока нет. Разработчики сосредоточены на удовлетворении конкретных потребностей заказчиков. Также заявлено о том, что высокая производительность на крупных наборах данных может быть достигнута путём масштабирования — за счёт использования в системе нескольких ускорителей Cloud AI 100.

В настоящее время для заказа доступен комплект разработчика на базе Cloud Edge AI 100. Основная его цель заключается в создании и отработке периферийных ИИ-устройств. Система достаточно мощная, она включает в себя процессор Snapdragon 865, 5G-модем Snapdragon X55 и ИИ-сопроцессор Cloud AI 100. Выполнено устройство в металлическом защищённом корпусе с четырьмя внешними антеннами. Начало крупномасштабных коммерческих поставок намечено на первую половину следующего года.

Компания Intrinsyc анонсировала компактный (25 × 50 мм) вычислительный модуль Open-Q 845 µSOM и сопутствующую интерфейсную плату Open-Q 845 µSOM Development Kit для разработчиков, создающих встраиваемые устройства и оборудование для Интернета вещей.

«Сердце» модуля — процессор Qualcomm Snapdragon 845. Чип содержит восемь вычислительных ядер Kryo 385 с тактовой частотой до 2,65 ГГц. Обработкой графики занят контроллер Adreno 630.

Изделие может нести на борту 4 Гбайт или 6 Гбайт оперативной памяти LPDDR4X-1866 и флеш-накопитель UFS вместимостью 32 Гбайт или 64 Гбайт. Платформа обеспечивает поддержку беспроводной связи Wi-Fi 5 (802.11a/b/g/n/ac) в диапазонах 2,4/5 ГГц и Bluetooth 5.x, камер с несколькими датчиками, дисплеев с разрешением до 3840 × 2400 точек и различных интерфейсов.

Заявленный диапазон рабочих температур — от -25 до +70° C.

Сопутствующая плата из набора Open-Q 845 µSOM Development Kit выполнена в формате Mini-ITX (170 × 170 мм). Есть слот microSD, разъём PCIe Gen3, порты USB 3.1 Type-C, USB 3.1 Type-A, 3,5-мм гнездо для наушников и пр.

Поставки новинок планируется организовать в текущем квартале. Цена пока, увы, не раскрывается.

Для заказа доступен вычислительный модуль (SoM, System-on-Module) Habanero, предназначенный для построения различного сетевого оборудования — маршрутизаторов, Linux-шлюзов и пр.

Решение использует чип Qualcomm IPQ4019/IPQ4029 с четырьмя ядрами ARM Cortex-A7, работающими на тактовой частоте до 717 МГц. Объём системной памяти DDR3L RAM составляет 512 Мбайт.

Изделие обеспечивает поддержку беспроводной связи Wi-Fi 802.11a/b/g/n/ac Wave2 2×2 в диапазонах 5 ГГц и 2,4 ГГц. В первом случае скорость передачи информации может достигать 866,7 Мбит/с, во втором — 400 Мбит/с.

Обеспечивается возможность использования пяти гигабитных Ethernet-портов. Кроме того, заявлена поддержка интерфейсов PCIe 2.0, USB 3.0 и USB 2.0, UART, SPI, I2C и других.

Стандартная версия новинки способна функционировать при температурах от 0 до +65 градусов Цельсия, промышленная — от минус 40 до плюс 85 градусов.

Модуль стоит от 55 долларов США. За 119 долларов можно приобрести комплект для разработчиков с дополнительной интерфейсной платой с набором разъёмов. Эта плата располагает пятью разъёмами Gigabit Ethernet, слотом для SD-карты и пр.

Компания Qualcomm Technologies анонсировала ускоритель искусственного интеллекта Cloud AI 100, предназначенный для использования в составе облачных платформ.

Технических подробностей о новинке пока не слишком много. Отмечается лишь, что изделие разработано с чистого листа, а при изготовлении применяется 7-нанометровая технология.

Qualcomm заявляет, что акселератор обеспечивает более чем десятикратный прирост производительности в расчёте на один ватт затрачиваемой энергии по сравнению с используемыми сегодня решениями для ускорения выполнения операций, связанных с искусственным интеллектом.

Qualcomm Cloud AI 100 может применяться при решении задач, связанных с расширенной реальностью (Extended Reality), обработкой естественной речи, компьютерным зрением, выполнением переводов с одного языка на другой в режиме реального времени и пр.

Говорится о поддержке программных библиотек PyTorch, Glow, TensorFlow, Keras и ONNX.

Пробные поставки ускорителя Qualcomm Cloud AI 100 планируется начать во второй половине текущего года. О сроках коммерческого использования решения ничего не сообщается.

Компания Qualcomm представила платформу для разработчиков Snapdragon 855 Mobile Hardware Development Kit (HDK), которая оптимизирована под операционную систему Android.

Как можно понять по названию, ключевым элементом платформы является процессор Snapdragon 855. Чип содержит восемь вычислительных ядер Kryo 485 с тактовой частотой от 1,80 ГГц до 2,84 ГГц, а также производительный графический ускоритель Adreno 640. Предусмотрен AI-движок, призванный ускорить выполнение операций, связанных с искусственным интеллектом.

Платформа обеспечивает поддержку Gigabit Ethernet, беспроводной связи Wi-Fi 802.11ac 2x2 MU-MIMO и Bluetooth 5.0, спутниковых систем навигации GPS/ГЛОНАСС, а также всевозможных интерфейсов, включая USB 3.1 Type-C, USB 3.0 Type-A, HDMI, Micro-USB, Mini PCIe и других.

Объём оперативной памяти и вместимость встроенного флеш-накопителя пока не уточняются. Но известно, что пользователи смогут установить карту microSD.

Набор дополнительных аксессуаров включает сенсорный 5,7-дюймовый дисплей формата QHD (2560 × 1440 точек), фронтальную двойную камеру с датчиками на 12 млн и 5 млн пикселей, а также основную двойную камеру в конфигурации 12 млн + 13 млн пикселей.

Цена платформы Snapdragon 855 Mobile HDK не уточняется, но, вероятнее всего, она превысит 1000 долларов США.

На минувшей неделе компания Qualcomm провела ряд мероприятий, в ходе которых рассказала массу интересного о новых флагманских SoC Snapdragon 855. Увы, за этим локальным триумфом хвостом последовала не очень оптимистичная информация о новых сокращениях в компании. По данным источников, в частности — по публикации на сайте Information, заметное сокращение персонала Qualcomm намечено в штате разработчиков серверных процессоров с поддержкой набора 64-разрядных команд ARM.

Ананд Чандразекхер и 48-ядерный процессор Qualcomm Centriq 2400

Всего будут уволены 269 человек: 144 в городе Роли, штат Северная Каролина, и 125 человек в Сан-Диего, где расположена штаб-квартира компании. Все увольняемые имеют отношение к серверным разработкам Qualcomm. А ведь ещё год назад ничто не предвещало беды! В конце ноября 2017 года компания приступила к коммерческим поставкам своих первых ARM-совместимых серверных процессоров Centriq 2400. Процессоры для своих ЦОД якобы даже начала закупать компания Microsoft, а всего шесть месяцев спустя — в апреле 2018 года — Qualcomm объявила о сокращении 1500 специалистов, так или иначе участвовавших в разработке Centriq 2400. Тогда же из компании ушёл глава разработчиков Ананд Чандразекхер.

48-ядерный ARM-процессор GHSCT StarDragon

В июле компания уволила из серверного подразделения ещё свыше 200 человек, но продолжала утверждать, что она намерена оставаться на рынке серверных решений на ARM. На этой неделе подразделение накрыли новые сокращения, но компания снова уверяет, что ничего страшного не происходит. Например, на запрос наших коллег с сайта TechCrunch представители Qualcomm ответили, что сокращается временный персонал, что не коснётся постоянного штата разработчиков. Как бы то ни было, в компании происходят определённые процессы, которые свидетельствуют о снижении расхода сил и средств на разработку серверных платформ на ARM.

Никто не ушёл обиженным (technewstoday.com)

Интересно другое, процессоры Centriq 2400 как бы ушли с горизонта, но вместо них в мае были продемонстрированы некие аналоги или даже копии в виде китайских процессоров StarDragon. Эти решения разработаны совместным предприятием Qualcomm в Китае — компанией Huaxintong Semiconductor Technology или GHSCT (Guizhou Huaxintong Semi-Conductor Technology). Коммерческие поставки StarDragon должны были начаться в конце текущего года. Если они начнутся, а о Centriq 2400 мы больше никогда не услышим, можно ли считать, что миссия Qualcomm успешно выполнена?

Компания Intrinsyc представила одноплатный компьютер Open-Q 605 SBC: решение ориентировано на разработчиков, реализующих проекты в сегменте Интернета вещей.

Размеры изделия составляют всего 68 × 50 мм. Его основой служит процессор Qualcomm QCS605, который содержит восемь вычислительных ядер: это дуэт Kryo 300 Gold с тактовой частотой до 2,5 ГГц и секстет Kryo 300 Silver с тактовой частотой до 1,7 ГГц.

Графическая подсистема использует интегрированный контроллер Adreno 615 GPU. Обеспечивается возможность работы с видеоматериалами 4K Ultra HD со скоростью до 60 кадров в секунду.

В арсенале новинки — 4 Гбайт оперативной памяти LPDDR4X SDRAM и флеш-модуль eMMC вместимостью 32 Гбайт. Дополнительно можно установить карту microSD.

За возможности беспроводной связи отвечают контроллеры Wi-Fi 802.11b/g/n/ac 2×2 MIMO (WCN3990) и Bluetooth 5. Реализована поддержка систем спутникового позиционирования GPS, ГЛОНАСС, Beidou и Galileo.

Мини-компьютер оборудован симметричным портом USB 3.0 Type-C. Среди доступных интерфейсов упомянуты SPI, I2C, UART, GPIO и пр.

Поддерживается работа с операционной системой Android 8.1 Oreo. Цена составляет от 360 долларов США; поставки будут организованы в декабре нынешнего года.

Вице-президент по технологиям Qualcomm Datacenter Technologies (QDT) доктор Дилеп Бхандаркар (Dileep Bhandarkar), по-видимому, расстался с компанией. Здесь стоит вспомнить ситуацию, которая в последнее время складывается с серверными инициативами Qualcomm. Команда, стоящая за серверной платформой, засветилась в новостях в прошлом году как один из ключевых игроков в деле создания серверных решений на базе ARM для корпоративного рынка. Ключевые новости подразделения выглядели примерно так:

• Ноябрь 2014 года: объявлено о планах выхода на серверный рынок;
• Декабрь 2016 года: первая демонстрация образцов 48-ядерных чипов Centriq;
• Август 2017 года: сведения о разработке микроархитектуры Qualcomm Saphira для серверных чипов следующего поколения;
• 10 ноября 2017 года: официальный коммерческий запуск Centriq и заявления о цене;
• 8 мая 2018 года: сообщение о том, что Qualcomm может уйти с серверного рынка;
• 13 мая 2018 года: президент Ананд Чандрасехер (Anand Chandrasekher) ушёл в отставку;
• 14 июня 2018 года: сокращение 280 рабочих мест (примерно половины персонала) в QDT.

В 2017 году Qualcomm объявила о выпуске семейства процессоров Centriq 2400, построенных на ядрах архитектуры ARM по 10-нм нормам и предназначенных для корпоративного и серверного рынка. Это означало большой прорыв для ARM в совершенно новой и перспективной области, где до сих под почти безраздельно властвует Intel. Самая продвинутая версия чипа включала 48 ядер Falkor ARMv8, 60 Мбайт кеша L3, шесть каналов DDR4, работала на частоте 2,2 ГГц, потребляла 120 Вт и стоила всего $2000. Всё говорило о том, что Qualcomm нацелена агрессивно конкурировать на рынках облачных серверов в области производительности на ватт. На сегодняшний день самым большим достижением Qualcomm в этой области стал перевод компанией Cloudflare своей платформы защиты от DDoS-атак с x86 на Centriq.

Ещё в мае этого года, почти одновременно с сообщениями о планах Qualcomm по продаже или закрытию серверного подразделения процессоров, Ананд Чандрасехер покинул компанию без каких-либо предупреждений (по крайней мере, публичных) — помимо личного твита об уходе из Qualcomm, никаких официальных комментариев не последовало.

И вот теперь очередной сюрприз: один из ключевых разработчиков серверной архитектуры Falkor доктор Дилеп Бхандаркар тоже покидает компанию. Причины ухода из QDT неизвестны — отставка не разглашалась и стала известной лишь благодаря содержащимся в его биографии как докладчика SemiCon West 2018 лаконичных слов «ранее работал в Qualcomm».

Потеря доктора Бхандаркара должна быть довольно болезненной для серверных усилий Qualcomm. Он был директором передовых архитектур Intel в течение 12 лет до 2007 года (и главным представителем компании по технологиям серверных платформ); является членом IEEE Life; провёл почти шесть лет в Microsoft, занимаясь внедрением новаций и стандартов в ЦОД; а затем столько же времени работал в Qualcomm над технологической стратегией и развитием бизнеса, а также над созданием ускорителей машинного обучения. Похоже, что теперь он собирается заняться собственным бизнесом.

Обычно подобные изменения в крупных компаниях не привлекают особого внимания (СМИ гораздо чаще пишут о сменах руководителей высшего звена, вроде CEO или CTO), однако в данном случае оно укладывается в канву проблем, окружающих продукты Centriq. Qualcomm никогда не комментировала слухи о своих планах найти покупателя для серверного подразделения, несмотря на то, что Axios и Bloomberg сообщали о них. В результате отсутствие подтверждений или опровержений заставляют всё же задуматься о будущем этого подразделения. Особенно после увольнений ведущих руководителей.

Какими бы ни были планы Qualcomm относительно Centriq, они, похоже, зашли в тупик. Продукт по-прежнему не пользуется спросом у сборщиков и производителей серверов, и хотя многие говорят о превосходстве этих процессоров над чипами Xeon, положительных новостей нет довольно давно. OEM-производители вместо Centriq гораздо сильнее интересуются ARM-чипами Cavium ThunderX2, которые набирают силу. Вполне возможно, уход доктора Бхандаркара мог стать частью существенных сокращений, о которых рассказало издание Bloomberg несколько недель назад. Впрочем, тогда же говорилось, что Qualcomm продолжит развивать совместное предприятие в Китае и вместо закрытия серверного подразделение будет пересматривать стратегию.

«Qualcomm по-прежнему уверена в перспективах центров обработки данных и не избавляется от активов, — сказал журналистам президент Qualcomm Криштиану Амон (Cristiano Amon). — Мы сокращаем наши инвестиции в бизнес ЦОД, но сохраняем приверженность нашему китайскому совместному предприятию и переориентируем наши усилия в области исследований и разработок на грядущие вычислительные возможности».

В начале мая информагентство Bloomberg сообщило, что компания Qualcomm собирается либо продавать, либо ликвидирует бизнес по разработке серверных процессоров на архитектуре ARM. Поскольку сразу же после публикации никаких опровержений не последовало, возможно, что судьба подразделения действительно висела на волоске. Между тем, всего каких-то семь–восемь месяцев назад компания начала коммерческие поставки своих первых серверных процессоров Centriq 2400 с числом ядер до 48 штук. Интерес к разработке, например, проявила компания Microsoft. Другие «облачные» компании также могли заинтересоваться разработкой, «проламывающей стену» x86-совместимых серверных платформ.

Ананд Чандразекхер демонстрирует 48-ядерный процессор Qualcomm Centriq 2400

Свежей новостью информационное агентство Reuters поясняет, что Qualcomm не намерена ликвидировать серверное направление, однако последующая реструктуризация внесёт ряд существенных изменений в работу компании на данном фронте. Как сообщил президент Qualcomm Криштиану Амон (Cristiano Amon), серверная группа потеряет независимость и войдёт в состав подразделения CDMA Technologies, которое разрабатывает многочисленные мобильные процессоры компании. При этом будет сокращён штат разработчиков подразделения, а прочие затраты будут оптимизированы. Также компания намечена сузить список клиентов, с которыми она будет сотрудничать на ниве создания серверных платформ на ARM.

48-ядерный ARM процессор GHSCT StarDragon (китайское СП с Qualcomm)

Основными клиентами серверных платформ на ARM для Qualcomm станут компании из США и Китая. Во втором случае, может так статься, речь идёт о бизнесе совместного с китайцами предприятия Guizhou Huaxintong Semi-Conductor Technology, которое в мае представило для китайского рынка 48-ядерные процессоры на архитектуре ARM. Остаётся непонятным, будет ли компания напрямую работать с компаниями Alibaba, Tencent и Baidu, которых президент Qualcomm назвал клиентами на китайском направлении, или эта честь будет делегирована китайскому СП? Пока можно сделать осторожный вывод о том, что Qualcomm ставит ситуацию с серверными процессорами на паузу. Проще говоря, новые продукты могут задержаться, пока компания не определится со спросом на актуальные разработки.

В четверг, 7 июня, оператор мобильной связи «МегаФон», разработчик чипов Qualcomm и производитель телекоммуникационного оборудования Nokia протестировали готовность 5G-оборудования, работающего в миллиметровом диапазоне.

Испытания абонентского оборудования прошли в тестовой зоне, которую «МегаФон» развернул в Москве, Санкт-Петербурге и Казани в преддверии чемпионата мира по футболу.

Фото: Дмитрий Колпаков / Коммерсантъ

В тестировании использовались базовая станция Nokia AirScale 5G. Архитектурное решение Nokia использует полосу пропускания 400 МГц в диапазоне 28 ГГц и активную антенну с поддержкой Massive MIMO.

В тестовом подключении также было задействовано конечное устройство с модемом серии Qualcomm Snapdragon X50 для работы в сетях 5G в миллиметровом диапазоне и диапазоне ниже 6 ГГц. Ожидается, что первые гаджеты с 5G-модемами Qualcomm Snapdragon X50 будут доступны в 2019 году.

«МегаФон» называет себя первым российским оператором, продемонстрировавшим прототип реального пользовательского устройства, работающего на частотах, предназначенных для развёртывания 5G в России.

Недавно «МегаФон» и Nokia подписали меморандум о стратегическом сотрудничестве в области развития услуг связи следующего поколения в России.