Аналитическая компания Intersect360 Research опубликовала пару новых исследований, посвящённых главным технологическим тенденциям в области искусственного интеллекта и машинного обучения.

В докладе Worldwide AI and Machine Learning Training Market Model: 2018 Spending and Future Outlook говорится, что за последние два года глобальные расходы на инфраструктуру, необходимую для создания моделей машинного обучения росли более чем на 50 % ежегодно, а скоро они превысят $10 млрд.

«Машинное обучение находится на стадии очень высокого роста, — говорит генеральный директор Intersect360 Research Аддисон Снелл (Addison Snell). — В дополнение к этим $10 млрд многие системы, которые не на 100 % предназначены для машинного обучения, удовлетворяют потребности в обучении в рамках общих рабочих процессов, увеличивая степень влияние, которое машинное обучение оказывает на расходы и конфигурацию». По словам эксперта, искусственный интеллект — это основная тенденция в ИТ-отрасли, а не рынок в привычном смысле этого слова.

В другом исследовании — HPC User Budget Map Survey, Special Report: Machine Learning’s Impact on HPC Environments — аналитики отмечают, что 61 % опрошенных компаний используют программы машинного обучения в составе или дополнении к средам для высокопроизводительных вычислений. Ещё 10 % респондентов планируют внедрить машинное обучение в течение ближайшего года.

Вышла новая версия системы для оптимизации бизнес-процессов Red Hat Process Automation Manager. В ней появилась предиктивная аналитика, построенная на машинном обучении.

Решение Red Hat Process Automation Manager (прежнее название — JBoss Business Process Management Suite) позволяет компаниям оцифровать бизнес-политики и процедуры, автоматизировать бизнес-процессы и вести мониторинг результатов операций в гетерогенных вычислительных средах, включая физические, виртуальные, мобильные и облачные.

В обновлённой системе реализована автоматизация принятия решений с использованием искусственного интеллекта. Предиктивная аналитика может применяться в приложениях для управления решениями в рамках создания умных автоматизированных систем, умеющих интерпретировать и реагировать на изменчивую динамику рынка, указывается в пресс-релизе.

Также Red Hat Process Automation теперь может импортировать и выполнять прогнозные модели на языке PMML, который является отраслевым стандартом для интеграции и обмена информацией между платформами машинного обучения, где создаются и обучаются эти модели.

В Red Hat отмечают, что повышение прозрачности и контроля над процессами принятия решений делает работу ИИ-систем более объяснимой и помогает лучше выполнять нормативные требования.

Разработчик решений для анализа больших данных Databricks объявил о привлечении $400 млн инвестиций, в результате чего общий объём полученных компанией средств достиг $900 млн.

По итогам последнего на данный момент раунда финансирования стартап был оценен в $6,2 млрд против $2,75 млрд в феврале 2019-го. В октябре в Databricks вложились как действующие инвесторы (Microsoft и Andreessen Horowitz), так и новые (Tiger Global Management, BlackRock и T. Rowe Price Group).

Главным продуктом Databricks является Unified Analytics Platform. Это фреймворк с открытым исходным кодом, который используется компаниями для анализа данных, а также для разметки наборов данных с целью построения ИИ-моделей. 

Решение Databricks также предоставляет возможности для совместной работы. Оно обеспечивает тесное взаимодействия между специалистами по обработке данных и разработчиками, которым необходимо работать вместе для создания более совершенных моделей искусственного интеллекта.

NVIDIA анонсировала систему машинного обучения ИИ для анализа медицинских изображений с сохранением конфиденциальности, которая была разработана совместно со специалистами Королевского колледжа Лондона.

Новая система представлена на стартовавшей в воскресенье в Шэньчжэне (Китай) конференции MICCAI.

У искусственного интеллекта есть ряд потенциально важных областей применения в здравоохранении, от диагностики пациентов до разработки жизненно важных лекарств. Вместе с тем обучение надёжных нейронных сетей для приложений здравоохранения затруднено, так как для этого требуется использовать огромные объёмы персональных данных пациентов, сохраняя при этом их конфиденциальность.

Эту проблему позволяет решить метод федеративного машинного обучения, предложенный специалистами Google, который позволяет применять единую модель для прогнозирования при машинном обучении, но при этом не раскрывать используемые данные пациентов.

Вместо того, чтобы полагаться на данные, объединённые в одном месте, алгоритмическая модель обучается в нескольких вариантах в разных местах. В секторе здравоохранения это обеспечивает определённую степень конфиденциальности для больниц и других организаций, которые хотят объединить свои ресурсы для создания модели глубокого обучения, не передавая данные своих пациентов третьим лицам.

Исследователи из NVIDIA и Королевского колледжа Лондона использовали федеративную архитектуру клиент-сервер с центральным сервером для поддержки глобальной глубокой нейронной сети. При таком подходе участвующим больницам будет предоставлена ​​копия их нейронной сети для обучения по их собственному набору данных.

Как мы сообщали около недели назад, компания Alibaba представила фирменный NPU Hanguang 800 для запуска нейросетей в составе облачных сервисов компании. Например, данные NPU могут обеспечить рекомендательные услуги для пользователей или анализ видео с камер наблюдения в реальном времени.

В продажу Hanguang 800 не поступят. Компания намерена использовать разработку в собственных ЦОД. С одной стороны, это программа по импортозамещению. С другой ― аналогов Hanguang 800 пока нет, в чём нас уверяет Alibaba.

Итак, 12-нм NPU Hanguang 800 ― это самый большой из разработанных Alibaba чипов с 17 млрд транзисторов. Точнее, процессор разработан подразделением T-Head этой интернет-компании (ране ― Pingtouge Semi). В основе разработки лежит архитектура и набор команд RISC-V с открытым кодом. Подобное обстоятельство, как уверены в Alibaba, поможет быстрому распространению интереса к платформе со стороны независимых разработчиков.

Нейропроцессор Hanguang 800 входит в семейство производительных ИИ-чипов Xuantie (Black Steel). Название платформы для ускорителя ― Wujian (Уцзян).

Платформа представляет собой плату с интерфейсами и контроллерами ввода/вывода, бортовой памятью и набором необходимых кодеков. Вместе с аппаратной частью поставляется полный пакет программного обеспечения от драйверов и прошивки до операционной системы, библиотек и примеров. Бери и дерзай.

Программная поддержка представляется Alibaba тем козырем, которого нет в рукаве у чисто «железячных» разработчиков. Кстати, Hanguang 800 спроектирован менее чем за год, что впечатляет.

Согласно внутренним тестам компании, инференс Hanguang 800 на стандартном тестовом наборе ResNet-50 способен обработать 78,5 тысяч изображений в секунду или 500 изображений в секунду на ватт. Это в 15 раз быстрее, чем в случае ускорителя NVIDIA T4 и в 46 раз быстрее NVIDIA P4. Даже если Alibaba преувеличила свои достижения, а независимых тестов у нас нет, результат всё равно впечатляет.

Если сравнивать возможности Hanguang 800 с компьютерной производительностью, то, по словам разработчиков, один NPU Hanguang 800 эквивалентен по результативности 10 «обычным» графическим процессорам. Эти решения, как мы отметили выше, компания будет использовать для собственных нужд, как и TPU в компании Google или AWS Inferentia в Amazon. У компании Alibaba это облачные сервисы Aliyun.

Компания Google уже не первый месяц разрабатывает MLIR — Многоуровненвое Промежуточное Представление (Multi-Level Intermediate Representation). Проект должен помочь портировать и оптимзировать ПО для машинного обучения. И теперь его добавляют в LLVM.

Разработкой MLIR занимается основатель LLVM Крис Латнер (Chris Latner), а потому слияние было лишь вопросом времени.

wikipedia.org

Заявлено, что проект поддерживает решения крупнейших компаний по разработке программного и аппаратного обеспечения: AMD, ARM, Cerebras, Graphcore, Habana, IBM, Intel, Mediatek, NVIDIA, Qualcomm Technologies, Inc, SambaNova Systems, Samsung, Xiaomi, Xilinx. 

При этом предполагается, что MLIR ускорит развитие машинного обучения и искусственного интеллекта, позволит обучать и исполнять модели на любом оборудовании, и делать это легче.

Напомним, что LLVM представляет проект инфраструктуры для создания компиляторов и сопутствующих утилит. Он включает ряд компиляторов языков для высокого уровня и способен создавать машинный код для множества архитектур.

Аналитики International Data Corporation (IDC) прогнозируют, что затраты в области искусственного интеллекта (ИИ) и машинного обучения в ближайшие годы будут расти высокими темпами.

По итогам текущего года, как ожидается, глобальные расходы в сфере ИИ-систем достигнут $37,5 млрд. Лидирующими секторами в плане затрат станут банковский сегмент и розничная торговля: в каждой из этих областей затраты в 2019-м превысят $5 млрд.

В период с 2018 по 2023 гг. показатель CAGR (среднегодовой темп роста в сложных процентах) на мировом рынке систем искусственного интеллекта прогнозируется на уровне 28,4 %. В результате в 2023-м объём отрасли вплотную приблизится к знаковой отметке в $100 млрд, составив $97,9 млрд.

С географической точки зрения крупнейшим рынком по объёму затрат в области ИИ будут оставаться Соединённые Штаты с долей более 50 %. На втором месте расположится Западная Европа, на третьем — Китай.

Наиболее высокий показатель CAGR в период до 2023 года прогнозируется у Японии и Китая — 45,3 % и 44,9 % соответственно. 

Как всем уже известно, на конференции Hot Chips 31 компания Huawei представила самый мощный в мире ИИ-процессор Ascend 910. Процессоры для ИИ каждый разрабатывает во что горазд, но все разработчики сравнивают свои творения с ИИ-процессорами компании NVIDIA (а NVIDIA с процессорами Intel Xeon). Такова участь пионера. NVIDIA одной из первых широко начала продвигать свои модифицированные графические архитектуры в качестве ускорителей для решения задач с машинным обучением.

Гибкость GPU звездой взошла над косностью x86-совместимой архитектуры, но во время появления новых подходов и методов тренировки машинного обучения, где пока много открытых дорожек, она рискует стать одной из немногих. Компания Huawei со своими платформами вполне способна стать лучшей альтернативой решениям NVIDIA. Как минимум, это произойдёт в Китае, где Huawei готовится выпускать и надеется найти сбыт для миллионов процессоров для машинного обучения.

Мы уже публиковали анонс наиболее мощного ускорителя для ML чипа Huawei Ascend 910. Сейчас посмотрим на это решение чуть пристальнее. Итак, Ascend 910 выпускается компанией TSMC с использованием второго поколения 7-нм техпроцесса (7+ EUV). Это техпроцесс характеризуется использованием сканеров EUV для изготовления нескольких слоёв чипа. На конференции Huawei сравнивала Ascend 910 с ИИ-решением NVIDIA на архитектуре Volta, выпущенном TSMC с использованием 12-нм FinFET техпроцесса. Выше на картинке приводятся данные для Ascend 910 и Volta, с нормализацией к 12-нм техпроцессу. Площадь решения Huawei на кристалле в 2,5 раза больше, чем у NVIDIA, но при этом производительность Ascend 910 оказывается в 4,7 раза выше, чем у архитектуры Volta.

Также на схеме видно, что Huawei заявляет о крайне высокой масштабируемости архитектуры. Ядра DaVinci, лежащие в основе Ascend 910, могут выпускаться в конфигурации для оперирования скалярными величинами (16), векторными (16 × 16) и матричными (16 × 16 × 16). Это означает, что архитектура и ядра DaVinci появятся во всём спектре устройств от IoT и носимой электроники до суперкомпьютеров (от платформ с принятием решений до машинного обучения). Чип Ascend 910 несёт матричные ядра, как предназначенный для наиболее интенсивной работы.

Ядро DaVinci в максимальной конфигурации (для Ascend 910) содержит 4096 блоков Cube для вычислений с половинной точностью (FP16). Также в ядро входят специализированные блоки для обработки скалярных (INT8) и векторных величин. Пиковая производительность Ascend с 32 ядрами DaVinci достигает 256 терафлопс для FP16 и 512 терафлопс для целочисленных значений. Всё это при потреблении до 350 Вт. Альтернатива от NVIDIA на тензорных ядрах способна максимум на 125 терафлопс для FP16. Для решения задач ML чип Huawei оказывается в два раза производительнее.

Помимо ядер DaVinci на кристалле Ascend 910 находятся несколько других блоков, включая контроллер памяти HBM2, 128-канальный движок для декодирования видеопотоков. Мощный чип для операций ввода/вывода Nimbus V3 выполнен на отдельном кристалле на той же подложке. Рядом с ним для механической прочности всей конструкции пришлось расположить два кристалла-заглушки, каждый из которых имеет площадь 110 мм². С учётом болванок и четырёх чипов HBM2 площадь всех кристаллов достигает 1228 мм².

Для связи ядер и памяти на кристалле создана ячеистая сеть в конфигурации 6 строк на 4 колонки со скоростью доступа 128 Гбайт/с на каждое ядро для одновременных операций записи и чтения. Для соединения с соседними чипами предусмотрена шина со скоростью 720 Гбит/с и два линка RoCE со скоростью 100 Гбит/с. К кеш-памяти L2 ядра могут обращаться с производительностью до 4 Тбайт/с. Скорость доступа к памяти HBM2 достигает 1,2 Тбайт/с.

В каждый полочный корпус входят по 8 процессоров Ascend 910 и блок с двумя процессорами Intel Xeon Scalable. Спецификации полки ниже на картинке. Решения собираются в кластер из 2048 узлов суммарной производительностью 512 петафлопс для операций FP16. Кластеры NVIDIA DGX Superpod обещают производительность до 9,4 петафлопс для сборки из 96 узлов. В сравнении с предложением Huawei это выглядит бледно, но создаёт стимул рваться вперёд.

Второй крупнейший игрок на рынке программируемых матриц компания Xilinx представил новые ускорители на ПЛИС модели Alveo U50. Ускорители выполнены в формфакторе PCIe-адаптеров с низким профилем и занимают на материнской плате один слот. До этого в семействе продуктов Alveo были представлены лишь двухслотовые модели, требующие дополнительного питания PCIe. Устройства построены на 16-нм чипах с архитектурой FPGA UltraScale+.

Адаптеры Xilinx Alveo U50 питаются исключительно через слот и свободны от подключения дополнительных разъёмов, что, безусловно, означает пониженное потребление и меньшую производительность. Но эти жертвы могут окупиться сполна. Ускорители Alveo U50 можно установить практически в любой сервер, где есть хоть один свободный слот PCIe. Это решение может стать массовым и оказаться тем камешком с горы, который вызовет лавину интереса к продукции Xilinx и экосистеме ИИ-платформ компании. Фактически Alveo U50 могут стать для Xilinx оружием победы, как бы громко это ни звучало.

Отказ от дополнительного питания свёл пиковое потребление адаптера Alveo U50 до 75 Вт или до номинального значения 50 Вт. Тем самым адаптер Xilinx оказался конкурентом NVIDIA Tesla T4 и предназначен для платформ ИИ с функцией принятия решений. Это могут быть как локальные (пограничные) системы, так и облачные. Компания Xilinx активно работает с облачным сервисом Amazon (AWS) и предоставляет драйверы, компиляторы и другие необходимые программные компоненты.

Интерфейс Xilinx Alveo U50 ― это PCI Express 4.0 с поддержкой спецификаций CCIX. В семействе ускорителей Alveo шину PCIe 4.0 и CCIX поддерживает только старшее решение Alveo U280. Это ещё один плюс в копилку преимуществ младшего и, как надеются в Xilinx, массового решения. Другим преимуществом стало использование в качестве бортовой памяти массива HBM2 объёмом 8 Гбайт с пропускной способностью до 460 Гбайт/с. Адаптеры U200 и U250 используют память DDR4, которая дешевле, но не так быстра.

Наконец, адаптеры Alveo U50 поддерживают протокол NVMe-oF. Это означает, что адаптер снимает с процессора задачу по обслуживанию передачи пакетов данных и обеспечивает минимальные задержки при работе с данными ― на уровне обмена с прямым подключением, хотя может находиться удалённо. Сетевой разъём у адаптера, кстати, QSFP28, который позволяет обмениваться данными со скоростью до 100 Гбит/с. Также предусмотрена модификация Alveo U50DD с двумя портами QSFP28. О цене вопроса не сообщается, но будет явно не выше цен на адаптеры NVIDIA Tesla T4.

Gartner прогнозирует быстрое развитие проектов в области искусственного интеллекта (ИИ) и машинного обучения.

Сейчас организации и компании, работающие с платформами ИИ и машинного обучения, реализуют в среднем по четыре проекта в соответствующих сферах. В целом, 59 % респондентов сообщили, что в том или ином виде применяют средства искусственного интеллекта.

В течение следующего года организации, которые уже применяют ИИ, намерены развернуть в среднем ещё по шесть проектов с использованием технологий искусственного интеллекта и машинного обучения. Таким образом, их количество достигнет десяти.

В 2021-м названный показатель, как ожидается, увеличится до 20, то есть вырастет в пять раз по сравнению с текущим годом. А в 2022 году, согласно прогнозам Gartner, организации и компании доведут количество проектов, связанных с ИИ, до 35. Иными словами, данная величина увеличится практически на порядок по сравнению с нынешним годом.

Средства искусственного интеллекта и машинного обучения позволяют автоматизировать выполнение многих рутинных операций, а также ускорить развёртывание новых сервисов и клиентских платформ.