Компания Google уже не первый месяц разрабатывает MLIR — Многоуровненвое Промежуточное Представление (Multi-Level Intermediate Representation). Проект должен помочь портировать и оптимзировать ПО для машинного обучения. И теперь его добавляют в LLVM.

Разработкой MLIR занимается основатель LLVM Крис Латнер (Chris Latner), а потому слияние было лишь вопросом времени.

wikipedia.org

Заявлено, что проект поддерживает решения крупнейших компаний по разработке программного и аппаратного обеспечения: AMD, ARM, Cerebras, Graphcore, Habana, IBM, Intel, Mediatek, NVIDIA, Qualcomm Technologies, Inc, SambaNova Systems, Samsung, Xiaomi, Xilinx. 

При этом предполагается, что MLIR ускорит развитие машинного обучения и искусственного интеллекта, позволит обучать и исполнять модели на любом оборудовании, и делать это легче.

Напомним, что LLVM представляет проект инфраструктуры для создания компиляторов и сопутствующих утилит. Он включает ряд компиляторов языков для высокого уровня и способен создавать машинный код для множества архитектур.

Аналитики International Data Corporation (IDC) прогнозируют, что затраты в области искусственного интеллекта (ИИ) и машинного обучения в ближайшие годы будут расти высокими темпами.

По итогам текущего года, как ожидается, глобальные расходы в сфере ИИ-систем достигнут $37,5 млрд. Лидирующими секторами в плане затрат станут банковский сегмент и розничная торговля: в каждой из этих областей затраты в 2019-м превысят $5 млрд.

В период с 2018 по 2023 гг. показатель CAGR (среднегодовой темп роста в сложных процентах) на мировом рынке систем искусственного интеллекта прогнозируется на уровне 28,4 %. В результате в 2023-м объём отрасли вплотную приблизится к знаковой отметке в $100 млрд, составив $97,9 млрд.

С географической точки зрения крупнейшим рынком по объёму затрат в области ИИ будут оставаться Соединённые Штаты с долей более 50 %. На втором месте расположится Западная Европа, на третьем — Китай.

Наиболее высокий показатель CAGR в период до 2023 года прогнозируется у Японии и Китая — 45,3 % и 44,9 % соответственно. 

Как всем уже известно, на конференции Hot Chips 31 компания Huawei представила самый мощный в мире ИИ-процессор Ascend 910. Процессоры для ИИ каждый разрабатывает во что горазд, но все разработчики сравнивают свои творения с ИИ-процессорами компании NVIDIA (а NVIDIA с процессорами Intel Xeon). Такова участь пионера. NVIDIA одной из первых широко начала продвигать свои модифицированные графические архитектуры в качестве ускорителей для решения задач с машинным обучением.

Гибкость GPU звездой взошла над косностью x86-совместимой архитектуры, но во время появления новых подходов и методов тренировки машинного обучения, где пока много открытых дорожек, она рискует стать одной из немногих. Компания Huawei со своими платформами вполне способна стать лучшей альтернативой решениям NVIDIA. Как минимум, это произойдёт в Китае, где Huawei готовится выпускать и надеется найти сбыт для миллионов процессоров для машинного обучения.

Мы уже публиковали анонс наиболее мощного ускорителя для ML чипа Huawei Ascend 910. Сейчас посмотрим на это решение чуть пристальнее. Итак, Ascend 910 выпускается компанией TSMC с использованием второго поколения 7-нм техпроцесса (7+ EUV). Это техпроцесс характеризуется использованием сканеров EUV для изготовления нескольких слоёв чипа. На конференции Huawei сравнивала Ascend 910 с ИИ-решением NVIDIA на архитектуре Volta, выпущенном TSMC с использованием 12-нм FinFET техпроцесса. Выше на картинке приводятся данные для Ascend 910 и Volta, с нормализацией к 12-нм техпроцессу. Площадь решения Huawei на кристалле в 2,5 раза больше, чем у NVIDIA, но при этом производительность Ascend 910 оказывается в 4,7 раза выше, чем у архитектуры Volta.

Также на схеме видно, что Huawei заявляет о крайне высокой масштабируемости архитектуры. Ядра DaVinci, лежащие в основе Ascend 910, могут выпускаться в конфигурации для оперирования скалярными величинами (16), векторными (16 × 16) и матричными (16 × 16 × 16). Это означает, что архитектура и ядра DaVinci появятся во всём спектре устройств от IoT и носимой электроники до суперкомпьютеров (от платформ с принятием решений до машинного обучения). Чип Ascend 910 несёт матричные ядра, как предназначенный для наиболее интенсивной работы.

Ядро DaVinci в максимальной конфигурации (для Ascend 910) содержит 4096 блоков Cube для вычислений с половинной точностью (FP16). Также в ядро входят специализированные блоки для обработки скалярных (INT8) и векторных величин. Пиковая производительность Ascend с 32 ядрами DaVinci достигает 256 терафлопс для FP16 и 512 терафлопс для целочисленных значений. Всё это при потреблении до 350 Вт. Альтернатива от NVIDIA на тензорных ядрах способна максимум на 125 терафлопс для FP16. Для решения задач ML чип Huawei оказывается в два раза производительнее.

Помимо ядер DaVinci на кристалле Ascend 910 находятся несколько других блоков, включая контроллер памяти HBM2, 128-канальный движок для декодирования видеопотоков. Мощный чип для операций ввода/вывода Nimbus V3 выполнен на отдельном кристалле на той же подложке. Рядом с ним для механической прочности всей конструкции пришлось расположить два кристалла-заглушки, каждый из которых имеет площадь 110 мм². С учётом болванок и четырёх чипов HBM2 площадь всех кристаллов достигает 1228 мм².

Для связи ядер и памяти на кристалле создана ячеистая сеть в конфигурации 6 строк на 4 колонки со скоростью доступа 128 Гбайт/с на каждое ядро для одновременных операций записи и чтения. Для соединения с соседними чипами предусмотрена шина со скоростью 720 Гбит/с и два линка RoCE со скоростью 100 Гбит/с. К кеш-памяти L2 ядра могут обращаться с производительностью до 4 Тбайт/с. Скорость доступа к памяти HBM2 достигает 1,2 Тбайт/с.

В каждый полочный корпус входят по 8 процессоров Ascend 910 и блок с двумя процессорами Intel Xeon Scalable. Спецификации полки ниже на картинке. Решения собираются в кластер из 2048 узлов суммарной производительностью 512 петафлопс для операций FP16. Кластеры NVIDIA DGX Superpod обещают производительность до 9,4 петафлопс для сборки из 96 узлов. В сравнении с предложением Huawei это выглядит бледно, но создаёт стимул рваться вперёд.

Второй крупнейший игрок на рынке программируемых матриц компания Xilinx представил новые ускорители на ПЛИС модели Alveo U50. Ускорители выполнены в формфакторе PCIe-адаптеров с низким профилем и занимают на материнской плате один слот. До этого в семействе продуктов Alveo были представлены лишь двухслотовые модели, требующие дополнительного питания PCIe. Устройства построены на 16-нм чипах с архитектурой FPGA UltraScale+.

Адаптеры Xilinx Alveo U50 питаются исключительно через слот и свободны от подключения дополнительных разъёмов, что, безусловно, означает пониженное потребление и меньшую производительность. Но эти жертвы могут окупиться сполна. Ускорители Alveo U50 можно установить практически в любой сервер, где есть хоть один свободный слот PCIe. Это решение может стать массовым и оказаться тем камешком с горы, который вызовет лавину интереса к продукции Xilinx и экосистеме ИИ-платформ компании. Фактически Alveo U50 могут стать для Xilinx оружием победы, как бы громко это ни звучало.

Отказ от дополнительного питания свёл пиковое потребление адаптера Alveo U50 до 75 Вт или до номинального значения 50 Вт. Тем самым адаптер Xilinx оказался конкурентом NVIDIA Tesla T4 и предназначен для платформ ИИ с функцией принятия решений. Это могут быть как локальные (пограничные) системы, так и облачные. Компания Xilinx активно работает с облачным сервисом Amazon (AWS) и предоставляет драйверы, компиляторы и другие необходимые программные компоненты.

Интерфейс Xilinx Alveo U50 ― это PCI Express 4.0 с поддержкой спецификаций CCIX. В семействе ускорителей Alveo шину PCIe 4.0 и CCIX поддерживает только старшее решение Alveo U280. Это ещё один плюс в копилку преимуществ младшего и, как надеются в Xilinx, массового решения. Другим преимуществом стало использование в качестве бортовой памяти массива HBM2 объёмом 8 Гбайт с пропускной способностью до 460 Гбайт/с. Адаптеры U200 и U250 используют память DDR4, которая дешевле, но не так быстра.

Наконец, адаптеры Alveo U50 поддерживают протокол NVMe-oF. Это означает, что адаптер снимает с процессора задачу по обслуживанию передачи пакетов данных и обеспечивает минимальные задержки при работе с данными ― на уровне обмена с прямым подключением, хотя может находиться удалённо. Сетевой разъём у адаптера, кстати, QSFP28, который позволяет обмениваться данными со скоростью до 100 Гбит/с. Также предусмотрена модификация Alveo U50DD с двумя портами QSFP28. О цене вопроса не сообщается, но будет явно не выше цен на адаптеры NVIDIA Tesla T4.

Московский технический университет связи и информатики (МТУСИ) и Huawei подписали меморандум о взаимопонимании, предполагающий открытие первой в нашей стране Национальной академии в области информационно-коммуникационных технологий (ИКТ).

Фотографии Reuters

МТУСИ и Huawei сотрудничают в сфере подготовки кадров для ИКТ уже практически двадцать лет. Так, в 2001 году Huawei открыла на базе университета первый учебный центр в России: здесь сформирована лабораторная база, оснащённая оборудованием сетей связи второго, третьего и четвертого поколений, системами ШПД и оптоволоконной связи, гибридными решениями и пр. В целом, за время сотрудничества были подготовлены более 15 000 профильных специалистов.

Создание новой совместной площадки, как ожидается, будет способствовать дальнейшей цифровой трансформации России. Национальная академия станет крупнейшим центром по обучению и сертификации в сфере ИКТ в евразийском регионе, в которой смогут пройти обучение и сертификацию более 2000 стажёров, включая студентов, государственных служащих и операторов связи.

В ближайшие три года Huawei подготовит для академии 30 преподавателей. Благодаря облачной платформе HiCIC обучение можно будет проходить дистанционно, более того преподаватели и студенты будут иметь постоянный доступ к материалам для повышения компетенций по новым темам.

Основными направлениями обучения станут беспроводные, стационарные, опорные сети и цифровая связь, а также инновационные платформы — 5G, облачные технологии и Интернет вещей. 

Gartner прогнозирует быстрое развитие проектов в области искусственного интеллекта (ИИ) и машинного обучения.

Сейчас организации и компании, работающие с платформами ИИ и машинного обучения, реализуют в среднем по четыре проекта в соответствующих сферах. В целом, 59 % респондентов сообщили, что в том или ином виде применяют средства искусственного интеллекта.

В течение следующего года организации, которые уже применяют ИИ, намерены развернуть в среднем ещё по шесть проектов с использованием технологий искусственного интеллекта и машинного обучения. Таким образом, их количество достигнет десяти.

В 2021-м названный показатель, как ожидается, увеличится до 20, то есть вырастет в пять раз по сравнению с текущим годом. А в 2022 году, согласно прогнозам Gartner, организации и компании доведут количество проектов, связанных с ИИ, до 35. Иными словами, данная величина увеличится практически на порядок по сравнению с нынешним годом.

Средства искусственного интеллекта и машинного обучения позволяют автоматизировать выполнение многих рутинных операций, а также ускорить развёртывание новых сервисов и клиентских платформ. 

Исследование, проведённое компанией SAS и Ассоциацией сертифицированных специалистов по расследованию хищений и мошенничества (ACFE), говорит о том, что всё больше компаний и организаций будут применять защитные решения на основе искусственного интеллекта (ИИ) и машинного обучения.

Речь идёт об инструментах нового поколения, предназначенных для борьбы с мошенничеством. ИИ-технологии и машинное обучение позволят повысить эффективность выявления преступных схем и прогнозирования рисков.

В настоящее время антифрод-инструменты на базе ИИ и машинного обучения применяют примерно 13 % организаций. Ещё 25 % компаний, принявших участие в исследовании, намерены внедрить подобные технологии в течение года или двух. Таким образом, к 2021-му около 40 % организаций будут использовать для борьбы с мошенничеством ИИ и машинное обучение.

Сейчас большинство организаций чаще всего пользуются преднастроенными отчётами по ключевым событиям мошенничества с использованием классических инструментов, например, от Microsoft Office. Это стандартный инструмент для 64 % компаний, охваченных исследованием. На втором месте по популярности стоит автоматический мониторинг с использованием экспертных бизнес-правил — его применяют 54 % организаций. Замыкает тройку визуальное исследование данных с использованием инструментов Business intelligence (BI) — 35 %.

Ожидается, что к 2021 году 72 % организаций будут использовать для борьбы с мошенничеством автоматический мониторинг данных, автоматическое обнаружение аномалий и др. Предиктивная аналитика планируется использоваться в 52 % организаций. 

Технологии машинного обучения (ML) позволяют явить миру не только системы распознавания, чем сегодня не занимается только ленивый, но также ведут к появлению решений для сложнейших анализов химических, молекулярных и атомарных структур веществ и материалов. До сих пор подобный анализ вёлся с  использованием знаний и уравнений квантовой механики и физики. Это долгий и трудоёмкий путь, который с помощью технологий ML можно пройти в разы быстрее. Для этого необходимо научить систему анализировать атомную структуру материалов, а не вести длительные расчёты по формулам.

Слева расчёт распределения плотности заряда бензола, справа ― разница между анализом с помощью машинного обучения и расчётом по формулам

Учёные из Технологического института штата Джорджия решили применить методику машинного обучения для анализа атомной структуры материалов, которые используются для производства обычных конденсаторов ― алюминия и полиэтилена. Увеличение потребления энергии ведёт к росту всякого рода силовой электроники, в которой конденсаторы играют немаловажную роль. Эти элементы хотелось бы сделать меньше, а их ёмкость ― больше. Очевидно, что для этого должны быть созданы материалы с заданными свойствами. Машинное обучение может помочь в скорейшем анализе (переборе) массы материалов, на изучение свойств которых традиционными средствами ушло бы непомерно много времени.

Проект по автоматизации анализа атомной структуры материалов включает два этапа расчётов. Первичный, самый быстрый, проходит на базе суперкомпьютера Comet в Сан-Диего (San Diego Supercomputer Center, SDSC), а вторичный ― на суперкомпьютере Stampede Техасского университета в Остине. В систему ML загоняются уже имеющиеся данные по каждому из материалов (алюминию и полиэтилену), рассчитанные с использованием уравнений соответствующего раздела квантовой механики, а учёные наделяют вычислительные платформы алгоритмами, которые учатся имитировать анализ атомной структуры материалов, не прибегая к точным расчётам. Так получается на несколько порядков быстрее, чем использование только квантовой механики.

По мнению учёных, подобным образом можно будет провести быстрый анализ и поиск материалов для любых сфер деятельности человека. Особенно в этом нуждается электронная промышленность, которая приближается к барьеру своих возможностей в виде физических ограничений для техпроцессов КМОП.

Природные катаклизмы ежегодно уносят тысячи жизней и приводят к многомиллиардным убыткам. Причём с каждым годом ситуация только ухудшается. Быстрее и точнее прогнозировать атмосферные явления вскоре поможет новая система на основе технологий искусственного интеллекта (ИИ).

В разработке участвуют специалисты Университета штата Пенсильвания (Penn State), американского провайдера прогнозов погоды AccuWeather и испанского Альмерского университета (University of Almería).

Исследователи применяют фреймворк машинного обучения для обнаружения вращательного движения в структурах облаков, запечатлённых на спутниковых снимках. В частности, алгоритмы ищут образования в форме запятой, которые связаны с такими атмосферными явлениями, как град, грозы и бураны. Для тренировки модели использовались аннотированные вручную снимки — с упором как на форму, так и на параметры движения.

Пример спутникового снимка с атмосферным образованием в форме запятой

В результате, новая модель смогла с точностью до 99 % выявлять атмосферные образования указанного типа со средней скоростью 40 секунд на один прогноз. В целом, система позволяет охватить 64 % всех прогнозов плохой погоды, что превосходит результат для других используемых сейчас моделей. 

Недавно мы писали большой материал, посвящённый июньскому обновлению публичного рейтинга суперкомпьютеров Top 500. В нём, в частности, упоминались проблемы, связанные с оценкой реальной производительности систем. Дело в том, что в список попадают суперкомпьютеры, которые прошли тест High-Performance Linpack (HPL) вне зависимости от того, используются ли они для реальных нагрузок HPC или ИИ. Но есть и другая сторона дела: Linpack оценивает 64-бит производительность систем в вычислениях с плавающей запятой, но многие современные нагрузки в области ИИ не всегда требуют такой точности, и потому реальная производительность может быть заметно выше.

Именно это недавно продемонстрировала Национальная лаборатории Ок-Риджа, протестировав свой суперкомпьютер Summit (текущий лидер среди участников публичного рейтинга Top500, создан IBM при участии NVIDIA и Mellanox) в особом тесте HPL-AI, призванном оценивать производительность суперкомпьютеров в задачах машинного обучения и искусственного интеллекта. В этом тесте Summit набрал 445 петафлопс — втрое больше стабильных 148,6 петафлопс в тесте HPL.

HPL, представленный три десятка лет назад, остаётся эталоном для измерения производительности систем Top500 в задачах HPC. Более современная альтернатива — HPCG Benchmark — пока так и не достигла заветной цифры в 500 участников рейтинга. 

Однако нынешние суперкомпьютеры теперь используются и в сфере «искусственного интеллекта», а не только для классических «тяжёлых» расчётов. При этом в большинстве ИИ-моделей применяются вычисления половинной или смешанной точности — принципиально иной метод, который позволяет исследователям повысить вычислительную эффективность, получив доступ к неиспользованному потенциалу производительности современных суперкомпьютеров.

Чтобы учесть этот фактор и был предложен тест HPL-AI, представляющий собой развитие HPL для оценки производительности вычислений смешанной точности, широко используемых для обучения моделей искусственного интеллекта. Методология HPL-AI изложена в документе, опубликованном на SC 2018 Аззамом Хайдаром (Azzam Haidar), Джеком Донгаррой и его командой.

«Методы смешанной точности становятся все более важными для повышения вычислительной эффективности суперкомпьютеров, как для традиционного моделирования с методами итеративного уточнения, так и для задач ИИ, — отметил господин Донгарра. — Так же, как HPL позволяет сравнивать потенциал систем в вычислениях двойной точности, этот новый подход, основанный на HPL, позволяет сравнивать возможности суперкомпьютеров в задачах смешанной точности».

NVIDIA удалось осуществить весь массив вычислений в рамках тестового запуска HPL-AI на Summit всего за полчаса — втрое быстрее, чем исполняется оригинальный HPL. В ряде задач, как можно видеть, это может давать кратно ощутимое преимущество. Напомним: в Summit используется 27 000 графических ускорителей NVIDIA Tesla V100.

Учёные используют суперкомпьютеры с поддержкой вычислений смешанной точности для моделирования и задач искусственного интеллекта в области химии, атомной энергетики, нефтегазовой промышленности и так далее.