NVIDIA анонсировала систему машинного обучения ИИ для анализа медицинских изображений с сохранением конфиденциальности, которая была разработана совместно со специалистами Королевского колледжа Лондона.

Новая система представлена на стартовавшей в воскресенье в Шэньчжэне (Китай) конференции MICCAI.

У искусственного интеллекта есть ряд потенциально важных областей применения в здравоохранении, от диагностики пациентов до разработки жизненно важных лекарств. Вместе с тем обучение надёжных нейронных сетей для приложений здравоохранения затруднено, так как для этого требуется использовать огромные объёмы персональных данных пациентов, сохраняя при этом их конфиденциальность.

Эту проблему позволяет решить метод федеративного машинного обучения, предложенный специалистами Google, который позволяет применять единую модель для прогнозирования при машинном обучении, но при этом не раскрывать используемые данные пациентов.

Вместо того, чтобы полагаться на данные, объединённые в одном месте, алгоритмическая модель обучается в нескольких вариантах в разных местах. В секторе здравоохранения это обеспечивает определённую степень конфиденциальности для больниц и других организаций, которые хотят объединить свои ресурсы для создания модели глубокого обучения, не передавая данные своих пациентов третьим лицам.

Исследователи из NVIDIA и Королевского колледжа Лондона использовали федеративную архитектуру клиент-сервер с центральным сервером для поддержки глобальной глубокой нейронной сети. При таком подходе участвующим больницам будет предоставлена ​​копия их нейронной сети для обучения по их собственному набору данных.

Как мы сообщали около недели назад, компания Alibaba представила фирменный NPU Hanguang 800 для запуска нейросетей в составе облачных сервисов компании. Например, данные NPU могут обеспечить рекомендательные услуги для пользователей или анализ видео с камер наблюдения в реальном времени.

В продажу Hanguang 800 не поступят. Компания намерена использовать разработку в собственных ЦОД. С одной стороны, это программа по импортозамещению. С другой ― аналогов Hanguang 800 пока нет, в чём нас уверяет Alibaba.

Итак, 12-нм NPU Hanguang 800 ― это самый большой из разработанных Alibaba чипов с 17 млрд транзисторов. Точнее, процессор разработан подразделением T-Head этой интернет-компании (ране ― Pingtouge Semi). В основе разработки лежит архитектура и набор команд RISC-V с открытым кодом. Подобное обстоятельство, как уверены в Alibaba, поможет быстрому распространению интереса к платформе со стороны независимых разработчиков.

Нейропроцессор Hanguang 800 входит в семейство производительных ИИ-чипов Xuantie (Black Steel). Название платформы для ускорителя ― Wujian (Уцзян).

Платформа представляет собой плату с интерфейсами и контроллерами ввода/вывода, бортовой памятью и набором необходимых кодеков. Вместе с аппаратной частью поставляется полный пакет программного обеспечения от драйверов и прошивки до операционной системы, библиотек и примеров. Бери и дерзай.

Программная поддержка представляется Alibaba тем козырем, которого нет в рукаве у чисто «железячных» разработчиков. Кстати, Hanguang 800 спроектирован менее чем за год, что впечатляет.

Согласно внутренним тестам компании, инференс Hanguang 800 на стандартном тестовом наборе ResNet-50 способен обработать 78,5 тысяч изображений в секунду или 500 изображений в секунду на ватт. Это в 15 раз быстрее, чем в случае ускорителя NVIDIA T4 и в 46 раз быстрее NVIDIA P4. Даже если Alibaba преувеличила свои достижения, а независимых тестов у нас нет, результат всё равно впечатляет.

Если сравнивать возможности Hanguang 800 с компьютерной производительностью, то, по словам разработчиков, один NPU Hanguang 800 эквивалентен по результативности 10 «обычным» графическим процессорам. Эти решения, как мы отметили выше, компания будет использовать для собственных нужд, как и TPU в компании Google или AWS Inferentia в Amazon. У компании Alibaba это облачные сервисы Aliyun.

Компания Google уже не первый месяц разрабатывает MLIR — Многоуровненвое Промежуточное Представление (Multi-Level Intermediate Representation). Проект должен помочь портировать и оптимзировать ПО для машинного обучения. И теперь его добавляют в LLVM.

Разработкой MLIR занимается основатель LLVM Крис Латнер (Chris Latner), а потому слияние было лишь вопросом времени.

wikipedia.org

Заявлено, что проект поддерживает решения крупнейших компаний по разработке программного и аппаратного обеспечения: AMD, ARM, Cerebras, Graphcore, Habana, IBM, Intel, Mediatek, NVIDIA, Qualcomm Technologies, Inc, SambaNova Systems, Samsung, Xiaomi, Xilinx. 

При этом предполагается, что MLIR ускорит развитие машинного обучения и искусственного интеллекта, позволит обучать и исполнять модели на любом оборудовании, и делать это легче.

Напомним, что LLVM представляет проект инфраструктуры для создания компиляторов и сопутствующих утилит. Он включает ряд компиляторов языков для высокого уровня и способен создавать машинный код для множества архитектур.

Аналитики International Data Corporation (IDC) прогнозируют, что затраты в области искусственного интеллекта (ИИ) и машинного обучения в ближайшие годы будут расти высокими темпами.

По итогам текущего года, как ожидается, глобальные расходы в сфере ИИ-систем достигнут $37,5 млрд. Лидирующими секторами в плане затрат станут банковский сегмент и розничная торговля: в каждой из этих областей затраты в 2019-м превысят $5 млрд.

В период с 2018 по 2023 гг. показатель CAGR (среднегодовой темп роста в сложных процентах) на мировом рынке систем искусственного интеллекта прогнозируется на уровне 28,4 %. В результате в 2023-м объём отрасли вплотную приблизится к знаковой отметке в $100 млрд, составив $97,9 млрд.

С географической точки зрения крупнейшим рынком по объёму затрат в области ИИ будут оставаться Соединённые Штаты с долей более 50 %. На втором месте расположится Западная Европа, на третьем — Китай.

Наиболее высокий показатель CAGR в период до 2023 года прогнозируется у Японии и Китая — 45,3 % и 44,9 % соответственно. 

Как всем уже известно, на конференции Hot Chips 31 компания Huawei представила самый мощный в мире ИИ-процессор Ascend 910. Процессоры для ИИ каждый разрабатывает во что горазд, но все разработчики сравнивают свои творения с ИИ-процессорами компании NVIDIA (а NVIDIA с процессорами Intel Xeon). Такова участь пионера. NVIDIA одной из первых широко начала продвигать свои модифицированные графические архитектуры в качестве ускорителей для решения задач с машинным обучением.

Гибкость GPU звездой взошла над косностью x86-совместимой архитектуры, но во время появления новых подходов и методов тренировки машинного обучения, где пока много открытых дорожек, она рискует стать одной из немногих. Компания Huawei со своими платформами вполне способна стать лучшей альтернативой решениям NVIDIA. Как минимум, это произойдёт в Китае, где Huawei готовится выпускать и надеется найти сбыт для миллионов процессоров для машинного обучения.

Мы уже публиковали анонс наиболее мощного ускорителя для ML чипа Huawei Ascend 910. Сейчас посмотрим на это решение чуть пристальнее. Итак, Ascend 910 выпускается компанией TSMC с использованием второго поколения 7-нм техпроцесса (7+ EUV). Это техпроцесс характеризуется использованием сканеров EUV для изготовления нескольких слоёв чипа. На конференции Huawei сравнивала Ascend 910 с ИИ-решением NVIDIA на архитектуре Volta, выпущенном TSMC с использованием 12-нм FinFET техпроцесса. Выше на картинке приводятся данные для Ascend 910 и Volta, с нормализацией к 12-нм техпроцессу. Площадь решения Huawei на кристалле в 2,5 раза больше, чем у NVIDIA, но при этом производительность Ascend 910 оказывается в 4,7 раза выше, чем у архитектуры Volta.

Также на схеме видно, что Huawei заявляет о крайне высокой масштабируемости архитектуры. Ядра DaVinci, лежащие в основе Ascend 910, могут выпускаться в конфигурации для оперирования скалярными величинами (16), векторными (16 × 16) и матричными (16 × 16 × 16). Это означает, что архитектура и ядра DaVinci появятся во всём спектре устройств от IoT и носимой электроники до суперкомпьютеров (от платформ с принятием решений до машинного обучения). Чип Ascend 910 несёт матричные ядра, как предназначенный для наиболее интенсивной работы.

Ядро DaVinci в максимальной конфигурации (для Ascend 910) содержит 4096 блоков Cube для вычислений с половинной точностью (FP16). Также в ядро входят специализированные блоки для обработки скалярных (INT8) и векторных величин. Пиковая производительность Ascend с 32 ядрами DaVinci достигает 256 терафлопс для FP16 и 512 терафлопс для целочисленных значений. Всё это при потреблении до 350 Вт. Альтернатива от NVIDIA на тензорных ядрах способна максимум на 125 терафлопс для FP16. Для решения задач ML чип Huawei оказывается в два раза производительнее.

Помимо ядер DaVinci на кристалле Ascend 910 находятся несколько других блоков, включая контроллер памяти HBM2, 128-канальный движок для декодирования видеопотоков. Мощный чип для операций ввода/вывода Nimbus V3 выполнен на отдельном кристалле на той же подложке. Рядом с ним для механической прочности всей конструкции пришлось расположить два кристалла-заглушки, каждый из которых имеет площадь 110 мм². С учётом болванок и четырёх чипов HBM2 площадь всех кристаллов достигает 1228 мм².

Для связи ядер и памяти на кристалле создана ячеистая сеть в конфигурации 6 строк на 4 колонки со скоростью доступа 128 Гбайт/с на каждое ядро для одновременных операций записи и чтения. Для соединения с соседними чипами предусмотрена шина со скоростью 720 Гбит/с и два линка RoCE со скоростью 100 Гбит/с. К кеш-памяти L2 ядра могут обращаться с производительностью до 4 Тбайт/с. Скорость доступа к памяти HBM2 достигает 1,2 Тбайт/с.

В каждый полочный корпус входят по 8 процессоров Ascend 910 и блок с двумя процессорами Intel Xeon Scalable. Спецификации полки ниже на картинке. Решения собираются в кластер из 2048 узлов суммарной производительностью 512 петафлопс для операций FP16. Кластеры NVIDIA DGX Superpod обещают производительность до 9,4 петафлопс для сборки из 96 узлов. В сравнении с предложением Huawei это выглядит бледно, но создаёт стимул рваться вперёд.

Второй крупнейший игрок на рынке программируемых матриц компания Xilinx представил новые ускорители на ПЛИС модели Alveo U50. Ускорители выполнены в формфакторе PCIe-адаптеров с низким профилем и занимают на материнской плате один слот. До этого в семействе продуктов Alveo были представлены лишь двухслотовые модели, требующие дополнительного питания PCIe. Устройства построены на 16-нм чипах с архитектурой FPGA UltraScale+.

Адаптеры Xilinx Alveo U50 питаются исключительно через слот и свободны от подключения дополнительных разъёмов, что, безусловно, означает пониженное потребление и меньшую производительность. Но эти жертвы могут окупиться сполна. Ускорители Alveo U50 можно установить практически в любой сервер, где есть хоть один свободный слот PCIe. Это решение может стать массовым и оказаться тем камешком с горы, который вызовет лавину интереса к продукции Xilinx и экосистеме ИИ-платформ компании. Фактически Alveo U50 могут стать для Xilinx оружием победы, как бы громко это ни звучало.

Отказ от дополнительного питания свёл пиковое потребление адаптера Alveo U50 до 75 Вт или до номинального значения 50 Вт. Тем самым адаптер Xilinx оказался конкурентом NVIDIA Tesla T4 и предназначен для платформ ИИ с функцией принятия решений. Это могут быть как локальные (пограничные) системы, так и облачные. Компания Xilinx активно работает с облачным сервисом Amazon (AWS) и предоставляет драйверы, компиляторы и другие необходимые программные компоненты.

Интерфейс Xilinx Alveo U50 ― это PCI Express 4.0 с поддержкой спецификаций CCIX. В семействе ускорителей Alveo шину PCIe 4.0 и CCIX поддерживает только старшее решение Alveo U280. Это ещё один плюс в копилку преимуществ младшего и, как надеются в Xilinx, массового решения. Другим преимуществом стало использование в качестве бортовой памяти массива HBM2 объёмом 8 Гбайт с пропускной способностью до 460 Гбайт/с. Адаптеры U200 и U250 используют память DDR4, которая дешевле, но не так быстра.

Наконец, адаптеры Alveo U50 поддерживают протокол NVMe-oF. Это означает, что адаптер снимает с процессора задачу по обслуживанию передачи пакетов данных и обеспечивает минимальные задержки при работе с данными ― на уровне обмена с прямым подключением, хотя может находиться удалённо. Сетевой разъём у адаптера, кстати, QSFP28, который позволяет обмениваться данными со скоростью до 100 Гбит/с. Также предусмотрена модификация Alveo U50DD с двумя портами QSFP28. О цене вопроса не сообщается, но будет явно не выше цен на адаптеры NVIDIA Tesla T4.

Gartner прогнозирует быстрое развитие проектов в области искусственного интеллекта (ИИ) и машинного обучения.

Сейчас организации и компании, работающие с платформами ИИ и машинного обучения, реализуют в среднем по четыре проекта в соответствующих сферах. В целом, 59 % респондентов сообщили, что в том или ином виде применяют средства искусственного интеллекта.

В течение следующего года организации, которые уже применяют ИИ, намерены развернуть в среднем ещё по шесть проектов с использованием технологий искусственного интеллекта и машинного обучения. Таким образом, их количество достигнет десяти.

В 2021-м названный показатель, как ожидается, увеличится до 20, то есть вырастет в пять раз по сравнению с текущим годом. А в 2022 году, согласно прогнозам Gartner, организации и компании доведут количество проектов, связанных с ИИ, до 35. Иными словами, данная величина увеличится практически на порядок по сравнению с нынешним годом.

Средства искусственного интеллекта и машинного обучения позволяют автоматизировать выполнение многих рутинных операций, а также ускорить развёртывание новых сервисов и клиентских платформ. 

Исследование, проведённое компанией SAS и Ассоциацией сертифицированных специалистов по расследованию хищений и мошенничества (ACFE), говорит о том, что всё больше компаний и организаций будут применять защитные решения на основе искусственного интеллекта (ИИ) и машинного обучения.

Речь идёт об инструментах нового поколения, предназначенных для борьбы с мошенничеством. ИИ-технологии и машинное обучение позволят повысить эффективность выявления преступных схем и прогнозирования рисков.

В настоящее время антифрод-инструменты на базе ИИ и машинного обучения применяют примерно 13 % организаций. Ещё 25 % компаний, принявших участие в исследовании, намерены внедрить подобные технологии в течение года или двух. Таким образом, к 2021-му около 40 % организаций будут использовать для борьбы с мошенничеством ИИ и машинное обучение.

Сейчас большинство организаций чаще всего пользуются преднастроенными отчётами по ключевым событиям мошенничества с использованием классических инструментов, например, от Microsoft Office. Это стандартный инструмент для 64 % компаний, охваченных исследованием. На втором месте по популярности стоит автоматический мониторинг с использованием экспертных бизнес-правил — его применяют 54 % организаций. Замыкает тройку визуальное исследование данных с использованием инструментов Business intelligence (BI) — 35 %.

Ожидается, что к 2021 году 72 % организаций будут использовать для борьбы с мошенничеством автоматический мониторинг данных, автоматическое обнаружение аномалий и др. Предиктивная аналитика планируется использоваться в 52 % организаций. 

Технологии машинного обучения (ML) позволяют явить миру не только системы распознавания, чем сегодня не занимается только ленивый, но также ведут к появлению решений для сложнейших анализов химических, молекулярных и атомарных структур веществ и материалов. До сих пор подобный анализ вёлся с  использованием знаний и уравнений квантовой механики и физики. Это долгий и трудоёмкий путь, который с помощью технологий ML можно пройти в разы быстрее. Для этого необходимо научить систему анализировать атомную структуру материалов, а не вести длительные расчёты по формулам.

Слева расчёт распределения плотности заряда бензола, справа ― разница между анализом с помощью машинного обучения и расчётом по формулам

Учёные из Технологического института штата Джорджия решили применить методику машинного обучения для анализа атомной структуры материалов, которые используются для производства обычных конденсаторов ― алюминия и полиэтилена. Увеличение потребления энергии ведёт к росту всякого рода силовой электроники, в которой конденсаторы играют немаловажную роль. Эти элементы хотелось бы сделать меньше, а их ёмкость ― больше. Очевидно, что для этого должны быть созданы материалы с заданными свойствами. Машинное обучение может помочь в скорейшем анализе (переборе) массы материалов, на изучение свойств которых традиционными средствами ушло бы непомерно много времени.

Проект по автоматизации анализа атомной структуры материалов включает два этапа расчётов. Первичный, самый быстрый, проходит на базе суперкомпьютера Comet в Сан-Диего (San Diego Supercomputer Center, SDSC), а вторичный ― на суперкомпьютере Stampede Техасского университета в Остине. В систему ML загоняются уже имеющиеся данные по каждому из материалов (алюминию и полиэтилену), рассчитанные с использованием уравнений соответствующего раздела квантовой механики, а учёные наделяют вычислительные платформы алгоритмами, которые учатся имитировать анализ атомной структуры материалов, не прибегая к точным расчётам. Так получается на несколько порядков быстрее, чем использование только квантовой механики.

По мнению учёных, подобным образом можно будет провести быстрый анализ и поиск материалов для любых сфер деятельности человека. Особенно в этом нуждается электронная промышленность, которая приближается к барьеру своих возможностей в виде физических ограничений для техпроцессов КМОП.

Природные катаклизмы ежегодно уносят тысячи жизней и приводят к многомиллиардным убыткам. Причём с каждым годом ситуация только ухудшается. Быстрее и точнее прогнозировать атмосферные явления вскоре поможет новая система на основе технологий искусственного интеллекта (ИИ).

В разработке участвуют специалисты Университета штата Пенсильвания (Penn State), американского провайдера прогнозов погоды AccuWeather и испанского Альмерского университета (University of Almería).

Исследователи применяют фреймворк машинного обучения для обнаружения вращательного движения в структурах облаков, запечатлённых на спутниковых снимках. В частности, алгоритмы ищут образования в форме запятой, которые связаны с такими атмосферными явлениями, как град, грозы и бураны. Для тренировки модели использовались аннотированные вручную снимки — с упором как на форму, так и на параметры движения.

Пример спутникового снимка с атмосферным образованием в форме запятой

В результате, новая модель смогла с точностью до 99 % выявлять атмосферные образования указанного типа со средней скоростью 40 секунд на один прогноз. В целом, система позволяет охватить 64 % всех прогнозов плохой погоды, что превосходит результат для других используемых сейчас моделей.