Сфера машинного обучения и ИИ-сервисов переживает бурный расцвет. Неудивительно, что разработчики новых ИИ-процессоров и производители серверного оборудования наперебой спешат представить свои новинки на проходящей сейчас конференции SC19.

Одним из таких производителей стала компания GIGABYTE ‒ она, как и большинство других производителей игрового «железа», имеет в своём составе и серверное подразделение. На выставку GIGABYTE привезла множество новых систем, которые пополнят серию серверов G-Series.

Второе поколение процессоров AMD EPYC позволило существенно уплотнить вычислительные мощности благодаря наличию новых 64-ядерных моделей. GIGATYTE воспользовалась этим и в числе прочего представила модели серверов G292-Z22 и G292-Z42 с одним и двумя процессорными разъёмами соответственно. Системы компактны, они используют корпуса высотой всего 2U, но при этом поддерживают установку до восьми ускорителей, таких, как NVIDIA Tesla V100. Имеется также 8 дисковых отсеков формата 2,5″, часть из которых поддерживает 2 либо 4 накопителя с интерфейсом NVMe.

GIGABYTE G292-Z20: один EPYC, восемь ускорителей в боковых тоннелях. Поддерживается PCIe 4.0

Несмотря на компактность, эти системы имеют очень продуманную систему охлаждения. Процессоры в серверах такого класса вырабатывают отнюдь не основную долю тепла, а главным источником являются ускорители, будь то GPU или специализированные чипы. Поэтому платы ускорителей размещаются в двух параллельных и прекрасно продуваемых тоннелях слева и справа от системной платы.

GIGABYTE G242-Z10: вид вблизи

Пока речь идёт о поддержке PCIe 3.0, но в начале следующего года GIGABYTE представит модели G292-Z20 и G292-Z40, в которых будет задействована шина PCIe 4.0. Но на выставке SC19 эти новинки уже демонстрируются, как и совсем компактная модель G242-Z10, также с поддержкой нового стандарта. Несмотря на малые габариты, эта модель может вместить в себя четыре полноразмерных ускорителя. Выставочный экземпляр был оснащён платами Radeon Instinct.

GIGABYTE G242-Z10: самый компактный вариант с четырьмя полноразмерными Radeon Instinct с интерфейсом PCIe 4.0

Следующие новинки, серверы G482-Z50 и G482-Z51, уже нельзя назвать компактными: они используют корпуса высотой 4U. Первая модель интересна тем, что поддерживает установку уже 10 плат-ускорителей, причём, каждые 5 из них общаются с процессором через коммутатор PCIe, поддерживающий прямую передачу данных от GPU к GPU. Развита здесь и подсистема хранения данных: имеется 12 полноразмерных отсеков SATA/SAS и 10 отсеков формата 2,5″ с поддержкой SATA/SAS либо NVMe. По сути, это готовая универсальная платформа, отлично подходящая и для задач машинного обучения.

GIGABYTE G482-Z51: отличная платформа для машинного обучения. До 8 ускорителей Radeon Instinct, поддержка PCIe 4.0

А вот в модели G482-Z51 возможности, на первый взгляд, несколько скромнее: мест для установки плат-ускорителей тут всего 8, но зато этот сервер является одним из первых на рынке x86-серверов с «родной» поддержкой PCIe 4.0 ‒ здесь карты подключаются напрямую к центральным процессорам. Эту систему GIGABYTE считает идеально подходящей для комплектации ускорителями AMD Radeon Instinct MI50, которые как раз поддерживают новый стандарт PCIe и при установке восьми карт могут обеспечить производительность до 216 Тфплос в задачах обучения, использующих формат FP16.

GIGABYTE G482-Z51, вид сверху. 16 слотов DIMM на процессор не оставят систему без памяти. В левом нижнем углу - скоростной сетевой адаптер

Компания также представила в новой серии «лезвие» T181-Z70. Оно выполнено в форм-факторе, разработанном в рамках инициативы Open Compute Project и устанавливается в OCP-стойку с габаритами 21″ и собственным блоком питания. В итоге в корпус высотой 1U удалось вместить два процессора AMD EPYC второго поколения и до четырёх полноразмерных плат-ускорителей. Нашлось здесь место и для четырёх дисковых отсеков формата 2,5″ и даже для дополнительного слота расширения ‒ он предназначен для установки высокоскоростных сетевых карт нового поколения. Новинка совместима с прочими продуктами GIGABYTE RACKLUTION-OP, использующими новый форм-фактор OCP.

GIGABYTE T181-Z70: вклад компании в развитие открытых стандартов. Фото GIGABYTE

Демонстрирует компания также новую модульную гиперконвергентную систему ‒ H262-Z61. Каждый её модуль очень компактен, шасси высотой 2U может вместить сразу четыре таких модуля. При этом конфигурация его очень серьёзна: два процессорных разъёма c поддержкой AMD EPYC второго поколения и два слота PCIe 4.0 x16 для установки ускорителей. Кроме того, возможна установка мезаниновых плат формата OCP 2.0 и шести накопителей NVMe формата 2,5″.

GIGABYTE H262-Z61, один модуль из четырёх

Несмотря на активный натиск со стороны AMD EPYC, не забыла GIGABYTE и о процессорах Intel Xeon Scalable второго поколения. На их основе построены системы G241-G40 и G591-HS0. Первая модель выглядит достаточно обычно, она выполнена в корпусе высотой 2U и может нести на борту до четырёх полноразмерных ускорителей. Воздухообмен хорошо продуман, и сервер поддерживает установку даже карт с пассивными радиаторами. Имеется четыре полноразмерных дисковых отсека и два слота M.2 для установки твердотельных накопителей NVMe.

GIGABYTE G241-G40. Фото GIGABYTE

Система G591-HS0 относится к совсем иному классу: это огромный сервер высотой 5U, имеющий в задней части корпуса два специальных выдвижных отсека. Каждый из таких отсеков может принять в себя по 20 карт расширения половинной высоты. Используются специальные коммутаторы PCIe 3.0, поскольку даже два процессора Xeon Scalable просто не могут дать нужного количества линий.

G591-HS0: уникальные возможности расширения. Фото GIGABYTE

Ввиду того, что сейчас активно развиваются альтернативные ускорители на базе ПЛИС или специальных ASIC, которые могут быть достаточно компактными, данный сервер является идеальной платформой для организации мощной системы на базе таких ускорителей. К примеру, это может быть система анализа видео в реальном времени. Более того, с помощью дополнительного модуля расширения к G591-HS0 можно подключить ещё 32 однослотовых, но полноразмерных ускорителя.

G591-HS0: вид со стороны корзин расширения. Фото GIGABYTE

Все новые системы GIGABYTE поддерживают систему удалённого управления GIGABYTE Management Console, в основе которой лежит веб-платформа AMI MegaRAC SP-X. Новое поколение iKVM использует стандарт HTML5 и полностью отвечает стандартам Redfish API, оно также полностью бесплатно и не требует приобретения каких-либо дополнительных лицензий. Имеется также сервисная утилита GIGABYTE Server Management в версии как для обычных ПК, так и для мобильных устройств.

Аналитическая компания Intersect360 Research опубликовала пару новых исследований, посвящённых главным технологическим тенденциям в области искусственного интеллекта и машинного обучения.

В докладе Worldwide AI and Machine Learning Training Market Model: 2018 Spending and Future Outlook говорится, что за последние два года глобальные расходы на инфраструктуру, необходимую для создания моделей машинного обучения росли более чем на 50 % ежегодно, а скоро они превысят $10 млрд.

«Машинное обучение находится на стадии очень высокого роста, — говорит генеральный директор Intersect360 Research Аддисон Снелл (Addison Snell). — В дополнение к этим $10 млрд многие системы, которые не на 100 % предназначены для машинного обучения, удовлетворяют потребности в обучении в рамках общих рабочих процессов, увеличивая степень влияние, которое машинное обучение оказывает на расходы и конфигурацию». По словам эксперта, искусственный интеллект — это основная тенденция в ИТ-отрасли, а не рынок в привычном смысле этого слова.

В другом исследовании — HPC User Budget Map Survey, Special Report: Machine Learning’s Impact on HPC Environments — аналитики отмечают, что 61 % опрошенных компаний используют программы машинного обучения в составе или дополнении к средам для высокопроизводительных вычислений. Ещё 10 % респондентов планируют внедрить машинное обучение в течение ближайшего года.

Вышла новая версия системы для оптимизации бизнес-процессов Red Hat Process Automation Manager. В ней появилась предиктивная аналитика, построенная на машинном обучении.

Решение Red Hat Process Automation Manager (прежнее название — JBoss Business Process Management Suite) позволяет компаниям оцифровать бизнес-политики и процедуры, автоматизировать бизнес-процессы и вести мониторинг результатов операций в гетерогенных вычислительных средах, включая физические, виртуальные, мобильные и облачные.

В обновлённой системе реализована автоматизация принятия решений с использованием искусственного интеллекта. Предиктивная аналитика может применяться в приложениях для управления решениями в рамках создания умных автоматизированных систем, умеющих интерпретировать и реагировать на изменчивую динамику рынка, указывается в пресс-релизе.

Также Red Hat Process Automation теперь может импортировать и выполнять прогнозные модели на языке PMML, который является отраслевым стандартом для интеграции и обмена информацией между платформами машинного обучения, где создаются и обучаются эти модели.

В Red Hat отмечают, что повышение прозрачности и контроля над процессами принятия решений делает работу ИИ-систем более объяснимой и помогает лучше выполнять нормативные требования.

Разработчик решений для анализа больших данных Databricks объявил о привлечении $400 млн инвестиций, в результате чего общий объём полученных компанией средств достиг $900 млн.

По итогам последнего на данный момент раунда финансирования стартап был оценен в $6,2 млрд против $2,75 млрд в феврале 2019-го. В октябре в Databricks вложились как действующие инвесторы (Microsoft и Andreessen Horowitz), так и новые (Tiger Global Management, BlackRock и T. Rowe Price Group).

Главным продуктом Databricks является Unified Analytics Platform. Это фреймворк с открытым исходным кодом, который используется компаниями для анализа данных, а также для разметки наборов данных с целью построения ИИ-моделей. 

Решение Databricks также предоставляет возможности для совместной работы. Оно обеспечивает тесное взаимодействия между специалистами по обработке данных и разработчиками, которым необходимо работать вместе для создания более совершенных моделей искусственного интеллекта.

NVIDIA анонсировала систему машинного обучения ИИ для анализа медицинских изображений с сохранением конфиденциальности, которая была разработана совместно со специалистами Королевского колледжа Лондона.

Новая система представлена на стартовавшей в воскресенье в Шэньчжэне (Китай) конференции MICCAI.

У искусственного интеллекта есть ряд потенциально важных областей применения в здравоохранении, от диагностики пациентов до разработки жизненно важных лекарств. Вместе с тем обучение надёжных нейронных сетей для приложений здравоохранения затруднено, так как для этого требуется использовать огромные объёмы персональных данных пациентов, сохраняя при этом их конфиденциальность.

Эту проблему позволяет решить метод федеративного машинного обучения, предложенный специалистами Google, который позволяет применять единую модель для прогнозирования при машинном обучении, но при этом не раскрывать используемые данные пациентов.

Вместо того, чтобы полагаться на данные, объединённые в одном месте, алгоритмическая модель обучается в нескольких вариантах в разных местах. В секторе здравоохранения это обеспечивает определённую степень конфиденциальности для больниц и других организаций, которые хотят объединить свои ресурсы для создания модели глубокого обучения, не передавая данные своих пациентов третьим лицам.

Исследователи из NVIDIA и Королевского колледжа Лондона использовали федеративную архитектуру клиент-сервер с центральным сервером для поддержки глобальной глубокой нейронной сети. При таком подходе участвующим больницам будет предоставлена ​​копия их нейронной сети для обучения по их собственному набору данных.

Как мы сообщали около недели назад, компания Alibaba представила фирменный NPU Hanguang 800 для запуска нейросетей в составе облачных сервисов компании. Например, данные NPU могут обеспечить рекомендательные услуги для пользователей или анализ видео с камер наблюдения в реальном времени.

В продажу Hanguang 800 не поступят. Компания намерена использовать разработку в собственных ЦОД. С одной стороны, это программа по импортозамещению. С другой ― аналогов Hanguang 800 пока нет, в чём нас уверяет Alibaba.

Итак, 12-нм NPU Hanguang 800 ― это самый большой из разработанных Alibaba чипов с 17 млрд транзисторов. Точнее, процессор разработан подразделением T-Head этой интернет-компании (ране ― Pingtouge Semi). В основе разработки лежит архитектура и набор команд RISC-V с открытым кодом. Подобное обстоятельство, как уверены в Alibaba, поможет быстрому распространению интереса к платформе со стороны независимых разработчиков.

Нейропроцессор Hanguang 800 входит в семейство производительных ИИ-чипов Xuantie (Black Steel). Название платформы для ускорителя ― Wujian (Уцзян).

Платформа представляет собой плату с интерфейсами и контроллерами ввода/вывода, бортовой памятью и набором необходимых кодеков. Вместе с аппаратной частью поставляется полный пакет программного обеспечения от драйверов и прошивки до операционной системы, библиотек и примеров. Бери и дерзай.

Программная поддержка представляется Alibaba тем козырем, которого нет в рукаве у чисто «железячных» разработчиков. Кстати, Hanguang 800 спроектирован менее чем за год, что впечатляет.

Согласно внутренним тестам компании, инференс Hanguang 800 на стандартном тестовом наборе ResNet-50 способен обработать 78,5 тысяч изображений в секунду или 500 изображений в секунду на ватт. Это в 15 раз быстрее, чем в случае ускорителя NVIDIA T4 и в 46 раз быстрее NVIDIA P4. Даже если Alibaba преувеличила свои достижения, а независимых тестов у нас нет, результат всё равно впечатляет.

Если сравнивать возможности Hanguang 800 с компьютерной производительностью, то, по словам разработчиков, один NPU Hanguang 800 эквивалентен по результативности 10 «обычным» графическим процессорам. Эти решения, как мы отметили выше, компания будет использовать для собственных нужд, как и TPU в компании Google или AWS Inferentia в Amazon. У компании Alibaba это облачные сервисы Aliyun.

Компания Google уже не первый месяц разрабатывает MLIR — Многоуровненвое Промежуточное Представление (Multi-Level Intermediate Representation). Проект должен помочь портировать и оптимзировать ПО для машинного обучения. И теперь его добавляют в LLVM.

Разработкой MLIR занимается основатель LLVM Крис Латнер (Chris Latner), а потому слияние было лишь вопросом времени.

wikipedia.org

Заявлено, что проект поддерживает решения крупнейших компаний по разработке программного и аппаратного обеспечения: AMD, ARM, Cerebras, Graphcore, Habana, IBM, Intel, Mediatek, NVIDIA, Qualcomm Technologies, Inc, SambaNova Systems, Samsung, Xiaomi, Xilinx. 

При этом предполагается, что MLIR ускорит развитие машинного обучения и искусственного интеллекта, позволит обучать и исполнять модели на любом оборудовании, и делать это легче.

Напомним, что LLVM представляет проект инфраструктуры для создания компиляторов и сопутствующих утилит. Он включает ряд компиляторов языков для высокого уровня и способен создавать машинный код для множества архитектур.

Аналитики International Data Corporation (IDC) прогнозируют, что затраты в области искусственного интеллекта (ИИ) и машинного обучения в ближайшие годы будут расти высокими темпами.

По итогам текущего года, как ожидается, глобальные расходы в сфере ИИ-систем достигнут $37,5 млрд. Лидирующими секторами в плане затрат станут банковский сегмент и розничная торговля: в каждой из этих областей затраты в 2019-м превысят $5 млрд.

В период с 2018 по 2023 гг. показатель CAGR (среднегодовой темп роста в сложных процентах) на мировом рынке систем искусственного интеллекта прогнозируется на уровне 28,4 %. В результате в 2023-м объём отрасли вплотную приблизится к знаковой отметке в $100 млрд, составив $97,9 млрд.

С географической точки зрения крупнейшим рынком по объёму затрат в области ИИ будут оставаться Соединённые Штаты с долей более 50 %. На втором месте расположится Западная Европа, на третьем — Китай.

Наиболее высокий показатель CAGR в период до 2023 года прогнозируется у Японии и Китая — 45,3 % и 44,9 % соответственно. 

Как всем уже известно, на конференции Hot Chips 31 компания Huawei представила самый мощный в мире ИИ-процессор Ascend 910. Процессоры для ИИ каждый разрабатывает во что горазд, но все разработчики сравнивают свои творения с ИИ-процессорами компании NVIDIA (а NVIDIA с процессорами Intel Xeon). Такова участь пионера. NVIDIA одной из первых широко начала продвигать свои модифицированные графические архитектуры в качестве ускорителей для решения задач с машинным обучением.

Гибкость GPU звездой взошла над косностью x86-совместимой архитектуры, но во время появления новых подходов и методов тренировки машинного обучения, где пока много открытых дорожек, она рискует стать одной из немногих. Компания Huawei со своими платформами вполне способна стать лучшей альтернативой решениям NVIDIA. Как минимум, это произойдёт в Китае, где Huawei готовится выпускать и надеется найти сбыт для миллионов процессоров для машинного обучения.

Мы уже публиковали анонс наиболее мощного ускорителя для ML чипа Huawei Ascend 910. Сейчас посмотрим на это решение чуть пристальнее. Итак, Ascend 910 выпускается компанией TSMC с использованием второго поколения 7-нм техпроцесса (7+ EUV). Это техпроцесс характеризуется использованием сканеров EUV для изготовления нескольких слоёв чипа. На конференции Huawei сравнивала Ascend 910 с ИИ-решением NVIDIA на архитектуре Volta, выпущенном TSMC с использованием 12-нм FinFET техпроцесса. Выше на картинке приводятся данные для Ascend 910 и Volta, с нормализацией к 12-нм техпроцессу. Площадь решения Huawei на кристалле в 2,5 раза больше, чем у NVIDIA, но при этом производительность Ascend 910 оказывается в 4,7 раза выше, чем у архитектуры Volta.

Также на схеме видно, что Huawei заявляет о крайне высокой масштабируемости архитектуры. Ядра DaVinci, лежащие в основе Ascend 910, могут выпускаться в конфигурации для оперирования скалярными величинами (16), векторными (16 × 16) и матричными (16 × 16 × 16). Это означает, что архитектура и ядра DaVinci появятся во всём спектре устройств от IoT и носимой электроники до суперкомпьютеров (от платформ с принятием решений до машинного обучения). Чип Ascend 910 несёт матричные ядра, как предназначенный для наиболее интенсивной работы.

Ядро DaVinci в максимальной конфигурации (для Ascend 910) содержит 4096 блоков Cube для вычислений с половинной точностью (FP16). Также в ядро входят специализированные блоки для обработки скалярных (INT8) и векторных величин. Пиковая производительность Ascend с 32 ядрами DaVinci достигает 256 терафлопс для FP16 и 512 терафлопс для целочисленных значений. Всё это при потреблении до 350 Вт. Альтернатива от NVIDIA на тензорных ядрах способна максимум на 125 терафлопс для FP16. Для решения задач ML чип Huawei оказывается в два раза производительнее.

Помимо ядер DaVinci на кристалле Ascend 910 находятся несколько других блоков, включая контроллер памяти HBM2, 128-канальный движок для декодирования видеопотоков. Мощный чип для операций ввода/вывода Nimbus V3 выполнен на отдельном кристалле на той же подложке. Рядом с ним для механической прочности всей конструкции пришлось расположить два кристалла-заглушки, каждый из которых имеет площадь 110 мм². С учётом болванок и четырёх чипов HBM2 площадь всех кристаллов достигает 1228 мм².

Для связи ядер и памяти на кристалле создана ячеистая сеть в конфигурации 6 строк на 4 колонки со скоростью доступа 128 Гбайт/с на каждое ядро для одновременных операций записи и чтения. Для соединения с соседними чипами предусмотрена шина со скоростью 720 Гбит/с и два линка RoCE со скоростью 100 Гбит/с. К кеш-памяти L2 ядра могут обращаться с производительностью до 4 Тбайт/с. Скорость доступа к памяти HBM2 достигает 1,2 Тбайт/с.

В каждый полочный корпус входят по 8 процессоров Ascend 910 и блок с двумя процессорами Intel Xeon Scalable. Спецификации полки ниже на картинке. Решения собираются в кластер из 2048 узлов суммарной производительностью 512 петафлопс для операций FP16. Кластеры NVIDIA DGX Superpod обещают производительность до 9,4 петафлопс для сборки из 96 узлов. В сравнении с предложением Huawei это выглядит бледно, но создаёт стимул рваться вперёд.

Второй крупнейший игрок на рынке программируемых матриц компания Xilinx представил новые ускорители на ПЛИС модели Alveo U50. Ускорители выполнены в формфакторе PCIe-адаптеров с низким профилем и занимают на материнской плате один слот. До этого в семействе продуктов Alveo были представлены лишь двухслотовые модели, требующие дополнительного питания PCIe. Устройства построены на 16-нм чипах с архитектурой FPGA UltraScale+.

Адаптеры Xilinx Alveo U50 питаются исключительно через слот и свободны от подключения дополнительных разъёмов, что, безусловно, означает пониженное потребление и меньшую производительность. Но эти жертвы могут окупиться сполна. Ускорители Alveo U50 можно установить практически в любой сервер, где есть хоть один свободный слот PCIe. Это решение может стать массовым и оказаться тем камешком с горы, который вызовет лавину интереса к продукции Xilinx и экосистеме ИИ-платформ компании. Фактически Alveo U50 могут стать для Xilinx оружием победы, как бы громко это ни звучало.

Отказ от дополнительного питания свёл пиковое потребление адаптера Alveo U50 до 75 Вт или до номинального значения 50 Вт. Тем самым адаптер Xilinx оказался конкурентом NVIDIA Tesla T4 и предназначен для платформ ИИ с функцией принятия решений. Это могут быть как локальные (пограничные) системы, так и облачные. Компания Xilinx активно работает с облачным сервисом Amazon (AWS) и предоставляет драйверы, компиляторы и другие необходимые программные компоненты.

Интерфейс Xilinx Alveo U50 ― это PCI Express 4.0 с поддержкой спецификаций CCIX. В семействе ускорителей Alveo шину PCIe 4.0 и CCIX поддерживает только старшее решение Alveo U280. Это ещё один плюс в копилку преимуществ младшего и, как надеются в Xilinx, массового решения. Другим преимуществом стало использование в качестве бортовой памяти массива HBM2 объёмом 8 Гбайт с пропускной способностью до 460 Гбайт/с. Адаптеры U200 и U250 используют память DDR4, которая дешевле, но не так быстра.

Наконец, адаптеры Alveo U50 поддерживают протокол NVMe-oF. Это означает, что адаптер снимает с процессора задачу по обслуживанию передачи пакетов данных и обеспечивает минимальные задержки при работе с данными ― на уровне обмена с прямым подключением, хотя может находиться удалённо. Сетевой разъём у адаптера, кстати, QSFP28, который позволяет обмениваться данными со скоростью до 100 Гбит/с. Также предусмотрена модификация Alveo U50DD с двумя портами QSFP28. О цене вопроса не сообщается, но будет явно не выше цен на адаптеры NVIDIA Tesla T4.