В Денвере на международной конференции SC 2019, посвящённой серверам, NVIDIA представила набор программного обеспечения Magnum IO, позволяющий исследователям в области ИИ и HPC обрабатывать большие объёмы данных за считанные минуты вместо нескольких часов.

Magnum IO устраняет узкие места и, по оценкам компании, позволяет до 20 раз ускорить обработку массивов данных в многосерверных вычислительных узлах с использованием GPU в задачах вроде финансового анализа и моделирования климата. В разработке также участвовали лидеры индустрии DataDirect Networks, Excelero, IBM, Mellanox и WekaIO.

«В основе всего того, что связано с ИИ, находится обработка больших объёмов собранных или смоделированных данных. По мере экспоненциального увеличения объёмов и скорости поступления данных их обработка становится одной из самых важных, но и крайне затратных задач для ЦОД. Для экстремальных вычислений нужны экстремально быстрые интерфейсы. Именно это и обеспечивает ПО Magnum IO, применяя GPU-ускорение, кардинально изменившее вычисления, к передаче и хранению данных. Исследователям больше не придется долго ожидать окончания обработки данных. Теперь они смогут сконцентрироваться на сути своей работы», — пояснил учредитель и исполнительный директор NVIDIA Дженсен Хуанг (Jensen Huang).

В основе ПО Magnum IO лежит технология GPUDirect, позволяющая данным обходить ГП и перемещаться по магистралям, созданным графическими процессорами, накопителями и сетевыми устройствами. GPUDirect совместима с широким спектром интерфейсов и API, включая NVIDIA NVLink и NCCL, а также OpenMPI и UCX, и состоит из одноранговых (peer-to-peer) и RDMA-элементов. Последним дополнением стал GPUDirect Storage, позволяющий исследователям в обход процессора получать доступ к хранимым файлам для моделирования, анализа и визуализации.

ПО NVIDIA Magnum IO уже доступно, за исключением GPUDirect Storage, к которому пока открыт ранний доступ, а широкое распространение запланировано на первую половину 2020 года.

Компания Graphcore объявила о дальнейшем расширении сотрудничества с Microsoft. Речь идёт о внедрении разработанного этими компаниями интеллектуального сопроцессора (IPU, Intelligence Processing Unit) и использовании его в серверах облачного сервиса Microsoft Azure.

Проведённое партнёрами совместное тестирование образца сервера, укомплектованного восемью акселераторами на базе пары чипов Graphcore C2, показало впечатляющие результаты.

При использовании языковой модели BERT для предварительного обучения нейросетей в течение 56 часов производительность машины с ускорителями Graphcore оказалась в три раза выше в сравнении с обычной системой. Также наблюдалось улучшение латентности. Ускорение обработки естественных языков очень важно для Microsoft, что неудивительно, учитывая растущую популярность облачных платформ и разного рода голосовых и языковых сервисов.

Graphcore позиционирует свою разработку в качестве конкурента GPU, заявляя о 100-кратном превосходстве чипа C2 над классическими графическими процессорами в ряде специфических задач. Помимо самого процессора, компания разработала и специальную шину IPU-Link, позволяющую нескольким платам-ускорителям общаться друг с другом без задержек.

Уже существует договорённость c Dell Technologies и система DSS8440, оснащённая ускорителями Graphcore будет демонстрироваться на конференции SC19.

Архитектура у Graphcore C2 достаточно любопытная. Он содержит 1216 так называемых тайлов, каждый из которых, в свою очередь, состоит из вычислительного ядра и небольшого количества памяти (In-Processor Memory). Этой памяти немного, всего 300 Мбайт на весь чип, но совокупная скорость работы с ней составляет 45 Тбайт/с.

Всего процессор может выполнять 7296 потоков кода параллельно. Скорость работы межпроцессорной шины IPU-Link ‒ 320 Гбайт/с.

Компания разработала для своего детища и соответствующий программный стек ‒ Poplar, который легко интегрируется с такими популярными средствами разработки, как TensorFlow или Open Neural Network Exchange (ONNX). В ближайшее время планируется также внедрение начальной поддержки PyTorch, а полная поддержка ожидается уже в начале 2020 года.

В преддверии конференции SC19 компания Mellanox активно публикует анонсы новых устройств и систем. В дополнение к шлюзу Skyway, обеспечивающему связь сетей InfiniBand и Ethernet, компания представила также серию коммутаторов Quantum LongReach. Как следует из названия, предназначены новинки для организации высокоскоростных сетей InfiniBand на солидных дистанциях.

Новые коммутаторы позволяют создавать более гибкие кластерные системы, компоненты которых могут быть разнесены друг от друга на дистанцию от 10 до 40 километров. Коммутаторы нового типа базируются на уже существующем дизайне Quantum (200 Гбит/с InfiniBand), но в дополнение к восьми локальным портам могут иметь до двух «дальних» портов IB, обеспечивающих передачу данных на скоростях до 100 Гбит/с.

Использование Quantum LongReach позволит обойтись без применения шлюзов и промежуточных сред передачи данных, а значит, обеспечит минимальные задержки. В серию пока входят две модели: TQ8100, рассчитанная на 10 километров, и TQ8200, позволяющая передавать поток данных со скоростью 100 Гбит/с на 40 километров. Поставки новых коммутаторов Mellanox Quantum LongReach начнутся в первой половине следующего года.

Huawei начала строить в России экосистему искусственного интеллекта. Об этом сообщил директор по стратегическому развитию компании Дан Вэньшуань (Dang Wenshuan) во время своего выступления на конференции AI Journey

Экосистема будет создаваться по трём направления. В рамках первого компания будет сотрудничать с российскими партнёрами для развития инноваций в области ИИ на базе лаборатории Huawei OpenLab в Москве.

Второе направление — подготовка разработчиков из России в рамках глобального сообщества Ascend Developer Community. А третье направление заключается в разработке курсов, связанных с искусственным интеллектом, и увеличением количества университетов, где будет проводиться подготовка по данному направлению.

«Претворив в жизнь все вышеперечисленное, Huawei совместно с промышленными организациями, более 100 тысячами разработчиков ИИ, более 100 партнерами — независимыми поставщиками программного обеспечения и более 20 университетами смогут за пять лет построить экосистему ИИ и способствовать переходу большего числа отраслей на ИИ-приложения», — заявил вице-президент по стратегии и развитию бизнеса департамента интеллектуальных вычислительных систем Huawei Цзян Тао (Jiang Tao).

Команда разработчиков «Яндекса» сообщила о расширении функциональных возможностей cloud-платформы «Яндекс.Облако» и включении в её состав системы управления базами данных MongoDB с открытым исходным кодом.

Новый сервис получил название Yandex Managed Service for MongoDB. С его помощью организации могут создавать, эксплуатировать и масштабировать нереляционные базы данных MongoDB в инфраструктуре «Яндекс.Облака».

Клиенты «Яндекс.Облака» могут использовать MongoDB как управляемый сервис на основе актуальной версии 4.2, поддерживающей ACID-транзакции на уровне шардированного кластера и другие возможности. Обслуживание СУБД, включая своевременные обновления, автоматизировано на стороне платформы «Яндекса», пользователь получает готовую к эксплуатации базу данных. Кроме того, «Яндекс.Облако» как официальный партнёр имеет прямой доступ к технической поддержке MongoDB и будет оказывать техподдержку клиентам в России.

В Yandex Managed Service for MongoDB применяются быстрые твердотельные накопители с поддержкой технологии NVMe. При этом все соединения с СУБД и резервные копии содержимого баз шифруются при помощи протокола TLS и технологии GPG. Кроме того, базы разных клиентов «Яндекс.Облака» полностью изолированы друг от друга, что гарантирует безопасность хранимых данных.

Дополнительные сведения о новом сервисе Yandex Managed Service for MongoDB представлены на сайте cloud.yandex.ru/services/managed-mongodb.

Компания Gartner прогнозирует, что мировой рынок публичных облачных сервисов в ближайшие годы будет устойчиво расти.

По оценкам, в 2018-м объём отрасли в денежном выражении составил $196,7 млрд. В текущем году ожидается рост на 15–16 %: в результате затраты в сегменте публичных облаков достигнут $227,8 млрд.

В общем объёме рынка немногим меньше половины — $99,5 млрд — придётся на платформы SaaS (программное обеспечение как сервис). Ещё $43,7 млрд принесут BPaaS-решения (бизнес-процессы как услуга). В сегменте IaaS (инфраструктура как услуга) ожидаются затраты в размере $40,3 млрд. Около $32,2 млрд придётся на PaaS-системы (платформа как сервис), примерно $12,0 млрд — на сервисы в сфере безопасности и управления.

В 2020-м, согласно прогнозам аналитиков Gartner, отрасль продемонстрирует 17-процентный рост. В результате, её объём достигнет $266,4 млрд.

В 2021 году мировой рынок публичных облачных сервисов преодолеет отметку в $300 млрд, показав результат в $308,5 млрд. Ещё через год — в 2022-м — объём отрасли достигнет $354,6 млрд. 

Представлен компактный безвентиляторный компьютер IEI ITG-100AI, призванный решать различные задачи с вовлечением искусственного интеллекта (ИИ). Это могут быть системы машинного зрения и видеонаблюдения, медицинская диагностика, «умный» ретейл и пр.

Устройство выполнено в корпусе с габаритами 137 × 102,8 × 49,4 мм. Ребристая алюминиевая поверхность обеспечивает отвод тепла. Компьютер может монтироваться на DIN-рейку.

Основой служит процессор Intel Atom x5-E3930. Это изделие содержит два ядра с тактовой частотой 1,3–1,8 ГГц и контроллер Intel HD Graphics 500. Предусмотрен один слот SO-DIMM для модуля оперативной памяти DDR3L ёмкостью до 8 Гбайт.

Особенность новинки — акселератор Mustang-MPCIE-MX2, выполненный в виде карты mini PCIe. Он содержит два процессора машинного зрения Intel Movidius Myriad X. Каждый из этих VPU-чипов обеспечивают вычислительную мощность до 1 триллиона операций в секунду (TOPS).

В оснащение компьютера входят накопитель SATADOM вместимостью 128 Гбайт, модуль eMMC 5.0 ёмкостью до 32 Гбайт (опционально), слот microSD, двухпортовый сетевой контроллер Gigabit Ethernet, последовательные порты, разъём D-Sub и два порта USB 3.0.

Заявлена совместимость с операционными системами Windows 10 и Ubuntu 16.04 LTS. Диапазон рабочих температур — от минус 20 до плюс 50 градусов Цельсия. 

Компании Mail.ru Group и IBS объявили о сотрудничестве и совместной разработке облачной платформы корпоративного уровня для управления данными.

Сообщается, что в основу нового программного комплекса лягут технологические решения Arenadata (дочерняя структура IBS) и Mail.ru Cloud Solutions. Ключевыми компонентами продукта станут универсальная платформа данных Arenadata Enterprise Data Platform и система управления базами данных Tarantool.

Разрабатываемый продукт получит широкие возможности в области экспертизы и аналитики возрастающих объёмов неструктурированной информации, получивших в профессиональной IT-среде название «большие данные» (Big Data), а также средства защиты и обеспечения безопасности обрабатываемой информации.

Аналитика больших данных (Big Data Analytics, BDA) становится одной из самых востребованных задач в современном бизнесе и в перспективе найдёт широкое применение практически во всех отраслях. Согласно ожиданиям IDC, в нынешнем году объём рынка BDA в денежном выражении приблизится к $200 млрд и составит $189,1 млрд. Если этот прогноз оправдается, рост по отношению к 2018 году окажется на уровне 12%.

В последующие годы на рынке больших данных и бизнес-аналитики ожидается дальнейшее увеличение расходов. Так, показатель CAGR в период с 2018 по 2022 гг., по мнению экспертов IDC, составит 13,2%. В результате в течение ближайших трёх лет объём мировой отрасли достигнет $274,3 млрд. С географической точки зрения крупнейшим регионом по затратам в области BDA будут оставаться Соединённые Штаты.

Аналитическая компания Intersect360 Research опубликовала пару новых исследований, посвящённых главным технологическим тенденциям в области искусственного интеллекта и машинного обучения.

В докладе Worldwide AI and Machine Learning Training Market Model: 2018 Spending and Future Outlook говорится, что за последние два года глобальные расходы на инфраструктуру, необходимую для создания моделей машинного обучения росли более чем на 50 % ежегодно, а скоро они превысят $10 млрд.

«Машинное обучение находится на стадии очень высокого роста, — говорит генеральный директор Intersect360 Research Аддисон Снелл (Addison Snell). — В дополнение к этим $10 млрд многие системы, которые не на 100 % предназначены для машинного обучения, удовлетворяют потребности в обучении в рамках общих рабочих процессов, увеличивая степень влияние, которое машинное обучение оказывает на расходы и конфигурацию». По словам эксперта, искусственный интеллект — это основная тенденция в ИТ-отрасли, а не рынок в привычном смысле этого слова.

В другом исследовании — HPC User Budget Map Survey, Special Report: Machine Learning’s Impact on HPC Environments — аналитики отмечают, что 61 % опрошенных компаний используют программы машинного обучения в составе или дополнении к средам для высокопроизводительных вычислений. Ещё 10 % респондентов планируют внедрить машинное обучение в течение ближайшего года.

Телекоммуникационный оператор «Транстелеком» (ТТК) объявил о сотрудничестве с «Яндексом» и предоставлении защищённых каналов связи для сервиса Yandex Cloud Interconnect.

Yandex Cloud Interconnect позволяет установить выделенное сетевое соединение между локальной IT-инфраструктурой организации и «Яндекс.Облаком», в том числе при построении гибридного облака. Сервис рассчитан на компании, которые хотят использовать «Яндекс.Облако» как бесшовное продолжение собственной инфраструктуры.

Сервис Yandex Cloud Interconnect позволяет создавать выделенные сетевые соединения на скоростях 10 Гбит/с и объединять несколько соединений для увеличения пропускной способности. При этом в отличие от передачи данных через публичную сеть Интернет, где маршруты могут постоянно меняться и нет гарантий производительности, передача данных через выделенные соединения Yandex Cloud Interconnect более стабильная, надёжная, а также безопасная.

Дополнительные сведения о платформе «Яндекс.Облако» и входящих в её состав сервисах представлены на сайте cloud.yandex.ru.