Компания NVIDIA анонсировала новую технологию под названием GPUDirect Storage, которая позволит её графическим процессорам, а точнее ускорителям, напрямую подключаться к NVMe-хранилищам, что обеспечит более быструю передачу и обработку данных.

Сейчас ускорители так или иначе получают данные при посредничестве центрального процессора хост-сервера, который извлекает их из локальных или удалённых устройств хранения. Но ускорители сейчас стали очень мощными и могут простаивать в ожидании информации для обработки, так как перегруженный сервер просто не может снабдить их свежими данными достаточно быстро.

Технология GPUDirect Storage исключает центральный процессор хост-сервера и его память из цепочки, и устанавливает прямую связь между графическим процессором и устройством хранения данных. Причём это могут быть как локальные NVMe-накопители, так и удалённые, подключённые посредством NVMe-oF (NVMe over Fabrics). Фактически это ещё одна реализация (R)DMA. 

В своём блоге компания NVIDIA отметила, что использование технологии GPUDirect Storage в системе NVIDIA DGX-2 позволяет увеличить скорость передачи данных между хранилищем данных и графическим процессором от двух до восьми раз. В частности, указывается, что пропускная способность соединения между системной памятью и графическим процессором в NVIDIA DGX-2 составляет 50 Гбайт/с. А вот пропускная способность при объединении множества накопителей и сетевых адаптеров в том же DGX-2 может превышать 200 Гбайт/с.

Ранее Mellanox и NVIDIA представили GPUDirect RDMA для прямого обмена данными между GPU и сетевыми адаптерами без участия CPU. После покупки Mellanox компания NVIDIA сможет и дальше разивать стек технологий GPUDirect, что позволит ей меньше зависеть от других вендоров. Как знать, возможно, скоро мы увидим ускорители Tesla со встроенными адаптерами InfiniBand. В конце концов, индустрия всё больше засматривается на архитектуру с физическим разделением функциональных блоков в пределах стойки: пару-тройку юнитов на память, ещё несколько на вычислительные узлы разного типа, а остальное под СХД. 

Компания NVIDIA открыла в Великобритании новый технологический центр, предназначенный для поддержки инновационных исследований в области искусственного интеллекта и методов анализа данных, а также для поддержки взаимодействия с образовательным и исследовательским сообществом страны.

Первыми к технологическому центру искусственного интеллекта NVIDIA присоединились супервычислительный центр EPCC (Эдинбургский центр параллельных вычислений), научно-исследовательский центр Hartree Centre и Университет Рединга. Члены центра получают доступ к экспертным знаниям и ресурсам NVIDIA для поддержки своих проектов. 

Цель проекта EPCC — ускорить механическое, структурное и гидродинамическое моделирование, которое можно применять для разработки газовых турбин. Исследователи будут использовать подход машинного обучения и вычислений  смешанной точности для улучшения эффективности работы текущих алгоритмов.

Сотрудничество c Hartree Centre будет сосредоточено на цифровом «твиннинге» — подробном виртуальном представлении реальных объектов. Эта работа позволит промышленности Великобритании разрабатывать новые продукты и оптимизировать процессы, повышая производительность и сокращая время выхода новинок на рынок.

Университет Рединга будет изучать методы машинного обучения для совершенствования процессов моделирования изменений погоды и климата. В его первом проекте применяются методы глубокого обучения для обработки результатов расчётов с целью последующего вычленения и сохранения только наиболее важных данных. Подход, принятый в этом проекте, позволит минимизировать объём данных, которые необходимо хранить и обрабатывать, что экономит время, энергию и затраты на оборудование.

Анонсированная в январе компанией NVIDIA программа DGX-Ready Data Center получила ещё большее распространение за пределами США, и удвоила число партнёрских центров обработки данных до 19.

Сообщается, что у программы NVIDIA DGX-Ready Data Center появились три новых партнёра в Европе, пять в Азии и два в Северной Америке. В настоящее время программа доступна для компаний из 24 стран.

Среди новых партнёров программы — компания Verne Global, имеющая ЦОД с нулевым уровнем выбросов углерода в Исландии, а также Fujitsu с ЦОД в Иокогаме, где установлено более 60 систем NVIDIA DGX-1 и DGX-2.

Как сообщает компания, программа NVIDIA DGX-Ready Data Center, построенная на системах NVIDIA DGX и поставляемая партнёрами NVIDIA, обеспечивает клиентам возможность значительного продвижения в разработке ИИ на любой платформе.

NVIDIA рекламирует DGX-Ready как решение, упрощающее внедрение вычислений на GPU, предъявляющих повышенные требования к энергопотреблению и охлаждению для вычислительных инфраструктур по сравнению с возможностями многих локальных ЦОД, созданных для традиционных ИТ-вычислений.

Семейство продуктов DGX компании NVIDIA включает серверы с 8 и 16 графическими процессорами. Вместе с тем система NVIDIA DGX SuperPOD, занимающая 22-е место среди суперкомпьютеров в мире по быстродействию (согласно публичному рейтингу Top 500), имеет 96 модулей DGX-2H, содержащих по 16 тензорных ускорителей вычислений Tesla V100 с архитектурой Volta.

Чтобы упростить поиск партнёров, NVIDIA создала портал DGX-Ready Data Center, который позволяет клиентам выполнять поиск в глобальной сети поставщиков с фильтрацией по регионам, поддерживаемым системам и расширенным услугам.

NVIDIA активно вкладывается в сферу автономных автомобилей. Буквально недавно она объединила усилия с AB Volvo в разработке ИИ-платформы для автономных грузовиков. А теперь компания представила 22-й по производительности в мире (если ориентироваться на публичный рейтинг Top 500) суперкомпьютер — DGX SuperPOD. Задача этой системы — предоставить инфраструктуру ИИ, которая отвечает огромным требованиям программы развёртывания автономных транспортных средств.

Система была построена всего за три недели на основе 96 суперкомпьютеров NVIDIA DGX-2H с использованием интерконнекта Mellanox. Суперкомпьютер в состоянии обеспечить 9,4 петафлопс вычислительной производительности и рассчитан на глубинное обучение массы нейронных сетей, необходимых для создания безопасного самоходного транспорта. 

Заказчики могут самостоятельно построить такой же суперкомпьютер, заказав аналогичные конфигурации DGX-2 у партнёров NVIDIA. DGX SuperPOD оснащён 1536 тензорными ускорителями NVIDIA Tesla V100, объединённых NVIDIA NVSwitch и интерконнектом Mellanox InfiniBand. 

Компания поясняет, что обучение автономного автомобиля — это сложнейшая задача, требующая больших вычислительных ресурсов. Одна машина, собирающая данные, генерирует 1 терабайт информации в час. Если умножить это на годы вождения всего автопарка, то речь идёт о петабайтах данных. Они используются для обучения авто правилам дорожного движения, а также для выявления потенциальных сбоев в нейронных сетях, работающих в автономных машинах, которые затем повторно обучаются в непрерывном цикле — суперкомпьютер трудится над этими задачами круглосуточно. 

«Лидерство в области требует первенства и в вычислительной инфраструктуре, — подчеркнул вице-президент по инфраструктуре ИИ в NVIDIA Клемент Фарабет (Clement Farabet). — Мало направлений ИИ столь же требовательны к ресурсам, как обучение автономных автомобилей — эта задача требует десятки тысяч раз переобучать нейронные сети, чтобы удовлетворить требованиям максимальной точности и надёжности. И здесь ничто не заменит такие ​​мощные вычислительные ресурсы, какие имеются у DGX SuperPOD».

Например, программно-аппаратная платформа DGX SuperPOD способна обучить модель ResNet-50 менее чем за две минуты. Когда эта модель появилась в 2015 году, потребовалось 25 дней, чтобы обучить её на системе с единственной картой NVIDIA K80. DGX SuperPOD работает в 18 000 раз быстрее. В то время как другие системы из списка Top 500 с сопоставимым уровнем производительности используют тысячи серверов, DGX SuperPOD занимает малое пространство — примерно в 400 раз меньше, чем его ближайшие соперники.

Компания NVIDIA объявила о том, что теперь её продукты в полной мере поддерживают работу с центральными процессорами на архитектуре ARM. В первую очередь это должно позволить производителям создавать ещё более экономичные суперкомпьютеры для вычислений экзафлопсного уровня с поддержкой алгоритмов искусственного интеллекта.

Уже к концу текущего года создатели систем на базе ARM получат доступ ко всему программному обеспечению NVIDIA для искусственного интеллекта (ИИ) и высокопроизводительных вычислений (High performance computing, HPC). По словам компании, это ПО способно ускорить свыше 600 HPC-приложений и все AI-фреймворки. Сюда входят все библиотеки NVIDIA CUDA-X AI и HPC, GPU-ускоренные AI-фреймворки и инструменты программной разработки, такие, как PGI-компиляторы с поддержкой OpenACC и профилировщики.

Как известно, опыт работы с ARM у компании NVIDIA уже был. Ещё относительно недавно она активно трудилась над созданием собственных ARM-процессоров, которые сочетались бы с её собственными графическими ускорителями и использовались в мобильных устройствах, роботах и роботизированных автомобилях. Вместе с тем NVIDIA разрабатывала не только аппаратную часть, но и программную, и в итоге теперь эти наработки смогут использовать и сторонние производители.

Заметим, что уже сейчас NVIDIA обеспечила поддержку ускорения HPC и ИИ на архитектурах x86 и POWER, а после завершения процесса оптимизации к ним присоединится ARM. Получается, NVIDIA в скором времени сможет предложить ускорение вычислений для всех наиболее распространённых архитектур CPU.

«Суперкомпьютеры являются необходимым инструментом для совершения научных открытий. Переход на экзафлопсный уровень вычислений значительно расширит горизонты человеческого познания, — говорит Дженсен Хуанг (Jensen Huang), основатель и генеральный директор NVIDIA. — Масштабирование традиционных вычислений подходит к своему пределу из-за ограничений, накладываемых энергопотреблением суперкомпьютеров. Сочетание CUDA-ускоренных вычислений и энергоэффективной архитектуры ARM позволит HPC-сообществу перейти на экзафлопсный уровень».

«ARM работает со своей экосистемой, чтобы наделить платформы на базе ARM высочайшей производительностью и возможностями экзафлопсного уровня, — говорит Саймон Сигарс (Simon Segars), генеральный директор ARM. — Партнёрство с NVIDIA для обеспечения CUDA-ускорения архитектуре ARM является очень важным событием для HPC-сообщества, которое уже применяет технологии ARM для решения самых сложных в мире научных задач».

Согласно представленному сегодня обновлённому рейтингу Green500, ускорители на графических процессорах NVIDIA лежат в основе 22 из 25 самых энергоэффективных суперкомпьютеров мира. Высокой эффективности способствует то, что в данных системах тяжёлые вычислительные нагрузки выполняются на более энергоэффективных GPU с ядрами CUDA. Ещё отмечается сотрудничество NVIDIA с Mellanox по оптимизации вычислений в супервычислительных кластерах, а также использование SXM 3D-компоновки и высокоскоростного интерфейса NVIDIA NVLink, что позволяет создавать узлы с высокой плотностью и масштабируемостью. А теперь с поддержкой ARM могут появиться ещё более эффективные системы. 

Идеальным вариантом для NVIDIA было бы наличие в портфолио собственного процессора, что позволило бы создать единую платформу и экосистему без явной зависимости от других производителей. Причём такой процессор вовсе не обязан быть очень мощным. Гораздо важнее масштабируемость GPU-платформ, и покупка Mellanox вполне может оказаться первым шагом в этом направлении. 

Компании SberCloud, облачный провайдер Сбербанка, и NVIDIA объявили о подписании соглашения о сотрудничестве в рамках Петербургского международного экономического форума 2019 года.

Стороны займутся разработкой и внедрением на российском рынке продуктов и услуг на основе искусственного интеллекта (ИИ). Соответствующее направление в настоящее время считается одним из самых перспективных на глобальном IT-рынке.

В рамках сотрудничества компания SberCloud создает AI Cloud — продукт, построенный на системах NVIDIA DGX-2, высокопроизводительных вычислительных комплексах, созданных специально для решения задач искусственного интеллекта.

Ожидается, что партнёрство SberCloud и NVIDIA позволит сделать услугу Data Science As a Service доступной как для крупнейших российских корпораций, так и для предприятий малого и среднего бизнеса, а также научных и образовательных учреждений.

Пользователи AI Cloud с помощью единого портала управления смогут работать со всеми ключевыми направлениями искусственного интеллекта: анализ и синтез речи, компьютерное зрение, распознавание символов и текстов, система поддержки принятия решений, автоматическое обучение компьютерных систем. 

К середине мая о результатах квартала отчитались не только Intel и AMD, но и NVIDIA, у которой дела в сегменте центров обработки данных шли не так хорошо, как хотелось бы. Фактически, выручка компании на этом направлении снизилась на 7 % в последовательном сравнении и на 10 % в годовом. Руководство NVIDIA на квартальном отчётном мероприятии много говорило о блестящих перспективах компонентов марки в серверных системах всех категорий, об открываемых покупкой Mellanox новых перспективах, но все они были отдалены от суровой реальности, в которой компания столкнулась со снижением выручки. В текущем квартале ситуация вряд ли изменится к лучшему, как резюмировали представители NVIDIA. Некоторые надежды на улучшение связываются только со вторым полугодием.

Не смогла порадовать акционеров и инвесторов и компания Intel, у которой выручка в сегменте компонентов для центров обработки данных сократилась в годовом сравнении на 6 %, и не смогла достичь прогнозируемых отраслевыми экспертами значений. Всё это не очень обрадовало инвесторов, которые уже привыкли слышать от Intel призывы к скорейшему смещению приоритетов от персональных компьютеров к сегментам рынка, в той или иной степени связанных с обработкой и передачей информации.

На этом фоне динамика показателей AMD в серверном сегменте выглядела оптимистично. Выручка от реализации центральных и графических процессоров для серверного применения за год увеличилась более чем в два раза. В совокупности с ростом популярности настольных процессоров семейства Ryzen, это обеспечило рост нормы прибыли на пять процентных пунктов. Прошлый год AMD завершила с долей серверного рынка, близкой к пяти или шести процентам, и через полтора–два года может преодолеть десятипроцентный рубеж.

Всё это заставляет автора публикации на страницах сайта The Motley Fool предполагать, что в серверном сегменте показатели AMD укрепляются, тогда как Intel и NVIDIA свои позиции теряют. Подспорьем для экспансии AMD станет выход в третьем квартале этого года 7-нм процессоров EPYC поколения Rome. Глава компании Лиза Су (Lisa Su) на годовом собрании акционеров подчеркнула, что успеху AMD будут способствовать не только 7-нм техпроцесс и передовые архитектурные решения, но и использование многокристальной компоновки с так называемыми «чиплетами». Компания готова выходить на большие рынки и постепенно увеличивать свою долю на них.

Проблема заключается в том, что бизнес AMD по сравнению конкурентами не так велик, и бороться с ними ей приходится, довольствуясь гораздо меньшими материальными ресурсами. Даже если перед AMD откроются какие-то уникальные возможности, к резкому рывку она должна быть готова как с точки зрения возможности увеличить объёмы поставок продуктов, так и с точки зрения способности их эффективно продавать. Серверный рынок достаточно инертен и консервативен, здесь для растущего с низких позиций игрока может возникнуть достаточно сопротивления и от самих клиентов компании AMD, а не только её конкурентов.

Компания NVIDIA готовит мобильную серию профессиональных видеокарт Quadro на базе графических процессоров Turing. Новинки упоминаются во внутренней документации компании Dell, которая «утекла» в Сеть стараниями ресурса Tweakers, который не так давно раскрыл информацию о будущем процессоров Intel.

К сожалению, конкретные модели видеокарт, компания Dell в своих документах не уточняет, а лишь указывает уровень ускорителя. Так, наиболее продвинутые комплектации ноутбуков Precision 7540 и Precision 7740 получат некие видеокарты Quadro RTX с наиболее высоким уровнем производительности. Причём, это могут быть две разные модели, относящиеся к верхнему сегменту.

На такое предположение наталкивают альтернативные GPU для этих ноутбуков. Так, более крупный 17-дюймовый Precision 7740 будет также предлагаться с мобильной версией Radeon Pro WX 7100, которая является аналогом Radeon RX 580. В свою очередь 15-дюймовый Precision 7540 сможет предложить Radeon Pro WX4150 — аналог Radeon RX 460. Соответственно, в первом случае может быть использован ускоритель Quadro RTX на базе более мощного Turing TU104, а во втором — на Turing TU106.

Ещё одним ноутбуком с некой новой Quadro станет Precision 5540. Тут также не уточняется модель видеокарты, а лишь указано что это будет некая «новая Quadro среднего уровня». Отсутствие в названии «RTX» может указывать на то, что эта видеокарта будет построена на Turing TU116 и не сможет предложить аппаратное ускорение трассировки лучей. Тем не менее, она также должна обеспечить весьма неплохой уровень производительности.

Напомним, что младшей настольной Quadro RTX на данный момент является модель Quadro RTX 4000 на базе графического процессора TU104 с 2304 ядрами CUDA и 8 Гбайт памяти GDDR6. Следом за ней идёт уже Quadro RTX 5000 на базе Turing TU102. Поэтому, скорее всего, в мобильном сегменте флагманом станет как раз Quadro RTX 4000, а не более старшая модель, так как графический процессор TU102 может быть слишком мощным даже для мобильных рабочих станций. А вот менее производительные профессиональные видеокарты в мобильном сегменте явно появятся.

Fortran — один из первых языков высокого уровня, но он до сих пор активно используется в высокопроизводительных вычислениях наряду с C++ и Python. Инженеры NVIDIA уже продолжительное время работают над компилятором языка Fortran с открытым исходным кодом — Flang, созданным поверх инфраструктуры LLVM и вдохновленным компилятором Clang C/C++.

Компилятор Fortran F18 — переписанный инженерами NVIDIA на С++ Flang, теперь проект будет развиваться в составе инфраструктуры LLVM

Не так давно разработчики из NVIDIA приступили к переписыванию проекта с языка C на C++, новый проект получил название F18. F18 поддерживает большую часть возможностей Flang, полностью реализует версию языка Fortran 2018, а также поддерживает OpenMP 4.5 для параллельного программирования.

NVIDIA изначально хотела, чтобы новый компилятор стал частью проекта LLVM и развивался на базе его инфраструктуры, но принятие этого решения затянулось на длительный срок, и судьба F18 оставалась неопределённой. И вот на днях в рассылке проекта LLVM, один из его основателей и ведущих разработчиков Крис Латтнер, сообщил, что разработчики приняли решение принять новый компилятор в свою «‎семью»‎.

NVIDIA давно использует LLVM и в частности Fortran в рамках архитектуры CUDA

«Наше сообщество обсудило вопрос о том, следует ли принимать компилятор и среду выполнения Fortran F18 в состав LLVM, обсуждение прошло на EuroLLVM'19, на котором совет директоров LLVM Foundation одобрил его включение в наш проект», — сообщил Крис.

Команде разработчиков F18 было рекомендовано рассмотреть возможность избавления от функций, завязанных на стандарт C++17, чтобы F18 мог быть быстрее и полнее интегрирован в инфраструктуру LLVM. Тем не менее, это вопрос будущего, так как сейчас F18 только начал своё развитие.

Регистратор и хостинг-провайдер REG.RU сообщил пересмотре тарифной сетки на услуги сервиса высокопроизводительных GPU-вычислений, предназначенного для решения задач, связанных с искусственным интеллектом, машинным обучением и анализом больших массивов данных. Теперь пользователям стала доступа почасовая оплата облачных вычислений. Ранее заказать услугу можно было только в формате посуточной или помесячной оплаты.

В основу предлагаемого компанией REG.RU сервиса положены GPU-ускорители Tesla V100 с архитектурой NVIDIA Volta, производительность которых в задачах глубокого обучения может достигать 125 терафлопс. Исходя из потребностей пользователя, в рамках услуги можно подключить до 8 вычислительных ускорителей к одному виртуальному контейнеру либо арендовать физический сервер целиком. Через панель управления клиент может самостоятельно разворачивать и удалять серверы, выбирать преднастроенные шаблоны виртуального окружения с Ubuntu или Windows и производить базовые действия с сервисом.

Для максимальной производительности и удобства работы при обучении нейросетей облако REG.RU сделано совместимым с контейнерами NVIDIA GPU Cloud (NGC) — это экономит время пользователя на разворачивании и последующей работе с ПО. Репозиторий NGC обеспечивает свободный доступ к каталогу GPU-ускоренных контейнеров, который включает ведущие фреймворки и оптимизированное NVIDIA программное обеспечение для глубокого обучения, инструменты для HPC-визуализации и сторонние HPC-приложения.

Получить доступ к системе облачных вычислений REG.RU на базе NVIDIA GPU можно по ссылке reg.ru/cloud-services/cloud_gpu. На время бета-тестирования, до 1 июня 2019 года, минимальная стоимость пользования сервисом составляет 90 рублей за час работы.

Материалы по теме:

• NVIDIA Volta экономит электричество в суперкомпьютерах;
• Pure Storage представила первую на рынке готовую для ИИ инфраструктуру;
• Суперкомпьютер на базе NVIDIA DGX-1 рассчитает алгоритмы движения беспилотного «КАМАЗа».

Источник:

• reg.ru