Пандемия коронавируса привела к увеличению в компаниях доли персонала, работающего из дома. По всей видимости, для многих компаний эта модель работы сохранится и после того, как пандемия пойдёт на спад. Во всяком случае, 52 % крупнейших компаний в сфере ИТ и бизнеса, опрошенных IDC в ​​июне, заявило, что их подход к работе на дому, вероятно, изменился навсегда.

Чтобы приспособиться к новым условиям работы, предприятия обращаются к облаку, поскольку оно обеспечивает упрощённое и гибкое управление ИТ-ресурсами, необходимыми для поддержки удалённых сотрудников, где бы они ни находились. С помощью графических процессоров NVIDIA и программного обеспечения для виртуализации облачная инфраструктура может поддерживать без ущерба для производительности все виды рабочих нагрузок вычислений и визуализации, включая искусственный интеллект, анализ данных, автоматизированное проектирование, рендеринг, создание контента и многое другое.

Значительный рост использования удалённой работы привёл к тому, что программа NVIDIA Cloud Service Provider, составляющая основу партнерской сети NVIDIA, только за первое полугодие выросла более чем на 60 %. В частности, к ней присоединились компании Cloudalize, CoreWeave, Dizzion, E2E, IronOrbit и Paperspace.

На Европу и Северную Америку приходится более чем 80 % новых партнёров CSP, в результате чего программа сейчас имеет более 100 партнёров по всему миру.

Провайдеры облачных услуг, участвующие в Партнёрской программе NVIDIA (NPN), обладают опытом проектирования, разработки, доставки и управления облачными рабочими нагрузками, приложениями и услугами. Клиенты, выбирающие провайдеров, предлагающих инфраструктуру с использованием GPU NVIDIA, получат дополнительные преимущества, такие как:

• Широкий выбор графических процессоров NVIDIA из облака, таких как Quadro RTX 6000 и 8000, а также графические процессоры NVIDIA T4 и V100 с тензорными ядрами.
• Управляющее программное обеспечение для простой унификации корпоративной частной и мультиоблачной инфраструктуры.
• Услуги и предложения, упрощающие внедрение и миграцию в облако, например, варианты «настольный компьютер как услуга», с применением виртуальной рабочей станции NVIDIA Quadro для поддержки работы графики и вычислительных рабочих нагрузок, необходимых специалистам в творческой сфере и области технологий. Многие предложения могут быть адаптированы к уникальным потребностям каждого предприятия.
• Соблюдение местных законов о суверенитете данных.

1 сентября компания NVIDIA представила впечатляющие видеокарты GeForce RTX 3090, RTX 3080 и RTX 3070. Видеокарты нового поколения работают на базе технологии Ampere и обеспечивают рекордную производительность. Они оснащены улучшенными блоками RT и тензорными ядрами, новыми потоковыми мультипроцессорами и высокоскоростной памятью GDDR6X. NVIDIA заявила о том, что RTX 3080 должна быть вдвое быстрее RTX 2080, то есть примерно в полтора раза быстрее RTX 2080Ti, что при цене в $700 долларов очень впечатляет.

NVIDIA нарушила традицию, когда стоимость карт нового поколения повышалась относительно предыдущих версий. Фактически стоимость производительности (отношение стоимости к скорости работы) оставалась постоянной. В этот раз NVIDIA оставила стоимость новой карты на уровне RTX 2080, что значительно снизит затраты на тренировки нейронных сетей и других задач, связанных с машинным обучением.

HOSTKEY уже наблюдает большой спрос на новые машины. Поэтому, чтобы ничего не пропустить, рекомендуется подписаться на рассылку. Подписчики первыми получат уведомления о начале сбора заявок на предзаказ и смогут первыми оценить новый уровень производительности GPU серверов с RTX 3080 картами. Кроме того, компания разыграет 3 бесплатных месячных подписки на серверы с GPU RTX 3080 среди подписавшихся на нашу рассылку. 

HOSTKEY — опытный игрок на рынке выделенных GPU серверов Европы и России. Компания HOSTKEY — совместное предприятие с иностранным участием, с 2007 года предоставляет корпоративным и частным пользователям услуги аренды выделенных и виртуальных серверов. Все услуги оказываются на базе проверенных дата-центров России (DataPro), Нидерландов (Serverius) и NY1 (США). Сеть HOSTKEY имеет подключение к крупнейшим операторам связи и точкам обмена трафика, что позволяет гарантировать доступность ресурсов.

В майском обновлении Windows 10 появилось второе поколение Windows Subsystem for Linux (WSL 2), которое привнесло значительно улучшение производительности для выполняемых в новой среде Linux-программ, «родную» поддержку графического интерфейса и аппаратное ускорение графики. Последнее касается не только GUI, но и работы с CUDA — в июне NVIDIA объявила о ранней поддержке этой возможности в WSL 2.

Реализовано это посредством технологии виртуализации GPU-PV, которая уже давно является частью модели WDDM —вызовы ПО пользовательского окружения пробрасываются непосредственно к драйверу, работающему с ядром ОС. Таким образом любые приложения, использующие слой виртуализации Windows — Sandbox, гости Hyper-V и, собственно, WSL 2 — могут получить доступ к GPU. А это, в свою очередь, позволяет исполнять требовательные к GPU задачи в отдельном окружении практически без потерь в производительности. В теории, конечно.

На практике поддержка этих возможностей со стороны NVIDIA всё ещё носит предварительный характер. В последнем обновлении, выпущенном вчера, компания исправила некоторые проблемы и добавила новые возможности. В частности, повышена производительность в случае запуска небольших, не сгруппированных нагрузок. Добавлена поддержка DirectML для аппаратного ускорения работы с DirectX 12 и включена возможность PTX JIT. Всё это делается на стороне драйвера, для доступа к которому надо быть участником программ NVIDIA Developer Program и Microsoft Windows Insider Program.

В следующей версии драйвера обещана поддержка OptiX, оптимизация работы с памятью, поддержка NVML и nvidia-smi, а также улучшения в работе систем с несколькими GPU. Всё это позволит упростить разработку и отладку ПО для ускорителей NVIDIA, сохранив доступ к привычному Linux-окружению и инструментам в Windows 10.

Облачная платформа Microsoft Azure продолжает внедрять технологии HPC и ИИ. Компания Microsoft анонсировала новую серию виртуальных машин ND A100 v4. Это самые мощные масштабируемые инстансы для обработки данных с использованием искусственного интеллекта, которые объединяют от восьми до тысяч ускорителей NVIDIA на сотнях виртуальных машин.

Старший администратор проекта Ян Финдер (Ian Finder) сообщил в блоге компании, что серия ND A100 v4 начинается с одной виртуальной машины (ВМ) и восьми графических процессоров NVIDIA Ampere A100 с тензорными ядрами. Кластеры на базе ND A100 v4 могут масштабироваться до тысяч графических процессоров с пропускной способностью 1,6 Тбит/с на каждую виртуальную машину.

Каждый ускоритель снабжен собственным выделенным подключением NVIDIA Mellanox HDR InfiniBand 200 Гбит/с. Десятки, сотни или даже тысячи графических процессоров могут работать вместе как часть кластера с InfiniBand-фабрикой. Любая  ИИ-задача, будь то обучение модели с нуля, дообучение с использованием ваших собственных данных или тонкий тюнинг для конкретной нагрузки, будет достигнута намного быстрее с выделенным подключением GPU↔GPU, которое в 16 раз быстрее любого другого решения от других провайдеров публичного облака.

Для серии виртуальных машин ND A100 v4 используется новая платформа AMD EPYC Rome с поддержкой стандарта PCIe Gen 4. Как утверждает Финдер, PCIe 4.0 и шина NVIDIA NVLink третьего поколения позволили более чем вдвое увеличить скорость перемещения данных в системе по сравнению с предыдущим поколением виртуальных машин. Клиенты, которые будут использовать новые возможности A100, такие как тензорные ядра и Multi-instance GPU (MIG), смогут добиться 20-кратного увеличения производительности.

Серия виртуальных машин ND A100 v4 в настоящее время находится на стадии предварительного доступа, после чего появится в портфолио Azure в качестве стандартного предложения. Ранее ускорители A100 появились в Google Cloud, а AWS обещает добавить их в своё облако в скором времени.

Мы недавно писали про WekaIO и про ее разработки, ускоряющие передачу данных от NVMe-накопителей к графическим ускорителям NVIDIA. Недавно стало известно о достаточно интересном практическом применении этой технологии: NASA использует WekaIO для передачи файлов на четыре графических ускорителя NVIDIA для моделирования спуска посадочного модуля на Марс.

Посадочный модуль прибывает на Марс, двигаясь со скоростью 12 000 миль/ч (примерно 19 300 км/ч) и замедляется, используя ракетные двигатели. На приземление отводится всего семь минут, а посадку осложняет разреженная атмосфера Марса, которая делает невозможным эффективное использование парашюта.

Компьютерное моделирование показывает, как реактивная струя ракеты взаимодействует с марсианской атмосферой в реальном времени. В видео NASA говорится, что потребовалось 150 Тбайт данных и недельное тестирование на суперкомпьютере Summit в Oak Ridge National Laboratories с более чем 27 тыс. GPU NVIDIA для создания полной модели. Данные в модели содержат более 1 миллиарда записей данных, каждая из которых содержит семь атрибутов.

Симуляция в реальном времени может проигрываться с помощью WekaIO Matrix. Система хранит наборы данных на NVMe SSD, которые параллельно передаются четырем графическим ускорителям со скоростью 160 Гбайт/с посредством NVIDIA GPUDirect Storage, минуя центральный процессор и память хост-сервера. Без использования технологии GPU Direct Storage пропускная способность падает до 30 Гбайт/с.

WekaIO разработала готовое решение, помогающее ускорить передачу данных в хранилище в рабочих нагрузках ИИ. Основная особенность нового решения — поддержка NVIDIA GPUDirect Storage хранилищем на базе NVMe-накопителей. WekaIO заявляет, что ее решение может обеспечить пропускную способность в десятки раз больше, чем стандартные решения:

Инфраструктура Weka AI включает в себя настраиваемые эталонные архитектуры и комплекты для разработки программного обеспечения, основанные на GPU NVIDIA, сетевом оборудовании Mellanox (NVIDIA Networks), серверах Supermicro (можно использовать оборудование любых вендоров) и программном обеспечении Weka Matrix.

Weka AI использует технологию GPUDirect Storage, что обеспечивает прямую связь между хранилищем и ускорителями, устраняя узкие места ввода-вывода для приложений ИИ, интенсивно использующих данные. Обеспечивается не только большая пропускная способность, но и низкая задержка ввода-вывода.

На данный момент заявлена поддержка протоколов POSIX, NFS, SMB и S3. Поддерживаются объектные хранилища данных Amazon S3, Cloudian, IBM COS, Quantum (ActiveScale), Scality и SwiftStack S3. Референсная архитектура решения уже доступна для пользователей.

Компания NVIDIA объявила о выходе комплекта инструментов для разработки программного обеспечения для высокопроизводительных вычислений HPC SDK, анонсированного ранее в этом году на конференции GTC 2020. NVIDIA HPC SDK призван упростить развёртывание рабочих нагрузок HPC не только на графических чипах NVIDIA, но и на CPU.

SDK содержит компиляторы C++ и Fortran на основе программной инфраструктуры LLVM, включая поддержку автоматического ускорения с помощью графического процессора кода на C++ 17 (также известного как C++1z) с использованием параллельных алгоритмов и встроенных функций Fortran, что ранее было недоступно в Standard C++ без применения дополнительных библиотек или расширений языка.

NVIDIA HPC SDK также поддерживает OpenMP, открытый стандарт для распараллеливания программ на языках Си, Си++ и Fortran, и программный стандарт для параллельного программирования OpenACC, математические библиотеки, оптимизированные для NVIDIA, интерфейс для параллельного программирования NVSHMEM на базе OpenSHMEM, а также другие общие библиотеки и инструменты разработки/отладки.

SDK можно загрузить с сайта developer.nvidia.com. Первый выпуск — NVIDIA HPC SDK версии 20.7, полностью ориентированный на Linux, со сборками для x86_64, OpenPOWER и AArch64.

Среди списка технологических сегментов, рост которых вызван пандемией, есть и сегмент программируемых адаптеров Ethernet, которые используют поставщики облачных услуг, поскольку последние стремятся удовлетворить потребности в полосе пропускания, создаваемые сотрудниками, работающими вне офиса.

Бум серверов и адаптеров Ethernet также ускорил развертывание программируемых NIC: подразделение NVIDIA Mellanox сообщило о 96-процентном росте квартальной выручки по сравнению с прошлым годом. Рыночный трекер Omdia сообщает, что доходы от адаптеров NVIDIA Networking (ранее Mellanox Technologies) в первом квартале 2020 года составили $136 млн, что больше, чем когда-либо зарегистрированные доходы любого из поставщиков адаптеров Ethernet.

Стремительный рост числа развертываний серверов в центрах обработки данных повысил спрос и на программируемые адаптеры Ethernet, что позволило поставщикам облачных услуг увеличить средний доход на порт. Broadcom, Xilinx и Marvell Technology сообщили о повышении спроса на адаптеры 25GbE — на них приходится примерно 35% от общего количества портов в дата-центрах.

Программируемые адаптеры Ethernet позволяют разгрузить центральный процессор, предоставляя при этом функции виртуальной коммутации и шифрования. В этом случае на одном сервере можно разместить больше виртуальных машин или контейнеров, что позволяет увеличить доход с сервера для поставщиков облачных услуг.

По прогнозам аналитиков Omdia выручка от поставки сетевых адаптеров в 2020 году вырастет на 20%, причем к 2024 году рост выручки будет только ускоряться за счет поставок серверов и внедрения высокоскоростных программируемых адаптеров. Если прогнозы Omdia верны, то к 2024 году рынок программируемых сетевых адаптеров достигнет 2,3 миллиарда долларов. Подобные решения будут включать FPGA, SoC или иные блоки, которые могут взять на себя обработку трафика определённых приложений.

Подразделение NVIDIA Mellanox извлекло максимальную прибыль от инвестиций в центры обработки данных и предприятий в программируемые адаптеры Ethernet 25, 100 и 200 Гбит/с. Ждем ответа от Intel, которая занимает вторую строчку в рейтинге Omda. Компания более года назад анонсировала 100GbE-адаптеры Intel 800, поставки которых задержались.

Насколько далеко и глубоко должна распространяться «вирусность» лицензий GPL, вопрос почти философский. В особенности, когда речь идёт о сложных программных комплексах, где от проприетарных разработок, вплотную взаимодействующих с открытыми, избавиться непросто. Для таких случаев придуманы обходные пути, которые нередко пытаются эксплуатировать не слишком корректным образом.

Например, в ядре Linux для проприетарных драйверов принято использовать небольшую прослойку между, которая, по большому счёту, занимается трансляцией обращений драйвера к ядру. Такая прослойка имеет открытый код, так что все необходимые формальности по взаимодействию с остальным кодом под лицензией GPL в Linux соблюдены. Впрочем, противники такого формального подхода появились сразу же после его внедрения.

Масла в огонь подлил недавний набор патчей от одного из инженеров Facebook, реализующий новую подсистему NetGPU, которая сама по себе, к слову, весьма интересна. Она позволяет организовать прямой обмен данными между сетевым адаптером и GPU, оставляя за центральным процессором только обработку протокола. Собственно говоря, на базе этой подсистемы можно сделать достаточно общую реализацию RDMA для обмена данными между GPU или с внешней СХД.

Основная проблема конкретного этого набора патчей в том, что он намертво привязан к проприетарным драйверам NVIDIA, но при этом пытается попасть в основную ветку ядра Linux, куда нужные драйверы, естественно, не входят. Разработчик оправдывает такой шаг тем, что, возможно, когда-нибудь появятся реализации и для открытых драйверов AMD, Intel или той же NVIDIA. Грег Кроа-Хартман (Greg Kroah-Hartman), отвечающий за сопровождение стабильной ветви ядра, предложил автору заручиться подписью юриста и использовать корпоративный адрес, чтобы было понятно, кому потом можно будет переадресовать возможные претензии. Ну а пока NetGPU официальными путями в ядро не попадёт.

Другой известный разработчик Linux, Кристофер Хеллвиг (Christoph Hellwig), знаменитый тем, что когда-то инициировал иск к VMware по поводу возможного нарушения GPL, выразился несколько более грубо, но прямо, назвал автора патчей троллем и в очередной раз предложил навсегда избавиться от подобных прослоек, подготовив свою серию патчей для их блокировки.

NVIDIA пользуется растущим спросом на свои графические ускорители на базе Ampere со стороны операторов центров обработки данных, включая Amazon Web Services (AWS), Baidu и Microsoft, при этом доходы от бизнеса центров обработки данных приближаются к доходам от игрового сегмента.

Ранее NVIDIA сообщила о выручке в размере 3,08 млрд долларов за первый финансовый квартал, закончившийся 26 апреля 2020 года, что на 39% больше по сравнению с аналогичным периодом прошлого года, при этом чистая прибыль увеличилась на 133% по сравнению с аналогичным периодом прошлого года, достигнув 917 млн долларов. Доход от игрового бизнеса NVIDIA составил 1,34 млн долларов, увеличившись на 27% по сравнению с прошлым годом, в то время как сегмент дата-центров принес компании 1,14 млн долларов, увеличившись на 80% по сравнению с прошлым годом, впервые превысив отметку в 1 млрд долларов.

Закрепить успех на серверном направлении компании помогут свежие ИИ-тесты MLPerf.org, в которых решения NVIDIA продемонстрировала отличные результаты, установив 16 новых рекордов среди коммерчески доступных систем. Составить конкуренцию на ниве ИИ может Google, которая представила ранние тесты своего тензорного ускорителя TPU 4.0, показавшего очень хорошие результаты в MLPerf 0.7. NVIDIA, тем не менее, продемонстрировала преимущество в восьми тестах:

Для решения DGX SuperPOD (кластер из DGX A100, подключенных через HDR InfiniBand 200 Гбит/с), также были установлены восемь новых рекордов. Прирост производительности обеспечивался не только за счет более мощных ускорителей, но и за счет улучшений в программном обеспечении (CUDA graphs и библиотек CUDA-X), в котором реализована определение повторяющихся вычислений и оптимизация кода.

Анализ результатов отчета MLPerf не самая простая задача. Результаты тестов можно разделить на четыре категории, в зависимости от доступности тестируемых образцов:

• Доступные в облаке: системы, доступные для аренды в одном из облачных сервисов;
• Доступные для покупки: образцы, которые клиенты могут свободно приобрести;
• Системы в предварительном доступе: в дальнейшем эти системы должны быть представлены либо в облаке, либо доступными для покупки;
• Исследовательские: системы содержат экспериментальные аппаратные или программные компоненты, либо уже доступные компоненты, объединенные в большой кластер.

Набор тестов MLPerf Training измеряет время, необходимое для прохождения одной из восьми моделей машинного обучения для достижения результатов с установленной точностью в таких задачах, как классификация изображений, рекомендации, перевод и игра в Го. Последняя версия MLPerf включает в себя два дополнительных теста и один существенно переработанный:

• BERT: двунаправленное представление кодировщика от Transformers (Bert), обученного в Википедии — это передовая языковая модель, широко используемая в задачах обработки естественного языка. При вводе текста языковые модели предсказывают родственные слова и используются для построения текста в результатах поиска, ответов на вопросы и автоматического создания текстов;
• DLRM: модель рекомендаций по глубокому обучению, с использованием набора данных CTR (Criterio AI Lab), представляет широкий спектр коммерческих приложений, типичными примерами являются рекомендации для онлайн-покупок, результаты поиска и рейтинг контента в социальных сетях;
• Mini-Go: обучение в игре Го, но с использованием полноразмерной доски 19×19, чтобы повысить сложность модели.

Из девяти компаний, представивших результаты в тестах MLPerf, семь использовали графические ускорители NVIDIA, включая поставщиков облачных услуг (Alibababa Cloud, Google Cloud, Tencent Cloud) и производителей серверов (Dell, Fujitsu и Inspur), что показывает, как разнообразна экосистема NVIDIA. Результаты, продемонстрированные NVIDIA в тестах MLPerf, действительно впечатляющие, во многом это стало возможным обновлению ПО и обновленной архитектуре Ampere.