Облачные вычислительные платформы вполне могут составить конкуренцию традиционным суперкомпьютерам. Это доказал эксперимент, поставленный совместно Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube.

В эксперименте было задействовано свыше 50 тысяч доступных ускорителей, располагавшихся в облачных платформах Amazon Web Services, Microsoft Azure и Google Cloud Platform в 28 регионах трёх континентов ‒ Северной Америки, Европы и Азии.

Статистика эксперимента: типы GPU и динамика нарастания производительности

Всего в облаках сейчас имеет примерно 80 тысяч NVIDIA Tesla V100. Фактически же для опыта задействовался весь доступный на тот момент для аренды массив разнородных ускорителей ‒ 51500 единиц. Он был объединён в единый комплекс с помощью ПО HTCondor. 

Эксперимент начался 16 ноября и длился порядка 200 минут. Он преследовал три основных цели: выяснить, насколько серьёзные мощности можно задействовать таким образом; выявить реальные масштабы использования ГП в облаках; и, наконец, решить реальную научную задачу.На графике хорошо видно, как нарастала мощность «облачного суперкомпьютера»; она достигла максимума примерно к 110 минуте и составила приблизительно 350 Пфлопс (FP32). Для сравнения, лидер списка TOP500, суперкомпьютер Summit, развивает порядка 400 Пфлопс на вычислениях такой же точности.

Все сегменты общей задачи были оптимизированы с учётом особенностей каждой из восьми моделей доступных ускорителей NVIDA. Время работы сегментов не превышало 15‒30 минут для минимизации риска отключения от сервиса из-за внезапно возникшего спроса. Примерная оценка затрат: от $120 до $150 тысяч в первый день вычислений. То есть около половины выделенного на описываемый проект гранта EAGER.

Вклад различных моделей GPU в общее дело

Для расчётов использовались данные, полученные нейтринной обсерваторией IceCube. Это крупнейший в мире детектор нейтрино, размещённый на антарктической станции Амундсен-Скотт. Он имеет массив из 5160 высокочувствительных оптических детекторов, размещённых в специальных скважинах на глубинах от 1450 до 2450 метров.

В 2017 году с помощью нового массива удалось впервые зафиксировать космические нейтрино сверхвысоких энергий и отследить их источник. За час эксперимента удалось провести симуляцию такого объема данных с детекторов IceCube, который в обычных условиях потребовал бы месяца.

Доля разных регионов в проекте

В настоящее время активно развивается так называемая «многоканальная астрономия» (multi-messenger astronomy). Её суть заключается в комплексном исследовании всего, что могут испускать астрономические объекты, от электромагнитного излучения до гравитационных волн и элементарных частиц. Но такая астрономия требует обработки гигантских массивов данных.

Проведённый эксперимент показал, что «облачные системы» подходят для подобных целей и позволяют развёртывать серьёзные мощности весьма оперативно, в течение небольшого промежутка времени, что крайне важно для проектов с жёсткими сроками.

Хотя добиться запланированных изначально 80 тысяч ускорителей NVIDIA Tesla V100 и не удалось, но был получен бесценный опыт, который в перспективе должен проложить дорогу широкому использованию облачных сервисов с ГП-ускорителями и для других научных проектов. В ближайшем будущем бума облачных супервычислений не ожидается, ведь если они станут широко популярными, то стоимость такого предприятия неизбежно вырастет.

Следует также отметить, что «виртуальный суперкомпьютер» подходит для решения далеко не всех научных задач, связанных с супервычислениями. Некоторые из таких задач критичны к пропускной способности межсоединений, а это не самая сильная сторона подобного рода решений. Поставщики облачных услуг это понимают; в частности, на выставке SC19 Microsoft представила новые облачные серверы Azure, использующие внутреннюю сеть на базе InfiniBand HDR со скоростью 200 Гбит/с и поддержкой RDMA.

Корпорация NVIDIA объявила о пополнении семейства ускорителей на базе архитектуры Volta. Теперь в нём появилась новая модель Tesla V100s. Она доступна только в форм-факторе PCI Express, о версии SXM2 пока ничего неизвестно. 

Внешне V100s ничем не отличаются от V100 в том же форм-факторе

В новой версии ускорителя NVIDIA удалось добиться производительности 8,2 Тфлопс в режимe FP64 и 130 Тфлопс для тензорных процессоров. Точные значения тактовых частот ГП, к сожалению, не приводятся.

На некоторых стендах SC19 имелось скромное упоминание о новинке

На борту Tesla V100s установлены новые сборки HBM2 с более высокой тактовой частотй (1106 против 876 МГц), что позволило поднять пропускную способность памяти с 900 до 1134 Гбайт/с. Теплопакет удалось сохранить прежним, на уровне 250 Ватт.

Технические характеристики ускорителей NVIDIA Tesla V100

Таким образом, Tesla V100s стал быстрейшим ускорителем NVIDIA с архитектурой Volta. Единственное, в чём он уступает версии V100 в исполнении SXM2 ‒ в технологии межсоединений. Пропускная способность PCI Express x16 3.0 ограничена 32 Гбайт/с, в то время как конструктив SXM2 за счёт применения шины NVLink позволяет добиться показателя на порядок выше, 300 Гбайт/с. Возможно, версия V100s в этом исполнении появится позже. Стоимость Tesla V100s объявлена пока не была.

В своё время популярность видеокарт GeForce GTX 1080 Ti среди создателей центров обработки данных была так высока, что NVIDIA пришлось ограничить распространение этой потребительской видеокарты в таких системах через пользовательское соглашение на использование CUDA.

По словам представителей ресурса ServeTheHome, видеокарты GeForce RTX 2080 Ti не менее популярны в данной среде, и многие создатели центров обработки данных закупают их «штабелями» для ускорения вычислений.

Источник изображения: ServeTheHome

Первоисточнику удалось обнаружить на SC19 вариант (или макет) этой видеокарты с системой пассивного охлаждения. Особых опознавательных знаков на образце не было, за исключением неприметного ярлыка с набором символов «PG150», которые в «гражданской» иерархии всегда соответствовали видеокарте GeForce RTX 2080 Ti.

Источник изображения: ServeTheHome

Естественно, речь не идёт о полностью пассивном варианте охлаждения. Все ускорители вычислений в серверных стойках охлаждаются подобным образом: сами платы расширения оснащаются достаточно крупными радиаторами, а воздух через них прогоняет штатная система охлаждения сервера.

Соотношение цены и производительности GeForce RTX 2080 Ti на фоне профильных решений класса Tesla продолжает привлекать клиентов в серверном сегменте. Сама NVIDIA в подобной «деградации» не особо заинтересована, но GeForce RTX 2080 Ti вполне может перекочевать в серверный сегмент и под новым именем.

Компания Marvell объявила о том, что её серверные ARM-процессоры семейства ThunderX получили поддержку графических процессоров NVIDIA. Именно на базе этих CPU и работает референсная платформа ARM + NVIDIA. 

По словам Marvell, вычислительная производительность и пропускная способность памяти процессоров ThunderX2 в сочетании с производительностью параллельных вычислений графических процессоров NVIDIA открывают путь к энергоэффективным вычислениям экзафлопсного уровня.

Marvell работала совместно с NVIDIA над портированием библиотек CUDA-X AI и HPC, над оптимизацией ИИ-фреймворков и инструментов для разработки программного обеспечения на платформе ThunderX. Поддержка всего пакета ПО NVIDIA обеспечит системам на процессорах ThunderX2 возможность использовать GPU для ускорения более 600 HPC-приложений и ИИ-фреймворков.

На стенде One Stop Systems была показана эталонная система со ускорителями Tesla и центральными процессорами с архитектурой ARM. Она включает два узла: один с парой 32-ядерных процессоров ThunderX2 и возможностью установки до 4 Тбайт памяти, а другой с восемью ускорителями Tesla V100, подключённых через NVLink.

Помимо вычислительных кластеров, совместимость ARM-процессоров и графических процессоров может пригодиться и в других областях. Например, на своём стенде на SC19 компания Marvell продемонстрировала рабочую станцию на ThunderX2 и неких ускорителях (каких именно, не уточняется). Такая система позиционируется в качестве решения для высокопроизводительных вычислений и работы с графикой.

Многие производители планируют создать собственные системы с центральными процессорами Marvell и графическими процессорами NVIDIA. Отметим, что системы на базе ARM-процессоров Marvell ThunderX2 имеются в ассортименте таких крупных вендоров как HPE, Atos, Cray и Gigabyte.

Вычислительные узлы на ARM и NVIDIA

В небольшом комментарии вице-президент Marvell отметил, что считает программную экосистему ARM достаточно зрелой в области HPC. И речь не только о ПО с открытым исходным кодом. В частности, ведётся разработка коммерческих компиляторов и иных средств разработки. Большая работа была проделана Cray и HPE, так как они первыми начали использовать ThunderX2 в высокопроизводительных узлах. Всего за два года ситуация кардинально изменилась и Marvell надеется на светлое будущее. Увы, никакой дополнительной информации о грядущих ThunderX3 и X4 сообщено не было. 

NVIDIA и Microsoft сообщили о запуске нового типа ускоренного с помощью ГП суперкомпьютера в облаке Microsoft Azure. Эти новые виртуальные машины Azure NDv2 предназначены для самых сложных вычислений и высокопроизводительных задач ИИ. Пользователь может получить доступ к системе, объединяющей через единую сеть Mellanox InfiniBand до 800 графических ускорителей NVIDIA V100 с тензорными ядрами.

В результате пользователи Azure получили возможность арендовать настоящий суперкомпьютер для задач ИИ прямо на своём рабочем месте, избежав необходимости тратить месяцы на создание собственных громоздких локальных суперкомпьютеров. Ранее системы с подобными возможностями в области ИИ и HPC были доступны только для больших организаций.

Microsoft Azure NDv2 также предлагает гораздо более высокое соотношение производительности и цены по сравнению с традиционными решениями на базе ЦП — особенно в области искусственного интеллекта, машинного обучения и задач HPC. Исследователи могут развернуть сразу несколько виртуальных машин NDv2, чтобы обучить сложные диалоговые ИИ-модели буквально в течение часов.

Например, инженеры Microsoft и NVIDIA с помощью 64 виртуальных машин NDv2 на предварительной версии кластера обучили BERT — популярную диалоговую модель ИИ всего за три часа. Частично это было достигнуто благодаря оптимизациям для высокопараллельных расчётов с помощью множества ГП, достигнутых с помощью NCCL, библиотеки NVIDIA CUDA X и высокоскоростных интерфейсов Mellanox.

Пользователи также ощутят преимущества использования нескольких NDv2 при выполнении сложных вычислений HPC, например, в LAMMPS — популярном приложении молекулярной динамики, которое используется для моделирования материалов на уровне атомов в таких областях, как создание лекарств. Всего лишь одна виртуальная машина NDv2 обеспечивает производительность на порядок выше по сравнению с традиционным узлом HPC без ГП в приложениях такого типа, как глубинное обучение. Заявлено также, что производительность можно линейно увеличивать, объединяя сотни узлов для масштабного моделирования.

Все NDv2 оптимизированы для ускоренных с помощью ГП приложений HPC, ПО для машинного обучения и библиотек глубинного обучения, таких как TensorFlow, PyTorch и MxNet из репозитория контейнеров NVIDIA NGC и Azure Marketplace. Репозитарий также поддерживает пакеты Helm для установки ИИ-программ на кластерах Kubernetes.

NDv2 уже доступны в предварительном режиме. Виртуальные машины с восьмью ГП NVIDIA Tesla V100 (в каждом — 32 Гбайт памяти HBM2), 40-ядерным ЦП Intel Xeon Platinum 8168 и 672 Гбайт системной памяти можно объединять в кластеры.

В Денвере на международной конференции SC 2019, посвящённой серверам, NVIDIA представила набор программного обеспечения Magnum IO, позволяющий исследователям в области ИИ и HPC обрабатывать большие объёмы данных за считанные минуты вместо нескольких часов.

Magnum IO устраняет узкие места и, по оценкам компании, позволяет до 20 раз ускорить обработку массивов данных в многосерверных вычислительных узлах с использованием GPU в задачах вроде финансового анализа и моделирования климата. В разработке также участвовали лидеры индустрии DataDirect Networks, Excelero, IBM, Mellanox и WekaIO.

«В основе всего того, что связано с ИИ, находится обработка больших объёмов собранных или смоделированных данных. По мере экспоненциального увеличения объёмов и скорости поступления данных их обработка становится одной из самых важных, но и крайне затратных задач для ЦОД. Для экстремальных вычислений нужны экстремально быстрые интерфейсы. Именно это и обеспечивает ПО Magnum IO, применяя GPU-ускорение, кардинально изменившее вычисления, к передаче и хранению данных. Исследователям больше не придется долго ожидать окончания обработки данных. Теперь они смогут сконцентрироваться на сути своей работы», — пояснил учредитель и исполнительный директор NVIDIA Дженсен Хуанг (Jensen Huang).

В основе ПО Magnum IO лежит технология GPUDirect, позволяющая данным обходить ГП и перемещаться по магистралям, созданным графическими процессорами, накопителями и сетевыми устройствами. GPUDirect совместима с широким спектром интерфейсов и API, включая NVIDIA NVLink и NCCL, а также OpenMPI и UCX, и состоит из одноранговых (peer-to-peer) и RDMA-элементов. Последним дополнением стал GPUDirect Storage, позволяющий исследователям в обход процессора получать доступ к хранимым файлам для моделирования, анализа и визуализации.

ПО NVIDIA Magnum IO уже доступно, за исключением GPUDirect Storage, к которому пока открыт ранний доступ, а широкое распространение запланировано на первую половину 2020 года.

Ранее в этом году NVIDIA объявила о намерении более активно поддерживать процессоры ARM и сделать свой полный набор программного обеспечения ИИ и HPC доступным для платформ на базе чипов ARM. Это весьма значимый шаг, потому что на сегодняшний день редко какой суперкомпьютер в первой десятке обходится без графических ускорителей NVIDIA.

А теперь во время открытия SC19 в американском Денвере исполнительный директор NVIDIA Дженсен Хуанг (Jensen Huang) представил базовую платформу, позволяющую заинтересованным компаниям быстро и легко создавать серверы на базе графических ускорителей NVIDIA и процессоров. Эталонная платформа, которая состоит из аппаратных и программных базовых блоков, предназначена для обеспечения более высокопроизводительных вычислений в быстро растущем диапазоне научных и исследовательских направлений.

Кроме того, NVIDIA и ARM показали первые примеры реального эффективного применения систем, построенных на связке чипов обеих компаний. Комбинация ускоренных вычислений NVIDIA CUDA и энергоэффективной архитектуры процессоров ARM в теории предоставит сообществу высокопроизводительных вычислений дополнительный выбор в масштабных задачах.

«Мы усердно работаем над внедрением технологии ARM во всей области HPC, решая некоторые из самых сложных в мире исследовательских задач. Мы очень рады достигнутому в этом году прогрессу в совместном использовании объединённой экосистемы ARM и NVIDIA. Но это только начало», — написала ARM в своём пресс-релизе.

В марте текущего года корпорация NVIDIA подписала соглашение о намерениях купить активы израильской компании Mellanox Technologies по $125 за одну акцию, что в денежном эквиваленте соответствовало сумме около $6,9 млрд. Было заявлено, что сделка будет финансироваться из собственных средств NVIDIA без привлечения заёмного капитала, а завершить её компания планировала до конца текущего календарного года. На тот случай, если довести задуманное до конца не удастся — при наличии препятствий со стороны антимонопольных органов, например, NVIDIA предусмотрела неустойку в размере $350 млн, которую она обязалась выплатить Mellanox.

В июне этого года предстоящее поглощение было одобрено собранием акционеров Mellanox, а к текущей дате уже получены одобрения со стороны антимонопольных органов США и Мексики. Власти Евросоюза и КНР до сих пор рассматривают условия этой сделки, но на этой неделе NVIDIA выразила уверенность, что процесс согласования идёт уверенными темпами, и разрешение может быть получено до конца текущего календарного года. В тексте квартального отчёта по форме 10-Q, тем не менее, содержится пояснение, что сохраняется вероятность завершения сделки только в начале следующего календарного года.

Активы Mellanox нужны NVIDIA для укрепления своих позиций в серверном сегменте, особенно в суперкомпьютерном секторе. Третий квартал Mellanox Technologies завершила с рекордной выручкой, и подобная динамика косвенно указывает, что NVIDIA делает верную ставку, рассчитывая купить активы этого разработчика скоростных интерфейсов. Ранее в этом году Mellanox выпустила сетевые карты с интерфейсом PCI Express 4.0, поэтому под крылом NVIDIA у неё появится возможность одарить материнскую компанию всей актуальной инфраструктурой.

В квартальном отчёте NVIDIA содержится и упоминание об исковых заявлениях, которые были поданы против неё после озвучивания условий по предстоящей сделке с Mellanox. Не все акционеры последней сочли, что активы компании оценены по достоинству, а потому начали защищать свои интересы в суде. Правда, как заявила NVIDIA в своей квартальной отчётности, к 14 октября текущего года истцы отозвали свои претензии, и теперь на этом направлении ничто не мешает компании двигаться к поглощению Mellanox на объявленных ранее условиях.

Компании NVIDIA и Microsoft несколько дней назад объявили о технологическом сотрудничестве, ориентированном на интеллектуальные современные вычисления. Это, как утверждается, позволит улучшить логистику, системы «умных» городов, функционирование складов и так далее. Всё это будет реализовано за счёт внедрения искусственного интеллекта.

Технически это будет тесная интеграция между облачной платформой Microsoft Azure и аппаратными решениями NVIDIA EGX. В частности, речь идёт об использовании платформы приложений NVIDIA Metropolis для видеоаналитики. Её оптимизировали для взаимодействия с Microsoft Azure IoT Edge, системами машинного обучения Azure и другими устройствами на базе GPU NVIDIA T4. Кроме того, к делу подключились OEM-производители, включая Dell, Hewlett Packard Enterprise и Lenovo.

pixabay.com

Как заявил основатель и генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang), наступило время интеллектуальных вычислений и систем на базе ИИ. Это позволит объединить триллионы интеллектуальных датчиков, сенсоров и других конечных устройств. А генеральный директор Microsoft Сатья Наделла (Satya Nadella) отметил, что корпорациям и предприятиям требуется распределенная вычислительная структура, работающая в облаке.

Инфраструктура NVIDIA Metropolis включает в себя набор разработчика программного обеспечения NVIDIA DeepStream, который был принят более чем 100 поставщиками программного обеспечения для интеллектуального анализа видео. Среди них AnyVision, DeepVision, IronYun, Malong и RealNetworks, которые предоставляют решения для розничной торговли, производства и «умных» городов.

Это позволит создавать системы искусственного интеллекта различного назначения и масштаба.

На днях NVIDIA анонсировала новое программно-аппаратное решение на базе платформы EGX для 5G-сетей и периферийных (edge) вычислений. Одновременно с этим собственные EGX-решения представили и производители серверного оборудования. 

К примеру, GIGABYTE обновила конфигурацию своего сервера G191-H44. Это компактное шасси формата 1U, способное нести на борту до четырёх ускорителей, поддерживает и карты NVIDIA T4.

GIGABYTE G191-H44: компактность не мешает производительности

Напомним, что T4 построены на чипах с архитектурой Turing, они располагают 2560 ядрами CUDA и 320 тензорными ядрами. Производительность одной такой карты оценивается в 65 Тфлопс в смешанном режиме FP16/32. Мощность вычислений в режимах INT8 и INT4 составляет 130 и 260 Топс, соответственно.

Объём набортной памяти GDDR6 ‒ 16 Гбайт, скорость передачи данных 300 Гбайт/с. Охлаждение пассивное, обеспечивается средствами сервера, тем более что теплопакет не превышает 70 ватт. Платы выполнены в низкопрофильном форм-факторе, что позволяет им легко уместиться в таких корпусах, как у G191-H44.

Обновлённые серверы G191-H44 предназначены для работы в составе гибридных облаков NVIDIA NGC, благо, поддерживается установка новейших сетевых 100GbE-карт Mellanox. Система уже прошла все квалификационные тесты и имеет официальный статус NGC Ready.

Tyan Thunder SX TN76-B7102: простор дискового хранилища

Аналогичное решение предлагает другой игрок на рынке серверных систем, компания Tyan. Её сервер Thunder SX TN76-B7102 также поддерживает установку до четырёх ускорителей NVIDIA T4, но упакован он не столь плотно, как GIGABYTE G191-H44.

Корпус здесь имеет высоту 2U, что, помимо прочего, позволяет улучшить тепловой режим. К тому же для задач, требующих хранения существенного объёма данных, этот корпус подходит лучше, поскольку имеет 12 полноразмерных отсеков формата 3,5″ с поддержкой горячей замены накопителей. Это могут быть как 12 дисков с интерфейсом SATA, так и комбинация 8 дисков SATA и 4 накопителей NVMe.