Продолжается гонка на повышение плотности упаковки вычислительных мощностей в ЦОД. На проходящей в настоящее время конференции GTC Digital компания BOXX Technologies предложила своё видение этой задачи.

Она анонсировала модульную вычислительную многопользовательскую платформу FLEXX, использующую ускорители NVIDIA RTX.

BOXX FLEXX Data Center Platform

Данный разработчик специализируется на создании высокопроизводительных рабочих станций, рендер-комплексов и серверных систем для нужд CAD, дизайнеров, архитекторов, аниматоров и создателей визуальных спецэффектов. Платформа BOXX FLEXX в этом смысле представляет собой сервер виртуализации удалённых рабочих графических станций. Конструктивно она чем-то напоминает лезвийные серверы: в едином стоечном корпусе установлено несколько одинаковых модулей меньшего размера.

APEXX W4L ProViz, вид сбоку

Эти модули могут быть одинарной (1VU) и двойной (2VU) ширины. Соответственно, их в общем шасси может быть 10 или 5. Основой модулей являются ускорители NVIDIA Quadro RTX, поддерживающие технологию Quadro Virtual Workstation. Такая виртуальная рабочая станция может быть развёрнута в считаные минуты. Само шасси имеет стандартную ширину 19 дюймов и занимает в стойке 5 юнитов. В системе питания предусмотрено резервирование.

Компания также представила рабочие станции RAXX P6G Jupiter и APEXX W4L ProViz. Первая может содержать до 16 ускорителей Quadro RTX 8000, вторая скромнее и несёт на борту лишь четыре таких ускорителя. В качестве процессоров использованы чипы Intel Xeon W-3275.

Компания Microsoft объявила о том, что теперь в её серверах для периферийных вычислений Azure Stack Edge стали доступны ИИ-ускорители NVIDIA T4. Пока что только для стоечных решений, однако позже в этом году они появятся и в защищённом исполнении, то есть в портативных системах, которые можно использовать в полевых условиях.

Главной целью Azure Stack Edge является переместить обработку данных непосредственно туда, где эти самые данные генерируются. 

Для решения этой задачи было создано своего рода «облако на вынос», то есть система, позволяющая доставить ресурсы Azure прямо к клиенту. Такие системы Microsoft сдаёт в аренду с помесячной оплатой.

Система позволяет получить доступ к значительным вычислительным мощностям буквально в любом месте на планете. Такие устройства могут оказаться полезными в отдалённых населённых пунктах или рабочих местах, где пропускная способность сети ограничена и/или существующая задержка при передаче данных является важным фактором.

Стоимость аренды одной системы Azure Stack Edge составляет почти $695,95. Помимо этого клиенту придётся заплатить за доставку системы туда, где она ему необходима.

Специализированные ускорители давно обогнали классические процессоры по вычислительной мощности, и производители серверов делают упор на моделях, допускающих установку в систему как можно большего числа таких ускорителей.

Компания Supermicro, следуя этой тенденции, анонсировала новый модельный ряд вычислительных серверов с сертификацией NVIDIA NGC-Ready.

Пока в серии представлено шесть различных моделей, зато спектр их применения самый разный: новые серверы могут устанавливаться как в обычных ЦОД, так и набирающих популярность периферийных мини- и микро-ЦОД.

Новинки выпущены как в стандартном 19-дюймовом стоечном формате высотой 2U и 4U, так и в более компактных корпусах типа Box PC. Есть и модель, допускающая вертикальное крепление на стену. В качестве ускорителей применяются решения NVIDIA Tesla V100 и T4.

Старшая модель, SYS-4029GP-TVRT, несёт на борту 8 ускорителей Tesla V100 с NVLink, и это наиболее производительный сервер в новой серии Supermicro NGC. Вариант SYS-2029GP-TR скромнее, он располагает двумя Tesla V100 в обычном PCIe-исполнении.

Если два самых мощных варианта предназначены, в числе прочего, для обучения нейросетей, то SYS-2029GP-TR нацелен на развёртывание систем принятия решений (inference). В нём установлены 4 платы NVIDIA Tesla T4. Все три старших модели используют процессоры Xeon Scalable и имеют сетевую подсистему класса 100 Гбит/с с поддержкой GPU Direct RDMA.

Менее мощные и более простые модели базируются на высокоинтегрированных процессорах Intel Xeon D и по умолчанию имеют 10GbE-подключение. Модели SYS-1019D-FHN13TP и SYS-E403-9P-FN2T несут на борту по 2 ускорителя NVIDIA Tesla T4, отличаясь форм-фактором — первый вариант выполнен в стоечном корпусе уменьшенной глубины, а второй в корпусе Box PC.

Наконец, модель SYS-5019D-FN8TP предназначена для периферийных решений, она по умолчанию оснащена одной платой Tesla T4 и может монтироваться на стену.

Supermicro предлагает законченную ИИ-инфраструктуру

Детальные характеристики новых решений можно узнать на сайте Supermicro. Компания также предлагает лезвийные модули на базе графических чипов NVIDIA для системы 8U SuperBlade.

В конце 2019 года мы рассказали читателям о проведённом совместно Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube астрофизическом эксперименте, впервые задействовавшим облачные службы в действительно серьёзных масштабах.

Тогда удалось нагрузить работой свыше 50 тысяч различных GPU-ускорителей в облачных платформах Amazon, Microsoft и Google Cloud, расположенных по всему миру. Совсем недавно завершился второй эксперимент, который ещё немного приблизил наступление эры облачных суперкомпьютеров.

Первый эксперимент показал, что обработка серьёзных массивов данных, полученных с крупнейшего в мире нейтринного детектора IceCube, возможна и с помощью облачных сервисов. Более того, развёртывание облачного суперкомпьютера оказалось весьма быстрой процедурой.

Второй эксперимент начался 4 февраля 2020 года, в нём были задействованы не использованные в первом опыте средства, полученные за счет гранта EAGER. Как и прежде, использовались ресурсы всех трёх ведущих облаков, однако на этот раз исследователи включили только самые эффективные инстансы и не ограничивали себя одними лишь облачными ресурсами.

Статистика мощностей (слева) и регионов во втором эксперименте

Вместо этого облачные ресурсы подключались к уже имеющимся в распоряжении экспериментаторов мощностям, доступным через научные сети OSD, XSEDE и PRP. За распределение нагрузки, впрочем, всё также отвечала система HTCondor. Основной целью было выяснить, можно ли удерживать производительность такой распределённой гибридной системы на длительных промежутках времени.

Эксперимент увенчался успехом: начавшись в 9:45 утра, он завершился примерно к 17:45 вечера, то есть, «облачный суперкомпьютер» проработал полный рабочий день. Довольно быстро исследователям удалось вывести систему «на плато», состоящее примерно из 15 тысяч ускорителей с общей производительностью порядка 170 Пфлопс (FP32).

Хотя «облачный кластер» и получился менее мощным, нежели в первом эксперименте, но за счёт времени работы удалось обработать на 50% больше данных — 151 тысяча замеров против 101 тысячи. Средств при этом было затрачено существенно меньше, всего около $60 тысяч. Данные поступали непосредственно с детекторов IceCube, для передачи использовался стандартный протокол HTTP. Удалось также выявить самое эффективное по параметру «цена/производительность» решение. Им оказались инстансы, оснащённые ускорителями NVIDIA Tesla T4.

Второй эксперимент показал, что «облачные суперкомпьютеры» могут задействоваться на протяжении длительных периодов времени и что развёртывать их можно практически в любой день. Также очевидно, что подобного рода решения вполне могут усиливать уже имеющиеся в распоряжении учёных вычислительные ресурсы, существенно ускоряя выполнение поставленной задачи.

Компания Codeplay, работавшая над созданием открытой прослойки для запуска Intel oneAPI и Data Parallel C++ на графических процессорах NVIDIA, дополнила свой проект поддержкой Kronos SYCL.

SYCL — это бесплатная кроссплатформенная прослойка, позволяющая писать приложения для гетерогенных система, используя стандартный C++, что ускоряет и упрощает разработку таких приложений. Intel oneAPI, напомним, расширяет возможности SYCL.

Codeplay анонсировала экспериментальную поддержку SYCL для графических процессоров NVIDIA, причём без посредничества OpenCL. Вместо этого используется LLVM и бэк-энд NVPTX, работающий непосредственно с бинарными драйверами NVIDIA. По сути, используется CUDA, и проект носит соответствующее название, SYCL-for-CUDA.

Пример выбора устройства на SYCL

С использованием этого проекта разработка программного обеспечения теперь может выглядеть следующим образом: для создания нужного приложения можно использовать Intel Data Parallel C++, либо, в случае уже имеющегося CUDA-приложения, портировать его «под SYCL». В последнем случае это позволяет запускать портированное приложение в средах без поддержки CUDA. Разработчики надеются, что Intel включит их наработки в массив кода компилятора Intel LLVM. Более подробную информацию можно найти в официальном блоге Codeplay.

Отдельно отметим рост популярности LLVM как основы для создания новых средств разработки для различных архитектур. На днях был представлен проект HPVM для параллельных гетерогенных вычислений, ранее Google представила MLIR для работы с ИИ-ускорителями, а этой весной в LLVM, наконец, появится официальная поддержка Fortran, что завершит перенос «большой тройки» HPC-языков в инфраструктуру компилятора. 

Все ведущие производители серверного оборудования представили свои варианты решений для набирающего популярность сектора ИИ-систем и комплексов машинного обучения, но IBM одна из немногих, кто использует нестандартную архитектуру.

Серверы такого типа могут использовать разные ускорители, но центральные процессоры у них обычно x86. Новая система Power System IBM IC922 не такова — её сердцем являются процессоры POWER9.

В конструкции данного сервера используется системная плата с двумя процессорными разъёмами LGA2601 (POWER9 SO), поддерживающая установку двух 12-ядерных (2,8 ГГц), 16-ядерных (3,35 ГГц) или 20-ядерных 2,9 ГГц) чипов Sforza. Максимальный объём оперативной памяти составляет 2 Тбайт в 32 слотах DDR4-2666.

К плате посредством опциональных бэкплейнов можно подключить до 24 накопителей с интерфейсом SAS 3.0/SATA (поддержка NVMe будет добавлена позже). За питание отвечает пара блоков питания мощностью 2000 Ватт с горячим резервированием. Шасси имеет высоту 2U и может устанавливаться в стандартную 19" стойку.

Что делает данный сервер хорошо подходящим для исполнения нейронных сетей, так это возможность установки до шести ускорителей NVIDIA T4. Это компактные однослотовые PCIe-платы на базе архитектуры Turing, каждая из них имеет 320 тензорных ядер и 2560 ядер CUDA, а также 16 Гбайт памяти GDDR6 с пропускной способностью 300 Гбайт/с.

Каждый ускоритель T4 может обеспечить до 65 Тфлопс на смешанных вычислениях FP16/FP32 и 130 Топс на вычислениях INT8. Тепловыделение в предельном случае не превышает 420 Ватт (70 Ватт на ускоритель) и платы довольствуются потоком воздуха, создаваемым системой охлаждения самого сервера.

Слотов PCI Express в системе 10, часть из них имеет версию 3.0 и допускает установку полноразмерных двухслотовых карт расширения, но есть и пара слотов версии 4.0.

IBM предлагает законченный ИИ-комплекс для всех стадий машинного обучения, от накопления данных до обучения и принятия решений

IBM Power System IC922 работает под управлением операционной системы Red Hat Enterprise Linux 7.6-ALT for IBM Power LE. Поставки нового сервера должны начаться 7 февраля, полный список доступных комплектующих можно найти на сайте IBM. Новая система может работать в паре с другим сервером IBM, Power System AC922 с ускорителями Tesla V100, образуя единую высокопроизводительную ИИ-систему.

Google Cloud предлагает широкий спектр графических процессоров для ускорения всех вычислительных процессов, от развертывания ИИ до 3D-визуализации. Их использование стало ещё более доступным благодаря снижению цен на применение в виртуальных машинах графического процессора NVIDIA T4.

Как сообщает облачный сервис Google, по состоянию на начало января цены на инстансы с T4 были снижены более чем на 60 %.

Google Cloud стал первым крупным облачным провайдером, который предложил для клиентов своих сервисов по всему миру (в восьми регионах) инстансы с  T4. Машины с T4 и V100 теперь могут иметь 100Gb-подключение в бета-версии, и в будущем у него появятся новые регионы с этим предложением.

Графические процессоры T4 могут быть подключены к типам машин n1, которые поддерживают пользовательские конфигурации виртуальных машин. Это означает, что вы можете создать ВМ, специально предназначенную для ваших нужд, будь то недорогой вариант с одним vCPU, 1 Гбайт памяти и одним графическим процессором T4, или вариант с высокой производительностью — с 96 vCPU, 624 Гбайт памяти и 4 ускорителями Т4.

Компания PNY Technologies анонсировала новые версии ускорителей NVIDIA Quadro RTX 8000 и Quadro RTX 6000, предназначенные для использования в центрах обработки данных. 

Особенность новинок PNY в том, что они наделены пассивной системой охлаждения. Отмечается, что эти карты подходят для использования в существующих (или будущих) серверных шасси, рассчитанных на полноразмерные двухслотовые ускорители NVIDIA Tesla. 

Решения Quadro RTX 8000 и Quadro RTX 6000 на архитектуре Turing были представлены компанией NVIDIA ещё в 2018 году. Подробно об этих изделиях можно узнать в нашем материале. Напомним, что первый из названных ускорителей располагает 48 Гбайт памяти GDDR6, а второй — 24 Гбайт. При этом оба содержат 4608 ядер CUDA, 576 тензорных ядер и 72 RT-ядра.

Замена профильных изделий Tesla на карты Quadro RTX 8000 и Quadro RTX 6000 может оказаться выгодной с точки зрения соотношения цены и производительности. При этом применение пассивного охлаждения позволит устанавливать ускорители в те корпуса, для которых не подходят карты с активным кулером. Отметим, что ранее появилась информация о ЦОД-варианте NVIDIA GeForce RTX 2080 Ti с пассивным охлаждением. 

Архитектура ARM продолжает понемногу укреплять свои позиции на рынке супервычислений. Национальная лаборатория Ок-Ридж (ORNL) начала тестирование новой гибридной платформы, сочетающей в себе чипы Marvell ThunderX2 и NVIDIA V100.

Тестовый кластер носит симпатичное название Wombat. Эти напоминающие медвежат сумчатые зверьки обладают добродушным нравом и легко приручаются — возможно, название выбрано как намёк на то, что платформа ARM вовсе не так сложна в освоении, как может показаться на первый взгляд.

Один из узлов Wombat (источник фото: OLCF)

Как и его природный прототип, кластер Wombat не слишком велик и занимает всего одну стойку HPE, содержащую 16 вычислительных узлов. Четыре узла несут на борту по два ускорителя NVIDIA Tesla V100, но все 16 имеют также по два процессора Marvell ThunderX2.

Объём памяти составляет 256 Гбайт на узел, локально каждый из них оснащён SSD-накопителем ёмкостью 480 Гбайт. Для межузловой связи использована инфраструктура EDR Infiniband (100 Гбит/с).

Референсная гибридная платформа ThunderX2 и Tesla V100

Вычислительный центр OLCF (Oak Ridge Leadership Computing Facility) окриджской лаборатории ставит своей целью проверку и адаптацию новых и только зарождающихся технологий на предмет функциональности, совместимости и производительности.

Уже первые тесты показали, что такая гибридная платформа достаточно легко адаптируется: ещё перед конференцией SC19 восемь научных команд OLCF смогли успешно портировать восемь различных задач. Как отметил один из научных сотрудников проекта, Оскар Хернандез (Oscar Hernandez), не нашлось ни одного приложения, которое не удалось бы запустить в нужный срок на новой платформе. 

В список используемого для тестирования Wombat программного обеспечения входят такие популярные в научной среде пакеты, как CoMet, GROMACS, DCA++, LAMMPS и LSMS. В планах ORNL — продолжение тестирования архитектуры ARM в свете появления новых решений на её основе. Отметим, что пользователем Wombat может стать не только персонал OLCF — достаточно заполнить заявку на сайте центра и получить положительный ответ.

Отраслевые аналитики завершили 2019 год радужными прогнозами по поводу перспектив AMD и NVIDIA в серверном сегменте, поскольку уже в третьем квартале наблюдались признаки возвращения спроса на серверные компоненты к росту. Некоторые эксперты ожидают, что в 2020 году расходы клиентов на обновление парка серверного оборудования вырастут на 5 %, наиболее оптимистичные источники даже говорят о 7 % роста, но скептики утверждают, что основная часть расходов в серверном сегменте в текущем году будет направлена на закупку программного, а не аппаратного обеспечения.

Источник изображения: Fortune

Принято считать, что от оживления спроса в серверном сегменте выиграют не только производители памяти, но и компании AMD и NVIDIA. Первая продолжит теснить Intel на рынке серверных процессоров, вторая выиграет от развития систем искусственного интеллекта, многие из которых используют графические процессоры NVIDIA и программную среду CUDA. Исследователи Forrester Research считают, однако, что в 2020 году рост расходов в серверном сегменте будет сдержанным — по крайней мере, в США. Основная часть средств будет направлена клиентами отнюдь не на покупку оборудования, а на программное обеспечение.

Gartner тоже разделяет подобную точку зрения. По мнению экспертов, корпорации в текущем году увеличат расходы на покупку программного обеспечения на 11 %, а затраты на обновление серверного парка увеличатся всего на 2,6 %, и это при условии относительной стабильности мировой экономики. Интересно, что и от следующего года специалисты Gartner не ждут разворота тренда — расходы на серверное оборудование могут вырасти всего на один процент, по их мнению.