Монолитная компоновка для современных сложных чипов уже становится слишком неэффективной. Бороться с этим можно по-разному. Один из путей подразумевает интеграцию всё более сложных структур на уровне единой кремниевой подложки, а другой — использование мультичиповой (MCM) или, иначе говоря, чиплетной компоновки. К последнему варианту и склоняется NVIDIA, хотя причины несколько отличаются от тех, которыми руководствуются другие вендоры.

GPU и ускорители становятся сложнее гораздо быстрее CPU, и на текущий момент мощные вычислители для ЦОД подбираются к пределам возможностей основных контрактных производителей, таких как TSMC и Samsung. Но это только половина уравнения. Вторая заключается в том, что взрывная популярность систем и алгоритмов машинного интеллекта требует иных вычислительных возможностей, нежели более привычные HPC-задачи.

Дивергенция GPU: вычислительный (сверху) и машинного обучения. (Изображения: NVIDIA)

Как следствие, разработчикам приходится делать выбор, чему в большей мере отдать предпочтение в компоновке новых поколений ускорителей: FP32/64-движкам или блокам, оптимизированным для вычислений INT8, FP16 и прочих специфических форматов. И здесь использование MCM позволит скомпоновать конечный продукт более гибко и с учётом будущей сферы его применения.

Различиые варианты конфигурации в рамках NVIDIA COPA

Ещё в публикации NVIDIA от 2017 года было доказано, что компоновка с четырьмя чиплетами будет на 45,5% быстрее самого сложного на тот момент ускорителя. А в 2018-м компания рассказала о прототипе RC 18. В настоящее время известно, что технология, разрабатываемая NVIDIA, носит название Composable On Package GPU, но в отличие от прошлых исследований упор сделан на обкатке концепции различных составных ускорителей для сфер HPC и машинного обучения.

Симуляция гипотетического ускорителя GPU-N, созданного на основе 5-нм варианта дизайна GA100, показывает довольно скромные результаты в режиме FP64 (12 Тфлопс, ½ от FP32), но четыре таких чиплета дадут уже солидные 48 Тфлопс, сопоставимые с Intel Ponte Vecchio (45 Тфлопс) и AMD Aldebaran (47,9 Тфлопс). А вот упор на FP16 делает даже один чип опаснейшим соперником для Graphcore, Groq и Google TPU — 779 Тфлопс!

Варианты упаковки будущих МСМ-процессоров NVIDIA

Но симуляции показывают также нехватку ПСП именно на ИИ-задачах, так что компания изучает возможность иной иерархии памяти, с 1-2 Гбайт L2-кеша в виде отдельных чиплетов в различных конфигурациях. Некоторые варианты предусматривают даже отдельный ёмкий кеш L3. Таким образом, будущие ускорители с чиплетной компоновкой обретут разные черты для HPC и ИИ.

В первом случае предпочтение будет отдано максимальной вычислительной производительности, а подсистема памяти останется классической. Как показывает симуляция, даже урезанная на 25% ПСП снижает производительность всего на 4%. Во втором же варианте, для ИИ-систем, упор будет сделан на чипы сверхъёмкого скоростного кеша и максимизацию совокупной пропускной способности памяти. Такая компоновка окажется дешевле, нежели применение двух одинаковых ускорителей.

Подробнее с исследованием NVIDIA можно ознакомиться в ACM Digital Library, но уже сейчас ясно, что в обозримом будущем конвергенция ускорителей перейдёт в дивергенцию, и каждая эволюционная ветвь, благодаря MCM, окажется эффективнее в своей задаче, нежели полностью унифицированный чип.

Компания NVIDIA сообщила о заключении соглашения по приобретению фирмы Bright Computing, разработчика специализированных программных продуктов для управления кластерами. О сумме сделки ничего не сообщается.

Bright Computing была выделена из состава нидерландской ClusterVision в 2009 году; последняя после банкротства в 2019 году была поглощена Taurus Group. Штаб-квартира Bright Computing базируется в Амстердаме. Основным направлением деятельности компании является разработка инструментов, позволяющих автоматизировать процесс построения и управления Linux-кластерами.

Источник изображения: Bright Computing

В число клиентов Bright Computing входят более 700 корпораций и организаций по всему миру. Среди них упоминаются Boeing, Siemens, NASA, Университет Джонса Хопкинса и др. Отмечается, что NVIDIA и Bright сотрудничают уже более десяти лет. Речь идёт об интеграции ПО с аппаратными платформами и другими продуктами NVIDIA.

Поглощение Bright Computing, как ожидается, позволит NVIDIA предложить новые решения в области НРС, которые будут отличаться относительной простотой развёртывания и управления. Эти решения могут применяться в дата-центрах, в составе различных облачных платформ и edge-систем. В рамках сделки вся команда Bright Computing присоединится к NVIDIA.

В последний официальный рабочий день системы Blue Waters Национальный центр суперкомпьютерных приложений (NCSA) США «поприветствовал» её преемника — суперкомпьютер Delta, который станет самой производительной GPU-системой в портфолио Национального научного фонда (NSF) страны.

Новую систему разместит у себя Иллинойский университет в Урбане-Шампейне (UIUC). Суперкомпьютер, как обещают авторы проекта, получит сбалансированную конфигурацию с современными GPU и CPU. Он будет интегрирован в национальную систему кибербезопасности, а его ресурсы будут доступны учёным посредством XSEDE и SGCI (Science Gateways Community Institute). Желающие смогут получить помощь в портировании кода с CPU на GPU, но и запуск «старых» приложений будет упрощён.

Фото: Twitter/NCSAatIllinois

Суперкомпьютер планируется ввести в эксплуатацию в 2022 году. Delta получит 330 вычислительных узлов и ещё восемь сервисных. Все узлы первого типа получат 64-ядерные процессоры AMD EPYC Milan с частотой 2,55 ГГц. На текущий момент их конфигурация такова:

• 124 CPU-узла: 2 × CPU, 256 Гбайт DDR4-3200, 800 Гбайт NVMe SSD;
• 100 GPU-узлов NVIDIA I типа: 4 × NVIDIA A100 (40 Гбайт HBM2) с NVLink, 1 × CPU, 256 Гбайт DDR4-3200, 1,6 Тбайт NVMe SSD;
• 100 GPU-узлов NVIDIA II типа: 4 × NVIDIA A40 (48 Гбайт GDDR6), 1 × CPU, 256 Гбайт DDR4-3200, 1,6 Тбайт NVMe SSD;
• 5 GPU-узлов NVIDIA III типа: 8 × NVIDIA A100 (40 Гбайт HBM2) с NVLink, 2 × CPU, 2 Тбайт DDR4-3200, 1,6 Тбайт NVMe SSD;
• 1 GPU-узел AMD: 8 × Instinct MI100 (32 Гбайт HBM2), 2 × CPU, 2 Тбайт DDR4-3200, 1,6 Тбайт NVMe SSD.

Система получит 3-Пбайт быстрое All-Flash хранилище, которое будет развёрнуто весной 2022 года, а также 7-Пбайт хранилище Lustre. Основным интерконнектом станет HPE SlingShot (100 Гбит/с).

Технология NVMe-over-Fabrics (NVMe-oF) прочно заняла своё место в производительных системах хранения данных. В случае NVMe/TCP о мировом рекорде заявила Fungible, которая использует во флеш-массивах FS1600 DPU собственной разработки — она получила 10 млн IOPS на случайных операциях, тогда как без DPU удалось достичь только 6,55 млн IOPS при полной загрузке 128-ядерного сервера. NVIDIA ответила на это собственным тестом.

Вчера компания опубликовала шокирующие результаты — DPU BlueField-2 позволил добиться 41,4 млн IOPS, что более чем в четыре раза лучше рекорда Fungible. Прямо имя конкурента не упоминается, но иных показателей в 10 млн IOPS никакой другой вендор и не заявлял. На блоках размером 4К результат NVIDIA составил более 5 млн IOPS, с блоками 512 байт разброс составил от 7 до более чем 20 млн IOPS.

Изображения: NVIDIA

NVIDIA использовала пару серверов HPE Proliant DL380 Gen 10 Plus, каждый с двумя процессорами Intel Xeon Platinum 8380 (Ice Lake-SP, 40C/80T, 2,3-3,4 ГГц, 60 Мбайт L3-кеш, 270 Ватт TDP) и 512 Гбайт DRAM. В каждом узле к шине PCIe 4.0 было подключено две платы NVIDIA BlueField-2P (Performance-версия) с двумя портами 100GbE каждая — ширина канала между узлами составила 400 Гбит/с. Коммутатор не использовался, серверы напрямую соединялись посредством пассивных медных кабелей. В качестве ОС использовалась RHEL 8.3 c ядрами Linux 4.18 и 5.15. Инициаторы применялись как комплектные, так и из состава SPDK.

Результаты тестирования для режима TCP

Тестирование проводилось для NVNe/RoCE и NVMe/TCP в сценариях «100% чтения», «100% записи» и «50/50% чтение-запись». Наилучшие результаты получены при использовании SPDK на обеих системах (но за счёт повышенной нагрузки на CPU). Линейные показатели действительно впечатляют, приближаясь к лимиту канала 4×100GbE, а в режиме 50/50 для 4K с RoCE удалось получить и вовсе 550 Гбит/с (всё-таки дуплекс). Казалось бы, новый, блестящий мировой рекорд у NVIDIA в кармане, однако возникает ряд сомнений по поводу методики тестирования.

...и для RoCE

Во-первых, подозрение вызывает отсутствие в спецификациях данных о конфигурации дисковых подсистем. С учётом того, что используемый сервер имеет 24 SFF-отсека, речь могла бы идти о соответствующем числе Intel Optane P5800X — один такой SSD выдаёт около 1,5 млн IOPS на 4K-блоках и до 5 млн IOPS на блоках размером 512B. Цифры, казалось бы, неплохо согласовываются, хотя такая конфигурация и требует всех 128 линий PCIe 4.0 (по x4 на каждый из 24 гипотетических SSD и два x16 для DPU).

Быстрейшие на сегодня SSD в стандартном форм-факторе: Intel Optane P5800X (Изображение: Intel)

Полное торжество идей NVMe-oF? Не совсем. Ресурс Serve The Home уточнил некоторые детали тестирования у NVIDIA. Так, выяснилось, что в тестовых сценариях компания вообще не использовала подсистему накопителей, отправляя всё в /dev/null. По сути, измерялись передача данных «от Xeon до Xeon», т.е. в первую очередь скорость работы сети. Более того, NVIDIA подтвердила, что массив Arm-ядер на борту BlueField-2 толком не использовался, а весь трафик шёл через стандартный «кремний» ConnectX, также имеющийся в данном DPU.

Сложно сказать, насколько полезно такое тестирование. Конечно, оно демонстрирует великолепные сетевые характеристики BlueField-2, их работу в стандартной серверной среде, готовность программного стека, а также работоспособность систем на базе Xeon Ice Lake-SP с периферией стандарта PCIe 4.0. Однако вопрос взаимодействия BlueField-2 с реальной физической дисковой подсистемой остаётся открытым, поскольку нынешние тесты сравнивать с результатом Fungible затруднительно.

Utilidata, поставляющая цифровые решения для мониторинга электросетей, анонсировала совместную с NVIDIA разработку программно определяемого чипа, который вместе с платформой NVIDIA Jetson станет основой решений Smart Grid. В первую очередь чип будут использоваться в «умных» приборах учёта электроэнергии, а затем начнётся его внедрение и в другие сетевые компоненты — трансформаторы, подстанции и линии электропередач.

Национальная лаборатория возобновляемой энергетики (National Renewable Energy Laboratory, NREL) США намерена протестировать разработку для оценки возможностей масштабировании и коммерциализации технологии оптимального перетока мощности в реальном времени (Real-Time Optimal Power flow, RT-OPF).

Изображение: Utilidata (Источник: EnterpriseAI)

Проникновение в энергосистемы возобновляемых источников энергии, таких как солнечные и ветроэлектростанции, создаёт проблемы для стабильной работы сетей, поскольку мощность таких источников непостоянна, тогда как операторы должны быстро реагировать на все изменения в энергосети. Технология RT-OPF призвана обеспечить высоколокализованное управление нагрузкой, что трудно сделать со стандартным оборудованием, работающим на периферии, которая является гораздо более изменчивой, нежели остальные части системы.

Изображение: Erfan Mohagheghi, Ilmenau University of Technology

Оборудование Smart Grid должно быть оптимизировано с учётом этой специфики. Применение в приборах учёта чипа Utilidata позволит отслеживать изменение напряжения сети и нагрузки с очень высоким разрешением. А интегрированный модуль Nvidia Jetson Xavier NX позволит локально обрабатывать поступающие данные с использованием машинного обучения и физических расчётов в реальном времени — это необходимо для обнаружения опасных аномалий, оптимизации потоков энергии, балансировки нагрузки и предотвращения аварийных отключений.

Utilidata рассчитывает представить прототип чипа в I квартале 2022 года, а первые реальные тесты запланированы на конец 2022 года. Ожидается, что новая программно определяемая платформа упростит операторам электросетей путь к декрабонизации и «позволит уменьшить избыточность существующих решений и систем». Чипы смогут работать с уже установленными счётчиками, и компания надеется, что в будущем они станут востребованы и в других периферийных устройствах, таких как умные инверторы, электромобили и зарядные станции.

NVIDIA объявила о присуждении очередных грантов аспирантам для проведения исследований в области вычислений с использованием GPU. Стипендиальная программа Graduate Fellowship Program компании существует 21 год. В рамках этой программы NVIDIA предоставила в виде грантов уже $6 млн почти 200 аспирантам для поддержки их работы в области машинного обучения, компьютерного зрения, робототехники и систем программирования.

В этот раз компания назвала 10 аспирантов, каждый из которых получит грант в размере $50 000. NVIDIA сообщила, что лауреаты будут участвовать в летней стажировке. Стипендиатами NVIDIA в 2022-2023 гг. являются:

• Дэвис Ремпе (Davis Rempe), Стэнфордский университет — Моделирование трёхмерного движения для оценки позы, реконструкции формы и прогнозирования движения, что позволяет интеллектуальным системам «понимать» динамические трёхмерные объекты, людей и сцены.
• Хао Чен (Hao Chen), Техасский университет в Остине — Разработка инструментов физического синтеза СБИС следующего поколения, способных генерировать качественную разводку схем для передовых техпроцессоров, особенно для обработки аналоговых/смешанных сигналов.
• Мохит Шридхар (Mohit Shridhar), Вашингтонский университет — Восприятие языка и действий для задач робототехники с возможностью обучения посредством взаимодействий, а не на статических наборах данных.
• Сай Правин Бангару (Sai Praveen Bangaru), Массачусетский технологический институт — Разработка алгоритмов и компиляторов для дифференциальных вычислений, позволяющих легко комбинировать их с компонентами машинного обучения.
• Шломи Стейнберг (Shlomi Steinberg), Калифорнийский университет, Санта-Барбара — Разработка моделей и вычислительных инструментов для физических расчётов освещения, моделирования частично когерентного света в сложных средах.
• Снеха Гоенка (Sneha Goenka), Стэнфордский университет — Изучение процессов геномного анализа с помощью совместного проектирования аппаратного и программного обеспечения для обеспечения сверхбыстрой диагностики генетических заболеваний и ускорения крупномасштабного сравнительного геномного анализа.
• Юфэй Йе (Yufei Ye), Университет Карнеги-Меллона — Создание агентов, которые могут воспринимать физические взаимодействия между объектами, понимать последствия взаимодействия с физическим миром и даже предсказывать потенциальные эффекты конкретных взаимодействий.
• Юке Ван (Yuke Wang), Калифорнийский университет в Санта-Барбаре — Изучение новых решений и оптимизаций на уровне алгоритмов и систем для ускорения различных рабочих нагрузок глубокого обучения, включая глубокие нейронные сети и нейронные сети на графах.
• Юньтян Дэн (Yuntian Deng), Гарвардский университет — Разработка масштабируемых, управляемых и интерпретируемых подходов к генерации естественного языка с возможностью создания длинных текстов.
• Зекун Хао (Enze Xie), Корнельский университет — Разработка алгоритмов, которые «учатся» на реальных визуальных данных, чтобы помочь людям создавать фотореалистичные трёхмерные миры, применяя полученные «знания».

Компания AMAX анонсировала высокопроизводительную рабочую станцию LiquidMax TL40-X3, предназначенную для решения таких задач, как распознавание изображений, видеонаблюдение, создание средств автопилотирования и пр. Допускается установка двух процессоров Intel Xeon Scalable 3-го поколения (Ice Lake-SP) с показателем TDP до 270 Вт — суммарно можно получить до 80 ядер.

Возможна установка оперативной памяти DDR4-3200 ECC (до 4 Тбайт) и модулей Optane PMem 200 (до 4 Тбайт). Поддерживается использование четырёх полноразмерных акселераторов NVIDIA A100/A40/A30/A16, RTX A6000/A5000/A4000 или Quadro/GeForce RTX, в том числе с NVLink-мостиками Для их охлаждения задействована СЖО с параллельным подключением: все ускорители охлаждаются одновременно и с одинаковой эффективностью, что гарантирует стабильность работы.

Источник изображений: AMAX

В общей сложности доступны шесть слотов PCIe 4.0 x16 и один разъём PCIe 4.0 x8. Присутствуют двухпортовый 10GbE-контроллер (RJ45) и выделенный LAN-порт для удалённого управления BMC. В оснащение также входят два последовательных порта, шесть разъёмов USB 3.0 и интерфейс D-Sub. На передней стенке находится панель мониторинга и управления всей системой охлаждения.

Внутри корпуса есть место для десяти накопителей типоразмера 3,5"/2,5" и ещё для двух устройств формата 2,5" с интерфейсом SATA/SAS. Кроме того, могут быть задействованы два NVMe SSD M.2 2242/2260/2280/22110. Питание обеспечивает один блок мощностью 2000 Вт. Габариты станции составляют 629 × 319 × 670 мм. Заявленный уровень шума при полной нагрузке не превышает 55 дБА.

Заметная часть недавно анонсированных проектов HPC-систем c заявленной производительностью от десятков петафлопс базируется на использовании процессоров AMD EPYC и ускорителей Instinct, однако NREL остановила свой выбор на Intel Xeon Sapphire Rapids и грядущих ускорителях NVIDIA A100NEXT. Последние ещё не анонсированы, но и 44-Пфлопс машина под названием Kestrel должна вступить в строй лишь в 2023 году.

Вероятнее всего, новые ускорители будут представлены NVIDIA в следующем году, что неплохо согласуется с планами компании по выпуску новых решений каждые два года. К сожалению, точных технических данных, относящихся к NVIDIA A100NEXT пока нет. Можно лишь осторожно предположить, что следующая итерация ускорителей получит более тонкий техпроцесс 5-нм класса, и удвоит число вычислительных блоков благодаря переходу на чиплетную компоновку, например, из четырёх кристаллов по 25 млрд транзисторов.

Cуперкомпьютер Eagle. Фото: NREL

Причины, по которым NREL решила использовать процессоры Sapphire Rapids не совсем ясны. И хотя это заведение исторически тяготело к CPU Intel — текущий суперкомпьютер Eagle производительностью 8 Пфлопс построен на базе Intel Xeon Skylake-SP и почти лишён ускорителей, — у NVIDIA будут собственные процессоры Grace, выход которых намечен на 2023 год. Возможно, такое решение принято, чтобы избежать проблем с поставками CPU NVIDIA. К тому же процессоры Intel поддерживают AVX-512, причём в Sapphire Rapids есть поддержка новых форматов (AVX-512 FP16) и расширения для матричных вычислений Intel AMX.

Основой же новой системы Kestrel станет платформа HPE Cray EX с интерконнектом HPE Slingshot и СХД Cray ClusterStor E1000 общей ёмкостью более 75 Пбайт. Что касается охлаждения, то Kestrel, как и его предшественники, будет использовать СЖО с «горячим» теплоносителем. Это позволит достигнуть высокой энергоэффективности — средний коэффициент PUE нового суперкомпьютера составит примерно 1,036. Для организации, занимающейся поиском эффективных и чистых источников энергии такой подход выглядит более чем обоснованно.

В AWS стали доступны инстансы EC2 G5g, которые построены на собственных Arm-процессорах AWS Graviton2 и ускорителях NVIDIA T4G. Как утверждается, эти решения обеспечивают наилучшее соотношение цены и производительности для GPU-нагрузок, включая графические приложения и задачи инференса — они могут быть почти на треть выгоднее x86-инстансов.

Инстансам доступно подключение к сети со скоростью вплоть до 25 Гбит/сек, а к EBS-томам — до 19 Гбит/сек. Новинки предлагают от 4 до 64 vCPU и от 8 до 128 Гбайт RAM (соотношение 1:2), но старшая конфигурация с двумя ускорителями доступна и в виде bare metal. Стоимость аренды начинается от $0,42/час. Всего на выбор доступны шесть конфигураций:

Среди возможных нагрузок приводятся следующие:

• Стриминг Android-игр — G5g работают на процессорах Arm, поэтому нет нужды в кросс-компиляции или эмуляции x86, а использование дискретной графики позволяет ускорить обработку видеопотока и кодирование.
• Задачи инференса, которые чувствительны к производительности CPU.
• Рендеринг графики с использованием графических API OpenGL и Vulkan.

Отметим, что инстансы совместимы со всеми популярными графическими библиотеками и библиотеками машинного обучения, включая NVENC, NVDEC, nvJPEG, OpenGL, Vulkan, CUDA, CuDNN, CuBLAS и TensorRT. Кроме того, NVIDIA предложит готовые AMI-образы со всем необходимым ПО и драйверами, а также доступом к каталогу NGC.

В Yandex.Cloud появились ускорители NVIDIA A100 (80 Гбайт). Они уже доступны в виртуальных серверах, для разработки и эксплуатации ИИ-моделей в Yandex DataSphere, а также при работе с облачными сервисами контейнерной разработки (Managed Service for Kubernetes). Они уже используются «М.Видео-Эльдорадо» и VizorLabs, а также участниками программы Yandex.Cloud для науки и образования.

В настоящее время доступны конфигурации виртуальных машин с одним (28 vCPU, 119 Гбайт RAM) и восемью (224 vCPU, 952 Гбайт RAM) NVIDIA A100 в зоне доступности ru-central1-a. В ближайшем будущем список предложений пополнится ВМ с двумя и четырьмя GPU NVIDIA A100. Инстансы используют процессоры AMD EPYC и PCIe-версии ускорителей с поддержкой NVLink. vGPU-решения будут доступны в сервисе Yandex DataSphere. GPU-инстансы доступны всем пользователям Yandex.Cloud после запроса на увеличение квоты на них.

Фото: Яндекс

Скорость развёртывания решений составляет всего несколько минут после оформления заказа (включая время на загрузку ОС). Стоимость аренды минимальной конфигурации с одним GPU и 3-Гбайт накопителем составляет 6460,34 руб./день. Yandex.Cloud предлагает систему скидок — так, есть возможность резервирования ресурсов на длительный срок и доступны прерываемые инстансы (не более 24 ч. непрерывной работы + принудительная остановка в любой момент) для расчёта краткосрочных задач.