Проект NVIDIA Grace весьма амбициозен: компания всерьёз намерена ворваться с его помощью на рынок высокопроизводительных серверных процессоров, где всё ещё доминируют решения Intel и AMD. Об этом чипе было объявлено ещё на конференции GTC 2022, а на GTC 2023 глава компании, наконец, показал его вживую.

В рамках продолжающегося роста плотности упаковки вычислительных мощностей в современных ЦОД на первый план выдвинулась не голая производительность, а соотношение производительности к уровню энергопотребления и тепловыделения. По сочетанию этих параметров x86 далеко не оптимальна, и тут у NVIDIA есть все шансы. С анонсом Grace Superchip NVIDIA провозглашает (впрочем, уже не в первый раз) смерть «закона Мура» — пришло время оптимизации и отказа от устаревших, по мнению компании, вычислительных архитектур.

Источник изображений здесь и далее: NVIDIA

Процессор NVIDIA Grace воплощает в себе все современные тенденции, начиная с отказа от монолитного кристалла. Сборка Grace Superchip состоит из двух кристаллов, каждый из которых включает в себя 72 ядра Arm Neoverse V2 (Arm v9), поддерживающих векторные расширения SVE2 и оптимизированные для ИИ форматы BF16/INT8. Кристаллы соединены между собой шиной NVLink-C2C, обеспечивающей пропускную способность 900 Гбайт/с.

В сборку интегрированы чипы памяти LPDDR5x общим объёмом до 960 Гбайт, причём каждый кристалл имеет свою шину доступа к памяти с производительностью 500 Гбайт/с. При этом с точки зрения ПО Grace Superchip представляется единым 144-ядерным процессором с ПСП на уровне 1 Тбайт/с.

Для достижения схожих параметров в мире x86 требуется двухпроцессорная платформа AMD Genoa, куда более сложная технически и гораздо менее энергоэффективная, но при этом обладающая всеми недостатками NUMA-систем. Достаточно сравнить энергопотребление: 900 Вт против 500 у нового решения NVIDIA.

NVIDIA есть чем гордиться: при сопоставимом уровне энергопотребления Grace Superchip превосходит своих конкурентов из мира x86 в 2,3 раза при запуске микросервисов, вдвое опережает их в приложениях с интенсивным обменом данными с памятью и почти вдвое — в задачах симуляции вычислительной гидродинамики. В ряде других научно-технических задач преимущество может быть и более чем двукратным.

Это достигнуто в том числе благодаря изначальной оптимизации дизайна процессора с упором на максимальную производительность передачи данных. Внутренне Grace организован по принципу меш-сети с распределённой системой кеширования на базе специальных узлов коммутации CSN (Cache Switch Nodes). Называется эта сеть Scalable Coherency Fabric, она имеет пропускную способность 3,2 Тбайт/с, а объём кеша L3 составляет 117 Мбайт на кристалл и 234 Мбайт совокупно.

Сервер на базе NVIDIA Grace не только может потреблять меньше энергии, но и будет существенно проще конструктивно, поскольку модуль Grace Superchip содержит не только процессорные ядра и память, но также и регуляторы напряжения. От платформы на базе нового процессора требуется только PCIe 5.0 — у нового чипа есть два набора по 64 линии. Причём линии с поддержкой CXL 2.0, так что проблем с расширением доступного объёма памяти новинка испытывать не будет.

Даже компактные серверы высотой 1U смогут вместить две сборки Grace Superchip, что даст 288 ядер и почти 2 Тбайт оперативной памяти — труднодостижимый в таких габаритах показтель для более традиционных конструктивов процессоров и системных плат. Сравнительно невысокий теплопакет позволит таким решениям обходиться традиционным воздушным охлаждением.

При этом есть и вариант Grace Hopper, сочетающий в одном модуле кристалл Grace и новейший GPU H100, причём параметрами PCI Express последний ограничен не будет благодаря NVLink-C2C. NVIDIA уже начала первичные поставки Grace, а начало полномасштабного производства ожидается во второй половине года. Новыми процессорами заинтересовались крупные производители оборудования, включая ASUS, Atos, GIGABYTE, HPE, QCT, Supermicro, Wistron и ZT Systems.

Лос-Аламосская национальная лаборатория объявила, что использует NVIDIA Grace в новом суперкомпьютере Venado, который поможет учёным в исследованиях новых материалов и возобновляемых источников энергии. Ряд крупных европейских и азиатских ЦОД также рассматривает перспективы применения новых процессоров NVIDIA. В частности, одной из систем на базе Grace станет кластер Alps в Швейцарском национальном компьютерном центре.

NVIDIA запустила сервис ИИ-супервычислений DGX Cloud, предоставляющий предприятиям доступ к инфраструктуре и программному обеспечению, необходимым для обучения передовых моделей для генеративного ИИ и других приложений.

DGX Cloud предлагает выделенные ИИ-кластеры NVIDIA DGX в сочетании с фирменным набором ПО NVIDIA. С его помощью предприятие сможет получить доступ к облачному ИИ-суперкомпьютеру, используя веб-браузер и без надобности в приобретении, развёртывании и управлении собственной HPC-инфраструктурой. Правда, удовольствие это всё равно не из дешёвых — стоимость инстансов DGX Cloud начинается от $36 999/мес., причём деньги получает в первую очередь сама NVIDIA. Для сравнения — полностью укомплектованная система DGX A100 в Microsoft Azure обойдётся примерно в $20 тыс.

Облачные кластеры DGX предлагаются предприятиям на условиях ежемесячной аренды, что гарантирует им возможность быстро масштабировать разработку больших рабочих нагрузок. «DGX Cloud предоставляет клиентам мгновенный доступ к супервычислениям NVIDIA AI в облаках глобального масштаба», — сообщил Дженсен Хуанг (Jensen Huang), основатель и генеральный директор NVIDIA.

Источник изображения: NVIDIA

Развёртыванием инфраструктуры DGX Cloud компания NVIDIA будет заниматься в сотрудничестве с ведущими поставщиками облачных услуг. Первым среди них стала платформа Oracle Cloud Infrastructure (OCI), предлагающая суперкластер (SuperCluster) с объединёнными RDMA-сетью (в том числе на базе BlueField-3 и Connect-X7) системами DGX (bare metal), которые дополняет высокопроизводительное локальное и блочное хранилище. Cуперкластер может включать до 32 768 ускорителей, но этот рекорд был поставлен с использованием DGX A100, а вот предложение DGX H100 пока что ограничено. В следующем квартале похожее решение появится в Microsoft Azure, а потом в Google Cloud и у других провайдеров.

Источник изображения: NVIDIA

Первыми пользователями DGX Cloud стали Amgen, одна из ведущих мировых биотехнологических компаний, лидер рынка страховых технологий CCC Intelligent Solutions (CCC) и провайдер цифровых бизнес-платформ ServiceNow. «Мощные вычислительные и многоузловые возможности DGX Cloud позволили нам в 3 раза ускорить обучение белковых LLM с помощью BioNeMo и до 100 раз ускорить анализ после обучения с помощью NVIDIA RAPIDS по сравнению с альтернативными платформами», — сообщил представитель Amgen.

Для управления нагрузками в DGX Cloud предлагается NVIDIA Base Command. Также DGX Cloud включает в себя набор инструментов NVIDIA AI Enterprise для создания и запуска моделей, который предоставляет комплексные фреймворки и предварительно обученные модели для ускорения обработки данных и оптимизации разработки и развёртывания ИИ. DGX Cloud предоставляет поддержку экспертов NVIDIA на всех этапах разработки ИИ. Клиенты смогут напрямую работать со специалистами NVIDIA, чтобы оптимизировать свои модели и быстро решать задачи разработки с учётом сценариев отраслевого использования.

На весенней конференции GTC 2023 компания NVIDIA представила два новых ИИ-ускорителя, ориентированных на инференес: неприличной большой H100 NVL, фактически являющийся парой обновлённых ускорителей H100 в формате PCIe-карты, и крошечный L4, идущий на смену T4.

Изображения: NVIDIA

NVIDIA H100 NVL действительно выглядит как пара H100, соединённых мостиками NVLink. Более того, с точки зрения ОС они выглядят как пара независимых ускорителей, однако ПО воспринимает их как единое целое, а обмен данными между двумя картам идёт в первую очередь по мостикам NVLink (600 Гбайт/с). Новинка создана в первую очередь для исполнения больших языковых ИИ-моделей, в том числе семейства GPT, а не для их обучения.

NVIDIA H100 NVL

Однако аппаратно это всё же не просто пара обычных H100 PCIe. По уровню заявленной производительности NVL-вариант вдвое быстрее одиночного ускорителя H100 SXM, а не PCIe — 3958 и 7916 Тфлопс в разреженных (в обычных показатели вдвое меньше) FP16- и FP8-вычислениях на тензорных ядрах соответственно, что в 2,6 раз больше, чем у H100 PCIe. Кроме того, NVL-вариант получил сразу 188 Гбайт HBM3-памяти с суммарной пропускной способностью 7,8 Тбайт/с.

NVIDIA утверждает, что форм-фактор H100 NVL позволит задействовать новинку большему числу пользователей, хотя четыре слота и TDP до 800 Вт подойдут далеко не каждой платформе. NVIDIA H100 NVL станет доступна во второй половине текущего года. А вот ещё одну новинку, NVIDIA L4 на базе Ada, в ближайшее время можно будет опробовать в облаке Google Cloud Platform, которое первым получило этот ускоритель. Кроме того, он же будет доступен в рамках платформы NVIDIA Launchpad, да и ключевые OEM-производители тоже взяли его на вооружение.

NVIDIA L4

Сама NVIDIA называет L4 поистине универсальным серверным ускорителем начального уровня. Он вчетверо производительнее NVIDIA T4 с точки зрения графики и в 2,7 раз — с точки зрения инференса. Маркетинговые упражнения компании при сравнении L4 с CPU оставим в стороне, но отметим, что новинка получила новые аппаратные ускорители (де-)кодирования видео и возможность обработки 130 AV1-потоков 720p30 для мобильных устройств. С L4 возможны различные сценарии обработки видео, включая замену фона, AR/VR, транскрипцию аудио и т.д. При этом ускорителю не требуется дополнительное питание, а сам он выполнен в виде HHHL-карты.

Компания NVIDIA в партнёрстве с Quantum Machines анонсировала DGX Quantum — первую систему, объединяющую GPU и квантовые вычисления. Решение использует новую открытую программную платформу CUDA Quantum. Утверждается, что система предоставляет революционно архитектуру для исследователей, работающими с гибридными вычислениями с низкой задержкой.

NVIDIA DGX Quantum объединяет средства ускоренных вычислений на базе Grace Hopper (Arm-процессор + ускоритель H100), модели программирования с открытым исходным кодом CUDA Quantum и передовую квантовую управляющую платформу Quantum Machines OPX+. Такая комбинация позволяет создавать ресурсоёмкие приложения, сочетающие квантовые вычисления с современными классическими вычислениями. При этом в числе прочего обеспечивается работа гибридных алгоритмов и коррекция ошибок.

Источник изображения: NVIDIA

Представленное решение предполагает соединение Grace Hopper и Quantum Machines OPX+ посредством интерфейса PCIe. Это обеспечивает задержку менее микросекунды между ускорителем и блоками квантовой обработки (QPU). Отмечается, что OPX+ — это универсальная система квантового управления. Таким образом, можно максимизировать производительность QPU и предоставить разработчикам новые возможности при использовании квантовых алгоритмов. Системы Grace Hopper и OPX+ можно масштабировать в соответствии с потребностями — от QPU с несколькими кубитами до суперкомпьютера с квантовым ускорением.

Источник изображения: NVIDIA

О намерении интегрировать CUDA Quantum в свои платформы уже заявили компании по производству квантового оборудования Anyon Systems, Atom Computing, IonQ, ORCA Computing, Oxford Quantum Circuits и QuEra, разработчики ПО Agnostiq и QMware, а также некоторые суперкомпьютерные центры.

Компания Microsoft пообещала использовать вместо водяного охлаждения, применяемого в ЦОД, расположенных в Финиксе (Аризона, США), воздушное на новых местных объектах. Как сообщает DataCenter Dynamics, город просто не в состоянии перерабатывать больше сточных вод и очищать стоки с дата-центров компании до безопасного для людей состояния. Ожидается, что компания потратит более $40 млн на создание в городе дополнительной инфраструктуры для обработки сточных вод — обновлённое соглашение с городскими властями одобрено на прошлой неделе.

Как сообщают представители города, водяное охлаждение будут использовать только три первых ЦОД, все последующие дата-центры будут применять воздушное охлаждение, поскольку общее количество растворённых в воде веществ (TDS) после цикла охлаждения слишком высоко и очистка такой воды обойдётся слишком дорого, а воды для сохранения загрязнений на безопасном уровне потребуется слишком много. Известно, что пока построен первый ЦОД, второй находится на стадии завершения, а третий скоро начнут возводить. Всего же компания намерена построить пять ЦОД в данном кампусе.

Источник изображения: Alexander Schimmeck/unsplash.com

При этом мощностей городской канализации и местной инфраструктуры водоочистки не вполне достаточно для очистки большего количества сточных вод. При этом компания не приняла достаточных мер для снижения объёма растворённых веществ, создания систем контроля сбросов и хранения отходов, а в ЦОД вода циркулирует по системе охлаждения как минимум дважды, что повышает объём растворённых в ней веществ и увеличивает нагрузку на очистную инфраструктуру города, которая к такому объёму и качеству сточных вод оказалась попросту не готова.

Источник изображения: Erda Estremera/unsplash.com

Более того, компания должна построить дополнительную линию сброса отходов к концу августа 2024 года, а если это не удастся, будет хранить их на территории кампуса. Также она должна будет построить новые водопроводные линии, если это будет необходимо и потратит дополнительные десятки миллионов на расширение городских очистных сооружений. Ещё в 2020 году сообщалось, что Microsoft самостоятельно построит установки для очистки сточных вод, в Массачусетсе, тоже из-за слишком высокой концентрации минералов.

В конце лета 2022 года Microsoft оказалась в центре скандала в Нидерландах, когда выяснилось, что её ЦОД потребляют в разы больше воды, чем планировалось. В результате местным властям пришлось ввести временный запрет на строительство новых объектов подобного назначения. Впрочем, компания намерена пересмотреть технологии, используемые её дата-центрами. Её ЦОД с испарительным охлаждением уже к 2024 году начнут потреблять на 95 % меньше воды, чем сегодня, экономя по 5,7 млрд литров ежегодно.

Встраиваемые решения AMD привлекают не так много внимания как настольные или серверные, но в арсенале компании представлены широко — от экономичных Ryzen Embedded для индустриальных и встраиваемых ПК до мощных EPYC Embedded. Именно о последних сегодня пойдет речь, поскольку на выставке Embedded World 2023 компания представила новую серию процессоров EPYC Embedded 9004 (Genoa).

Свою родословную новые EPYC Embedded ведут от обычных серверных чипов EPYC Genoa. AMD позиционирует новинки в качестве решений для автоматизации в промышленности, телекоммуникациях, (I)IoT и периферийных вычислениях — везде, где требуется сочетание высокой удельной производительности с энергоэффективностью.

Источник изображений здесь и далее: AMD

Новая платформа представлена в одно- и двухсокетных вариантах. Максимальное количество процессорных ядер Zen 4 составляет 96 (SMT2), а объём кеша L3 может достигать внушительных 384 Мбайт. 12-канальный контроллер памяти с поддержкой DDR5-4800 ECC (3DS) RDIMM и NV-DIMM (важно для устойчивости к потере питания и быстрого восстановления работоспособности) тоже никуда не делся.

Всего в новой серии AMD представила 10 моделей EPYC Embedded 9004, с числом ядер от 16 до 96, различными частотными формулами, объёмами кеша L3 и теплопакетами в диапазоне от 200 до 360 Вт (cTDP до 400 Вт). Варианты для однопроцессорных систем располагают 128 линиями PCIe 5.0, а 2S-системы предлагают до 160 линий. Поддерживается CXL 1.1, включая устройства CXL.mem. Сокет CPU всё тот же — 6096-контактный SP5.

Кое-чем новые EPYC Embedded отличаются от своих обычных собратьев. В частности, отдельно отмечается поддержка Non-Transparent Bridge (NTB), что важно для формирования двухконтроллерных платформ, а также наличие технологии Scalable Control Fabric, которая позволяет более тонко конфигурировать межсоединения между чиплетами. Кроме того, например, сообщается о наличии второго канала SPI, что позволяет обеспечить дополнительную защиту и верификацию образов BIOS/UEFI.

В числе главных партнёров AMD по внедрению новой платформы EPYC Embedded числятся компании Advantech и Siemens, уже анонсировавшие решения на базе новых процессоров. В качестве примера можно привести новый сервер Siemens SIMATIC IPC RS-828A или системную плату Advantech ASMB-831. Процессоры AMD EPYC Embedded 9004 уже доступны в небольших пробных партиях, но и начало массовых поставок не за горами, оно намечено уже на апрель текущего года.

В настоящее время «пробный комплект разработчика», в который входит референс-плата с процессором, полный комплект документации и программный инструментарий, доступен избранным партнёрам AMD. Также стоит отметить, что у новой платформы расширенный жизненный цикл, составляющий 7 лет, и без поддержки в ближайшее десятилетие оборудование на базе EPYC Embedded 9004 не останется.

Компания Pure Storage делает всё для популяризации СХД класса All-Flash, в том числе продвигает такие решения в сегменты, где традиционно господствовала «механика». Вместе с новой системой FlashBlade//E производитель анонсировал ускоритель DirectCompress Accelerator для сжатия данных на лету, способный в некоторых случаях улучшить эффективность компрессии почти на треть, а также разгрузить центральный процессор хранилища.

Источник изображений здесь и далее: Pure Storage

Pure Storage использует в своих флеш-массивах как сжатие на лету (inline), так и отложенное (post-process). В последнем случае речь идёт о дополнительной компрессии уже после записи данных и при высвобождении процессорных мощностей. Однако иногда этот процесс конфликтует со сбором мусора, что снижает степень компрессии. Ускоритель DirectCompress Accelerator (DCA) призван избежать таких ситуаций. Плата расширения (PCIe x8) на базе FPGA полностью избавляет CPU флеш-массива от сжатия данных в режиме inline.

Схемы сжатия в массивах Pure Storage: без ускорителя (сверху) и с платой DCA

Более того, разработчики сообщают, что применение DCA в некоторых случаях способно улучшить эффективность сжатия на 30 %, то есть выгадать серьёзный объём дополнительного пространства, а значит, уменьшить удельную стоимость хранения данных на флеш-массиве. В настоящее время ускоритель предлагается для массивов FlashArray//XL, включая приобретённые по подписке Evergreen. В дальнейшем Pure Storage планирует добавить поддержку DCA в другие серии массивов FlashArray.

Министерство торговли США объявило на прошлой неделе о внесении в чёрный список 37 компаний, включая 28 китайских. В их числе Inspur Group, специализирующаяся на ИИ, облаках и Big Data, серверах и СХД и являющаяся третьим по величине игроком на мировом серверном рынке с долей около 10 %. Как пишет агентство Bloomberg, это неожиданное решение может оказать непредвиденное влияние на американские технологические компании, такие как Cisco, IBM и Intel, которые многие годы работают с Inspur Group с целью расширения присутствия на одном из крупнейших рынков мира.

В связи с лидирующими позициями Inspur на внутреннем рынке многие иностранные компании стремятся сотрудничать с ней, чтобы получить к нему доступ. Несколько лет назад Inspur создала совместные предприятия с Cisco (Гонконг, 2016 год) и IBM (Китай, 2018 год), что является обычной практикой, позволяющей упростить одобрение регулирующих органов на поставку продукции в Китай, а также прохождение проверок безопасности. Сама Inspur благодаря партнёрству с американскими компаниями получила доступ к работе на международных рынках. В обеих компаниях Inspur владеет 51 % уставного капитала.

Изображение: Inspur

После внесения в чёрный список Inspur не сможет закупать передовые чипы без получения соответствующей экспортной лицензии. И теперь поставщики компании должны будут получать такие лицензии практически на все компоненты и ПО, которые они продают Inspur, включая модули памяти, устройства хранения (HDD, SSD), сетевые контроллеры, контроллеры NVMe/SAS/RAID, ПО и, возможно, даже блоки питания. Среди поставщиков китайской компании есть Intel, NVIDIA, Broadcom, Microsemi, Samsung, Solidigm и SK Hynix. Сейчас Inspur занимается оценкой ситуации. Под санкции США компания попадает уже не в первый раз.

Производитель систем хранения данных, компания Pure Storage, объявила о планах выпустить твердотельный накопитель ёмкостью 300 Тбайт к 2026 году. Стоит напомнить, что Pure сама производит для своих СХД твердотельные накопители проприетарного формата DFM (Direct Flash Module), так что речь идёт именно о таком модуле, а не о классическом SSD.

Источник изображений здесь и далее: Blocks & Files

Классические флеш-массивы Pure FlashBlade//S и //E несут на борту 24 или 48 накопителей DFM, в настоящее время компания производит эти модули объёмом 24 или 48 Тбайт. Хотя это уже больше, нежели могут предложить классические HDD, но, как считает Pure Storage, далеко не предел. Технический директор Pure, Алекс МакМуллан (Alex McMullan), опубликовал планы компании по развитию DFM, простирающиеся вплоть до 2026 года и до отметки 300 Тбайт/модуль.

Стоимость владения флеш-массивами Pure (оранжевые столбцы) неуклонно снижается

Даже со всеми технологиями уплотнения записи, включая HAMR и MAS-MAMR, Toshiba говорит лишь о 40 Тбайт к 2026 году для механических жёстких дисков. Seagate хочет достичь 50 Тбайт к 2025 году и 100 — к 2030-му. Тенденции таковы, что стоимость владения All-Flash СХД постоянно снижается, а появление SSD объёмом до 300 Тбайт включительно лишь ускорит этот процесс. Реальностью модули такого объёма делают планы производителей флеш-памяти довести число слоёв в своих продуктах с нынешних 112–160 до 400–500 в течение ближайших пяти лет. Pure также рассматривает возможность применения PLC NAND.

На выставке-конференции MWC 2023 компания Huawei демонстрирует не только телекоммуникационные новинки, но и новые решения в области хранения данных. Именно в Барселоне Huawei представила свои новые СХД — OceanStor Dorado 2000 и OceanProtect X3000, предназначенные для малых и средних предприятий.

Как и старшие собратья, OceanStor Dorado 2000 являет собой хранилище класса all-flash, но сама система несколько проще в сравнении с Dorado 3000 и поддерживает только Fibre Channel (FC32) и iSCSI (25GbE). Объём системного кеша может варьироваться от 128 до 512 Гбайт, но SCM нет. Типичная конфигурация начального уровня содержит до 25 накопителей (SAS-3) общим объёмом 10–50 Тбайт. Максимальное количество контроллеров в системе сокращено с 16 до 8.

При этом система может обслуживать до 400 SSD и поддерживает не только RAID 5/6, но и фирменный RAID-TP, выдерживающий одновременный выход из строя трёх накопителей. Также поддерживаются фирменные алгоритмы сжатия и дедупликации данных. OceanStor Dorado 2000 гарантирует доступность данных на уровне 99,9999 %.

К решениям начального уровня относится и система защиты данных OceanProtect X3000, также построенная на архитектуре Active-Active (по характеристикам аналогична Dorado 200) и позволяющая восстанавливать потерянные в результате сбоя данные в крайне сжатые сроки. Как и все системы OceanProtect она предлагает современную продвинутую защиту от кибер-вымогателей.