NVIDIA объявила о расширении программы сертифицирования систем, которая теперь включает две новых платформы: Spectrum-X и IGX. Как сообщается, каждая сертифицированная компанией система проходит тщательное тестирование и проверяется на предмет обеспечения должного уровня производительности, управляемости, безопасности и масштабируемости корпоративного уровня. Наличие сертификации свидетельствует о поддержке NVIDIA AI Enterprise, в том числе микросервисов MVIDIA NIM.

Серверы, получившие сертификат NVIDIA Spectrum-X Ready, смогут выступать в качестве строительных блоков для HPC- и ИИ-кластеров и должны поддерживать современные ускорители NVIDIA. От сертифицированных периферийных систем на базе платформы NVIDIA IGX требуется долгосрочная поддержка, защищённость и проактивная безопасность, возможность удалённого управления и высокая производительность с низкой задержкой отклика.

Источник изображения: NVIDIA

NVIDIA сообщила, что её ведущие партнёры готовы получить новые сертификаты. Такие компании, как ASUS, Dell, GIGABYTE, HPE, Ingrasys, Lenovo, QCT и Supermicro вскоре предложат сертифицированные NVIDIA системы Spectrum-X Ready. А сертифицированные NVIDIA системы IGX скоро будут доступны у ADLINK, Advantech, Aetina, Ahead, Cosmo Intelligent Medical Devices (подразделение Cosmo Pharmaceuticals), Dedicated Computing, Leadtek, Onyx и YUAN.

NVIDIA сообщила о широкой отраслевой поддержке своей архитектуры нового поколения Blackwell. Эти ускорители, а также чипы Grace легли в основу многочисленных систем для ИИ-фабрик и дата-центров, которые, как ожидается, будут способствовать «следующей промышленной революции».

Источник изображений: NVIDIA

Генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) объявил о том, что серверы на базе Blackwell выпустят ASRock Rack, ASUS, Gigabyte, Ingrasys, Inventec, Pegatron, QCT, Supermicro, Wistron и Wiwynn. Речь идёт об устройствах разного уровня, рассчитанных на облачные платформы, периферийные вычисления и ЦОД клиентов. «Началась очередная промышленная революция. Компании и целые страны сотрудничают с NVIDIA, чтобы трансформировать традиционные дата-центры общей стоимостью в триллионы долларов в платформы нового типа — фабрики ИИ», — говорит Хуанг.

NVIDIA HGX B200

NVIDIA HGX B100

Для решения ИИ-задач и поддержания других ресурсоёмких приложений будут выпущены серверы с CPU на архитектурах х86 и Arm (изделия Grace) с воздушным и жидкостным охлаждением. Заказчикам будут доступны модели с одним и несколькими ускорителями. В частности, сама NVIDIA предлагает DGX-системы Blackwell, а для сторонних производителей доступны готовые платформы HGX B100 и HGX B200.

Кроме того, компания представила ускоритель GB200 NVL2, т.е. сборку из двух GB200, объединённых NVLink 5. NVIDIA также сообщила о том, что модульная архитектура NVIDIA MGX отныне поддерживает Blackwell, включая и GB200 NVL2. В целом, NVIDIA MGX предлагает свыше 100 различных конфигураций. На сегодняшний день на базе MGX выпущены или находятся в разработке более 90 серверов от более чем 25 партнёров NVIDIA по сравнению с 14 системами от шести партнёров в 2023 году. В составе MGX, в частности, впервые будут использоваться изделия AMD EPYC Turin и чипы Intel Xeon 6 (ранее — Granite Rapids).

Отмечается, что глобальная партнёрская экосистема NVIDIA включает TSMC, а также поставщиков различных компонентов, включая серверные стойки, системы электропитания, решения для охлаждения и пр. В число поставщиков такой продукции входят Amphenol, Asia Vital Components (AVC), Cooler Master, Colder Products Company (CPC), Danfoss, Delta Electronics и Liteon. Серверы нового поколения готовят Dell Technologies, Hewlett Packard Enterprise (HPE) и Lenovo.

В скором времени NVIDIA представит улучшенные ускорители Blackwell Ultra, которые получат более современную HBM3e-память. А уже в следующем году компания покажет решения на архитектуре следующего поколения: ускорители Rubin, процессоры Vera, NVLink 6 с удвоенной пропускной способностью (3,6 Тбайт/с), коммутаторы X1600 и DPU SuperNIC CX9 для сетей 1,6 Тбит/с.

Летом прошлого года AMD, Arista, Broadcom, Cisco, Eviden/Atos, HPE, Intel, Meta✴ и Microsoft сформировали консорциум Ultra Ethernet (UEC), призванный составить конкуренцию технологии InfiniBand, которая фактически единолично контролируется NVIDIA после покупки Mellanox, и стандартизировать Ethernet-решения для современных ИИ- и HPC-платформ. А теперь AMD, Broadcom, Cisco, Google, HPE, Intel, Meta✴ и Microsoft сформировали альянс Ultra Accelerator Link (UALink), который должен составить конкуренцию NVLink.

К UEC за год присоединились ещё полсотни компаний, кроме, конечно, NVIDIA, которая, впрочем, про Ethernet тоже не забывает, хотя периодически получает критику со стороны Broadcom. Единственной альтернативой в деле построения фабрик для более-менее крупных кластеров остаётся Omni-Path Express, развиваемый Cornelis Networks, которая тоже присоединилась к UEC, но доля этой технологии на фоне Ethernet и InfiniBand мизерная. Кроме того, ни одна из этих технологий не может предложить то, что может NVIDIA NVLink — возможность напрямую объединить сотни ускорителей (точнее, их память) сверхбыстрым соединением с низким уровнем задержки.

Источник изображений: UALink via ServeTheHome

NVLink 4 достиг скорости 900 Гбайт/с на ускоритель и впервые вышел за пределы узла, позволив объединить в домен до 256 ускорителей, что NVIDIA и предложила в рамках DGX SuperPod H100. NVLink 5 удвоил пропускную способность до 1,8 Тбайт/с и теоретически позволит объединить до 576 ускорителей в одном домене. Именно NVLink позволил создать высокоплотные суперускорители GH200 NVL32 и GB200 NVL72. И именно их NVIDIA считает минимальной эффективной единицей кластеров ближайшего будущего, предлагая крупным заказчикам на меньшее даже не размениваться.

Intel в семействе Gaudi использует Ethernet (1,2 Тбайт/с на ускоритель) как для вертикального, так и для горизонтального масштабирования. AMD же полагается на Infinity Fabric (896 Гбайт/с на ускоритель) на базе PCIe и xGMI, которые до недавнего времени за пределы узла не выходили. Однако в конце 2023 года было объявлено, что в 2025 году AMD и Broadcom выпустят коммутатор на базе PCIe 7.0 (стандарт планируют только-только утвердить в этом же году), который будет поддерживать технологию, которая теперь называется AFL (Accelerated Fabric Link) — это и будет выходом Infinity Fabric за пределы узла.

И именно совместными наработками AMD и Broadcom поделятся в рамках UALink. Первую версию нового интерконнекта альянс обещает представить уже в III квартале 2024 года, а в IV квартале — версию 1.1. При этом пока прямо не говорится, будет ли основным транспортом PCIe или Ethernet, и какой протокол будет использоваться для работы с памятью. Но уже обещано, что UALink 1.0 позволит объединить до 1024 ускорителей в одном домене с возможностью прямых load/store-запросов к их памяти. Для дальнейшего масштабирования кластеров по-прежнему предлагается использовать Ultra Ethernet.

При этом UALink, строго говоря, не обещает возможности беспрепятственного общения ускорителей разных вендоров, зато позволяет упростить инфраструктуру и сделать её дешевле благодаря открытости и конкуренции. Хотя было бы приятно увидеть UALink в качестве аппаратной основы и для стандарта UXL, который намерен побороться с NVIDIA CUDA. Что касается CXL, то этот стандарт, тоже использующий PCIe в качестве транспорта, вероятно, останется «привязанным» к CPU и внутриузловым коммуникациям, хотя возможности его гораздо шире.

Компания Jetway анонсировала одноплатный компьютер JNUC-ADN1, предназначенный для создания систем промышленной автоматизации, периферийных устройств, оборудования Интернета вещей и пр. Новинка выполнена в форм-факторе NUC с размерами 4" × 4" (101 × 101 мм). В основу положена аппаратная платформа Intel Alder Lake-N.

Применён чип Intel Processor N97 (четыре ядра; до 3,6 ГГц; 12 Вт), работающий в тандеме с оперативной памятью DDR5-4800 объёмом до 16 Гбайт (один слот SO-DIMM). Есть возможность подключения накопителя с интерфейсом SATA-3 и SSD стандарта M.2 2260/2280 (SATA / PCIe 3.0 x2). Опционально может быть добавлен модуль eMMC 5.1 вместимостью 64 Гбайт.

Источник изображения: Jetway

Плата оборудована двумя сетевыми портами 2.5GbE RJ-45 на базе контроллера Intel i225-V и звуковым кодеком Realtek ALC897. Дополнительно может быть установлен адаптер Wi-Fi в виде карты M.2 E-key 2230 (USB 2.0 / PCIe 3.0 x1). Предусмотрены по два порта USB 3.2 Gen2 и USB 3.2 Gen2 Type-C, разъём USB 2.0, последовательный порт RS232/422/485.

Допускается одновременный вывод изображения на три дисплея через интерфейсы HDMI 2.0b (до 4096 × 2160 точек; 60 Гц), DP1.4 (до 4096 × 2304 пикселя; 60 Гц) и USB Type-C DP1.4 (до 4K × 2K; 60 Гц). Питание (12–19 В) подаётся через коннектор DC-in. Диапазон рабочих температур простирается от -20 до +60 °C. В перечень опций входит модуль TPM 2.0. Заявлена совместимость с Windows 10/11 и Linux.

Компания Liqid сотрудничает с Dell довольно давно — ещё в прошлом году она смогла добиться размещения 16 ускорителей в своей платформе UltraStack L40S. Но на этом компания не остановилась и представила новую композитную платформу UltraStack 30, в которой смогла довести число одновременно доступных хост-системе ускорителей до 30.

Для подключения, конфигурации и управления ресурсами ускорителей Liqid использует комбинацию фирменного программного обеспечения Matrix CDI и интерконнекта Liqid Fabric. В основе последнего лежит PCI Express. Это позволяет динамически конфигурировать аппаратную инфраструктуру с учётом конкретных задач с её возвратом в общий пул ресурсов по завершению работы.

Сами «капсулы» с ресурсами подключены к единственному хост-серверу, что упрощает задачу масштабирования, минимизирует потери производительности, повышает энергоэффективность и позволяет добиться наиболее плотной упаковки вычислительных ресурсов, нежели это возможно в классическом варианте с раздельными серверами. А благодаря гибкости конфигурирования буквально «на лету» исключается простой весьма дорогостоящих аппаратных ресурсов.

Источник здесь и далее: Liqid

В случае UltraStack 30 основой по умолчанию является сервер серии Dell PowerEdge R760 с двумя Xeon Gold 6430 и 1 Тбайт оперативной памяти, однако доступен также вариант на базе Dell R7625, оснащённый процессорами AMD EPYC 9354. Опционально можно укомплектовать систему NVMe-хранилищем объёмом 30 Тбайт, в качестве сетевых опций доступны либо пара адаптеров NVIDIA ConnectX-7, либо один DPU NVIDIA Bluefield-3.

За общение с ускорительными модулями отвечает 48-портовой коммутатор PCI Express 4.0 вкупе с фирменными хост-адаптерами Liqid. Технология ioDirect позволяет ускорителям общаться друг с другом и хранилищем данных напрямую, без посредничества CPU. В трёх модулях расширения установлено по 10 ускорителей NVIDIA L40S, каждый несет на борту 48 Гбайт памяти GDDR6. Такая конфигурация теоретически способна развить 7,3 Пфлопс на вычислениях FP16, вдвое больше на FP8, и почти 1,1 Пфлопс на тензорных ядрах в формате TF32.

Платформа UltraStack 30 предназначена в первую очередь для быстрого развёртывания достаточно мощной ИИ-инфраструктуры там, где требуется тонкая подстройка и дообучение уже «натасканных» больших моделей. При этом стоит учитывать довольно солидное энергопотребление, составляющее более 11 кВт.

Также в арсенале компании есть решения SmartStack на базе модульных систем Dell PowerEdge C-Series, позволяющие подключать к каждому из лезвийных модулей MX760c, MX750с и MX740c до 20 ускорителей. Модульные решения Liqid поддерживают также ускорители других производителей, включая достаточно экзотические, такие как Groq.

Infinidat анонсировала СХД семейства InfiniBox G4 на основе InfuzeOS — фирменной программно-определяемой архитектуры хранения со встроенными средствами защиты и обеспечения безопасности. В серию вошли различные модели, включая версию InfiniBox SSA G4 F1400T класса All-Flash: это решение формата 14U имеет «сырую» ёмкость от 155 Тбайт (387 Тбайт эффективной вместимости).

Устройства выполнены на платформе AMD EPYC Genoa. Применён процессор EPYC 9554P (64C/128T, 3,1/3,75 ГГц). Задействованы три контроллера, которые работают в режиме «активный — активный — активный». Упомянута поддержка протоколов SMB/NFS, NVMe-oF/TCP, iSCSI, FC. Возможна интеграция с VMware, Kubernetes, Microsoft, OpenStack, CommVault, Rubrik, Veeam, Veritas и пр.

Источник изображения: Infinidat

В семейство InfiniBox G4 вошли модели F6400, F4400 и F2400. Первые две поддерживают до 3,456 Тбайт памяти, третья — до 1,15 Тбайт. Ёмкость системы кеширования во всех случаях — до 368 Тбайт. Ёмкость SSA Express — до 320 Тбайт. Заявленный показатель IOPS достигает 2,24 млн. Пропускная способность — до 51 Гбайт/с.

Версия F6400 имеет вместимость от 1,38 до 6,92 Пбайт, тогда как эффективная ёмкость варьируется от 3,45 до 17,29 Пбайт. В случае F4400 эти значения равны соответственно от 683 Тбайт до 3,42 Пбайт и от 1,7 до 7,9 Пбайт. У F2400 показатели составляют 333–499 Тбайт и от 832 Тбайт до 1,24 Пбайт.

Системы выполнены в формате 42. Доступны 24 порта FC16/32 и 18 портов 10/25GbE. Говорится о соответствии стандарту FIPS 140-2. Диапазон рабочих температур — от +10 до +30 °C.

Компания Simply NUC анонсировала устройства семейства extremeEDGE Server, предназначенные для выполнения различных задач на периферии. Фактически это мини-серверы, которые в зависимости от модификации несут на борту процессор AMD или Intel и поддерживают различные средства проводного и беспроводного подключения к сети.

Особенностью устройств является технология NANO-BMC. Модуль BMC, или Baseboard Management Controller, контролирует работу платформы и выполняет ряд важных функций, таких как управление питанием, мониторинг датчиков, возможность удалённого обновления прошивки, регистрация событий и пр. В случае extremeEDGE Server технология NANO-BMC помогает организовать вычисления на периферии.

Новое семейство включает три серии: extremeEDGE 1000 для IoT-шлюзов и военных приложений, extremeEDGE 2000 для приложений ИИ и промышленной автоматизации, а также extremeEDGE 3000 для критически важных развёртываний в суровых условиях.

Источник изображения: Simply NUC

Решения extremeEDGE 1000 комплектуются чипом Intel Celeron N5105 или Intel Processor N100; максимальный объём оперативной памяти составляет 32 Гбайт. Вместимость накопителя в зависимости от версии — 2 или 8 Тбайт. Присутствуют два порта 2.5GbE и дополнительный порт 1GbE BMC. Для некоторых вариантов в качестве опций доступны контроллер Wi-Fi и модем 4G. Имеются интерфейсы HDMI, USB 3.2 Type-A и USB Type-C 2.0.

Устройства extremeEDGE 2000, в свою очередь, несут на борту процессор AMD V3C18I, Ryzen 7 7840U или Ryzen 7 Pro 8840U. Максимальный объём оперативной памяти — 96 Гбайт. Есть возможность установки двух SSD формата М.2 2280; ёмкость подсистемы хранения данных — до 16 Тбайт. Присутствуют два порта 2.5GbE и порт 1GbE BMC. Старшие модификации также наделены двумя разъёмами 10GbE SFP+. В качестве опций предлагаются поддержка PoE+ и установка дополнительного ИИ-ускорителя.

Решения серии extremeEDGE 3000 предлагают такой же выбор процессоров, что и extremeEDGE 2000. Объём ОЗУ достигает 96 Гбайт. Подсистема хранения данных может объединять три SSD формата М.2 2280 и один модуль М.2 2242: суммарная вместимость — до 26 Тбайт. Упомянуты контроллеры Wi-Fi 6E и Bluetooth 5.3, модем 4G/5G (Dual SIM), четыре порта 2.5GbE и порт 1GbE BMC. У старших моделей есть два разъёма 10GbE SFP+. Диапазон рабочих температур простирается от -40 до +85 °C.

Как сообщает Reuters со ссылкой на The Information, Илон Маск планирует построить гигантский суперкомпьютер для своего ИИ-стартапа xAI для работы над следующей версией чат-бота Grok. Запуск предполагаемого суперкомпьютера ожидается к осени 2025 года, при этом, по словам Маска, xAI может сотрудничать с Oracle.

Для обучения Grok 2 использовалось около 20 тыс. ускорителей NVIDIA H100, а для Grok 3 и более поздних версий потребуется уже 100 тыс. NVIDIA H100. После завершения строительства суперкомпьютер будет как минимум в четыре раза больше самых больших существующих на сегодняшний день GPU-кластеров, утверждается в презентации, сделанной для инвесторов в мае. Семейство ускорителей NVIDIA доминирует на рынке ИИ-чипов для ЦОД, но из-за высокого спроса их может быть трудно приобрести.

Источник изображения: NVIDIA

Маск основал xAI в прошлом году в качестве конкурента OpenAI и Google. Маск также был соучредителем OpenAI и членом совета директоров до 2018 года. В феврале этого года он подал иск к OpenAI и соучредителям Альтману и Брокману, посчитав, что они нарушили соглашение о некоммерческом характере деятельности.

Бывший генеральный директор Google Эрик Шмидт (Eric Schmidt) прогнозирует, что в обозримом будущем в США и Китае большие суперкомпьютеры будут заниматься ИИ-вычислениями под защитой военных баз. В интервью Noema он подробно рассказал о том, каким видит новые ИИ-проекты, и это будущее вышло довольно мрачным.

Шмидт поведал о том, как правительства будут регулировать ИИ и искать возможности контроля ЦОД, работающих над ИИ. Покинув Google, бизнесмен начал очень тесно сотрудничать с военно-промышленным комплексом США. По его словам, рано или поздно в США и Китае появится небольшое число чрезвычайно производительных суперкомпьютеров с возможностью «автономных изобретений» — их производительность будет гораздо выше, чем государства готовы свободно предоставить как своим гражданам, так и соперникам.

Каждый такой суперкомпьютер будет соседствовать с военной базой, питаться от атомного источника энергии, а вокруг будет колючая проволока и пулемёты. Разумеется, таких машин будет немного — гораздо больше суперкомпьютеров будут менее производительны и доступ к ним останется более широким. Строго говоря, самые производительные суперкомпьютеры США принадлежат Национальным лабораториям Министерства энергетики США, которые усиленно охраняются и сейчас.

Источник изображения: Joel Rivera-Camacho/unsplash.com

Как заявил Шмидт, необходимы и договорённости об уровнях безопасности вычислительных систем по примеру биологических лабораторий. В биологии широко распространена оценка по уровням биологической угрозы для сдерживания её распространения и оценки уровня риска заражения. С суперкомпьютерами имеет смысл применить похожую классификацию.

Шмидт был председателем Комиссии национальной безопасности США по ИИ и работал в Совете по оборонным инновациям. Также он активно инвестировал в оборонные стартапы. В то же время Шмидт сохранил влияние и в Alphabet и до сих пор владеет акциями компании стоимостью в миллиарды долларов.

Военные и разведывательные службы США пока с осторожностью относятся к большим языковым моделям (LLM) и генеративному ИИ вообще из-за распространённости «галлюцинаций» в таких системах, ведущих к весьма правдоподобным на первый взгляд неверным выводам. Кроме того, остро стоит вопрос сохранения секретной информации в таких системах.

Ранее в этом году Microsoft подтвердила внедрение изолированной от интернета генеративной ИИ-модели для спецслужб США после модернизации одного из своих ИИ-ЦОД в Айове. При этом представитель Microsoft два года назад предрекал, что нынешнее поколение экзафлопсных суперкомпьютеров будет последним и со временем все переберутся в облака.

Microsoft на фоне стремительного развития ИИ активно расширяет свой вычислительный потенциал: каждый месяц корпорация развёртывает эквивалент пяти суперкомпьютеров Eagle. Об этом, как сообщает ресурс Datacenter Dynamics, заявил технический директор облачной платформы Azure Марк Руссинович (Mark Russinovich).

Комплекс Microsoft Azure Eagle в нынешнем рейтинге TOP500 занимает третье место с FP64-производительностью 561,2 Пфлопс — это самый мощный в мире облачный суперкомпьютер. В системе задействованы 14 400 ускорителей NVIDIA H100, а также интерконнект NVIDIA InfiniBand NDR. «Сегодня мы развёртываем эквивалент пяти таких суперкомпьютеров каждый месяц. Наша экосистема ИИ теперь на несколько порядков больше и меняется каждый день и каждый час», — сказал Руссинович на конференции Microsoft Build.

Таким образом, ежемесячно Microsoft вводит в эксплуатацию вычислительные мощности, сопоставимые с теми, которые могут обеспечить 72 000 ускорителей Н100. В общей сложности это 2,8 Эфлопс ресурсов, которые распределены по расширяющейся сети дата-центров корпорации. Руссинович отметил, что общая протяжённость соединений InfiniBand в этих ЦОД такова, что ими можно было бы как минимум пять раз опоясать Землю. То есть, это не менее 200 тыс. км.

Источник изображения: Microsoft

О стремительном расширении вычислительных мощностей также говорит технический директор Microsoft Кевин Скотт (Kevin Scott). Он не стал приводить конкретные цифры, но дал наглядное представление. Так, ИИ-суперкомпьютер, который корпорация в 2020 году создала для OpenAI GPT-3, Скотт сравнил с акулой. Система следующего поколения, разработанная в 2022-м для обучения GPT-4, — это косатка, которая в два раза длиннее и в три раза тяжелее больших белых акул. Нынешняя система Microsoft сравнивается с синим китом: он более чем в два раза длиннее и примерно в 25 раз тяжелее косатки.

В настоящее время Microsoft и OpenAI обсуждают проект строительства масштабного кампуса ЦОД для решения самых сложных и ресурсоёмких задач в области ИИ. Проект под названием Stargate стоимостью около $100 млрд предполагает создание ряда объектов, суммарная мощность которых может достигать 5 ГВт. Компания действительно стремительно наращивает ёмкость своих ЦОД, добавляя порядка 200 МВт ежемесячно.