В августе 2023 года Microsoft развернула в своём облаке Azure инстансы ND H100 v5 на базе NVIDIA H100 для HPC-вычислений и нагрузок ИИ. А теперь запущены машины ND H200 v5 с ускорителями NVIDIA H200, оптимизированные для инференса и обучения больших языковых моделей (LLM).

Новые инстансы объединяют восемь ускорителей NVIDIA H200, каждый из которых содержит 141 Гбайт памяти HBM3e с пропускной способностью 4,8 Тбайт/с. По сравнению с NVIDIA H100 объём памяти увеличился на 76 %, пропускная способность — на 43 %.

Для ND H200 v5 предусмотрена возможность масштабирования до тысяч ускорителей при помощи интерконнекта на базе NVIDIA Quantum-2 CX7 InfiniBand с пропускной способностью до 400 Гбит/с в расчёте на ускоритель (до 3,2 Тбит/с на виртуальную машину). В составе инстансов задействованы чипы Intel Xeon поколения Sapphire Rapids: каждая виртуальная машина насчитывает 96 vCPU. Объём памяти составляет 1850 Гбайт, вместимость локального хранилища — 28 000 Гбайт. Обеспечивается доступ к 16 облачным накопителям. Кроме того, используются восемь сетевых адаптеров (суммарно до 80 Гбит/c).

Источник изображения: Microsoft

Виртуальные машины ND H200 v5 имеют предварительную интеграцию с Azure Batch, Azure Kubernetes Service, Azure OpenAI Service и Azure Machine Learning. Говорится, что инстансы обеспечивают высокую производительность при решении различных задач, связанных с ИИ, машинным обучением и аналитикой данных.

Компания VAST Data, специализирующаяся на разработке инфраструктуры для ИИ, объявила о создании Cosmos — онлайн-сообщества, предназначенного для объединения ИИ-специалистов из разных отраслей. Учитывая стремительный темп изменений на рынке ИИ, оставаться в курсе последних достижений может быть непростой задачей, отметила VAST Data, добавив, что компании спешат внедрить ИИ, чтобы трансформировать свою деятельность. При этом ИИ-специалисты сталкиваются со сложными проблемами, требующими постоянного обучения и адаптации.

VAST Data сообщила, что сообщество Cosmos предоставит специалистам по ИИ возможность общаться, делиться передовым опытом и имеющимися знаниями. Благодаря обсуждениям в реальном времени, практическим занятиям и библиотеке ресурсов Cosmos поможет компаниями добиться успеха в их проектах по развитию ИИ, независимо от их сложности.

В качестве платформы для общения выбран Discord. Для обучения предлагаются практические лаборатории Cosmos Lab, где будет возможность ознакомиться с реальными примерами работы над ИИ под руководством экспертов, которые понимают аспекты развёртывания таких решений. Лаборатории призваны помочь специалистам углубить свои навыки в интерактивной среде. Центральным узлом сообщества станет форум Discourse. Это будет место для объёмного контента, включая подробные статьи, обмен знаниями, календари событий и презентации поставщиков. «Именно здесь Cosmos превращается в нечто большее, чем просто чат — это библиотека знаний, созданная сообществом для сообщества», — отметила VAST Data.

Источник изображения: VAST Data

VAST Data также уточнила, что Cosmos предназначено не только для тех, кто уже является экспертом: «Независимо от того, возглавляете ли вы команду ИИ, являетесь ли вы студентом, интересующимся тем, как ИИ повлияет на вашу будущую карьеру, или только начинаете развёртывать свою первую модель, Cosmos предлагает пространство, где вы можете учиться, сотрудничать и расти».

Соучредитель VAST Data Джефф Денворт (Jeff Denworth) сообщил ресурсу The Register, что одной из моделей функционирования нового сообщества является организация Open Compute Project, занимающаяся разработкой оборудования и лучших практик с помощью совместных усилий организаций-членов, выкладывающих свои решения в open source. Ещё один ориентир для Cosmos — Конференция RSA (RSA Conference), на которой обсуждаются технологии современной защиты информационных систем, проблемы безопасности, тенденции развития сетевых угроз и вредоносных программ и т.д.

Денворт также сообщил, что был разработан кодекс поведения участника и начался набор экспертов для руководства контентными треками. На должность менеджера сообщества назначен Джонас Росланд (Jonas Rosland), занимавший должности менеджера сообщества в VMware, CIQ и Dell EMC. К сообществу уже присоединились NVIDIA, xAI, Supermicro, Deloitte, WWT, Cisco, CoreWeave, Core42, NEA, Impetus, Run:AI и Dremio.

Источник изображения: VAST Data

Параллельно VAST Data объявила о новом сотрудничестве с NVIDIA, Cisco и Equinix, пишет ресурс Blocks and Files. На прошедшей неделе VAST Data представила решение VAST InsightEngine with NVIDIA для безопасного получения, обработки и извлечения всех корпоративных данных (файлов, объектов, таблиц и потоков) в режиме реального времени. В нём VAST Data интегрировала своё ИИ-хранилище и обработку данных с ускорителями NVIDIA и микросервисами NIM. Теперь ускорители могут напрямую работать с данными в массивах VAST, а микросервисы NIM работают непосредственно внутри программной среды VAST.

В свою очередь, Cisco в рамках сотрудничества с VAST Data планирует предлагать ПО VAST Data Platform на некоторых серверах UCS в качестве готовой интегрированной системы. Серверы Cisco UCS с ПО VAST Data и Cisco Nexus HyperFabric AI будут доступны в I половине 2025 года. А Equinix, которая уже предлагает оборудование Dell, NetApp, PureStorage и Seagate (Lyve Cloud) в 26 объектах IBX, планирует добавить платформу VAST для систем NVIDIA DGX, включая SuperPOD, а также платформу NVIDIA AI Enterprise. Сотрудничество с NVIDIA, Cisco и Equinix позволит VAST Data расширить возможности поставок своего продукта на рынки различных стран.

Глобальная консалтинговая компания Accenture и NVIDIA объявили о расширении партнёрства, в рамках которого Accenture создала новую бизнес-группу Accenture NVIDIA Business Group с целью помочь предприятиям быстро внедрить и масштабировать ИИ-решения. Также будет проведено обучение 30 тыс. сотрудников Accenture по всему миру полному набору ИИ-технологий NVIDIA. Это одна из крупнейших сделок на рынке.

Новая структура Accenture сосредоточится на стимулировании корпоративного внедрения так называемых «агентных систем ИИ», используя преимущества ключевых программных платформ NVIDIA. Как сообщает ресурс CRN, директор по ИИ Accenture Лань Гуань (Lan Guan) заявил на встрече с журналистами, что агентные системы включают в себя «армию ИИ-агентов», которые работают вместе с людьми, чтобы «принимать решения и точно выполнять задачи даже в самых сложных рабочих процессах».

Согласно пресс-релизу, агентные системы — это прорыв в области генеративного ИИ. Они могут автономно действовать в соответствии с намерениями пользователя, создавать новые рабочие процессы и предпринимать действия с учётом окружения, что может целиком реорганизовать бизнес-процессы или отдельные функции. По словам Гуаня, в отличие от чат-ботов, таких как ChatGPT, ИИ-агенты не требуют запросов и подсказок от людей и не предназначены для автоматизации уже существующих бизнес-шагов.

Источник изображения: Accenture

В своей работе Accenture NVIDIA Business Group будет полагаться на собственную платформу AI Refinery, которая использует полный стек NVIDIA AI, включая NVIDIA AI Foundry, AI Enterprise и Omniverse для продвижения таких направлений, как реорганизация процессов, моделирование на основе ИИ и суверенный ИИ. AI Foundry помогает в разработке кастомных ИИ-моделей, предоставляя доступ к базовым моделям, фреймворкам и инструментам. AI Enterprise предлагает микросервисы и инструменты для разработки, оптимизации и развёртывания приложений ИИ. Наконец, Omniverse ориентирована на создание цифровых двойников производственных процессов и т.п.

Accenture также заявила, что открывает сеть инженерных ИИ-центров в Сингапуре, Токио, Малаге и Лондоне, которые помогут ей во внедрении агентных систем ИИ. Эти центры станут частью Центра передового ИИ Accenture (Center for Advanced AI) в дополнение существующим филиалам в Маунтин-Вью и Бангалоре, и будут сосредоточены на подборе и тюнинге базовых моделей с последующим крупномасштабном инференсом. Кроме того, Accenture предложит NVIDIA NIM Agent Blueprints, шаблоны ИИ-приложений NIM Agent Blueprints для типовых бизнес-задач.

Источник изображения: Simon Kadula / Unsplash

В частности, Accenture подготовит Blueprint для моделирования производств с использованием парка роботов, который объединяет NVIDIA Omniverse, Isaac и Metropolis. Accenture планирует использовать эти новые возможности в Eclipse Automation, принадлежащей её компании по автоматизации производств. Это позволит вполовину ускорить подготовку проектов и почти на треть сократить время развёртывания.

Следует отметить, что на прошлой неделе Accenture сообщила о том, что в 2024 финансовом году, закончившемся 31 августа, у неё было на $3 млрд новых заказов на генеративный ИИ, $1 млрд из которых пришёлся на IV квартал. Для NVIDIA партнёрство с Accenture является частью реализации плана по расширению влияния на глобальных системных интеграторов (GSI) и другие многонациональные компании, которые имеют значительное влияние на предприятиях. Например, Infosys год назад заявила, что обучит и сертифицирует в рамках партнёрства с NVIDIA 50 тыс. сотрудников, которые изучат особенности аппаратных и программных ИИ-решений NVIDIA.

Известный изобретатель Джей Пи Вассёр (JP Vasseur), проработавший в Cisco 25 лет, присоединится к NVIDIA. По данным CRN, новость появилась вскоре после того, как финансовый директор NVIDIA Колетт Кресс (Colette Kress) объявила о запуске новых сетевых Ethernet-решений серии Spectrum-X, продажи которых должны принести компании миллиарды долларов.

Вассёр некогда считался самым плодовитым изобретателем Cisco. До недавнего времени он занимал пост вице-президента и занимался разработкой решений и сетей для систем машинного обучения и ИИ. Теперь он возглавит разработку ИИ-решений и сетевой архитектуры в NVIDIA. По словам Вассёра, он имеет 32 года общего опыта в области сетей, а последние 13 лет посвятил ИИ и сетевым продуктам. Решение нанять ветерана, успешно работавшего на стыке ИИ и сетевых технологий, косвенно свидетельствует о том, что NVIDIA сделает сетевые продукты одним из главных приоритетов.

Источник изображения: Marten Bjork / Unsplash

Выручка NVIDIA от Ethernet-решений, включая продукты Spectrum-X, удвоилась в сравнении с прошлым кварталом. По словам Кресс, продукты пользуются поддержкой OEM/ODM-партнёров и внедряются поставщиками облачных услуг и другими компаниями, включая X.ai. Серия Spectrum-X в ближайшем будущем позволит масштабировать вычислительные кластеры до миллионов ускорителей вместо десятков тысяч сегодня, говорит NVIDIA.

Примечательно, что недавно NVIDIA вошла в консорциум Ultra Ethernet, который фактически разрабатывает открытый интерконнект нового поколения для HPC/ИИ-сред, способный конкурировать с InfiniBand. Единственным производителем InfiniBand-решений является как раз NVIDIA, которая до этого долгие годы продвигала его в качестве наиболее предпочтительной сетевой платформы для своих же ИИ-систем. Впрочем, про Ethernet она тоже не забывала.

Источник изображения: NVIDIA

Вассёр, последние четверть века проработавший в Cisco, в 2019 году был назван в блоге компании «главным изобретателем» — на его счету 483 патента, связанных с ключевыми технологиями, от машинного обучения и ИИ в сфере безопасности на предприятиях до Интернета вещей. В должности вице-президента он, по его словам, руководил разработкой LLM и спецификаций вариантов использования генеративного ИИ, тюнингом моделей и RAG и др. Ранее Вассёр занимал руководящие посты, связанные с работой над прогностическими сетями, IoT и распознаванием киберугроз. Кроме того, он возглавлял рабочие группы в IEEE и IETF и приложил руку к созданию сетевых стандартов.

Уходя из Cisco пару недель назад, Вассёр напомнил о том, что именно он содействовал рождению и бурному росту интернета, в развитие которого именно Cisco в своё время внесла значительный вклад. Теперь талантливый изобретатель заявляет, что его «невероятно вдохновляют» перспективы NVIDIA и он рад присоединиться к талантливой команде.

За девять месяцев 2024 года в госсекторе России вдвое вырос год к году спрос на ИИ-серверы с ускорителями, затраты на закупки которых в ходе 30 тендеров составили 1,7 млрд руб., пишет «Коммерсантъ» со ссылкой на производителя вычислительной техники «Гравитон» (входит в структуру 3Logic Group). Для сравнения, за девять месяцев 2023 года, по данным «Гравитона», было проведено 16 таких тендеров по госзакупкам (по 223-ФЗ и 44-ФЗ) на сумму 930 млн руб.

По словам директора департамента серверных и сетевых систем «Гравитона» Александра Фильченкова, в госсекторе ИИ-технологии используются в первую очередь для интеллектуального анализа данных и в системах принятия решений. «Почти треть российских компаний заявили о планах внедрения ИИ в течение трёх лет, поэтому стоит ожидать дальнейшего роста спроса на это оборудование», — сообщил он.

Источник изображения: Fynephoqus / Unsplash

В апреле «Ведомости» отметили возросший спрос на аренду серверов для обучения моделей ИИ. По оценкам iKS-Consulting, выручка дата-центров от аренды ИИ-серверов в 2023 году составила 6,6 млрд руб., основными игроками были Cloud.ru, «Яндекс», «Крок», «МегaФон» и другие.

В числе сдерживающих факторов удовлетворения спроса отечественных компаний в «Гравитоне» назвали то, что серверы для работы с ИИ в основном основаны на ускорителях NVIDIA, ограничившей из-за санкций США доступ к своим технологиям. В связи с этим российские организации начали рассматривать сотрудничество с китайскими и отечественными разработчиками решений того же типа.

Компания NVIDIA, по информации аналитика Минг-Чи Куо (Ming-Chi Kuo), приняла решение отказаться от выпуска двухстоечных ИИ-систем NVL36×2 на основе ускорителей GB200 в пользу одностоечных машин NVL72 и NVL36. Объясняется это ограниченностью ресурсов и предпочтениями клиентов.

Изначально планировалось выпустить три суперсистемы GB200 на базе ускорителей Blackwell для рабочих нагрузок ИИ и HPC — NVL72, NVL36 и NVL36×2. Первая объединяет в одной стойке 18 узлов 1U, каждый из которых содержит два ускорителя GB200. В сумме это даёт 72 чипа B200 и 36 процессоров Grace. Задействована шина NVLink 5, а энергопотребление системы находится на уровне 120 кВт. В свою очередь, NVL36 насчитывает 36 чипов B200, тогда как NVL36×2 объединяет две такие системы.

Источник изображения: NVIDIA

Ожидалось, что конфигурация NVL36×2 получит более широкое распространение, нежели NVL72. Дело в том, что дата-центры большинства клиентов NVIDIA не могут удовлетворить требования NVL72 в плане питания и охлаждения. С этой точки зрения NVL36×2 представляет собой компромиссное решение. С другой стороны, NVL72 требует меньше пространства для установки и обладает меньшим суммарным энергопотреблением: каждая из стоек NVL36×2 требует 66 кВт, что в сумме даёт 132 кВт. При этом обеспечивается несколько меньшая производительность.

По сведениям Минг-Чи Куо, некоторые заказчики (в частности, Microsoft) отдали предпочтение NVL72 перед NVL36×2. При этом между компании ещё на этапе обсуждения возникли разногласия по поводу конфигурации стоек. Кроме того, для NVIDIA управление тремя разными проектами по созданию суперускорителей на базе GB200 стало сложной задачей. Поэтому от двухстоечной машины решено отказаться.

Отмечается также, что массовое производство NVL72 может быть отложено до II половины 2025-го, хотя ранее называлось I полугодие следующего года. Впрочем, отдельные заказчики, включая Microsoft, начнут получать эти системы уже в декабре.

Премьер-министр Индии Нарендра Моди, по сообщению The Register, объявил о вводе в эксплуатацию трёх новых высокопроизводительных вычислительных комплексов PARAM Rudra. Запуск этих суперкомпьютеров, как отмечается, является «символом экономической, социальной и промышленной политики» страны.

Вдаваться в подробности о технических характеристиках машин Моди во время презентации не стал. Однако некоторую информацию раскрыли организации, которые займутся непосредственной эксплуатацией этих НРС-систем.

Один из суперкомпьютеров располагается в Национальном центре радиоастрофизики Индии (NCRA). Данная машина оснащена «несколькими тысячами процессоров Intel» и 90 ускорителями NVIDIA A100, 35 Тбайт памяти и хранилищем вместимостью 2 Пбайт. Ещё один НРС-комплекс смонтирован в Центре фундаментальных наук имени С. Н. Бозе (SNBNCBS): известно, что он обладает быстродействием 838 Тфлопс.

Оператором третьей системы является Межуниверситетский центр ускоренных вычислений (IUAC): этот суперкомпьютер с производительностью на уровне 3 Пфлопс использует 24-ядерные чипы Intel Xeon Cascade Lake-SP. Ёмкость хранилища составляет 4 Пбайт. Упомянут интерконнект с пропускной способностью 240 Гбит/с.

The Register отмечает, что указанные характеристики в целом соответствуют описанию суперкомпьютеров Rudra первого поколения. Согласно имеющейся документации, такие машины используют:

• Материнскую плату половинной ширины для серверов формата 1U или 2U — до 64 серверов в стойке суммарной мощностью 40 кВт;
• Два процессора Intel Xeon Cascade Lake-SP;
• Два неназванных GPU-ускорителя;
• Два NVMe SSD стандарта U.2;
• Два порта 10GbE и дополнительный сетевой адаптер;
• Интерконнект Trinetra — шесть полнодуплексных интерфейсов со скоростью 100 Гбит/с;
• Технологию прямого жидкостного охлаждения собственной разработки.

Ожидается, что машины Rudra второго поколения получат поддержку процессоров Xeon Sapphire Rapids и четырёх GPU-ускорителей. Суперкомпьютеры третьего поколения будут использовать 96-ядерные Arm-процессоры AUM, разработанные индийским Центром развития передовых вычислений: эти изделия будут изготавливаться по 5-нм технологии TSMC.

Источник изображения: pixabay.com

Между тем компания Eviden (дочерняя структура Atos) сообщила о поставках в Индию двух новых суперкомпьютеров. Один из них установлен в Индийском институте тропической метеорологии (IITM) в Пуне, второй — в Национальном центре среднесрочного прогнозирования погоды (NCMRWF) в Нойде. Эти системы, построенные на платформе BullSequana XH2000, предназначены для исследования погоды и климата. В создании комплексов приняли участие AMD, NVIDIA и DDN.

Система IITM, получившая название ARKA, обладает быстродействием 11,77 Пфлопс: 3021 узел с AMD EPYC 7643 (Milan), 26 узлов с NVIDIA A100, NVIDIA Quantum InfiniBand и хранилище на 33 Пбайт (ранее говорилось о 3 Пбайт SSD + 29 Пбайт HDD). В свою очередь, суперкомпьютер NCMRWF под названием Arunika обладает производительностью 8,24 Пфлопс: 2115 узлов с AMD EPYC 7643 (Milan), NVIDIA Quantum InfiniBand и хранилище DDN EXAScaler ES400NVX2 (2 Пбайт SSD + 22 Пбайт HDD). Кроме того, эта система включает выделенный блок для приложений ИИ и машинного обучения с быстродействием 1,9 Пфлопс (точность не указана), состоящий из 18 узлов с NVIDIA A100.

Компания Seeed Studio, по сообщению CNX-Software, представила плату reServer Industrial J501, рассчитанную на подключение вычислительного модуля NVIDIA Jetson AGX Orin. Новинка предназначена для создания периферийных устройств с ИИ-функциями, таких как роботы, всевозможные встраиваемые решения и пр.

Может быть задействовано изделие Jetson AGX Orin с 32 и 64 Гбайт памяти LPDDR5. В первом случае используется GPU с 1792 ядрами Ampere и 56 тензорными ядрами, во втором — с 2048 ядрами Ampere и 64 тензорными ядрами. ИИ-производительность достигает соответственно 200 и 275 TOPS.

Плата reServer Industrial J501 располагает двумя портами SATA-3 и коннектором M.2 Key M (PCIe 4.0; NVMe) для SSD. Есть слот Mini PCIe для модуля LoRaWAN/4G, разъём M.2 Key B (3042/3052) для сотового модема 4G/5G (есть слот Nano SIM) и разъём M.2 Key E для адаптера Wi-Fi/Bluetooth. Реализованы сетевые порты 1GbE и 10GbE на базе коннекторов RJ-45.

Источник изображения: Seeed Studio

В набор доступных интерфейсов входят: HDMI 2.1 Type-A с поддержкой разрешения до 7680 × 4320 пикселей, по одному порту USB 3.1 Type-C (Host Mode) и USB 2.0 Type-C (Device Mode), три порта USB 3.1 Type-A, последовательный порт RS-232/422/485, колодка GPIO/DIO (4 × DI, 4 × DO, 3 × GND_DI, 2 × GND_DO, 1 × GND_ISO, 1 × CAN). Возможно подключение опциональных плат расширения с поддержкой восьми камер GMSL (Gigabit Multimedia Serial Link).

Размеры reServer Industrial J501 составляют 176 × 163 мм, масса — 225 г (без вычислительного модуля). Диапазон рабочих температур простирается от -25 до +60 °C. Питание подаётся от сетевого адаптера на 24 В / 5 A. Новинка предлагается по ориентировочной цене $379.

Корпорация Intel, по сообщению ресурса HPC Wire, оптимизирует свои новейшие серверные процессоры Xeon 6 поколения Granite Rapids специально для систем, в которых применяются ИИ-ускорители NVIDIA. Тем самым Intel рассчитывает увеличить продажи и улучшить свое финансовое положение.

О новой инициативе рассказал Ронак Сингхал (Ronak Singhal), старший научный сотрудник Intel. По его словам, NVIDIA является лидером на рынке ИИ-ускорителей, поэтому Intel тесно сотрудничает с этой компанией. Задача заключается в том, чтобы предоставить заказчикам, которые развёртывают системы на базе NVIDIA MGX или HGX, полный спектр процессоров Xeon, сертифицированных для работы с указанными платформами. «Это только начало сотрудничества, которое мы будем вести с NVIDIA в течение следующего года», — подчеркнул Сингхал.

Источник изображения: Intel

На фоне квартальных убытков в размере $1,61 млрд и резкого падения стоимости акций Intel ищет способы переориентировать бизнес на продукты с архитектурой x86. Корпорация ранее сообщила о намерении кастомизировать процессоры Xeon 6 для Amazon Web Services (AWS) и намекнула, что будет делать то же самое в интересах Google Cloud. При этом в своё время Intel подставила NVIDIA, изрядно задержав выход Sapphire Rapids, которые используются в системах DGX H100.

Nebius, бывшая материнская компания «Яндекса», объявила о развёртывании своего первого вычислительного ИИ-кластера во Франции. Комплекс, предназначенный для нагрузок ИИ, сформирован на базе дата-центра Equinix PA10 в Сен-Дени — в 9 км к северу от центра Парижа.

Новый кластер станет первым объектом Nebius, на котором используются исключительно серверы и стойки собственной разработки. Такие системы проектируются специально с прицелом на применение мощных ускорителей на базе GPU. Благодаря этому, в частности, ускоряется ввод в эксплуатацию. Настройка оборудования и ввод систем в эксплуатацию на площадке Equinix PA10 займут всего два месяца. ЦОД начнёт обрабатывать клиентские рабочие нагрузки в ноябре 2024 года.

Известно, что в составе кластера Nebius задействованы ускорители NVIDIA H200. Тепло, вырабатываемое серверами Nebius, будет использоваться для обогрева городской фермы, раскинувшейся на крыше дата-центра Equinix PA10. Она включает теплицу, в которой выращиваются сезонные фрукты и овощи, и сад.

Источник изображений: Nebius

Говорится, что запуск парижской площадки является частью стратегии Nebius по созданию крупномасштабной сети ИИ-кластеров по всему миру. Они будут предоставлять клиентам ресурсы для решения задач, связанных с ИИ. В частности, к середине 2025 года Nebius намерена инвестировать более $1 млрд в инфраструктуру ИИ в Европе. Со следующего года компания начнёт внедрение систем на базе ускорителей NVIDIA Blackwell.

«Мы работаем в новой отрасли, которая требует как передовых технологий, так и значительного капитала. Запуск кластера в Париже — это следующий шаг в рамках нашей программы по расширению возможностей ИИ в Европе», — сказал Аркадий Волож, основатель и генеральный директор Nebius.