Государственное управление по регулированию рынка Китая (SAMR), по сообщению Datacenter Dynamics, обвинило NVIDIA в нарушении антимонопольного законодательства. Речь идёт о сделке по покупке израильского поставщика сетевого оборудования Mellanox. О намерении NVIDIA приобрести Mellanox стало известно в марте 2019 года, но осуществить слияние удалось только в апреле 2020-го, поскольку ожидалось одобрение со стороны регулирующих органов КНР. Стоимость сделки составила $6,9 млрд.

Одним из условий соглашения с властями КНР было то, что NVIDIA продолжит поставлять на китайский рынок ускорители на базе GPU. Однако администрация США запрещает NVIDIA отгружать передовые продукты в Китай. Американское правительство выражает обеспокоенность тем, что китайские военные могут использовать мощные ускорители для разработки оружия. Впрочем, несмотря на экспортные ограничения, передовые продукты NVIDIA всё же поступают в Китай обходными путями.

На фоне сложившейся ситуации в конце прошлого года Китай инициировал антимонопольное расследование против NVIDIA в рамках сделки по поглощению Mellanox. По заявлениям SAMR, NVIDIA нарушила антимонопольное законодательство, не выполнив в полном объёме положения, определённые регулятором при одобрении сделки. По мнению некоторых экспертов, антимонопольное расследование китайских властей в отношении NVIDIA может знаменовать собой начало реализации систематической «стратегии возмездии». Регулятор Китая может налагать штрафы в размере от 1 % до 10 % от годового объема продаж компании за предыдущий год в случае нарушения антимонопольных требований.

Источник изображения: NVIDIA

На днях представители правительств США и Китая встретились в Мадриде с целью обсуждения торговых отношений. В частности, на повестке стоят вопросы экспортных ограничений. Однако обвинения со стороны SAMR в адрес NVIDIA могут осложнить ситуацию.

CoreWeave подписала с NVIDIA новый контракт в рамках генерального соглашения от 10 апреля 2023 года, согласно которому чипмейкер обязуется выкупить все нераспроданные CoreWeave облачные вычислительные мощности. Контракт с начальной суммой в размере $6,3 млрд действует до 13 апреля 2032 года. Об этом стало известно из документа, направленного CoreWeave в Комиссию по ценным бумагам и биржам США (SEC). На прошлой неделе NVIDIA также заключила два соглашения с Lambda общей стоимостью $1,5 млрд об аренде собственных чипов (до 18 тыс. единиц) в течение следующих четырёх лет.

На фоне этой новости акции CoreWeave выросли на 8 %, поскольку для инвесторов эта сделка означает укрепление позиций компании в качестве ключевого партнёра NVIDIA в сфере облачных вычислений и служит ей своего рода защитой в случае возможного снижения спроса на вычислительные мощности для ИИ-нагрузок, пишет Reuters. «Мы считаем это позитивным фактором для CoreWeave, учитывая опасения инвесторов относительно способности компании заполнить мощности центров обработки данных за пределами двух крупнейших клиентов (Microsoft и OpenAI)», — отметили аналитики Barclays.

Источник изображения: CoreWeave

Точный объём вычислительных мощностей не разглашается. Ранее NVIDIA уже заключала с CoreWeave соглашения об аренде её вычислительных мощностей, став вторым по величине заказчиком неооблака. Ключевым же заказчиком (62 % выручки в 2024 году) была Microsoft, которая арендовала мощности в первую очередь для OpenAI. В свою очередь CoreWeave заключила в марте с OpenAI пятилетний контракт на сумму $11,9 млрд. Спустя пару месяцев ими было подписано дополнительное соглашение на аренду вычислительных мощностей на сумму в $4 млрд сроком до апреля 2029 года.

Непростые отношения Microsoft и OpenAI потенциально могут негативно сказаться на бизнесе CoreWeave. Вместе с тем активное развитие инфраструктуры на фоне высокого спроса на ИИ-вычисления привело к рекордному росту капзатрат CoreWeave, составивших во II квартале $2,9 млрд. С целью финансовой поддержки и сопровождения проектов в сфере ИИ компания сформировала венчурное подразделение.

Компания Gigabyte анонсировала компактный ИИ-суперкомпьютер AI Top Atom — рабочую станцию небольшого форм-фактора, первая информация о подготовке которой появилась в мае нынешнего года на выставке Computex. Устройство может использоваться для локального запуска передовых ИИ-моделей.

Новинка построена на суперчипе NVIDIA GB10 Grace Blackwell, который содержит 20-ядерный процессор Grace (10 × Arm Cortex-X925 и 10 × Arm Cortex-A725) и ускоритель Blackwell. Предусмотрено 128 Гбайт унифицированной системной памяти LPDDR5x с пропускной способностью 273 Гбайт/с. ИИ-производительность на операциях FP4 достигает 1000 TOPS.

Рабочая станция оборудована контроллерами Wi-Fi 7 и Bluetooth 5.3, а также адаптерами 10GbE и NVIDIA ConnectX-7 SmartNIC. Установлен SSD с интерфейсом PCIe 5.0 (NVMe) вместимостью до 4 Тбайт. В набор разъёмов входят гнездо RJ45 для сетевого кабеля, порт USB 3.2 Gen 2x2 Type-C (PD), три порта USB 3.2 Gen 2x2 Type-C и коннектор HDMI 2.1a.

Источник изображений: Gigabyte

Устройство заключено в корпус с размерами 150 × 150 × 50,5 мм, а масса составляет около 1,2 кг. В комплект поставки включён блок питания мощностью 240 Вт. Применяется программная платформа NVIDIA DGX OS — модификации Ubuntu, предназначенная специально для задач ИИ.

Компактный ИИ-суперкомпьютер AI Top Atom допускает работу с ИИ-моделями, насчитывающими до 200 млрд параметров. Более того, посредством ConnectX-7 два таких устройства быть объединены в одну систему, что позволит запускать ИИ-модели с 405 млрд параметров. Новинка ориентирована на разработчиков ИИ, энтузиастов, исследователей и специалистов по анализу данных. Впрочем, у всех новинок на базе GB10 идентичные характеристики, а отличия между решениями разных вендоров в большей степени косметические.

Компания Biostar анонсировала компьютеры небольшого форм-фактора EdgeComp MS-NANX 8G/16G, предназначенные для выполнения ИИ-задач на периферии. Устройства подходят для таких приложений, как удалённый мониторинг оборудования, предиктивное обслуживание, визуальный контроль, промышленная автоматизация, системы умного города и пр.

Основой компьютеров служит модуль NVIDIA Jetson Orin NX в вариантах с 8 и 16 Гбайт памяти LPDDR5. В первом случае задействованы шесть CPU-ядер Arm Cortex-A78AE, во втором — восемь. Кроме того, в состав обоих изделий входит графический блок на архитектуре NVIDIA Ampere с 1024 ядрами. ИИ-производительность на операциях INT8 (Sparse) достигает соответственно 70 и 100 TOPS.

Источник изображений: Biostar

Устройства наделены слотом M.2 Key-E 2230 для адаптера Wi-Fi/Bluetooth, коннектором M.2 Key-B 3042/3052 для сотового модема 4G/5G (плюс разъём Nano SIM) и слотом M.2 Key-M 2242/2260/2280 для NVMe SSD. Присутствуют сетевые контроллеры 1GbE и 2.5GbE с опциональной поддержкой PoE. Имеются два гнезда RJ45 для сетевых кабелей, два последовательных порта (RS232/CAN и RS232/422/485), четыре порта USB 3.2 Type-A и комбинированное аудиогнездо на 3,5 мм.

Компьютеры заключены в прочный корпус, ребристая верхняя часть которого выполняет функции радиатора для рассеяния тепла (применяется пассивное охлаждение). Габариты составляют 160 × 102 × 80 мм. Диапазон рабочих температур простирается от -20 до +50 °C. Питание 12–20 В подаётся через DC-разъём или 2-контактный терминальный разъём. Подчёркивается, что устройства спроектированы специально для интеграции в промышленные, коммерческие и государственные среды. Заявлена совместимость с Linux (NVIDIA Jetpack 6.2).

Стремительный рост вычислительных мощностей ЦОД на фоне бума ИИ-технологий способствовал росту доходов не только производителей ускорителей и серверных CPU, но и компании Arm, чью архитектуру они используют в своих чипах, передаёт The Register. В январе Arm заявила о намерении занять 50 % рынка чипов для ЦОД к концу 2025 года

Согласно исследованию Dell’Oro Group, во II квартале доля Arm-чипов на рынке серверных CPU составила 25 %, тогда как годом ранее она равнялась 15 %. Движущей силой роста стало внедрение суперускорителей NVIDIA GB200 NVL72 и GB300 NVL72, которые включают 36 Arm-процессоров Grace на базе архитектуры Neoverse V2 (Demeter) с интерфейсом NVLink-C2C. Заказы на поставку чипов NVIDIA расписаны на месяцы вперёд, что обеспечивает гарантированный источник доходов Arm наряду с ростом доли на рынке.

Аналитик Dell’Oro Барон Фунг (Baron Fung) сообщил The Register, что ещё год назад рост Arm на рынке серверных процессоров обеспечивался практически исключительно за счёт кастомных CPU, таких как AWS Graviton. Но теперь выручка от продаж Grace сопоставима с доходами от облачных GPU. AWS использует кастомные процессоры на архитектуре Arm с 2018 года. А Microsoft и Google лишь в последние несколько лет начали всерьёз развивать свои Arm-процессорах Cobalt и Axion соответственно, отметил The Register.

Источник изображения: Arm

Рост доли Arm на рынке зависит от того, насколько больше разработчиков чипов выведет свои чипы на рынок серверных процессоров. NVIDIA сейчас работает над новым процессором на базе Arm с использованием кастомных ядер Vera. Qualcomm и Fujitsu также работают над серверными чипами. А появление NVIDIA NVLink Fusion может привести к созданию новых гибридных чипов.

По данным Dell’Oro, рост рынка ИИ-технологий также привёл к росту рынка компонентов для серверов и СХД, составившему во II квартале 44 % в годовом исчислении. Продажи SmartNIC и DPU, которые зачастую тоже используют Arm-ядра, примерно удвоились по сравнению с прошлым годом на фоне перехода на Ethernet для вычислительных ИИ-кластеров. Поставки ASIC для обработки ИИ-нагрузок сейчас сопоставимы с объёмами поставок GPU, хотя GPU по-прежнему приносят большую часть доходов.

MLCommons объявил результаты набора бенчмарков MLPerf Inference v5.1. Последний раунд демонстрирует, насколько быстро развивается инференс и соответствующие бенчмарки, пишет ресурс HPCwire. В этом раунде было рекордное количество заявок — 27. Представлены результаты сразу пяти новых ускорителей: AMD Instinct MI355X, Intel Arc Pro B60 48GB Turbo, NVIDIA GB300, NVIDIA RTX 4000 Ada 20GB, NVIDIA RTX Pro 6000 Blackwell Server Edition. Всего же количество результатов MLPerf перевалило за 90 тыс. результатов.

В текущем раунде были представлены три новых бенчмарка: тест рассуждений на основе модели DeepSeek-R1, тест преобразования речи в текст на основе Whisper Large v3 и небольшой тест LLM на основе Llama 3.1 8B. Как отметил ресурс IEEE Spectrum, бенчмарк на основе модели Deepseek R1 671B (671 млрд параметров), более чем в 1,5 раза превышает самый крупный бенчмарк предыдущего раунда на основе Llama 3.1 405B. В модели Deepseek R1, ориентированной на рассуждения, большая часть вычислений выполняется во время инференса, что делает этот бенчмарк ещё более сложным.

Что касается самого маленького бенчмарка, основанного на Llama 3.1 8B, то, как поясняют в MLCommons, в отрасли растёт спрос на рассуждения с малой задержкой и высокой точностью. SLM отвечают этим требованиям и являются отличным выбором для таких задач, как реферирование текста или периферийные приложения. В свою очередь бенчмарк преобразования голоса в текст, основанный на Whisper Large v3, был разработан в ответ на растущее количество голосовых приложений, будь то смарт-устройства или голосовые ИИ-интерфейсы.

Источник изображения: NVIDIA

NVIDIA вновь возглавила рейтинг MLPerf Inference, на этот раз с архитектурой Blackwell Ultra, представленной платформой NVIDIA GB300 NVL72, которая установила рекорд, увеличив пропускную способность DeepSeek-R1 на 45 % по сравнению с предыдущими системами GB200 NVL72 (Blackwell).

NVIDIA также продемонстрировала высокие результаты в бенчмарке Llama 3.1 405B, который имеет более жёсткие ограничения по задержке. NVIDIA применила дезагрегацию, разделив фазы работы с контекстом и собственно генерацию между разными ускорителями. Этот подход, поддерживаемый фреймворком Dynamo, обеспечил увеличение в 1,5 раза пропускной способности на один ускоритель по сравнению с традиционным обслуживанием на системах Blackwell и более чем в 5 раз по сравнению с системами на базе Hopper.

Источник изображения: NVIDIA

NVIDIA назвала «дезагрегированное обслуживание» одним из ключевых факторов успеха, помимо аппаратных улучшений при переходе к Blackwell Ultra. Также свою роль сыграло использованием фирменного 4-бит формата NVFP4. «Мы можем обеспечить точность, сопоставимую с BF16», — сообщила компания, добавив, что при этом потребляется значительно меньше вычислительной мощности. Для работы с контекстом NVIDIA готовит соускоритель Rubin CPX.

В более компактных бенчмарках решения NVIDIA также продемонстрировали рекордную пропускную способность. Компания сообщила о более чем 18 тыс. токенов/с на один ускоритель в бенчмарке Llama 3.1 8B в автономном режиме и 5667 токенов/с на один ускоритель в Whisper. Результаты были представлены в офлайн-, серверных и интерактивных сценариях, при этом NVIDIA сохранила лидерство в расчете на GPU во всех категориях.

Источник изображения: NVIDIA/TechPowerUp

AMD представила результаты AMD Instinct MI355X только в «открытой» категории, где разрешены программные модификации модели. Ускоритель MI355X превзошёл в бенчмарке Llama 2 70B ускоритель MI325X в 2,7 раза по количеству токенов/с. В этом раунде AMD также впервые обнародовала результаты нескольких новых рабочих нагрузок, включая Llama 2 70B Interactive, MoE-модель Mixtral-8x7B и генератор изображений Stable Diffusion XL.

Источник изображения: AMD/ServeTheHome

В число «закрытых» заявок AMD входили системы на базе ускорителей AMD MI300X и MI325X. Более продвинутый MI325X показал результаты, схожие с показателями систем на базе NVIDIA H200 на Llama 2 70b, в комбинированном тесте MoE и тестах генерации изображений. Кроме того, компанией была представлена первая гибридная заявка, в которой ускорители AMD MI300X и MI325X использовались для одной и той же задачи инференса — бенчмарка на базе Llama 2 70b. Возможность распределения нагрузки между различными типами ускорителей — важный шаг, отметил IEEE Spectrum.

В этом раунде впервые был представлен и ускоритель Intel Arc Pro. Для бенчмарков использовалась видеокарта MaxSun Intel Arc Pro B60 Dual 48G Turbo, состоящая из двух GPU с 48 Гбайт памяти, в составе платформы Project Battlematrix, которая может включать до восьми таких ускорителей. Система показала результаты на уровне NVIDIA L40S в небольшом тесте LLM и уступила ему в тесте Llama 2 70b.

Источник изображения: Intel

Следует также отметить, что в этом раунде, как и в предыдущем, участвовала Nebius (ранее Yandex N.V.). Компания отметила, что результаты, полученные на односерверных инсталляциях, подтверждают, что Nebius AI Cloud обеспечивает «высочайшие» показатели производительности для инференса базовых моделей, таких как Llama 2 70B и Llama 3.1 405B.

В частности, Nebius AI Cloud установила новый рекорд производительности для NVIDIA GB200 NVL72. По сравнению с лучшими результатами предыдущего раунда, её однохостовая инсталляция показала прирост производительности на 6,7 % и 14,2 % при работе с Llama 3.1 405B в автономном и серверном режимах соответственно. «Эти два показателя также обеспечивают Nebius первое место среди других разработчиков MLPerf Inference v5.1 для этой модели в системах GB200», — сообщила компания.

Компании OpenAI и NVIDIA, по сообщению Bloomberg News, намерены в ближайшее время объявить о масштабных инвестициях в инфраструктуру дата-центров в Великобритании. Речь идёт о вложениях в размере «миллиардов долларов».

Ожидается, что анонс будет сделан на следующей неделе во время второго государственного визита президента США Дональда Трампа в Великобританию, который пройдёт с 17 по 19 сентября. Король Карл III и королева Камилла примут американского лидера и его жену Меланию в Виндзорском замке в графстве Беркшир.

В состав делегации США войдут руководители ряда американских корпораций, включая генерального директора OpenAI Сэма Альтмана (Sam Altman) и главу NVIDIA Дженсена Хуанга (Jensen Huang). Ожидается, что эти компании в рамках финансирования развития британских ЦОД объединят усилия с лондонской фирмой Nscale Global Holdings Ltd. В целом, как ожидается, во время предстоящего визита Трампа американские компании из различных отраслей объявят о десятках миллиардов долларов инвестиций в Великобританию. Представители OpenAI и NVIDIA ситуацию пока никак не комментируют.

Источник изображения: unsplash.com / İsmail Enes Ayhan

OpenAI стремится укрепить позиции в Европе, где она сталкивается с гораздо более строгим регулированием, нежели в США. С мая нынешнего года компания реализует программу OpenAI for Countries, которая предполагает создание ИИ ЦОД по всему миру. Первым европейским дата-центром, создающимся в рамках этой инициативы, станет объект Stargate Norway в Норвегии. На начальном этапе мощность этого ЦОД составит 230 МВт с возможностью последующего добавления ещё 290 МВт.

Интерес к развитию инфраструктуры дата-центров в Великобритании проявляют и другие американские компании. В частности, в конце прошлого года стало известно о том, что Cloud HQ, CyrusOne, CoreWeave и ServiceNow намерены вложить около $8,22 млрд в строительство ЦОД в этой стране.

Компании Kioxia и NVIDIA, по сообщению Nikkei, разрабатывают SSD нового типа для ИИ-систем, которые по показателю IOPS (операций ввода/вывода в секунду) будут превосходить современные изделия практически в 100 раз. Предполагается, что такие устройства смогут стать альтернативой HBM при расширении памяти ИИ-ускорителей.

Коити Фукуда (Koichi Fukuda), главный инженер подразделения твердотельных накопителей Kioxia, рассказал, что компания проектирует устройства в соответствии с требованиями NVIDIA. Речь идёт об SSD следующего поколения с интерфейсом PCIe 7.0. Предполагается, что такие изделия смогут демонстрировать показатель IOPS на уровне 100 млн, что позволит применять их в том числе для ИИ-инференса.

Более того, NVIDIA стремится к достижению значения IOPS в 200 млн. Такого результата Kioxia рассчитывает добиться путём объединения в массив двух SSD нового типа. Особенностью этих накопителей станет то, что они смогут обмениваться данными с GPU напрямую, не вовлекая в эти операции CPU, как в случае с традиционными решениями. Пробные поставки устройств планируется организовать во II половине 2026 года, тогда как на коммерческом рынке накопители нового типа могут появиться в 2027-м.

Источник изображения: Kioxia

Согласно прогнозам Kioxia, к 2029 году почти половина спроса на NAND-память, которая применяется в SSD, будет связана с системами ИИ. Участники рынка также говорят о возобновлении инвестиций в разработку NAND-продуктов после двухлетнего затишья. Восстановление активности среди производителей объясняется растущей потребностью в высокоскоростных накопителях большой вместимости с высокими показателями быстродействия при произвольном доступе. Одним из перспективных направлений названо создание решений на основе флеш-памяти с высокой пропускной способностью HBF (High Bandwidth Flash): разработки в данной сфере, в частности, ведёт SanDisk.

NVIDIA анонсировала разработку эталонного дизайна дата-центров гигаваттного уровня с использованием технологии цифровых двойников. Эталонные проекты ИИ ЦОД будут доступны компаниям-партнёрам по всему миру. В разработке нового решения компании помогают Schneider Electric, Siemens, Vertiv, Cadence, emeraldai, E Tech Group, phaidra.ai, PTC и Vertech.

Для создания высокопроизводительной ИИ-инфраструктуры будет предложена технология цифровых двойников Omniverse Blueprint, позволяющая создавать высокопроизводительную и энергоэффективную ИИ-инфраструктуру. Технология позволяет заказчикам объединять все данные, связанные с созданием дата-центра, в единую универсальную модель, отражающую как можно больше деталей виртуального и физического строения объектов. Благодаря этому можно проектировать и моделировать оборудование с высокой энергетической и вычислительной плотностью.

Модели ИИ-фабрики можно подключить к более масштабным системам: энергосетям, системам водоснабжения и транспортным артериям, что требует координации и моделирования на протяжении всего жизненного цикла кампусов ЦОД. В модель включаются локальные генерирующие мощности, энергохранилища, технологии охлаждения и даже ИИ-агенты для управления работой ЦОД. В компании заявляют, что только одновременное проектирование инфраструктуры и технологического стека обеспечивает настоящую оптимизацию, при которой питание, охлаждение, ускорители и ПО рассматриваются как единое целое.

Источник изображения: NVIDIA

В марте 2024 года сообщалось, что NVIDIA и Siemens внедрят ИИ в промышленное проектирование и производство с помощью интеграции NVIDIA Omniverse Cloud API в платформу Xcelerator. Тогда же Schneider Electric и NVIDIA объявили о разработке эталонных проектов инфраструктур ИИ ЦОД. В рамках объявленного сотрудничества AVEVA, дочерняя компания Schneider Electric, должна была подключить свою платформу цифровых двойников к NVIDIA Omniverse, создав единую среду для виртуального моделирования и совместной работы.

NVIDIA неожиданно анонсировала чип Rubin CPX — GPU нового класса, спроектированный для масштабных задач ИИ-инференса и работы с моделями, использующими длинный контекст. Поставки решения планируется организовать в конце 2026 года.

Чип Rubin CPX выполнен в виде монолитного кристалла и оснащён 128 Гбайт памяти GDDR7. Заявленная ИИ-производительность достигает 30 Пфлопс в режиме NVFP4. Предусмотрены по четыре блока NVENC и NVDEC для кодирования и декодирования видеоматериалов. Новинка дополнит другие ускорители компании. Оркестрацией нагрузок будет заниматься платформа NVIDIA Dynamo, распределяющая нагрузки между подходящими для каждой задачи ускорителями.

Источник изображений: NVIDIA

Изделие Rubin CPX предназначено для использования вместе с Arm-процессорами Vera и ускорителями Rubin в составе новой стоечной платформы NVIDIA Vera Rubin NVL144 CPX. Эта система будет объединять 144 чипа Rubin CPX, 144 чипа Rubin и 36 процессоров Vera (88 кастомных 3-нм Arm-ядер). Говорится об использовании суммарно 100 Тбайт памяти с агрегированной пропускной способностью 1,7 Пбайт/с. Общая производительность на операциях NVFP4 — до 8 Эфлопс, что примерно в 7,5 раза больше по сравнению с системами NVIDIA GB300 NVL72. Задействована система жидкостного охлаждения. Кроме того, NVIDIA планирует выпуск двухстоечного решения, включающего стойку Vera Rubin NVL144 CPX и «обычную» стойку Vera Rubin NVL144.

«Платформа Vera Rubin ознаменует собой новый скачок производительности в области вычислений ИИ, предлагая как GPU следующего поколения Rubin, так и чип нового класса CPX. Это первый CUDA GPU, специально разработанный для ИИ с длинным контекстом, когда модели одновременно обрабатывают миллионы токенов», — отмечает Дженсен Хуанг (Jensen Huang), основатель и генеральный директор NVIDIA.

Основная задача Rubin CPX — работа с контекстом в больших моделях и создание KV-кеша. Эта операция ограничена вычислительными способностями чипа, тогда как генерация токенов зависит уже от пропускной способности памяти и интерконнекта для быстрого обмена данными. NVIDIA предложила разделить эти этапы и на аппаратном уровне. CPX лишён HBM, зато операции возведения в степень он делает втрое быстрее, чем Blackwell Ultra.