Компания Giga Computing, являющаяся подразделением Gigabyte, объявила о создании площадки GAIFA (Gigabyte AI Factory Accelerator) — своего первого вычислительного центра в области ИИ. Он расположился в Синьбэе (Новом Тайбэе) на территории Тайваня.

GAIFA представляет собой полигон для проверки и отладки сверхплотных серверных стоек, систем жидкостного охлаждения и электропитания, а также других компонентов и модулей, которые применяются в составе современных ИИ-инфраструктур. Причём специализация GAIFA выходит за рамки аппаратного обеспечения, охватывая весь процесс формирования ИИ ЦОД: от планирования объекта до установки вычислительных и сетевых узлов. В среде GAIFA могут тестироваться самые разные нагрузки — от обучения больших языковых моделей (LLM) с огромным количеством параметров до инференса и профессиональных визуальных вычислений.

Источник изображений: Gigabyte

Архитектура площадки выполнена по модульному принципу. В частности, задействованы две стойки NVIDIA GB300 NVL72. Каждая из них объединяет 18 вычислительных лотков, содержащих по два Arm-процессора Grace (72 ядра Neoverse V2) и по четыре чипа Blackwell Ultra. В сумме это даёт 36 изделий Grace и 72 экземпляра Blackwell Ultra на стойку (включая 17 Тбайт памяти LPDDR5X и 20 Тбайт HBM3E). Применяются сетевые адаптеры NVIDIA ConnectX-8 SuperNIC.

Кроме того, в состав GAIFA входит одна стойка на основе серверов G4L4-SD3-LAX7, использующих аппаратную платформу NVIDIA HGX B300 (восемь SXM-ускорителей Blackwell Ultra). Эти машины наделены системой прямого жидкостного охлаждения (DLC) с функцией обнаружения протечек. Дополнительно установлены серверы XL44-SX2-AAS1 с восемью ускорителями NVIDIA RTX Pro 6000 Blackwell Server Edition (96 Гбайт памяти GDDR7). Наконец, применены 10-узловые серверы B683-Z80-LAS1 на платформе AMD EPYC 9005 Turin с СЖО.

На текущем этапе общая мощность площадки GAIFA находится на уровне 700 кВт. В дальнейшем показатель будет увеличиваться — по мере расширения объекта и добавления дополнительного оборудования.

Crusoe объявила о заключении ежегодного соглашения на сумму $65 млн с ИИ-стартапом Thinking Machines Lab основанным в феврале 2025 года Мирой Мурати (Mira Murati), занимавшей ранее пост технического директора OpenAI.

В рамках соглашения Thinking Machines Lab получит доступ к платформе Crusoe Cloud для проведения инференса ИИ-моделей. С помощью сервиса Crusoe Managed Inference она будет обрабатывать ряд производственных нагрузок, включая свои модели Inkling, а также GLM 5.2 и 5.3, на специализированных системах. Также на этой платформе будут работать её собственные дообученные (fine-tuned) версии моделей.

Рабочие задачи будут выполняться на выделенной инфраструктуре, состоящей из систем NVIDIA HGX B200 с интерконнектом NVIDIA Quantum-2 InfiniBand. Crusoe будет самостоятельно эксплуатировать и обслуживать этот кластер в рамках формата Tailored Deployment (индивидуальное развёртывание). Клиент предоставляет модель и определяет требования, а Crusoe берёт на себя остальные аспекты развёртывания.

Источник изображения: Crusoe

Это означает предоставление выделенной, протестированной на производительность конечной точки с гарантированным уровнем обслуживания (SLA). Благодаря этому Thinking Machines Lab избавляется от необходимости самостоятельно управлять стеком для выполнения инференса. Компании также рассматривают возможность использования пакетного инференса (batch inference) для масштабной генерации синтетических данных.

«Crusoe Managed Inference позволил нам быстро перейти от оценки к промышленной эксплуатации и обеспечил соответствие стандартам, которые мы предъявляем к собственным системам. Это дало нам необходимые масштабы и экономическую эффективность для реинвестирования в исследования, лежащие в основе нашей деятельности», — сказал Майл Отт (Myle Ott), руководитель отдела инфраструктуры машинного обучения Thinking Machines Lab.

«У Thinking Machines Lab очень сильная инженерная команда, которая ожидает, что партнёры будут соответствовать их высоким стандартам по мере роста», — заявил Эрван Менар (Erwan Menard), старший вице-президент по управлению продуктами в Crusoe Cloud.

Как сообщается, благодаря этой сделке менее чем через год после запуска Crusoe Managed Inference законтрактованный объём годовой регулярной выручки (ARR) в сегменте управляемых услуг инференса компании превысил $100 млн.

NVIDIA запустила NVIDIA DSX Ready — программу сертификации продуктов и решений партнёров, которые соответствуют требованиям эталонного проекта ИИ-фабрики NVIDIA DSX. На начальном этапе программа включает две категории: аккумуляторные энергохранилища (BESS) и блоки распределения охлаждающей жидкости (CDU). Для каждой из категорий указаны требования к продуктам и оценка в рамках программы, что поможет упростить оценку предложений, снизить риски, связанные с интеграцией, и ускорить внедрение решений.

Платформа NVIDIA DSX объединяет проектирование и эксплуатацию ИИ-фабрики, сетевых технологий, энергоснабжения, охлаждения, инфраструктуры и ПО. Она упрощает проектирование и эксплуатацию фабрику как единой системы с учётом имеющихся ограничений по энергоснабжению, охлаждению, водоснабжению и электросетям.

Системный подход позволяет путём оптимизации одной части фабрики устранить узкое место в другой. NVIDIA DSX Ready предлагает поставщикам систем энергоснабжения и охлаждения ориентиры для создания на основе эталонных проектов сертифицированных решений, а разработчикам — более понятный способ поиска и оценки таких решений.

Источник изображения: NVIDIA

На данный момент программа DSX Ready включает сертифицированные решения BESS от Hitachi Energy, LG Energy Solution и Tesla, а также сертифицированные решения CDU от LG Electronics, LiquidStack и Vertiv. Со временем будут добавлены категории, охватывающие инфраструктуру и ПО.

Для поставщиков BESS партнёры проводят необходимые квалификационные испытания и предоставляют подтверждающие данные для рассмотрения и утверждения NVIDIA. Прохождение квалификации не заменяет собой инженерную проверку на уровне площадки. Для поставщиков CDU предусмотрен набор инструментов для самосертификации CDU, позволяющий определить степень соответствия решения требованиям NVIDIA.

Schneider Electric выпустила новую серию 2,5-МВт силовых модулей, предназначенных для ЦОД различного назначения. Компания заявляет, что её готовые стандартизированные силовые системы представляют собой масштабируемые энергетические решения высокой плотности для гиперскейлеров, неооблачных провайдеров и колокейшн-ЦОД, сообщает Datacenter Dynamics.

Продукты основаны на новейшем эталонном дизайне компании, предложенном совместно с NVIDIA. Они включают интегрированную систему управления электропитанием и управлением СЖО для ИИ-платформы NVIDIA GB300 NVL72. Доступны варианты модулей и силовых установок на 2 МВт, 2,25 МВт и 2,5 МВт. По данным Schneider Electric, версия на 2,5 МВт — крупнейшая по мощности из когда-либо производившихся компанией.

Выпуск и поставка готовых стандартизированных решений для силовой инфраструктуры, как утверждается, упрощает процесс разработки и строительства. Готовую силовую инфраструктуру компания может выпустить за шесть месяцев. Это особенно важно, поскольку ЦОД требуют быстрого, эффективного и масштабного развёртывания оборудования.

Источник изображения: Schneider Electric

В компании заявляют, что стандартизируя быстросборные силовые системы и интегрируя в них ИБП, она позволяет гиперскейлерам, неооблачным и колокейшн-провайдерам сформировать ИИ-инфраструктуру за месяцы, а не за годы. Это большой шаг вперёд, помогающий строить ИИ-фабрики, ИИ-хабы и крупномасштабную инфраструктуру нового поколения. Прошедшие испытания силовые модули объединяют в заводском корпусе разные технологии Schneider Electric, включая ИБП Galaxy VXL UPS, коммутационное оборудование, системы охлаждения, литий-ионные АКБ, шины и системы распределения электроэнергии.

Разработка, производство и тестирование модулей происходит на заводе Schneider Electric в непосредственной близости от Барселоны. Недавно площадку расширили для поддержки растущего мирового спроса на модульную инфраструктуру ЦОД. Теперь площадь объекта составляет 5 тыс. м² производственных мощностей. Оборудование уже доступно в Европе. По данным Schneider Electric, новые силовые решения станут доступны в Северной Америке позже в 2026 году, после чего их начнут поставлять и на другие рынки, в т.ч. Азиатско-Тихоокеанского региона.

Компании NVIDIA, Google и Emerald AI анонсировали создание объединения AI Energy Management Alliance (AEMA). Оно должно ускорить развитие ИИ ЦОД, готовых оптимизировать и корректировать своё энергопотребление в соответствии с текущим состоянием энергосистем. ИИ ЦОД будут взаимодействовать с сетями, при необходимости меняя нагрузку. NVIDIA полагает, что это поможет в ускоренном режиме подключать новые мощности, повысить надёжность энергосистем и эффективнее использовать доступную инфраструктуру.

Как сообщает NVIDIA, обычные процедуры присоединения к сетям предполагают снабжение объектов с довольно стабильным энергопотреблением, но ИИ ЦОД к ним не относятся. При этом их вычислительные нагрузки можно будет произвольно менять, перенося вычисления, использовать системы накопления энергии, реагировать на инциденты в энергосистеме и др. Это позволит эффективнее использовать имеющиеся мощности электросетей, снижать энергопотребление во время пиковых нагрузок на энергосистему и даже откладывать затратную модернизацию инфраструктуры. Кроме того, более безопасным и быстрым становится подключение к сетям крупных ИИ ЦОД.

При этом эксперты The Register обращают внимание на ограничения, касающиеся самой NVIDIA. Компания сможет продавать всё больше ИИ-ускорителей только в случае, если дата-центры будут получать достаточно энергии. В результате NVIDIA стремится «выжать» максимум из каждого доступного гигаватта. Например, обычный ЦОД на 100 МВт оставляет в резерве до 20 % мощности для компенсации неэффективности оборудования, потерь при преобразовании энергии и скачков потребления.

Источник изображения: NVIDIA

Одно из решений — платформа DSX MaxLPS, позволяющая использовать больше ИИ-ускорителей в рамках заданного «энергетического бюджета». Она координирует работу вычислительной и физической инфраструктуры, элементы которой могут обмениваться данными о работе друг друга, снижая энергопотребление в зависимости, например, от фактической загрузки серверов, без постоянной работы на максимальной мощности. API DSX Exchange также позволяют работать с совместимыми компонентами стороннего производства, в т.ч. оборудования Vertiv и Schneider Electric.

DSX Flex непосредственно обеспечивает взаимодействие ЦОД и энергосистемы. NVIDIA, Emerald AI и Silicon Valley Power продемонстрировали способность временно высвобождать некоторые мощности ЦОД при росте нагрузок на электросети без остановки критически важных вычислений. Аналогичный эксперимент успешно провели National Grid, Emerald AI и Nebius. На уровне стоек NVIDIA и Lambda уже показали, что подобная умная координация позволяет уместить в пределах заданного энергетического бюджета больше вычислительных модулей — 19 вместо обычных 16, при этом производительность на ватт выросла приблизительно на четверть.

Формально ничего принципиального нового в предложенной технологии нет. Ещё в 2023 году Google тестировала систему перепаспределения нагрузок в ЦОД в часы пик. То же делала и Microsoft, но в обоих случаях речь шла о переносе обработки несрочных фоновых задач во времени или между дата-центрами. В 2026 году Google модернизировала управление питанием своих ЦОД в США, добавив возможность более гибко регулировать их энергопотребление, которая подкреплена контрактами с несколькими энергокомпаниями.

Источник изображения: NVIDIA

NVIDIA намерена интегрировать подобную возможность в инфраструктуру ИИ ЦОД по умолчанию. Для компании смысл не только в снижении нагрузки на энергосеть, но и в оптимизации контактов с энергокомпаниями. Предполагается, что они смогут в упрощённом порядке разрешать подключение новых мощностей, если будут знать, что часть нагрузки можно быстро отключить. Впрочем, полную остановку работы ЦОД это не предусматривает, поскольку критически важные задачи будут выполняться, а второстепенные нагрузки приостановить или перенести в другие ЦОД.

Альянс AEMA должен дополнить технологические решения разработкой общих правил взаимодействия ИИ ЦОД с энергосистемами, в том числе вопросы регулирования энергопотребления и реагирования на аварийные ситуации. Также предполагается стандартизировать технические требования, показатели эффективности и обмен эксплуатационными данными.

AEMA позиционируется как технологически нейтральная инициатива, поскольку требования будет определять не использование того или иного конкретного оборудования или ПО, а измеряемые характеристики ЦОД — от скорости реакции на чрезвычайные ситуации до предсказуемости и продолжительности доступного сокращения нагрузки. Если объект способен подтвердить «гибкость», для него могут создать более простые и быстрые процедуры подключения к электросетям с учётом фактических рисков и преимуществ для энергосистемы.

Американская юридическая компания Latham & Watkins закупила серверы на основе ИИ-ускорителей NVIDIA и занялась самостоятельной кастомизацией ИИ-моделей с открытыми весами. Это первый известный пример использование собственной ИИ-инфраструктуры и настройки ИИ-моделей крупным юридическим бизнесом, сообщает The Financial Times. Компания является второй по величине юридической фирмой в США с выручкой $8,3 млрд в 2025 году.

Других примеров использования юридическими бизнесами собственной инфраструктуры и дообучения моделей пока неизвестно. С одной стороны, компания теперь отвечает за киберзащиту и эксплуатацию серверов, с другой — конфиденциальные данные клиентов она может хранить, не полагаясь на сторонние облака. Юридический бизнес связан с большими объёмами информации, а также стандартными и повторяющимися задачами — это один из секторов, которые ИИ меняет наиболее быстро.

Крупные американские банки требуют от больших юридических фирм снижать стоимость услуг, поскольку ИИ значительно ускоряет выполнение многих задач. Тем не менее у юристов есть веские причины не инвестировать в ИИ слишком большие средства, поскольку большие капитальные затраты в итоге сокращают прибыль, распределяемую между партнёрами-совладельцами. Обычно такие компании прибегают к помощи облачных ИИ-сервисов.

Источник изображения: Erik Mclean/unsplash.com

Решение Latham & Watkins купить собственное оборудование знаменует собой радикальные изменения подхода к ведению дел. Штатные разработчики адаптируют открытые модели для решения специальных юридических задач. Чаще такая практика встречалась в технологической сфере. Прочие юридические компании обычно выбирают другую стратегию. Так, более крупный конкурент — Kirkland & Ellis работает над разработкой собственных ИИ-инструментов с Palantir, а A&O Shearman взаимодействует со стартапом Harvey, специализирующимся на юридических технологиях. Наконец, Freshfields в текущем году объявила о работе с Anthropic.

Компания наняла более 900 технологических специалистов, включая инженеров по машинному обучению, ИИ-разработчиков, занимающихся программированием юристов и др. Latham & Watkins пока не отказывается от использования сторонних ИИ-продуктов, но не сообщает, сколько именно она тратит на собственные разработки, над которыми, как оказалось, трудится уже несколько лет. Затраты на покупку ИИ-оборудования в таких масштабах, оплата работы специалистов, обслуживание и защита системы может обходиться в десятки миллионов долларов ежегодно, потенциально — сотни миллионов по мере развития технологий.

Latham & Watkins арендует пространство в ЦОД, куда есть доступ только сотрудникам самой компании. Команда специалистов занимается дообучением моделей NVIDIA Nemotron 3. Такой подход позволяет юристам использовать широкий круг моделей, а не только ChatGPT, Claude или Gemini. В зависимости от задач, компания может выбирать использование своих ИИ-инструментов или коммерчески доступных продуктов. Кроме того, компания получает дополнительную защиту на случай, если ИИ-бизнесы вроде OpenAI или Anthropic поднимут цены или изменят условия обслуживания. Открытые модели позволяют кастомизировать их на собственное усмотрение и запускать их на своём оборудовании. В самой NVIDIA рассчитывают, что открытые модели помогут привлечь к использованию ИИ больше клиентов.

Компания NVIDIA анонсировала ускоритель RTX Pro 5500 Blackwell Workstation Edition для профессиональных рабочих станций. Изделие подходит для решения задач в области агентного ИИ, физического моделирования, обработки высококачественной графики, анализа данных, видеопроизводства и пр.

Новинка построена на архитектуре Blackwell с чипом GB202. Конфигурация включает 21 760 ядер CUDA и 84 Гбайт памяти GDDR7 с 416-битной шиной, обеспечивающей пропускную способность до 1398 Гбайт/с. Задействованы тензорные ядра пятого поколения и ядра RT четвёртого поколения.

Карта использует интерфейс PCIe 5.0 x16. Максимальное энергопотребление заявлено на уровне 600 Вт. Ускоритель ориентирован на рабочие станции в стоечном исполнении. При этом может применяться воздушная или жидкостная система охлаждения.

Могут использоваться до четырёх разъёмов DisplayPort 2.1b: они позволяют выводить изображение на мониторы с разрешением до 8K при 240 Гц и 16K при 60 Гц. Движки NVIDIA NVENC девятого поколения значительно ускоряют кодирование видео и улучшают качество в профессиональных видеоприложениях. Кроме того, применяются блоки декодирования NVIDIA NVDEC шестого поколения. Говорится о поддержке форматов 4:2:2 H.264 и HEVC.

Источник изображения: NVIDIA

В новинке реализована технология MIG (Multi-Instance GPU): она позволяет разделить один физический графический процессор на несколько независимых аппаратных разделов. Каждый из них функционирует как полноценный самостоятельный GPU со своей выделенной памятью, кешем и вычислительными ядрами. В случае RTX Pro 5500 Blackwell Workstation Edition могут быть сформированы два раздела с 42 Гбайт памяти GDDR7.

Министерство юстиции США проводит проверку с целью выяснить, не была ли структура лицензионного соглашения NVIDIA с Groq стоимостью $20 млрд намеренно выстроена таким образом, чтобы избежать антимонопольного расследования, сообщила газета The New York Times со ссылкой на информированные источники.

В рамках сделки, заключённой в прошлом году, которую компания Groq охарактеризовала как «неисключительное лицензионное соглашение с NVIDIA на технологии инференса», генеральный директор Groq Джонатан Росс (Jonathan Ross) и президент компании Санни Мадра (Sunny Madra), а также часть инженерной команды Groq перешли на работу в NVIDIA.

Представитель NVIDIA Джон Риццо (John Rizzo) заявил, что «история с Groq — яркий пример того, как американская система работает именно так, как было задумано: она стимулирует инновации, вознаграждает предпринимателей и приносит пользу потребителям». Он добавил: «Законодательство призвано поддерживать экосистему стартапов в США и защищать фундаментальные права изобретателей и наемных работников на реализацию своих стремлений».

Формально Groq осталась независимой компанией. Именно это сочетание обстоятельств и стало предметом расследования. Сделка не была заявлена на проверку регулятором возможного нанесения ущерба конкуренции на рынке, хотя NVIDIA получила не только технологии, но и двух ключевых руководителей Groq. По словам одного из источников, Министерство юстиции США начало расследование сделки с Groq вскоре после объявления о ней в декабре, направив в NVIDIA официальный запрос. Эндрю Фергюсон (Andrew Ferguson), возглавляющий Федеральную торговую комиссию (FTC) США, в январе сообщил агентству Bloomberg, что ведомство начало проверку с целью выяснить, не были ли подобные сделки намеренно структурированы так, чтобы избежать надзора со стороны регулирующих органов.

Источник изображения: NVIDIA

Если Минюст США придёт к выводу, что NVIDIA должна была получить антимонопольное одобрение сделки, ведомство может потребовать взыскания гражданско-правовых штрафов. В то же время, по словам источника, окончательное решение ещё не принято, и Министерство юстиции в итоге может не обнаружить никаких нарушений. Впрочем, по данным Bloomberg, Минюст изучает возможные нарушения антимонопольного законодательства со стороны производителя чипов с 2024 года. Сообщается, что вопросы со стороны регулирующих органов относительно соглашения между NVIDIA и Groq возникли в начале текущего года в рамках этого более масштабного расследования.

Сделки также привлекли внимание сенаторов, которые призвали FTC и Министерство юстиции США расследовать ряд таких сделок, включая партнёрство NVIDIA с компанией Groq. «По сути, эти сделки представляют собой фактические слияния, позволяющие компаниям объединять кадровые, информационные и финансовые ресурсы, при этом, судя по всему, пытаясь обойти процедуры контроля, обычно применяемые к сделкам по слиянию и поглощению», — указали сенаторы в письме, направленном в FTC и Министерство юстиции США. Хотя формально NVIDIA не покупала Groq, фактически её итоги равносильны поглощению.

Внимание со стороны Министерства юстиции к этим вопросам возникло на фоне того, как NVIDIA — компания с рыночной капитализацией $5,4 трлн — фактически превратилась в «центральный банк» Кремниевой долины, используя свои огромные финансовые ресурсы для поддержки ИИ-стартапов и финансирования клиентов, отметила The New York Times. Главный вопрос для Министерства юстиции США заключается в том, нанесла ли эта сделка ущерб конкуренции; учитывая текущую ситуацию на рынке, доказать наличие такого ущерба может быть непросто, пишет The Register. Но даже если бы Минюст нашёл основания для судебного иска и добился отмены сделки, это вряд ли что-то кардинально изменило бы, отметил ресурс.

Сделка с Groq обеспечила NVIDIA два ключевых актива: готовые аппаратные решения (чипы) и специалистов, необходимых для их дальнейшей разработки. Groq стала известна благодаря созданию ускорителей с потоковой архитектурой и большим объёмом памяти SRAM, что позволило ускорить инференс больших языковых моделей (LLM) до показателей, которых системы NVIDIA на базе GPU самостоятельно достичь не могли. В марте NVIDIA представила стойки LPX, оснащённые 256 ускорителями LPU Groq 3. Глава NVIDIA пообещал, что связка Groq и Vera Rubin обеспечит оптимальную производительность для всего спектра задач инференса.

The Register отметил, что дезагрегация вовсе не уникальная особенность Groq. Cerebras создаёт аналогичные системы совместно с AWS и AMD; SambaNova сотрудничает с Intel; а d-Matrix и ее партнёры объединяют свою платформу с GPU NVIDIA, преследуя те же цели, что и в случае комбинации Vera Rubin NVL72 с Groq 3 LPX. Ещё до объявления о сделке с Groq компания уже закладывала фундамент экосистемы, в центре которой находилось её подразделение сетевых технологий. Она передала свои проекты стоек MGX в Open Compute Project (OCP), позволив тем самым любому производителю чипов размещать свою продукцию в стойках, изначально спроектированных для GPU NVIDIA. Затем NVIDIA открыла доступ к своему интерконнекту в рамках программы NVLink Fusion.

И теперь, если Министерство юстиции США заблокирует сделку (целью которой было поглощение компании ради получения её специалистов) и аннулирует соглашение с Groq, NVIDIA может лишиться прямого контроля над разработкой LPU и доходов от их продажи, но это не обязательно будет означать конец для стоек Groq LPX. Groq просто пополнит ряды растущего числа аппаратных партнёров NVIDIA, создающих решения для ИИ-фабрик (AI factory) этой компании. Более того, сама эта сделка гарантирует, что даже если регуляторы в итоге её сорвут, наготове окажется множество альтернатив.

Разработчик ИИ-ускорителей d-Matrix пополнил растущий список производителей чипов, лицензировавших технологию NVLink Fusion и эталонные стоечные решения компании NVIDIA. Стартап объявил, что новое соглашение о сотрудничестве позволит интегрировать его XPU в широко распространённую экосистему NVIDIA AI Factory. Финансовые условия сделки не раскрываются. В числе тех, кто также полагается на NVLink, уже есть Qualcomm, Arm, Marvell, Amazon, Fujitsu, Ayar, SiFive, Intel и MediaTek.

В качестве партнёра по программе NVLink Fusion компания d-Matrix будет сотрудничать с NVIDIA для интеграции своих XPU нового поколения для задач инференса (начиная с Raptor) непосредственно в новейшую эталонную стоечную архитектуру NVIDIA, которая включает CPU Vera, коммутаторы NVLink, адаптеры ConnectX-9 SuperNIC/DPU BlueField-4 и решения Spectrum-X Ethernet.

d-Matrix также сотрудничает с компанией Astera Labs — специализирующейся в области решений для межкомпонентных соединений в экосистеме NVIDIA NVLink Fusion, — для создания специализированных решений, обеспечивающих высокую пропускную способность и бесперебойную передачу данных. Стоечные решения d-Matrix на базе платформы MGX будут оснащены модульными бескабельными узлами, разработанными с использованием экосистемы и цепочки поставок NVIDIA, что обеспечит их быстрое беспроблемное развёртывание.

Источник изображения: NVIDIA

Как отметила d-Matrix, развёртывание автономных ИИ-агентов вызвало резкий рост спроса на инференс, и провайдеры ИИ-сервисов всё чаще выбирают системы со смешанной архитектурой, способные обеспечить экономическую эффективность, необходимую их клиентам. Система d-Matrix MGX разработана для ИИ-приложений, чувствительных к задержке: ИИ-помощников для написания кода, чат-ботов реального времени и голосовых агентов, для которых имеют большое значение интерактивность и высокая скорость работы. Система, созданная на базе NVIDIA MGX, расширяет возможности унифицированной архитектуры стоек, позволяя ИИ-фабрикам гибко подбирать вычислительные ресурсы под конкретную задачу.

Используя принцип гетерогенной дезагрегации, операторы могут распределять нагрузку между XPU d-Matrix Raptor и CPU NVIDIA Vera Rubin, оптимизируя каждый этап инференса. Например, при генерации кода с помощью ИИ — GPU могут брать на себя ресурсоёмкий этап предварительного заполнения, тогда как XPU d-Matrix ускоряют критически важный для задержки этап декодирования (decode). Ожидается, что первые образцы XPU d-Matrix Raptor в составае MGX-стоек станут доступны в IV квартале 2027 года, а разработка самих Raptor должна завершиться к концу текущего года.

Источник изображения: NVIDIA

Новые системы будут объединять до 144 XPU Raptor в единую сеть NVLink с топологией «каждый с каждым» (All-to-All). Как сообщает The Register, на конференции Hot Chips в прошлом месяце компания сообщила, что каждая карта Raptor будет оснащена 32 Гбайт сверхбыстрой памяти DRAM с 3D-компоновкой (3D-stacked), обеспечивающей пропускную способность 100 Тбайт/с — это примерно в 4,5 раза больше, чем у ускорителя NVIDIA Rubin.

Также есть возможность использовать стойку Raptor в качестве дополнения к стойкам NVIDIA Vera Rubin. «Прелесть этого решения в том, что мы берем узлы Raptor, подключаем их к той же архитектуре стойки NVL144 MGX, которая широко используется во многих ЦОД, и получаем мгновенный доступ к этим площадкам», — отметил Сид Шет (Sid Sheth), генеральный директор и соучредитель d-Matrix, о чём сообщил ресурс The Next Platform. Строго говоря, гибридные системы инференса на базе ASIC d-Matrix и традиционных GPU уже анонсировали Parasail и Gimlet Labs.

Источник изображения: d-Matrix

The Register сообщил, что XPU для d-Matrix NVL144 будут примерно вдвое меньше обычных карт Raptor, показанных на Hot Chips. Они получат 16 Гбайт памяти 3D-DRAM и с пропускной способностью около 50 Тбайт/с. При размещении 144 таких чипов в одной стойке общий объём памяти составит около 2,3 Тбайт, чего достаточно для моделей с более 4 трлн параметров при 4-бит точности, а пиковая агрегированная пропускная способность памяти (ПСП) достигнет примерно 7,2 Пбайт/с.

ПСП является главным «узким местом» при выполнении инференса. Архитектура чипа Groq LPU, ориентированная на интенсивное использование SRAM, позволяет достичь скорости передачи данных 150 Тбайт/с на один чип, однако обратной стороной медали является низкая плотность размещения SRAM: на одном кристалле удаётся разместить лишь порядка 500 Мбайт памяти. Raptor обеспечивает схожий уровень ПСП при несоизмеримо большем объёме RAM. Это позволит использовать гораздо меньше чипов для работы одной модели. Если для модели с 1 трлн параметров при 8-бит точности может потребоваться более 2 тыс. Groq LPU, то системе d-Matrix будет достаточно всего 64 Raptor (или 32 при 4-бит точности).

Как и LPU от Groq, чипы d-Matrix могут использоваться как автономно, так и в составе гетерогенных вычислительных систем. Чипы d-Matrix могут стать более доступным вариантом выхода на рынок для корпоративных клиентов, заинтересованных в сверхнизкой задержке при инференсе, поскольку для работы системы требуется меньшее количество вычислительных модулей (XPU). Как отметил The Register, NVIDIA настолько стремится привлечь клиентов в свою закрытую экосистему, что тратит для этого миллиарды долларов. MediaTek она заплатила $3,5 млрд, а привлечение Marvell обошлось ей в $2 млрд.

NVIDIA объявила о взаимодействии с расширяющейся в Австралии экосистемой облачных партнёров (NCP), а также с партнёрами в сфере ИИ-инфраструктуры — для того, чтобы сделать более доступными землю, энергоснабжение и готовые объекты ЦОД для размещения многочисленных поколений ИИ-фабрик NVIDIA DSX. Это поможет стране удовлетворить растущий спрос на вычислительные ИИ-мощности — общий объём строительства к 2027 году может достигнуть 2 ГВт.

Участвующие в сделке провайдеры будут управлять этими ИИ-фабриками, а NVIDIA намерена предоставить платформу DSX, системы для ускоренных вычислений, сетевое оборудование, ПО и поддержку экосистемы. Австралийские компании с помощью продуктов NVIDIA смогут создавать ИИ-модели, приложения и ИИ-агентов, в то же время поддерживая генерацию электроэнергии.

Расширение мощностей обеспечит австралийским разработчикам расширенный доступ к ускоренным вычислениям и открытым моделям NVIDIA Nemotron для решения связанных с ИИ-проектами задач, а развитая «зелёная» энергетика и квалифицированные кадры Австралии станут прочной основой для ИИ-стартапов, университетов, исследователей, ИИ-компаний и др., позволяя обучать, развёртывать и масштабировать ИИ-системы.

Участники NCP и партнёры NVIDIA в сфере ИИ-инфраструктуры, включая Firmus, Sharon AI, IREN, Megaport, ResetData, CDC, NEXTDC и AirTrunk уже инвестируют в австралийские ИИ-фабрики на основе NVIDIA DSX. Firmus расширяет инициативу Project Southgate, Sharon AI внедряет десятки тысяч ускорителей NVIDIA, а Iren намерена ускорить внедрение крупномасштабных ИИ-фабрик благодаря компетенциям в сфере энергетики, земельных ресурсов, ЦОД, развёртывания и эксплуатации GPU и эксплуатации инфраструктуры — компания намерена освоить 800-МВт кампус Bundey в Южной Австралии. Latitude.sh (Megaport) и ResetData сделают упор на инференс с низкой задержкой, высокой скоростью отклика и соблюдением правил локализации данных.

Источник изображения: Datingjungle/unsplash.com

CDC построила в Австралии и Новой Зеландии готовую к ИИ и HPC инфраструктуру ЦОД с СЖО. CDC управляет более 550 МВт мощностей, ещё 800 МВт строится. Объекты целиком полагаются на энергию из возобновляемых источников и используют передовые технологии охлаждения без воды, сертифицированные для инфраструктуры NVIDIA. NEXTDC также построила инфраструктуру ЦОД с жидкостным охлаждением, готовую к высокоплотным ИИ-нагрузкам. Наконец, AirTrunk расширяет строительство ИИ ЦОД в регионе, включая решения, рассчитанные на СЖО и высокоплотные ИИ-нагрузки.

Heidi и Atlassian уже используют open source модели NVIDIA Nemotron, датасеты и инструменты для разработки и кастомизации ИИ-систем. Так, Heidi комбинирует модели NVIDIA с клиническими данными, обеспечивая новый уровень применения искусственного интеллекта в здравоохранении без ущерба конфиденциальности. Atlassian совершенствует корпоративный семантический поиск Rovo с использованием ИИ NVIDIA, который лучше учитывает контекст и находит релевантные данные в сложных массивах и рабочих процессах.

В совокупности данные проекты связывают ИИ-инфраструктуру с открытыми моделями и ПО, позволяющими превратить вычислительные мощности в реальные прикладные проекты. В результате NVIDIA и австралийская экосистема позволяют пользователям масштабировать ИИ внутри Австралии и выводить инновации на мировой рынок, говорит компания.