Американская юридическая компания Latham & Watkins закупила серверы на основе ИИ-ускорителей NVIDIA и занялась самостоятельной кастомизацией ИИ-моделей с открытыми весами. Это первый известный пример использование собственной ИИ-инфраструктуры и настройки ИИ-моделей крупным юридическим бизнесом, сообщает The Financial Times. Компания является второй по величине юридической фирмой в США с выручкой $8,3 млрд в 2025 году.

Других примеров использования юридическими бизнесами собственной инфраструктуры и дообучения моделей пока неизвестно. С одной стороны, компания теперь отвечает за киберзащиту и эксплуатацию серверов, с другой — конфиденциальные данные клиентов она может хранить, не полагаясь на сторонние облака. Юридический бизнес связан с большими объёмами информации, а также стандартными и повторяющимися задачами — это один из секторов, которые ИИ меняет наиболее быстро.

Крупные американские банки требуют от больших юридических фирм снижать стоимость услуг, поскольку ИИ значительно ускоряет выполнение многих задач. Тем не менее у юристов есть веские причины не инвестировать в ИИ слишком большие средства, поскольку большие капитальные затраты в итоге сокращают прибыль, распределяемую между партнёрами-совладельцами. Обычно такие компании прибегают к помощи облачных ИИ-сервисов.

Источник изображения: Erik Mclean/unsplash.com

Решение Latham & Watkins купить собственное оборудование знаменует собой радикальные изменения подхода к ведению дел. Штатные разработчики адаптируют открытые модели для решения специальных юридических задач. Чаще такая практика встречалась в технологической сфере. Прочие юридические компании обычно выбирают другую стратегию. Так, более крупный конкурент — Kirkland & Ellis работает над разработкой собственных ИИ-инструментов с Palantir, а A&O Shearman взаимодействует со стартапом Harvey, специализирующимся на юридических технологиях. Наконец, Freshfields в текущем году объявила о работе с Anthropic.

Компания наняла более 900 технологических специалистов, включая инженеров по машинному обучению, ИИ-разработчиков, занимающихся программированием юристов и др. Latham & Watkins пока не отказывается от использования сторонних ИИ-продуктов, но не сообщает, сколько именно она тратит на собственные разработки, над которыми, как оказалось, трудится уже несколько лет. Затраты на покупку ИИ-оборудования в таких масштабах, оплата работы специалистов, обслуживание и защита системы может обходиться в десятки миллионов долларов ежегодно, потенциально — сотни миллионов по мере развития технологий.

Latham & Watkins арендует пространство в ЦОД, куда есть доступ только сотрудникам самой компании. Команда специалистов занимается дообучением моделей NVIDIA Nemotron 3. Такой подход позволяет юристам использовать широкий круг моделей, а не только ChatGPT, Claude или Gemini. В зависимости от задач, компания может выбирать использование своих ИИ-инструментов или коммерчески доступных продуктов. Кроме того, компания получает дополнительную защиту на случай, если ИИ-бизнесы вроде OpenAI или Anthropic поднимут цены или изменят условия обслуживания. Открытые модели позволяют кастомизировать их на собственное усмотрение и запускать их на своём оборудовании. В самой NVIDIA рассчитывают, что открытые модели помогут привлечь к использованию ИИ больше клиентов.

Компания NVIDIA анонсировала ускоритель RTX Pro 5500 Blackwell Workstation Edition для профессиональных рабочих станций. Изделие подходит для решения задач в области агентного ИИ, физического моделирования, обработки высококачественной графики, анализа данных, видеопроизводства и пр.

Новинка построена на архитектуре Blackwell с чипом GB202. Конфигурация включает 21 760 ядер CUDA и 84 Гбайт памяти GDDR7 с 416-битной шиной, обеспечивающей пропускную способность до 1398 Гбайт/с. Задействованы тензорные ядра пятого поколения и ядра RT четвёртого поколения.

Карта использует интерфейс PCIe 5.0 x16. Максимальное энергопотребление заявлено на уровне 600 Вт. Ускоритель ориентирован на рабочие станции в стоечном исполнении. При этом может применяться воздушная или жидкостная система охлаждения.

Могут использоваться до четырёх разъёмов DisplayPort 2.1b: они позволяют выводить изображение на мониторы с разрешением до 8K при 240 Гц и 16K при 60 Гц. Движки NVIDIA NVENC девятого поколения значительно ускоряют кодирование видео и улучшают качество в профессиональных видеоприложениях. Кроме того, применяются блоки декодирования NVIDIA NVDEC шестого поколения. Говорится о поддержке форматов 4:2:2 H.264 и HEVC.

Источник изображения: NVIDIA

В новинке реализована технология MIG (Multi-Instance GPU): она позволяет разделить один физический графический процессор на несколько независимых аппаратных разделов. Каждый из них функционирует как полноценный самостоятельный GPU со своей выделенной памятью, кешем и вычислительными ядрами. В случае RTX Pro 5500 Blackwell Workstation Edition могут быть сформированы два раздела с 42 Гбайт памяти GDDR7.

Министерство юстиции США проводит проверку с целью выяснить, не была ли структура лицензионного соглашения NVIDIA с Groq стоимостью $20 млрд намеренно выстроена таким образом, чтобы избежать антимонопольного расследования, сообщила газета The New York Times со ссылкой на информированные источники.

В рамках сделки, заключённой в прошлом году, которую компания Groq охарактеризовала как «неисключительное лицензионное соглашение с NVIDIA на технологии инференса», генеральный директор Groq Джонатан Росс (Jonathan Ross) и президент компании Санни Мадра (Sunny Madra), а также часть инженерной команды Groq перешли на работу в NVIDIA.

Представитель NVIDIA Джон Риццо (John Rizzo) заявил, что «история с Groq — яркий пример того, как американская система работает именно так, как было задумано: она стимулирует инновации, вознаграждает предпринимателей и приносит пользу потребителям». Он добавил: «Законодательство призвано поддерживать экосистему стартапов в США и защищать фундаментальные права изобретателей и наемных работников на реализацию своих стремлений».

Формально Groq осталась независимой компанией. Именно это сочетание обстоятельств и стало предметом расследования. Сделка не была заявлена на проверку регулятором возможного нанесения ущерба конкуренции на рынке, хотя NVIDIA получила не только технологии, но и двух ключевых руководителей Groq. По словам одного из источников, Министерство юстиции США начало расследование сделки с Groq вскоре после объявления о ней в декабре, направив в NVIDIA официальный запрос. Эндрю Фергюсон (Andrew Ferguson), возглавляющий Федеральную торговую комиссию (FTC) США, в январе сообщил агентству Bloomberg, что ведомство начало проверку с целью выяснить, не были ли подобные сделки намеренно структурированы так, чтобы избежать надзора со стороны регулирующих органов.

Источник изображения: NVIDIA

Если Минюст США придёт к выводу, что NVIDIA должна была получить антимонопольное одобрение сделки, ведомство может потребовать взыскания гражданско-правовых штрафов. В то же время, по словам источника, окончательное решение ещё не принято, и Министерство юстиции в итоге может не обнаружить никаких нарушений. Впрочем, по данным Bloomberg, Минюст изучает возможные нарушения антимонопольного законодательства со стороны производителя чипов с 2024 года. Сообщается, что вопросы со стороны регулирующих органов относительно соглашения между NVIDIA и Groq возникли в начале текущего года в рамках этого более масштабного расследования.

Сделки также привлекли внимание сенаторов, которые призвали FTC и Министерство юстиции США расследовать ряд таких сделок, включая партнёрство NVIDIA с компанией Groq. «По сути, эти сделки представляют собой фактические слияния, позволяющие компаниям объединять кадровые, информационные и финансовые ресурсы, при этом, судя по всему, пытаясь обойти процедуры контроля, обычно применяемые к сделкам по слиянию и поглощению», — указали сенаторы в письме, направленном в FTC и Министерство юстиции США. Хотя формально NVIDIA не покупала Groq, фактически её итоги равносильны поглощению.

Внимание со стороны Министерства юстиции к этим вопросам возникло на фоне того, как NVIDIA — компания с рыночной капитализацией $5,4 трлн — фактически превратилась в «центральный банк» Кремниевой долины, используя свои огромные финансовые ресурсы для поддержки ИИ-стартапов и финансирования клиентов, отметила The New York Times. Главный вопрос для Министерства юстиции США заключается в том, нанесла ли эта сделка ущерб конкуренции; учитывая текущую ситуацию на рынке, доказать наличие такого ущерба может быть непросто, пишет The Register. Но даже если бы Минюст нашёл основания для судебного иска и добился отмены сделки, это вряд ли что-то кардинально изменило бы, отметил ресурс.

Сделка с Groq обеспечила NVIDIA два ключевых актива: готовые аппаратные решения (чипы) и специалистов, необходимых для их дальнейшей разработки. Groq стала известна благодаря созданию ускорителей с потоковой архитектурой и большим объёмом памяти SRAM, что позволило ускорить инференс больших языковых моделей (LLM) до показателей, которых системы NVIDIA на базе GPU самостоятельно достичь не могли. В марте NVIDIA представила стойки LPX, оснащённые 256 ускорителями LPU Groq 3. Глава NVIDIA пообещал, что связка Groq и Vera Rubin обеспечит оптимальную производительность для всего спектра задач инференса.

The Register отметил, что дезагрегация вовсе не уникальная особенность Groq. Cerebras создаёт аналогичные системы совместно с AWS и AMD; SambaNova сотрудничает с Intel; а d-Matrix и ее партнёры объединяют свою платформу с GPU NVIDIA, преследуя те же цели, что и в случае комбинации Vera Rubin NVL72 с Groq 3 LPX. Ещё до объявления о сделке с Groq компания уже закладывала фундамент экосистемы, в центре которой находилось её подразделение сетевых технологий. Она передала свои проекты стоек MGX в Open Compute Project (OCP), позволив тем самым любому производителю чипов размещать свою продукцию в стойках, изначально спроектированных для GPU NVIDIA. Затем NVIDIA открыла доступ к своему интерконнекту в рамках программы NVLink Fusion.

И теперь, если Министерство юстиции США заблокирует сделку (целью которой было поглощение компании ради получения её специалистов) и аннулирует соглашение с Groq, NVIDIA может лишиться прямого контроля над разработкой LPU и доходов от их продажи, но это не обязательно будет означать конец для стоек Groq LPX. Groq просто пополнит ряды растущего числа аппаратных партнёров NVIDIA, создающих решения для ИИ-фабрик (AI factory) этой компании. Более того, сама эта сделка гарантирует, что даже если регуляторы в итоге её сорвут, наготове окажется множество альтернатив.

Разработчик ИИ-ускорителей d-Matrix пополнил растущий список производителей чипов, лицензировавших технологию NVLink Fusion и эталонные стоечные решения компании NVIDIA. Стартап объявил, что новое соглашение о сотрудничестве позволит интегрировать его XPU в широко распространённую экосистему NVIDIA AI Factory. Финансовые условия сделки не раскрываются. В числе тех, кто также полагается на NVLink, уже есть Qualcomm, Arm, Marvell, Amazon, Fujitsu, Ayar, SiFive, Intel и MediaTek.

В качестве партнёра по программе NVLink Fusion компания d-Matrix будет сотрудничать с NVIDIA для интеграции своих XPU нового поколения для задач инференса (начиная с Raptor) непосредственно в новейшую эталонную стоечную архитектуру NVIDIA, которая включает CPU Vera, коммутаторы NVLink, адаптеры ConnectX-9 SuperNIC/DPU BlueField-4 и решения Spectrum-X Ethernet.

d-Matrix также сотрудничает с компанией Astera Labs — специализирующейся в области решений для межкомпонентных соединений в экосистеме NVIDIA NVLink Fusion, — для создания специализированных решений, обеспечивающих высокую пропускную способность и бесперебойную передачу данных. Стоечные решения d-Matrix на базе платформы MGX будут оснащены модульными бескабельными узлами, разработанными с использованием экосистемы и цепочки поставок NVIDIA, что обеспечит их быстрое беспроблемное развёртывание.

Источник изображения: NVIDIA

Как отметила d-Matrix, развёртывание автономных ИИ-агентов вызвало резкий рост спроса на инференс, и провайдеры ИИ-сервисов всё чаще выбирают системы со смешанной архитектурой, способные обеспечить экономическую эффективность, необходимую их клиентам. Система d-Matrix MGX разработана для ИИ-приложений, чувствительных к задержке: ИИ-помощников для написания кода, чат-ботов реального времени и голосовых агентов, для которых имеют большое значение интерактивность и высокая скорость работы. Система, созданная на базе NVIDIA MGX, расширяет возможности унифицированной архитектуры стоек, позволяя ИИ-фабрикам гибко подбирать вычислительные ресурсы под конкретную задачу.

Используя принцип гетерогенной дезагрегации, операторы могут распределять нагрузку между XPU d-Matrix Raptor и CPU NVIDIA Vera Rubin, оптимизируя каждый этап инференса. Например, при генерации кода с помощью ИИ — GPU могут брать на себя ресурсоёмкий этап предварительного заполнения, тогда как XPU d-Matrix ускоряют критически важный для задержки этап декодирования (decode). Ожидается, что первые образцы XPU d-Matrix Raptor в составае MGX-стоек станут доступны в IV квартале 2027 года, а разработка самих Raptor должна завершиться к концу текущего года.

Источник изображения: NVIDIA

Новые системы будут объединять до 144 XPU Raptor в единую сеть NVLink с топологией «каждый с каждым» (All-to-All). Как сообщает The Register, на конференции Hot Chips в прошлом месяце компания сообщила, что каждая карта Raptor будет оснащена 32 Гбайт сверхбыстрой памяти DRAM с 3D-компоновкой (3D-stacked), обеспечивающей пропускную способность 100 Тбайт/с — это примерно в 4,5 раза больше, чем у ускорителя NVIDIA Rubin.

Также есть возможность использовать стойку Raptor в качестве дополнения к стойкам NVIDIA Vera Rubin. «Прелесть этого решения в том, что мы берем узлы Raptor, подключаем их к той же архитектуре стойки NVL144 MGX, которая широко используется во многих ЦОД, и получаем мгновенный доступ к этим площадкам», — отметил Сид Шет (Sid Sheth), генеральный директор и соучредитель d-Matrix, о чём сообщил ресурс The Next Platform. Строго говоря, гибридные системы инференса на базе ASIC d-Matrix и традиционных GPU уже анонсировали Parasail и Gimlet Labs.

Источник изображения: d-Matrix

The Register сообщил, что XPU для d-Matrix NVL144 будут примерно вдвое меньше обычных карт Raptor, показанных на Hot Chips. Они получат 16 Гбайт памяти 3D-DRAM и с пропускной способностью около 50 Тбайт/с. При размещении 144 таких чипов в одной стойке общий объём памяти составит около 2,3 Тбайт, чего достаточно для моделей с более 4 трлн параметров при 4-бит точности, а пиковая агрегированная пропускная способность памяти (ПСП) достигнет примерно 7,2 Пбайт/с.

ПСП является главным «узким местом» при выполнении инференса. Архитектура чипа Groq LPU, ориентированная на интенсивное использование SRAM, позволяет достичь скорости передачи данных 150 Тбайт/с на один чип, однако обратной стороной медали является низкая плотность размещения SRAM: на одном кристалле удаётся разместить лишь порядка 500 Мбайт памяти. Raptor обеспечивает схожий уровень ПСП при несоизмеримо большем объёме RAM. Это позволит использовать гораздо меньше чипов для работы одной модели. Если для модели с 1 трлн параметров при 8-бит точности может потребоваться более 2 тыс. Groq LPU, то системе d-Matrix будет достаточно всего 64 Raptor (или 32 при 4-бит точности).

Как и LPU от Groq, чипы d-Matrix могут использоваться как автономно, так и в составе гетерогенных вычислительных систем. Чипы d-Matrix могут стать более доступным вариантом выхода на рынок для корпоративных клиентов, заинтересованных в сверхнизкой задержке при инференсе, поскольку для работы системы требуется меньшее количество вычислительных модулей (XPU). Как отметил The Register, NVIDIA настолько стремится привлечь клиентов в свою закрытую экосистему, что тратит для этого миллиарды долларов. MediaTek она заплатила $3,5 млрд, а привлечение Marvell обошлось ей в $2 млрд.

NVIDIA объявила о взаимодействии с расширяющейся в Австралии экосистемой облачных партнёров (NCP), а также с партнёрами в сфере ИИ-инфраструктуры — для того, чтобы сделать более доступными землю, энергоснабжение и готовые объекты ЦОД для размещения многочисленных поколений ИИ-фабрик NVIDIA DSX. Это поможет стране удовлетворить растущий спрос на вычислительные ИИ-мощности — общий объём строительства к 2027 году может достигнуть 2 ГВт.

Участвующие в сделке провайдеры будут управлять этими ИИ-фабриками, а NVIDIA намерена предоставить платформу DSX, системы для ускоренных вычислений, сетевое оборудование, ПО и поддержку экосистемы. Австралийские компании с помощью продуктов NVIDIA смогут создавать ИИ-модели, приложения и ИИ-агентов, в то же время поддерживая генерацию электроэнергии.

Расширение мощностей обеспечит австралийским разработчикам расширенный доступ к ускоренным вычислениям и открытым моделям NVIDIA Nemotron для решения связанных с ИИ-проектами задач, а развитая «зелёная» энергетика и квалифицированные кадры Австралии станут прочной основой для ИИ-стартапов, университетов, исследователей, ИИ-компаний и др., позволяя обучать, развёртывать и масштабировать ИИ-системы.

Участники NCP и партнёры NVIDIA в сфере ИИ-инфраструктуры, включая Firmus, Sharon AI, IREN, Megaport, ResetData, CDC, NEXTDC и AirTrunk уже инвестируют в австралийские ИИ-фабрики на основе NVIDIA DSX. Firmus расширяет инициативу Project Southgate, Sharon AI внедряет десятки тысяч ускорителей NVIDIA, а Iren намерена ускорить внедрение крупномасштабных ИИ-фабрик благодаря компетенциям в сфере энергетики, земельных ресурсов, ЦОД, развёртывания и эксплуатации GPU и эксплуатации инфраструктуры — компания намерена освоить 800-МВт кампус Bundey в Южной Австралии. Latitude.sh (Megaport) и ResetData сделают упор на инференс с низкой задержкой, высокой скоростью отклика и соблюдением правил локализации данных.

Источник изображения: Datingjungle/unsplash.com

CDC построила в Австралии и Новой Зеландии готовую к ИИ и HPC инфраструктуру ЦОД с СЖО. CDC управляет более 550 МВт мощностей, ещё 800 МВт строится. Объекты целиком полагаются на энергию из возобновляемых источников и используют передовые технологии охлаждения без воды, сертифицированные для инфраструктуры NVIDIA. NEXTDC также построила инфраструктуру ЦОД с жидкостным охлаждением, готовую к высокоплотным ИИ-нагрузкам. Наконец, AirTrunk расширяет строительство ИИ ЦОД в регионе, включая решения, рассчитанные на СЖО и высокоплотные ИИ-нагрузки.

Heidi и Atlassian уже используют open source модели NVIDIA Nemotron, датасеты и инструменты для разработки и кастомизации ИИ-систем. Так, Heidi комбинирует модели NVIDIA с клиническими данными, обеспечивая новый уровень применения искусственного интеллекта в здравоохранении без ущерба конфиденциальности. Atlassian совершенствует корпоративный семантический поиск Rovo с использованием ИИ NVIDIA, который лучше учитывает контекст и находит релевантные данные в сложных массивах и рабочих процессах.

В совокупности данные проекты связывают ИИ-инфраструктуру с открытыми моделями и ПО, позволяющими превратить вычислительные мощности в реальные прикладные проекты. В результате NVIDIA и австралийская экосистема позволяют пользователям масштабировать ИИ внутри Австралии и выводить инновации на мировой рынок, говорит компания.

Компания HP анонсировала рабочую станцию ZGX Fury AI на аппаратной платформе Blackwell Ultra для задач в области ИИ. Новинка доступна для заказа в двух исполнениях: «настольном» башенном форм-факторе и в корпусе 5U для монтажа в серверную стойку.

В основу системы положен суперчип Grace Blackwell GB300. Задействованы процессор Grace с 72 Arm-ядрами, функционирующий в тандеме с 496 Гбайт памяти LPDDR5X-6400 SOCAMM, и ускоритель B300 с 252 Гбайт памяти HBM3E. Применена система жидкостного охлаждения. Устройство располагает адаптером NVIDIA ConnectX-8 с двумя портами 400Gb QSFP112: они позволяют объединить две рабочие станции в единую вычислительную платформу.

Источник изображений: HP

Рабочая станция несёт на борту накопители HP Z Turbo Drive PCIe M.2 SSD вместимостью 2 и 4 Тбайт, а также Z Turbo PCIe NVMe M.2 SED NMIC SSD на 2 Тбайт. Доступны четыре дополнительных слота М.2 — два с интерфейсом PCIe 5.0 x4 и два с поддержкой PCIe 6.0 x4. Могут формироваться массивы RAID 0/1. Присутствуют три слота PCIe 5.0 x16, два из которых работают в режиме х8. При необходимости может быть добавлен дискретный ускоритель NVIDIA RTX PRO 4000 Blackwell (24 Гбайт GDDR7) или NVIDIA RTX PRO 2000 Blackwell (16 Гбайт GDDR7).

Спереди предусмотрены по два порта USB 3.0 Type-A и USB 3.1 Type-C, а также аудиогнёзда на 3,5 мм. Сзади расположены четыре разъёма USB 3.1 Type-А, сетевые порты 1GbE RJ45 (удалённое управление) и 10GbE RJ45, набор аудиогнёзд, интерфейс Mini-DP. Питание обеспечивает блок мощностью 1600 Вт с сертификатом 80 PLUS Titanium. Говорится о совместимости с Ubuntu 24.04 LTS (с набором инструментов NVIDIA AI Developer Tools).

В своей опубликованной не так давно статье Сатоши Мацуока (Satoshi Matsuoka), директор Центра вычислительной науки RIKEN в Кобе (Япония), подверг сомнению устоявшиеся представления о необходимости FP64-вычислений для HPC-задач и встал на защиту схемы Озаки II. Мацуока, по сути, утверждает, что аппаратная поддержка FP64 — не лучший способ выполнения определённых HPC-нагрузок, требующих 64-бит точности, на новых моделях ускорителей NVIDIA. В подтверждение он демонстрирует возможность использования FP8-расчётов с использованием схемы Озаки II для ускорения вычислений при сохранении той же 64-бит точности.

Используя терминологию автомобильных гонок, Мацуока говорит: прекратите использовать автомобили «Формулы-1» (FP64) для максимально быстрого перемещения по трассе HPC и замените их множеством «электровелосипедов» (FP8). Как отметил ресурс HPCwire, формат FP64 десятилетиями отвечал за производительность вычислений с плавающей запятой для приложений HPC. Исторически сложилось так, что производители CPU и GPU неизменно демонстрировали рост производительности в FP64-расчётах на протяжении поколений.

Но на рынке, движимом ИИ нового поколения, предпочтение отдаётся увеличению FP8-производительности. В то время как HPC требуют FP64, для обучения и инференса в ИИ нового поколения достаточно низкой точности расчётов. Ориентируясь на более крупный рынок, NVIDIA снизила производительность FP64 в ускорителях нового поколения (у AMD таких планов нет) и создала разрыв, который, по мнению Мацуоки, может быть заполнен «электровелосипедами» FP8. В связи с этим сообщество HPC задаётся вопросом: «Где мы будем получать производительность в формате FP64? Похоже, мы стали второсортными участниками рынка NVIDIA».

Источник изображений: HPCwire

Следует отметить, что по сравнению с традиционной схемой Озаки I, Озаки II обеспечивает более высокую вычислительную эффективность и лучшую масштабируемость для крупномасштабных высокоточных численных вычислений. В начале 2026 года Кацухиса Озаки (Katsuhisa Ozaki) и два других японских исследователя отметили, что исходный алгоритм Озаки II не может быть напрямую адаптирован к матричным MAC-блокам (умножение и сложение) FP8. В связи с этим они ввели квантование, которое имитирует модульную арифметику в FP8. Благодаря этому Ozaki II поддерживается Blackwell Ultra и Rubin, которые ограничили развитие INT8-производительности в пользу FP8/FP4.

В качестве аргумента Мацуоки привёл графики работы HCP-приложений на конкретных чипах. В целом, на все приложения, работающие на GPU, действует одно из двух ограничений. Первое — это пропускная способность памяти (диагональная линия в левой части графика). Второе ограничение — это пиковая скорость, с которой может работать чип (горизонтальная линия в верхней части изображения).

В точке пересечения линий пропускной способности памяти и пиковой производительности GPU получает данные с той скоростью, с которой он может их обрабатывать, что представляет собой хороший баланс между характеристиками подсистемы памяти процессора. При этом, большинство HPC-приложений ограничены пропускной способностью памяти, т.е. диагональной линией на графике. Снижение FP64-производительности резко меняет эти «пределы» для новых GPU NVIDIA.

Мацуока указал на два важных следствия этих изменений. Во-первых, ранее ограничиваемые памятью ядра (kernel) теперь упираются в вычислительные ресурсы. У B300 соотношение производительности к пропускной способности памяти находится на уровне 0,16 флопс/байт (1,3 Тфлопс/8 Тбайт/с). Во-вторых, тензорные блоки низкой точности (FP4 и FP8) при работе с типичным HPC-ядром, поддерживающим только FP64, простаивают и никак не влияют на время, затрачиваемое ядром на решение. Эта ситуация является наглядным проявлением различия между ИИ-нагрузками и HPC.

Мацуока также отметил, что несмотря на быстрое развитие алгоритмов Ozaki-I и Ozaki-II для операций GEMM (General Matrix-Matrix Multiply), все опубликованные исследования производительности сосредоточены на режиме, ограниченном вычислительными ресурсами, когда метод Ozaki наиболее очевидно в выигрыше благодаря огромному количеству тензорных блоков. Исследователь указал, что ни в одном опубликованном анализе никто не задавался вопросом: когда Ozaki-II становится выгодным для ядер, ограниченных объёмом памяти? Общепринятое мнение заключается в том, что методы EFT, в т.ч. Ozaki-I и II, не могут помочь ядрам с ограниченной пропускной способностью.

Поэтому Мацуока категорически называет нативную FP64-обработку единственным способом достижения производительности уровня HPC при использовании NVIDIA B300 и более поздних версий лишь догмой. Для обоснования своего утверждения Мацуока анализирует производительность с использованием четырех стандартных примитивов HPC:

• GEMM (общее умножение матриц).
• Пакетное GEMV (общее умножение матриц на векторы).
• 7-point Stencil (метод конечных разностей).
• SpMV (разреженное умножение матриц на векторы).

В таблице ниже приведены данные об ускорении вычислений на GPU нескольких поколения при использовании Ozaki-II в FP8-режиме относительно производительности тех же GPU в нативном режиме FP64. За базовый уровень взята производительность H100, последнего ускорителя NVIDIA, архитектура которого сбалансированна и подходит для HPC, а не исключительно для ИИ-инференса.

Мацуока утверждает, что согласно приведённым данным, схема Ozaki-II не ухудшает производительность по сравнению с базовым уровнем H100; напротив, она восстанавливает или улучшает масштабируемость для каждой рабочей нагрузки. «Ozaki-II — это не просто механизм компенсации регрессии NVIDIA в FP64; это механизм, который преобразует экономию площади кремния в <…> более быстрый FP64 с точки зрения приложения», — заявил исследователь.

AMD же повышает FP64-производительность, «поскольку метод Озаки не оправдывает ожиданий». Ранее компания указала на несколько проблем с EFT-методами. Во-первых, такое ПО не соответствует стандарту IEEE и не дает тех же результатов, что запуск кода на реальном FP-64оборудовании. Во-вторых, схема Озаки нацелена на квадратные матрицы. Если таковые в расчётах не используется, то производительность оказывается ниже, чем у нативного FP64-исполнения. В-третьих, традиционные HPC-задачи основаны на векторных расчётах, для которых методы Озаки малоэффективны — менее 10 % таких приложений охвачены матричными расчётами, позволяющими использовать EFT-методы. Но и для тех, что поддерживают такие методы, всё равно придётся переписывать код. Вместе с тем AMD не собирается отказываться от поддержки эмуляции Озаки на своих чипах в качестве резервного варианта.

В правительстве США выразили поддержку обеим концепциям. «В ходе обсуждений с Лизой Су (Lisa Su) и Дженсеном Хуангом (Jensen Huang) я убедился в их твёрдой приверженности формату FP64 и его дальнейшему развитию, — сказал ранее в интервью СМИ заместитель министра энергетики США (DoE) по науке и инновациям. «Это взаимодополняющие технологии», которые будут работать вместе, чтобы поддержать цель миссии Genesis — расширение границ в науке и технике с использованием ИИ. Следует уточнить, что он никогда прямо не заявлял о методах Озаки как о «запасном варианте» по сравнению с традиционными методами FP64 и и не объявлял об использовании эмуляции Озаки в целом.

Компания ASUS анонсировала сервер ESC8000-E12P в форм-факторе 4U, предназначенный для выполнения различных задач в области ИИ, включая инференс и визуальные вычисления. Новинка построена на модульной архитектуре NVIDIA MGX с использованием процессоров Intel Xeon 6 поколения Granite Rapids-SP.

Машина имеет двухсокетную конфигурацию: могут устанавливаться чипы Xeon 6500/6700 в исполнении LGA 4710 с показателем TDP до 350 Вт. Доступны 32 слота для модулей оперативной памяти DDR5-6400/5200 RDIMM/3DS RDIMM суммарным объёмом до 8 Тбайт. Во фронтальной части находятся восемь отсеков для SFF-накопителей NVMe с возможностью горячей замены. Кроме того, есть два внутренних коннектора для SSD типоразмера M.2 22110 с интерфейсом PCIe 5.0 x4.

Сервер располагает восемью слотами PCIe 5.0 x16 для двухслотовых ИИ-ускорителей FHFL, таких как NVIDIA H200, NVIDIA RTX Pro 6000 Blackwell Server Edition, NVIDIA RTX Pro 4500 Blackwell Server Edition и Intel Gaud3. Кроме того, реализованы пять слотов PCIe 5.0 x16 для карт NIC/BlueField-3 (FHFL) и один разъём PCIe 5.0 x16 (FHHL). В оснащение входят два сетевых порта 10GbE RJ45 на основе контроллера Intel X710-AT2 и выделенный сетевой порт управления 1GbE RJ45.

Источник изображения: ASUS

Новинка оборудована воздушным охлаждением. За питание отвечают четыре блока мощностью 3200 Вт с резервированием и сертификатом 80 PLUS Titanium. Предусмотрены порты USB 3.0 и Mini DisplayPort. Габариты составляют 800 × 439,5 × 175 мм, масса — 45 кг. Диапазон рабочих температур простирается от +10 до +35 °C.

Испанский стартап iPronics из Валенсии, специализирующийся в области оптической коммутации (Optical Circuit Switching) на основе кремниевой фотоники для ИИ-инфраструктур, объявил о привлечении $125 млн венчурных инвестиций в рамках раунда финансирования серии B, возглавляемого совместно Maverick Silicon и Light Street Capital при участии NVIDIA и ряда существующих и новых инвесторов. С учётом нынешнего раунда общий объём финансирования компании достиг $177 млн.

Компания сообщила, что полученные средства позволят ускорить коммерческое внедрение стоечного оптического коммутатора iPronics Optical Networking Engine (ONE). Благодаря интегрированному управлению, телеметрии и API, iPronics ONE предоставляет программируемый оптический уровень, позволяющий ИИ-кластерам перенастраивать соединения в режиме реального времени для рабочих нагрузок обучения и инференса.

Источник изображения: iPronics

Компания отметила ускорение внедрения технологии оптической коммутации (OCS) в сетях ИИ ЦОД, получившей применение в самых разных областях. По мере роста ИИ-кластеров требования к масштабируемости сетей ускоряют переход от медных кабелей к оптическим и создают потребность в новом поколении высокоплотных решений для коммутации. iPronics разработала компактную, специализированную OCS-платформу на основе кремниевой фотоники. Она же вместе с Lumentum запустила проект по стандартизации OCS в рамках OCP.

Ключевое преимущество OCS заключается в способности быстро адаптироваться к выходу из строя вычислительных чипов, что стало неизбежным, поскольку в ЦОД теперь размещаются сотни тысяч чипов. «Сбои происходят в масштабе минут — это уже не часы, месяцы или недели, — сообщил агентству Reuters основатель и главный технический директор iPronics. — Первоочередная задача — обеспечить отказоустойчивость — надёжную и отказоустойчивую сеть, способную, по сути, перестраиваться».

Компания утверждает, что её технология позволяет достичь времени переконфигурации менее миллисекунд, что открывает возможность изменения топологии непосредственно во время исполнения рабочих нагрузок, скрывая задержки во время вычислительных циклов, пишет The Register. iPronics утверждает, что она также способна достичь более высокой плотности, чем решения OCS «первого поколения». iPronics One поддерживает 32 порта на одном чипе-коммутаторе, но компания готовит чипы на 72 и 144 порта. Поскольку эти чипы созданы с использованием кремниевой фотоники, они весьма компактны, так что iPronics рассчитывает на многочиповые решения и разъёмы высокой плотности для размещения до 720 пар портов в 1U-шасси.

Источник изображения: iPronics

Даже при задержках менее миллисекунды OCS лучше всего работает в средах, где сетевые пути меняются не так часто. Это разнится с подходом, используемым в большинстве современных стоечных систем, таких как NVIDIA NVL72 или AMD Helios, которые отдают приоритет коммуникациям All-to-All и чрезвычайному разнообразию путей. Но эти два подхода не являются взаимоисключающими. Существует несколько потенциальных вариантов использования, включая гибридные среды, объединяющие mesh-сети с коммутируемыми фабриками.

В связи со стремительным развёртыванием ИИ ЦОД, растут инвестиции в индустрию оптической коммуникации, от стартапов в области фотоники до уже существующих предприятий по производству оптического оборудования и волоконно-оптических кабелей, отметил The Register. В марте NVIDIA инвестировала $6 млрд (по $2 млрд в каждую) в Coherent, Lumentum и Marvell для развития их оптических технологий. Расширяя присутствие в США, iPronics открыла офис в Санта-Кларе (Santa Clara) в Калифорнии, и активно набирает сотрудников для «усиления своей продуктовой стратегии, развёртывания решений у клиентов и партнёрства в области ИИ-инфраструктуры».

Компания Equinix расширяет платформу ЦОД и межсетевого взаимодействия, добавив взаимодополняющие сервисы, обеспечивающие распределённую эксплуатацию вычислительных ресурсов. Equinix Fabric One обеспечивает подключение между корпоративными площадками, облаками и ИИ-провайдерами, а Equinix Inference Exchange позволяет объединить эталонные решения NVIDIA Enterprise Reference Architectures с открытой платформой для инференса компании Together AI в пределах экосистемы Equinix.

Сервисы позволят решить распространённую проблему архитектуры данных, когда корпоративная информация, приложения и пользователи распределены по разным объектам, облакам и юрисдикциям с отдельными правовыми нормами, а обслуживающие эти ресурсы вычислительные системы отделены от них и работают в других локациях. Equinix рассчитывает превратить распределение рабочих нагрузок и управление подключениями в единый управляемый сервис вместо того, чтобы реализовать сетевые подключения в рамках отдельных ИИ-проектов.

Fabric One позволит клиентам описывать необходимый результат подключений на естественном языке. Equinix будет самостоятельно определять и организовывать маршрутизацию, облачные подключения, шифрование, управлять отказоустойчивостью и переключением на резервные ресурсы.

Источник изображения: Equinix

Основными партнёрами по интеграции выступят AWS и Google Cloud, Fabric One будет использовать открытые спецификации OpenAPI 3.0 Interconnect, разработанные в рамках программ AWS и Google по организации мультиоблачных сетей, к которым присоединились Microsoft Azure и OCI. Приложения и инфраструктурные агенты смогут программно запрашивать необходимые соединения вместо того, чтобы полагаться на ручную координацию кросс-соединений и ручное предоставление сетевых ресурсов.

Inference Exchange представляет собой распределённую платформу для ИИ-инференса. Equinix будет поставлять объекты, электроэнергию, передовые системы охлаждения, обеспечит эксплуатацию инфраструктуры после ввода в эксплуатацию и подключение через Equinix Fabric.

NVIDIA обеспечит развёртывание с помощью проверенных эталонных архитектур Enterprise Reference Architectures, а Together AI обеспечит платформу для инференса с более 200 open source ИИ-моделей. Платформа будет поддерживать общие многопользовательские проекты и выделенные среды для отдельных клиентов, которым требуются гарантированные объёмы ресурсов и высокий уровень «изоляции» данных.

Источник изображения: Equinix

По данным Storage Review, платформа Inference Exchange ориентирована на три ключевых топологии развёртывания. Во-первых, для инференса на уровне городских периферийных узлов организации способны запускать модели в рамках агломераций, с быстрым откликом API-обращений к открытым базовым моделям. Во-вторых, её можно использовать для перехода от закрытых проприетарных API на модели с открытым исходным кодом. Наконец, для обеспечения суверенного ИИ и выполнения нормативных требований локальных регуляторов — компании из регулируемых сфер могут обеспечить инференс и обработку данных в пределах заданных географических границ.

Предполагается, что бета-тестирование Fabric One начнётся до конца 2026 года, а полная доступность сервиса запланирована на 2027 год, сначала в Северной Америке. Inference Exchange будет доступен в I квартале 2027 года. Стратегическим преимуществом Equinix является инфраструктура компании и плотность сосредоточенной вокруг неё экосистемы. На конец 2025 года она управляла 280 ЦОД на 77 рынках 36 стран. Платформа объединяет более 10,5 тыс. компаний, около 3 тыс. поставщиков облачных и IT-сервисов, а также более 500 тыс. физических и виртуальных интерконнектов.

Объекты совредоточены в мегаполисах и городских агломерациях, где пересекаются телеком-операторы, облачные провайдеры, корпорации, платформы с контентом и и финансовые площадки. Для распределённого инференса близость всех игроков может быть важнее масштаба вычислительных ресурсов, поскольку часто корпоративные данные невозможно переместить в удалённый регион из-за требований к задержке, стоимости, управлению, безопасности, юрисдикции и т. п.

Fabric One и Inference Exchange координируют два уровня физической инфраструктуры Equinix — на одном находятся объекты International Business Exchange (IBX), предназначенные для разных клиентов, на другом — дата-центры xScale для крупных заказчиков, в том числе гиперскейлеров. Fabric One координирует подключения между разными инфраструктурными доменами, а Inference Exchange позволяет размещать и эксплуатировать мощности для инференса ближе к локациям, где корпоративный спрос максимален. Впрочем, это не сделает инфраструктуру Equinix однородной, поскольку, например, некоторые IBX могут быть ограничены по своим проектным техническим характеристикам. Новые объекты IBX проектируются с расширенными возможностями в контексте электропитания и охлаждения.