NVIDIA представила NVIDIA Dynamo, преемника NVIDIA Triton Inference Server — программную среду с открытым исходным кодом для разработчиков, обеспечивающую ускорение инференса, а также упрощающую масштабирование рассуждающих ИИ-моделей в ИИ-фабриках с минимальными затратами и максимальной эффективностью. Глава NVIDIA Дженсен Хуанг (Jensen Huang) назвал Dynamo «операционной системой для ИИ-фабрик».

NVIDIA Dynamo повышает производительность инференса, одновременно снижая затраты на масштабирование вычислений во время тестирования. Сообщается, что благодаря оптимизации инференса на NVIDIA Blackwell эта платформа многократно увеличивает производительность рассуждающей ИИ-модели DeepSeek-R1.

Источник изображений: NVIDIA

Платформа NVIDIA Dynamo, разработанная для максимизации дохода от токенов для ИИ-фабрик (ИИ ЦОД), организует и ускоряет коммуникацию инференса на тысячах ускорителей, и использует дезагрегированную обработку данных для разделения фаз обработки и генерации больших языковых моделей (LLM) на разных ускорителях. Это позволяет оптимизировать каждую фазу независимо от её конкретных потребностей и обеспечивает максимальное использование вычислительных ресурсов.

При том же количестве ускорителей Dynamo удваивает производительность (т.е. фактически доход ИИ-фабрик) моделей Llama на платформе NVIDIA Hopper. При запуске модели DeepSeek-R1 на большом кластере GB200 NVL72 благодаря интеллектуальной оптимизации инференса с помощью NVIDIA Dynamo количество генерируемых токенов на каждый ускоритель токенов увеличивается более чем в 30 раз, сообщила NVIDIA.

NVIDIA Dynamo может динамически перераспределять нагрузку на ускорители в ответ на меняющиеся объёмы и типы запросов, а также закреплять задачи за конкретными ускорителями в больших кластерах, что помогает минимизировать вычисления для ответов и маршрутизировать запросы. Платформа также может выгружать данные инференса в более доступную память и устройства хранения данных и быстро извлекать их при необходимости.

NVIDIA Dynamo имеет полностью открытый исходный код и поддерживает PyTorch, SGLang, NVIDIA TensorRT-LLM и vLLM, что позволяет клиентам разрабатывать и оптимизировать способы запуска ИИ-моделей в рамках дезагрегированного инференса. По словам NVIDIA, это позволит ускорить внедрение решения на различных платформах, включая AWS, Cohere, CoreWeave, Dell, Fireworks, Google Cloud, Lambda, Meta✴, Microsoft Azure, Nebius, NetApp, OCI, Perplexity, Together AI и VAST.

NVIDIA Dynamo распределяет информацию, которую системы инференса хранят в памяти после обработки предыдущих запросов (KV-кеш), на множество ускорителей (до тысяч). Затем платформа направляет новые запросы на те ускорители, содержимое KV-кеша которых наиболее близко к новому запросу, тем самым избегая дорогостоящих повторных вычислений.

NVIDIA Dynamo также обеспечивает дезагрегацию обработки входящих запросов, которое отправляет различные этапы исполнения LLM — от «понимания» запроса до генерации — разным ускорителям. Этот подход идеально подходит для рассуждающих моделей. Дезагрегированное обслуживание позволяет настраивать и выделять ресурсы для каждой фазы независимо, обеспечивая более высокую пропускную способность и более быстрые ответы на запросы.

NVIDIA Dynamo включает четыре ключевых механизма:

• GPU Planner: механизм планирования, который динамически меняет количество ускорителей в соответствии с меняющимися запросами, устраняя возможность избыточного или недостаточного выделения ресурсов.
• Smart Router: маршрутизатор для LLM, который распределяет запросы по большим группам ускорителей, чтобы минимизировать дорогостоящие повторные вычисления повторяющихся или перекрывающихся запросов, высвобождая ресурсы для обработки новых запросов.
• Low-Latency Communication Library: оптимизированная для инференса библиотека, которая поддерживает связь между ускорителями и упрощает обмен данными между разнородными устройствами, ускоряя передачу данных.
• Memory Manager: механизм, который прозрачно и интеллектуально загружает, выгружает и распределяет данные инференса между памятью и устройствами хранения.

Платформа NVIDIA Dynamo будет доступна в микросервисах NVIDIA NIM и будет поддерживаться в будущем выпуске платформы NVIDIA AI Enterprise.

Клиентам NVIDIA необходимо постоянно вкладывать миллиарды долларов в построение ИИ-инфраструктуры. При этом финансовая поддержка может прийти из самых неожиданных мест. Иногда — от самой NVIDIA, сообщает The Information.

NVIDIA и её крупнейшим клиентам постоянно приходится искать баланс. С одной стороны, они поддерживают друг друга в краткосрочной перспективе, с другой — на длинной дистанции с NVIDIA намерены конкурировать многие гиперскейлеры. Microsoft, Meta✴, Google и Amazon (AWS) активно используют ИИ-чипы NVIDIA, одновременно пытаясь избавиться от такой зависимости и работая над собственными решениями: Maia, MTIA, TPU, Trainium и Inferentia. Поэтому NVIDIA инвестирует в т.н. неооблака (neocloud), ориентированные на предоставление ИИ-мощностей. Такие компании до некоторой степени способны стать альтернативой гиперскейлерам и вряд ли смогут разработать продукты, конкурирующие с чипами NVIDIA.

К таковым относится и CoreWeave, которой NVIDIA активно помогает развиваться. В рамках подготовки к IPO компания раскрыла, что около 77 % выручки 2024 году ей принесли всего два клиента. Крупнейшим из них была Microsoft (62 %), которая к тому же обогнала по объёму закупок ускорителей NVIDIA всех ближайших конкурентов. А вот вторым по величине клиентом CoreWeave оказалась… сама NVIDIA (15 %). В начале 2023 года, когда спрос на ИИ-ускорители со стороны гиперскейлеров был фантастическим, NVIDIA сделала любопытный ход — в рамках т. н. Project Osprey она согласилась потратить в течение четырёх лет $1,3 млрд на аренду собственных чипов у CoreWeave, одновременно инвестировав в неё $100 млн.

CoreWeave получила сотни тысяч современных ИИ-ускорителей и контракт с NVIDIA до августа 2027 года. NVIDIA действительно активно использует арендованные ускорители, не отвлекаясь на развёртывание ИИ ЦОД. В случае успешного выхода CoreWeave на биржу с оценкой более $30 млрд. заблаговременные инвестиции NVIDIA в акционерный капитал компании всего за два года превратятся в более чем $1 млрд. Однако для потенциальных инвесторов такое сотрудничество — повод для беспокойства, поскольку контракты с Microsoft и NVIDIA истекают в 2027–2029 гг.

Источник изображения: Kelly Sikkema / Unsplash

Подобные сделки на рынке ИИ — довольно распространённое явление. «Циклические» финансовые соглашения показывают, как деньги в отрасли уходят из компаний и возвращаются к ним же. SoftBank, намеренная стать одним из крупнейших инвесторов OpenAI, согласилась платить компании $3 млрд за использование её ИИ-продуктов. Microsoft вложила в OpenAI более $13 млрд, в результате чего получает долю в растущих доходах компании. В то же время OpenAI ежегодно выплачивает Microsoft миллиарды долларов за облачные сервисы. Amazon и Google заключили аналогичные сделки с Anthropic.

Тем временем CoreWeave подпитывает расширение бизнеса за счёт долговых обязательств на $8 млрд и $15 млрд договоров долгосрочной аренды ЦОД и офисов. В своё время CoreWeave даже взяла в долг $2,3 млрд под залог ускорителей NVIDIA, чтобы купить ещё больше ускорителей NVIDIA. Пока инвесторы сомневаются, как оценивать компанию, поскольку малое количество якорных клиентов в совокупности с высокими темпами роста и большими долгами — довольно редкое явление.

CoreWeave может сыграть роль и в развитии других компаний и проектов. В частности, речь идёт о намерении OpenAI подписаться на сервисы CoreWeave — пятилетний контракт на $11,9 млрд предполагает получение доли в компании. В этот период CoreWeave сможет получать дополнительные средства ежегодно, что несколько снизит её зависимость от NVIDIA и Microsoft. Однако данный контракт является лишь дополнением к контрактам с Microsoft и Oracle. Кроме того, идёт строительство ИИ ЦОД для проекта Stargate, поддерживаемого SoftBank и Oracle. Своим инвесторам OpenAI заявила, что к 2030 году Stargate обеспечит ¾ вычислительных мощностей, необходимых компании.

NVIDIA и xAI присоединились к консорциуму, намеренному инвестировать $30 млрд в развитие ИИ-инфраструктуры. Консорциум AI Infrastructure Partnership (AIP), ранее известный как Global AI Infrastructure Investment Partnership, был сформирован Microsoft, BlackRock, Global Infrastructure Partners (GIP, принадлежит BlackRock) и дубайской государственной инвесткомпанией MGX (создана при участии Mubadala и G42) в сентябре 2024 года, Silicon Angle.

Источник изображения: Troy Mortier/Unsplash.com

На начальном этапе консорциум намерен инвестировать в ИИ-проекты более $30 млрд, а в долгосрочной перспективе — $100 млрд. В основном речь идёт об инвестициях в дата-центры и энергетическую инфраструктуру, преимущественно в США. Консорциум сообщил, что уже привлёк значительные средства и вызвал интерес у бизнеса. До того, как NVIDIA объявила о намерении присоединиться к AIP, она выступала техническим консультантом консорциума в области ИИ ЦОД. Эту роль она сохранит.

Также стало известно, что с AIP работают производитель оборудования для энергетической отрасли GE Vernova, в прошлом году отделившийся от General Electric, и крупнейшая в США коммунальная компания NextEra Energy, занимающаяся электроснабжением. Она же является крупнейшим в мире провайдером в области ветроэнергетики. GE Vernova будет работать с AIP и партнёрами над формированием цепочек поставок. NextEra Energy поможет в масштабировании критически важных и разнообразных энергетических решений для ИИ ЦОД.

Некоторые из поддерживающих AIP компаний также участвуют и в других инициативах по финансированию развития ИИ-инфраструктуры. В прошлом году Microsoft с Constellation Energy Generation объявили о возобновлении работы АЭС Three Mile Island. Обновление объекта обойдётся в $1,6 млрд. После того, как тот заработает приблизительно в 2026 году, все 837 МВт пойдут на питание дата-центров Microsoft. NVIDIA параллельно участвует в проекте Stargate.

Компания Crusoe Energy начала вторую фазу строительства кампуса ИИ ЦОД в технопарке Lancium Clean Campus в Абилине (Abilene, Техас), который будет обслуживать ИИ-мегапроект Stargate. Предполагается, что она будет завершена в середине 2026 года, когда будут построены шесть новых зданий. Всего кампус будет включать восемь объектов. Итоговая площадь кампуса составит более 370 тыс. м², а общая ёмкость вырастет до 1,2 ГВт.

Первая фаза строительства ИИ ЦОД в Абилине стартовала в июне 2024 года. Она включает возведение двух зданий площадью более 90 тыс. м² и ёмкостью более 200 МВт. Ожидается, что подача энергии начнётся в I половине 2025 года. OpenAI ранее заявляла о намерении управлять восемью зданиями в кампусе в Абилине. Crusoe отказалась комментировать, ведётся ли вторая фаза строительства в интересах Stargate. На этой неделе Crusoe анонсировала создание совместного предприятия на 4,5 ГВт не только для строительства ЦОД, но и для их автономного питания от газовых электростанций.

Источник изображения: Crusoe

Как заявляют в Crusoe, экспансия в Абилине знаменует важную веху для ИИ-индустрии. Масштаб сконцентрированных на одной площадке вычислительных мощностей весьма примечателен — она, по оценкам, сможет разместить до 400 тыс. ускорителей. На рынке ИИ-инфраструктуры появилась новая категория — «ИИ-фабрика», позволяющая обрабатывать ИИ-нагрузки с беспрецедентными скоростью и масштабом. В Crusoe гордятся тем, что предоставляют инфраструктуру, которая будет способствовать развитию человечества. В Lancium добавляют, что управление ЦОД такого масштаба требует инноваций на уровне кампуса для обеспечения надёжности электросетей при любых нагрузках.

Почти 90 % ИТ-инфраструктуры «Почты России» «дышит на ладан», а 55 % транспорта компании находится «за сроками полезного использования», сообщают «РИА Новости» со ссылкой на выступление главы ФГУП «Почта России» Михаила Волкова на расширенном заседании ИТ-комитета в Госдуме.

Как заявил Михаил Волков, изношенность фондов очень большая. «Например, около 55 % нашего транспорта уже за сроками полезного использования. Что касается ИТ-инфраструктуры — 89 % фактически на ладан дышат», — был откровенен глава «Почты России». Ключевыми проблемами на 2025 год для организации ее глава называет низкий уровень заработных плат и крайняя изношенность инфраструктуры. При этом он указал, что в 2023 и 2024 годах зарплаты у специалистов основного производства повышались, но средний уровень выплат все равно в два раза ниже, чем в среднем по стране. С 2021 года уставный капитал «Почты России» был увеличен на 16,5 млрд руб. в рамках программы ее модернизации.

Источник изображения: Md Riduwan Molla / Unsplash

Михаил Волков сообщил, что сейчас проходит программа модернизации и ремонта сельских отделений и совместно с Минцифры прорабатывается продление этой программы до 2030 года. Программа реализуется в соответствии с перечнем поручений Президента России. Глава «Почты России» объяснил, что организация работает над повышением операционной и финансовой эффективности: «На 36 % увеличена производительность труда, более чем на 30 % сокращены административно-управленческие расходы. И уже в 2023 году это позволило выйти на операционную прибыль, также и в 2024 году. Высокая ключевая ставка, конечно, сильно нас здесь сдерживает».

Разработчик и производитель ПО и оборудования «ИКС Холдинг» завершает сделку по приобретению 100 % томского производителя радиоэлектроники и полупроводников НПФ «Микран», сообщают «Ведомости» со ссылкой на интервью с генеральным директором холдинга Алексеем Шелобковым. Сумма сделки не разглашается, но эксперты оценивают её в 10,5–15 млрд руб.

АО «НПФ Микран» было создано в 1991 году. Компания обладает разработками в области радиоэлектроники, релейных систем и контрольно-измерительного оборудования, которые используются телекомоператорами и разработчиками телекоммуникационного оборудования. В 2016 году Минторг США включил «Микран» в санкционный список.

Источник: «Микран»

Как указано в годовой отчетности «Микрана», в 2023 году выручка компании составила 7,38 млрд руб. (рост на 66 % в годовом выражении). Данные об акционерах не известны, но в феврале 2024 года «Коммерсантъ» со ссылкой на источники сообщал, что 90 % «Микрана» приобрела структура «Газпрома» – «Газпром тех».

Как указано на сайте «Микрана», штат компании насчитывает более 1,6 тыс. сотрудников. Главный фокус компании — развитие на российском рынке и активное продвижение продукции в странах Ближнего Востока и СНГ.

В ИТ-портфеле «ИКС холдинга» уже есть производитель вычислительной техники YADRO, разработчик решений СОРМ ГК «Цитадель», научно-исследовательская группа компаний «Криптонит», разработчик решений в области информационной безопасности ГК «Гарда» и разработчик низкоорбитальных спутниковых систем связи «Бюро 1440». Как рассказал Алексей Шелобков, холдинг развивает телекомпродукты, в том числе через приобретение активов.

NVIDIA анонсировала ИИ-ускорители следующего поколения Rubin, которые придут на смену Blackwell Ultra во II половине 2026 года. Выход Rubin Ultra запланирован на II половину 2027 года. Компанию им составят Arm-процессоры Vera. Серия названа в честь астронома Веры Купер Рубин (Vera Florence Cooper Rubin), известной своими исследованиями тёмной материи.

NVIDIA отметила, что в названии предыдущих ускорителей была «допущена ошибка». В Blackwell каждый чип состоит из двух GPU, но, например, в названии GB200/GB300 NVL72 упоминается только 72 GPU, хотя речь фактически идёт о 144 GPU. Поэтому, начиная с Rubin компания будет использовать новую схему наименований, которая больше не учитывает количество чипов, а относится исключительно к количеству GPU. Таким образом, следующее поколение суперускорителей, упакованных в ту же стойку Oberon, что используется для Grace Blackwell, получило название Vera Rubin NVL144.

Rubin во многом повторяет дизайн Blackwell, поскольку R200 всё так же включает два кристалла GPU (в составе SXM7), способных выдавать до 50 Пфлопс в вычислениях FP4 (без разреженности), и 288 Гбайт памяти в восьми стеках 12-Hi, но на этот раз уже HBM4 с общей пропускную способностью 13 Тбайт/с (2048-бит шина). Кристаллы GPU будут изготовлены по техпроцессу TSMC N3P, а компанию им составят два IO-чиплеты, отвечающие за все внешние коммуникации, пишет SemiAnalysis. Всё вместе будет упаковано посредством CoWoS-L. TDP новинок не указывается.

Источник изображений: NVIDIA

Чипы перейдут на интерконнект NVLink 6 со скоростью 1,8 Тбайт/с в каждую сторону (3,6 Тбайт/с в дуплексе), что вдвое выше, чем у текущего поколения NVLink 5. Аналогичным образом вырастет и коммутационная способность NVSwitch, а также NVLink C2C. Впрочем, при сохранении прежней схемы, когда один CPU обслуживает два модуля GPU, каждому из последних, по-видимому, достанется половина пропускной способности шины. Собственно процессор Vera получит 88 кастомных (а не Neoverse CSS в случае Grace) 3-нм Arm-ядра, причём с SMT, что даст 176 потоков. Каждый CPU получит порядка 1 Тбайт LPDDR-памяти и будет вдвое быстрее Grace при теплопакете в районе 50 Вт.

По словам NVIDIA, VR200 NVL144 будет в 3,3 раза быстрее: 3,6 Эфлопс в FP4-вычислениях для инференса и 1,2 Эфлопс в FP8 для обучения. Суммарный объём HBM-памяти составит более 20,7 Тбайт, системной памяти — 75 Тбайт. Внешняя сеть будет представлена адаптерами ConnectX-9 SuperNIC со скоростью 1,6 Тбит/с на порт, что вдвое больше, чем у ConnectX-8, обслуживающих GB300.

Во II половине 2027 года появится ускоритель Rubin Ultra (R300) с FP4-производительностью более 100 Пфлопс (без разреженности), объединяющий сразу четыре GPU, два IO-чиплета и 16 стеков HBM4e-памяти 16-Hi общим объёмом 1 Тбайт (32 Тбайт/с) в упаковке SXM8. Более того, ускорители, по-видимому, получат ещё и LPDDR-память. Процессор Vera перекочует в новую платформу без изменений, один CPU будет приходиться на четыре GPU. Внутренней шиной станет NVLink 7, которая сохранит скорость NVLink 6, зато получит вчетверо более производительные коммутатор NVSwitch. А вот внешнее подключение по-прежнему будут обслуживать адаптеры ConnectX-9.

Новая стойка Kyber полностью поменяет компоновку. Узлы теперь напоминают вертикальные блейд-серверы, используемые в суперкомпьютерах. Каждый узел (VR300) будет включать один процессор Vera и один ускоритель Rubin Ultra. Всего таких узлов будет 144, что в сумме даёт 144 CPU, 576 GPU и 144 Тбайт HBM4e. Суперускоритель Rubin Ultra NVL576 будет потреблять 600 кВт и обеспечит быстродействие в 15 Эфлопс для инференса (FP4) и 5 Эфлопс для обучения (FP8). При этом упоминается, что объём быстрой (fast) памяти составит 365 Тбайт, но сколько из них достанется CPU, не уточняется.

Дальнейшие планы NVIDIA включают выход во II половине 2028 года первого ускорителя на новой архитектуре Feynman, названной в честь физика-теоретика Ричарда Филлипса Фейнмана (Richard Phillips Feynman). Сообщается, что Feynman будет полагаться на память HBM «следующего поколения» и, вероятно, на CPU Vera. Это поколение также получит коммутаторы NVSwitch 8 (NVL-Next), сетевые коммутаторы Spectrum7 и адаптеры ConnectX-10.

Разработчик инфраструктурного ПО «Увеон – облачные технологии» (входит в «Группу Астра») выпустил контроллер доставки приложений Termidesk Connect — решение для балансировки нагрузки, повышения отказоустойчивости и масштабирования ИТ-сервисов. В компании уверяют, что новое решение способно заменить аналоги от Citrix, F5, Radware, A10, Kemp и других глобальных вендоров.

Termidesk Connect позволяет создавать и масштабировать геораспределенные архитектуры, балансировать нагрузку на ИТ-сервисы и обеспечивать высокую степень их отказоустойчивости и доступности, в том числе, когда количество пользователей растет. Решение объединяет ключевые технологии, необходимые для работы бизнес-приложений организаций: GSLB (Global Server Load Balancing) для георезервирования сервисов, балансировку нагрузки на уровнях L4 и L7, Content Switching для создания гибкой логики перенаправления запросов, HA-кластер с синхронизацией конфигураций. Как поясняют в компании, это позволяет создавать геораспределенные архитектуры, оптимальные для компаний с несколькими ЦОД или филиальной сетью.

Источник: «Группа Астра»

Кроме того, Termidesk Connect позволит быстро обрабатывать большие потоки транзакций: SSL Offload балансирует нагрузку на уровне приложений, а задача шифрования и дешифрования SSL переносится с backend-серверов на сам балансировщик. В ближайших планах «Увеона — облачные технологии» — добавление новых функций. Также разработчик рассматривает выпуск Termidesk Connect в формате аппаратной платформы.

Занимающаяся разработкой корпоративного ПО компания VK Tech (входит в экосистему VK) сообщила о выпуске новой версии платформы Private Cloud 4.2 — решения для построения частного облака в ЦОД заказчика на базе VK Cloud.

Private Cloud включает в себя набор сервисов облачной платформы VK Cloud, необходимый для развёртывания частного облака, включая виртуализацию, управление сетями и контейнерами, базы данных и маркетплейс приложений. Решение поддерживает отечественные операционные системы, сертифицировано во ФСТЭК России и может использоваться для размещения критически важных IT-систем, хранения чувствительных данных и реализации проектов в соответствии с требованиями регулирующих органов в сфере иноформенной безопасности.

Пользовательский интерфейс Private Cloud в составе VK Cloud (источник изображения: cloud.vk.com/private-cloud)

Обновлённая платформа Private Cloud получила улучшенный механизм автоэвакуации виртуальных машин и возможность подключения пользователями собственных систем хранения данных по универсальной схеме с поддержкой основных протоколов, таких как iSCSI, Fibre Channel и InfiniBand. Это обеспечивает совместимость с любыми хранилищами и повышает отказоустойчивость. Платформа также поддерживает гибкое выделение части объёма хранилища под конкретные задачи, что позволяет эффективно управлять ресурсами.

Дополнительно в Private Cloud версии 4.2 появилась передача данных в сторонние SIEM-системы. Система аудита позволяет фильтровать, искать и выводить предупреждения о событиях информационной безопасности на платформе. Это помогает собирать и анализировать сведения, необходимые для защиты корпоративных данных.

Российские телекоммуникационные компании с 2025 года меняют китайское DWDM-оборудование на российское. Об этом «Ведомостям» рассказали участники рынка. При этом отечественное DWDM-оборудование на 80% состоит из китайских компонентов, а российский там только софт, отмечает один из экспертов. При этом фактически речь может идти скорее об обновлении устаревшего оборудования, а не полном импортозамещении.

О том, что операторы меняют китайское оборудование на российское, рассказали «Ростелеком», «Транстелеком», МТС и «Мегафон», а также отечественные производители телекомоборудования «T8», «Супертел» и VPG Laserone (ранее «ИРЭ-Полюс»). Как отметил руководитель департамента развития телекомбизнеса «Транстелекома», российское оборудование инженерно более эффективно с частотной точки зрения, чем китайское, установленное 5–7 лет назад.

По словам собеседника «Ведомостей» в одном из российских производителей оборудования, на массовый уход с китайского оборудования повлияло поднятие цен в 10 раз при отсутствии иностранных конкурентов. Таким образом китайские вендоры хеджируют риски от работы с российскими партнерами. Также Минпромторг стимулирует создание и применение отечественного DWDM-оборудования за счет балльной системы и реестра телекоммуникационного и радиоэлектронного оборудования российского происхождения.

По данным J’son & Partners Consulting, в 2022 году зависимость операторов от продукции иностранных DWDM-решений составляла 44,3 % при объеме российского рынка в 9 млрд руб. (данных на 2024 года не приводится). Замена китайского и другого зарубежного телекомоборудования постепенно идет и в категориях маршрутизаторов, коммутаторов, OLT, SDH/OTN и программного обеспечения.