На базе промышленной площадки ГК «Аквариус» в Твери заработала линия выпуска пластиковых комплектующих и сборки серверов. Всего в производственные процессы группа компаний вложила в 2024 году 1,8 млрд руб., сообщает её пресс-служба.

Ключевым компонентом цеха является линия сборки серверного оборудования на основе лифтового механизма, распределяющего устройства между параллельными участками тестирования. Такой вариант сокращает время сборки и позволяет качественно контролировать каждое выпускаемое изделие. Ежедневно можно будет выпускать до 1 тыс. серверов, т.е. в 2,5 раза больше того, на что способно предприятие сегодня.

Дополнительно в новом цехе будут выпускать с помощью литья под давлением пластиковые детали — благодаря этому корпуса клиентских устройств и электронной периферии можно будет производить непосредственно в Тверской области. Это, в частности, сократит зависимость производителя от внешних поставок.

Источник изображения: ГК «Аквариус»

По словам представителя «Аквариуса», инновационная лифтовая система в сборочной линии — уникальное для России производственное решение, позволяющее тестировать втрое больше готовых устройств, чем при стандартном подходе. Более того, её внедрение знаменует новый шаг в рамках долгосрочного сотрудничества с Тверской областью — вместе создаётся и развивается локальное высокотехнологичное производство, конкурентоспособное в международном масштабе.

По словам представителей власти, сходящая с конвейеров в Твери продукция конкурентоспособна как функционально, так и по цене. Другими словами, кроме вклада в обеспечение технологического суверенитета России обеспечивается и добавленная стоимость, которая останется в стране, с неё заплатят налоги, она будет способствовать расширению экономики. Кроме того, речь идёт о дополнительном развитии промышленности и новом уровне кадров на производстве — выпускники местных учебных заведений работают на ГК «Аквариус».

«ИнфоТеКС» представила компактный шлюз безопасности ViPNet Coordinator HW50, выполненный на аппаратной платформе компании «АТБ-Электроника». Новинка предназначена для использования в небольших офисах и филиалах организаций.

Шлюз построен на основе мини-компьютера «АТБ-Электроника» АТБ-АТОМ-1.3. Устройство оборудовано процессором Intel Atom E3845 поколения Bay Trail (4C/4T; 1,91 ГГц; 10 Вт), максимум 8 Гбайт оперативной памяти DDR3L-1067 (non-ECC), а также SSD формата М.2 2242 вместимостью до 256 Гбайт. Решение обеспечивает производительность в режиме шифрования (VPN) до 250 Мбит/с, в режиме межсетевого экрана — до 700 Мбит/с. Количество обслуживаемых соединений достигает 150 тыс.

Устройство ViPNet Coordinator HW50 (платформа HW50 A1) располагает тремя сетевыми интерфейсами 1GbE (RJ45), портами USB 2.0 и USB 3.0, выходом HDMI и консольным портом (RJ45) для локального подключения к шлюзу. Беспроводные интерфейсы не предусмотрены. Габариты составляют 136 × 28 × 130 мм, масса — 0,4 кг. Питание подаётся через внешний адаптер. Диапазон рабочих температур простирается от 0 до +50 °C. Среднее время наработки на отказ (MTBF) — 40 тыс. часов.

Источник изображения: «ИнфоТеКС»

Изделия АТБ-АТОМ-1.3 включено в Единый реестр российской радиоэлектронной продукции (ПП РФ 878). ViPNet Coordinator HW50 A1 сертифицирован во ФСТЭК России по требованиям к межсетевым экранам типа А, типа Б четвёртого класса и четвёртого уровня доверия. Завершаются работы по сертификации платформы по требованиям ФСБ России к СКЗИ класса КС3.

«ИнфоТеКС» планирует добавить платформу HW50 A1 в новое поколение криптошлюзов ViPNet Coordinator HW 5, реализующих концепцию NGFW (межсетевой экран нового поколения). Кроме того, аппаратные платформы «АТБ-Электроники» рассматриваются для развития модельного ряда индустриальных шлюзов безопасности.

Meta✴ и OpenAI по отдельности ведут переговоры с индийской Reliance Industries о потенциальном сотрудничестве для расширения ИИ-сервисов, сообщает The Information. Так, OpenAI хотела бы при помощи Reliance Jio расширить использование ChatGPT в Индии — об этом изданию сообщили два независимых источника, знакомых с вопросом.

Более того, OpenAI обсуждала с сотрудниками сокращение стоимости подписок на платный вариант ChatGPT с $20/мес. до всего нескольких долларов. Пока неизвестно, велись ли разговоры об этом в ходе переговоров с Reliance. С последней, как утверждается, обсуждали продажу ИИ-моделей OpenAI корпоративным клиентам (через API). Также индийская компания заинтересована в локальном хостинге моделей OpenAI, чтобы данные местных клиентов будут храниться в пределах Индии.

По имеющимся данным, с OpenAI и Meta✴ велись переговоры о запуске ИИ-моделей компаний в 3-ГВт ЦОД, который Reliance пока только планирует построить. Утверждается, что это будет «крупнейший дата-центр в мире» — его возведут в Джамнагаре (штат Гуджарат). Стоит отметить, что Reliance Industries является одним из крупнейших конгломератов Индии, имеющих интересы как в нефтегазовой отрасли, так и в IT и смежных отраслях, а также в сфере «зелёной» энергетики.

Источник изображения: Shivam Mistry/unsplash.com

Индия в целом считается очень перспективной страной для развития инвестиций в ИИ. Например, в конце прошлого года глава NVIDIA Дженсен Хуанг (Jensen Huang) заявил, что страна должна стать одним из лидеров в области ИИ и создать собственную инфраструктуру. Тогда сообщалось, что Индия на государственном уровне обсуждает с NVIDIA совместную разработку чипов для ИИ-проектов, адаптированных к местным задачам.

Также страна осваивает связанные с ИИ технологии — например, она затратит $1,2 млрд на суверенный ИИ-суперкомпьютер с 10 тыс. ускорителей и собственные LLM, а также готова покупать много ускорителей, включая ослабленные варианты, которые не достались Китаю после ужесточения американских санкций. И это далеко не все проекты, находящиеся сейчас на стадии разработки и реализации.

Разработчик инфраструктурного ПО для Enterprise-бизнеса Orion soft выпустил новую версию системы терминального доступа Termit 2.3. В ней реализована возможность перенаправления смарт-карт в удаленных сессиях, многофакторной аутентификации и одновременной работы с несколькими каталогами LDAP, поддержка единого входа SSO Kerberos, а также новая роль ИБ-аудитора, разделение списка приложений и рабочих столов по типу и категориям.

Новая функциональность позволяет заказчикам, в частности, субъектам КИИ, усилить защиту ключевых ИТ-систем и расширить количества сценариев применения терминального доступа. Нововведения упрощают повседневные операции, экономят время администраторов и снижают порог обучения для новых пользователей. Интерфейс Termit стал более структурированным, что помогло снизить время поиска необходимых функций.

Источник изображения: Orion soft

В прошлых версиях Termit команда Orion soft реализовала поддержку российских каталогов LDAP, а теперь решение позволяет работать сразу с несколькими LDAP. Благодаря этому к терминальному серверу можно подключать одновременно разные базы пользователей. Это актуально компаниям, которым нужно объединить сотрудников из нескольких организаций или филиалов, и в случае переходного периода, когда в инфраструктуре одновременно используется служба каталогов Microsoft AD и ее отечественный аналог.

Также система получила механизм упрощенной авторизации по схеме Single Sign-On (SSO) на базе протокола аутентификации Kerberos. Нововведение избавляет пользователя от необходимости повторно вводить свои реквизиты доступа. Если он уже вошел в систему, все сервисы будут доступны, пока не закончится время его сессии.

Еще одно нововведение — поддержка многофакторной аутентификации (MFA) через любой доступный RADIUS-сервер. Системные администраторы могут выбрать любой дополнительный фактор, например, SMS или токен, либо оставить выбор за пользователями.

Чтобы у заказчиков было больше инструментов для контроля уровня безопасности системы, разработчики также добавили в релиз Termit 2.3 новую роль «аудитор ИБ». Она дает возможность просматривать настройки и проверять их корректность.

«В новом релизе Termit мы сделали акцент на безопасности и расширении количества сценариев для терминального доступа, так как ориентируем наше решение на использование в ИТ-инфраструктуре субъектов КИИ. Мы добавили новые функции авторизации, чтобы у заказчиков была возможность настроить систему в соответствии с актуальными требованиями регуляторов.

Отметим также, что Termit разработан без использования Open Source. Это исключает возможность эксплуатации уязвимостей общедоступного кода, позволяет повысить безопасность бизнес-процессов и ИТ-инфраструктуры заказчиков, а также ускорить выпуск новой востребованной функциональности.

Наш продукт уже в значительной степени закрывает требования к базовой функциональности терминального доступа. Мы продолжаем развивать Termit, учитывая запросы и приближаясь к полному закрытию списка основных ожиданий пользователей от платформы», — резюмирует Константин Прокопьев, лидер продукта Termit Orion soft.

Следующее обновление Termit также планируется масштабным. Разработчики планируют реализовать функциональность VDI (виртуализация рабочих мест), управление перемещаемыми профилями с поддержкой различных отечественных ОС, возможность аутентификации в удаленных сессиях при помощи смарт-карт, поддержку ГОСТ шифрования трафика, возможность доступа со смартфонов и планшетов.

NVIDIA анонсировала NVIDIA AI Data Platform — настраиваемую эталонную архитектуру, которую ведущие поставщики смогут использовать для создания нового класса ИИ-инфраструктуры для требовательных рабочих нагрузок ИИ-инференса: корпоративных платформ хранения со специализированными ИИ-агентами, использующих ускорители, сетевые решения и ПО NVIDIA.

Эти агенты помогут генерировать ответы из имеющихся данных практически в реальном времени, используя ПО NVIDIA AI Enterprise — включая микросервисы NVIDIA NIM для новых моделей NVIDIA Llama Nemotron, а также NVIDIA AI-Q Blueprint. Провайдеры хранилищ смогут оптимизировать свою инфраструктуру для обеспечения работы этих агентов с помощью ускорителей NVIDIA Blackwell, DPU BlueField, сетей Spectrum-X и библиотеки инференса с открытым исходным кодом NVIDIA Dynamo.

Ведущие провайдеры платформ данных и хранилищ, включая DDN, Dell, HPE, Hitachi Vantara, IBM, NetApp, Nutanix, Pure Storage, VAST Data и WEKA, сотрудничают с NVIDIA для создания настраиваемых ИИ-платформ данных, которые могут использовать корпоративные данные для рассуждений и ответов на сложные запросы.

Источник изображения: NVIDIA

NVIDIA Blackwell, DPU BlueField и сетевое оборудование Spectrum-X предоставляют механизм для ускорения доступа ИИ-агентов запроса к данным, хранящимся в корпоративных системах. DPU BlueField обеспечивают производительность до 1,6 раз выше, чем хранилища на базе ЦП, при этом снижая энергопотребление до 50 %, а Spectrum-X ускоряет доступ к хранилищам до 48 % по сравнению с традиционным Ethernet, применяя адаптивную маршрутизацию и контроль перегрузки, говорит NVIDIA.

ИИ-агенты, созданные с помощью AI-Q Blueprint, подключаются к данным во время инференса, чтобы предоставлять более точные, контекстно-зависимые ответы. Они могут быстро получать доступ к большим объёмам информации и обрабатывать различные типы данных, включая структурированные, полуструктурированные и неструктурированные данные из нескольких источников, в том числе текст, PDF, изображения и видео.

Сертифицированные партнёры NVIDIA в области СХД уже сотрудничают с NVIDIA в деле создания новых ИИ-платформ:

• DDN внедряет возможности AI Data Platform в свою платформу ИИ DDN Infinia.
• Dell создаёт вариант AI Data Platform для своего семейства решений Dell PowerScale и Project Lightning.
• HPE внедряет возможности AI Data Platform в HPE Private Cloud для ИИ, HPE Data Fabric, HPE Alletra Storage MP и HPE GreenLake для хранения файлов.
• Hitachi Vantara интегрирует AI Data Platform в экосистему Hitachi IQ, помогая клиентам внедрять инновации с помощью систем хранения и предложений данных, которые обеспечивают ощутимые результаты работы ИИ.
• IBM интегрирует AI Data Platform как часть своих возможностей хранения с учётом содержимого с технологиями IBM Fusion и IBM Storage Scale для ускорения приложений генеративного ИИ с расширенным извлечением данных.
• NetApp совершенствует хранилище для агентского ИИ с помощью решения NetApp AIPod, созданного на базе AI Data Platform.
• Nutanix Cloud Platform с Nutanix Unified Storage будет интегрированы с NVIDIA AI Data Platform, что позволит выполнять инференс и агентские рабочие процессы, развёрнутые на периферии, в ЦОД и публичном облаке.
• Pure Storage предоставит возможности AI Data Platform с Pure Storage FlashBlade.
• VAST Data работает с AI Data Platform для сбора аналитических данных в реальном времени с помощью VAST InsightEngine.

NVIDIA анонсировала новое семейство ИИ-моделей Llama Nemotron с расширенными возможностями рассуждения. Основанные на моделях Llama с открытым исходным кодом от Meta✴ Platforms, модели от NVIDIA предназначены для предоставления разработчикам основы для создания продвинутых ИИ-агентов, которые могут от имени своих пользователей независимо или с минимальным контролем работать в составе связанных команд для решения сложных задач.

«Агенты — это автономные программные системы, предназначенные для рассуждений, планирования, действий и критики своей работы», — сообщила Кари Бриски (Kari Briski), вице-президент по управлению программными продуктами Generative AI в NVIDIA на брифинге с прессой, пишет VentureBeat. «Как и люди, агенты должны понимать контекст, чтобы разбивать сложные запросы, понимать намерения пользователя и адаптироваться в реальном времени», — добавила она. По словам Бриски, взяв Llama за основу, NVIDIA оптимизировала модель с точки зрения требований к вычислениям, сохранив точность ответов.

Источник изображений: NVIDIA

NVIDIA сообщила, что улучшила новое семейство моделей рассуждений в ходе дообучения, чтобы улучшить многошаговые математические расчёты, кодирование, рассуждения и принятие сложных решений. Это позволило повысить точность ответов моделей до 20 % по сравнению с базовой моделью и увеличить скорость инференса в пять раз по сравнению с другими ведущими рассуждающими open source моделями. Повышение производительности инференса означают, что модели могут справляться с более сложными задачами рассуждений, имеют расширенные возможности принятия решений и позволяют сократить эксплуатационные расходы для предприятий, пояснила компания.

Модели Llama Nemotron доступны в микросервисах NVIDIA NIM в версиях Nano, Super и Ultra. Они оптимизированы для разных вариантов развёртывания: Nano для ПК и периферийных устройств с сохранением высокой точности рассуждения, Super для оптимальной пропускной способности и точности при работе с одним ускорителем, а Ultra — для максимальной «агентской точности» в средах ЦОД с несколькими ускорителями.

Как сообщает NVIDIA, обширное дообучение было проведено в сервисе NVIDIA DGX Cloud с использованием высококачественных курируемых синтетических данных, сгенерированных NVIDIA Nemotron и другими открытыми моделями, а также дополнительных курируемых наборов данных, совместно созданных NVIDIA. Обучение включало 360 тыс. часов инференса с использованием ускорителей H100 и 45 тыс. часов аннотирования человеком для улучшения возможностей рассуждения. По словам компании, инструменты, наборы данных и методы оптимизации, используемые для разработки моделей, будут в открытом доступе, что предоставит предприятиям гибкость в создании собственных пользовательских рвссуждающих моделей.

Одной из ключевых функций NVIDIA Llama Nemotron является возможность включать и выключать опцию рассуждения. Это новая возможность на рынке ИИ, утверждает компания. Anthropic Claude 3.7 имеет несколько схожую функциональность, хотя она является закрытой проприетарной моделью. Среди моделей с открытым исходным кодом IBM Granite 3.2 тоже имеет переключатель рассуждений, который IBM называет «условным рассуждением».

Особенность гибридного или условного рассуждения заключается в том, что оно позволяет системам исключать вычислительно затратные этапы рассуждений для простых запросов. NVIDIA продемонстрировала, как модель может задействовать сложные рассуждения при решении комбинаторной задачи, но переключаться в режим прямого ответа для простых фактических запросов.

NVIDIA сообщила, что целый ряд партнёров уже использует модели Llama Nemotron для создания новых мощных ИИ-агентов. Например, Microsoft добавила Llama Nemotron и микросервисы NIM в Microsoft Azure AI Foundry. SAP SE использует модели Llama Nemotron для улучшения возможностей своего ИИ-помощника Joule и портфеля решений SAP Business AI. Кроме того, компания использует микросервисы NVIDIA NIM и NVIDIA NeMo для повышения точности завершения кода для языка ABAP.

ServiceNow использует модели Llama Nemotron для создания ИИ-агентов, которые обеспечивают повышение производительности и точности исполнения задач предприятий в различных отраслях. Accenture сделала рассуждающие модели NVIDIA Llama Nemotron доступными на своей платформе AI Refinery. Deloitte планирует включить модели Llama Nemotron в свою недавно анонсированную платформу агентского ИИ Zora AI. Atlassian и Box также работают с NVIDIA, чтобы гарантировать своим клиентам доступ к моделям Llama Nemotron.

Компания Seeed Studio, по сообщению CNX-Software, выпустила компьютер небольшого форм-фактора reComputer J3010B, предназначенный для поддержания ИИ-нагрузок на периферии. Устройство может эксплуатироваться в широком температурном диапазоне — от -10 до +60 °C.

В основу новинки положена аппаратная платформа NVIDIA Jetson Orin Nano. Решение содержит процессор с шестью вычислительными ядрами Arm Cortex-A78AE с частотой до 1,5 ГГц и GPU на архитектуре NVIDIA Ampere с 16 тензорными ядрами. Доступны варианты с 512 и 1024 ядрами CUDA, оснащённые соответственно 4 и 8 Гбайт памяти LPDDR5. В первом случае заявленная ИИ-производительность достигает 34 TOPS, во втором — 67 TOPS.

reComputer J3010B несёт на борту NVMe SSD вместимостью 128 Гбайт и сетевой контроллер 1GbE. Есть слот M.2 Key E для опционального модуля Wi-Fi/Bluetooth, разъём mini PCIe для модема 4G (1 × PCIe 3.0 x4/3 × PCIe 3.0 x1), 40-контактная колодка расширения, 12-контактная колодка UART, коннектор для подключения вентилятора охлаждения с ШИМ-управлением, два интерфейса камеры CSI (2 линии). В набор разъёмов входят два порта USB 3.2 Type-A и порт USB 2.0 Type-C, интерфейс HDMI 2.1, гнездо RJ45 для сетевого кабеля.

Источник изображения: Seeed Studio

Размеры компьютера составляют 130 × 120 × 58,5 мм, масса — 451,9 г. Питание (9–19 В) подаётся через DC-разъём на 5,5/2,5 мм. Компания Seeed Studio заявляет, что новинка будет доступна как минимум до 2032 года. Устройство обеспечивается двухлетней гарантией. Цена reComputer J3010B составляет $505 за модель с 4 Гбайт оперативной памяти и $605 за модификацию с 8 Гбайт.

Продукты VMware по-прежнему востребованы на российском рынке виртуальных серверов. Хотя большая его часть это рынка уже занята российским ПО, на долю VMware всё ещё приходится 39 %, сообщают «Ведомости». В сравнении с 2021 годом число установок продуктов VMware упало на 28,4 п.п., гласит статистика 19 крупнейших облачных провайдеров России, собранная iKS-Consulting.

Если раньше продукты VMware доминировали на российском рынке виртуализации, то в конце марта 2022 года лицензии компании были отозваны ФСТЭК. В то же время с января 2025 года российским организациям, имеющим объекты критической информационной инфраструктуры (КИИ), запрещено пользоваться VMware, Microsoft Hyper-V и другим зарубежным ПО. Таким образом, российские системы виртуализации активно развивались с 2022 года во многом благодаря уходу глобальных поставщиков ПО и ужесточению требований местных регуляторов, хотя, например, на коммерческие компании давление не так велико, поэтому их больше волнует отсутствие технической поддержки со стороны ушедших вендоров.

Источник изображений: iKS-Consulting

В итоге доля российских решений на базе KVM с конца 2021 года по конец 2024 года выросла на треть, до 60,2 %. По предварительным оценкам iKS-Consulting, российский рынок виртуализации в 2024 году вырос до 14,4 млрд руб. 75,3 % рынка пришлось на решения для серверной виртуализации и HCI, 19,4 % — на VDI и системы терминального доступа, а ещё 5,4 % — на «прочее ПО». В целом среднегодовой прирост в ближайшие семь лет, по оценкам, составит 23 %, а в 2030 году объём рынка будет на уровне 50,4 млрд руб. По статистике 2023 года 30 % рынка (по выручке) приходилось на ПО компании «Базис», 16 % — на Orion Soft, по 10 % — на vStack и «Астра».

Как заявили в «Базисе», в 2022–2023 гг. к компании обращались заказчики с требованием предоставить решения с функциональностью продуктов VMware. Компания смогла сразу удовлетворить более половины, а при вдумчивой оценке выяснялось, что большинство оставшихся требований заказчикам на самом деле не нужны. А даже те, что нужны, имеют разный приоритет. Аналогичная ситуация была и у vStack.

По словам представителя «РТК-ЦОД», только массовое развёртывание и работа «в совершенно разных сценариях» с разными заказчиками и в разных отраслях позволит стать отечественному продукту зрелым. Время и реальные внедрения могут повысить доверие к продуктам — это очень важно, поскольку ПО VMware за четверть века стало эталоном в области виртуализации. По оценкам «ТМТ Консалтинг», массовый переход на российские системы виртуализации случится в 2025–2027 гг.

Компания International Data Corporation (IDC) подвела итоги исследования глобального серверного рынка в IV квартале 2024 года. Выручка достигла рекордных $77,3 млрд, что на 91 % больше по сравнению с последней четвертью 2023-го, когда продажи составляли $40,5 млрд.

С октября по декабрь включительно серверы с архитектурой x86 принесли $54,8 млрд, что на 59,9 % больше по сравнению с аналогичным периодом 2023 года. Суммарная выручка от поставок систем с процессорами на всех других архитектурах за год взлетела на 262,1 %, достигнув $22,5 млрд. Это, в частности, указывает на быстрый рост популярности Arm-серверов.

Высоким спросом продолжают пользоваться машины для ИИ-задач, оборудованные GPU-ускорителями: выручка от такого оборудования в IV квартале 2024 года поднялась на 192,6 % в годовом исчислении. В данном сегменте доминирует NVIDIA с долей более 90 % в общем объёме поставок в штучном выражении.

Источник изображения: IDC

Лидером глобального серверного рынка в последней четверти 2024-го стала Dell с продажами на уровне $5,5 млрд и долей в 7,2 % против 11,3 % годом ранее. На втором месте располагается Supermicro, у которой выручка составила $5,0 млрд, а доля снизилась в годовом исчислении с 8,0 % до 6,5 %. Замыкает тройку НРЕ с $4,2 млрд и 5,5 %: годом ранее эта компания контролировала 6,8 % отрасли. На четвёртом месте находится IEIT Systems с $3,9 млрд и 5,0 %, на пятом — Lenovo $3,8 млрд и 4,9 %. Прямые ODM-поставки обеспечили $36,6 млрд, или 47,3 % в общем объёме отрасли. На всех прочих игроков рынка пришлось $18,3 млрд, или около 23,7 %.

В географическом плане Соединенные Штаты являются вторым по темпам роста регионом на рынке серверов сразу после Канады с приростом на 118,4 %, но США лидируют с долей 56 % от суммарных продаж серверов в IV квартале 2024 года, тогда как на Канаду приходится только 1,1 % продаж. В Китае выручка поднялась на 93,3 % — на КНР приходится почти четверть общемировых продаж. В Японии зафиксирован рост на 66,9 %, в Азиатско-Тихоокеанском регионе (за исключением Японии и Китая) — на 43,8 %, в регионе EMEA (Европа, Ближний Восток и Африка) — на 28,2 %, в Латинской Америке — на 7 %.

В 2024 году в целом выручка на мировом рынке серверов достигла $235,7 млрд, что более чем в два раза превышает показатель 2020-го.

NVIDIA представила NVIDIA Dynamo, преемника NVIDIA Triton Inference Server — программную среду с открытым исходным кодом для разработчиков, обеспечивающую ускорение инференса, а также упрощающую масштабирование рассуждающих ИИ-моделей в ИИ-фабриках с минимальными затратами и максимальной эффективностью. Глава NVIDIA Дженсен Хуанг (Jensen Huang) назвал Dynamo «операционной системой для ИИ-фабрик».

NVIDIA Dynamo повышает производительность инференса, одновременно снижая затраты на масштабирование вычислений во время тестирования. Сообщается, что благодаря оптимизации инференса на NVIDIA Blackwell эта платформа многократно увеличивает производительность рассуждающей ИИ-модели DeepSeek-R1.

Источник изображений: NVIDIA

Платформа NVIDIA Dynamo, разработанная для максимизации дохода от токенов для ИИ-фабрик (ИИ ЦОД), организует и ускоряет коммуникацию инференса на тысячах ускорителей, и использует дезагрегированную обработку данных для разделения фаз обработки и генерации больших языковых моделей (LLM) на разных ускорителях. Это позволяет оптимизировать каждую фазу независимо от её конкретных потребностей и обеспечивает максимальное использование вычислительных ресурсов.

При том же количестве ускорителей Dynamo удваивает производительность (т.е. фактически доход ИИ-фабрик) моделей Llama на платформе NVIDIA Hopper. При запуске модели DeepSeek-R1 на большом кластере GB200 NVL72 благодаря интеллектуальной оптимизации инференса с помощью NVIDIA Dynamo количество генерируемых токенов на каждый ускоритель токенов увеличивается более чем в 30 раз, сообщила NVIDIA.

NVIDIA Dynamo может динамически перераспределять нагрузку на ускорители в ответ на меняющиеся объёмы и типы запросов, а также закреплять задачи за конкретными ускорителями в больших кластерах, что помогает минимизировать вычисления для ответов и маршрутизировать запросы. Платформа также может выгружать данные инференса в более доступную память и устройства хранения данных и быстро извлекать их при необходимости.

NVIDIA Dynamo имеет полностью открытый исходный код и поддерживает PyTorch, SGLang, NVIDIA TensorRT-LLM и vLLM, что позволяет клиентам разрабатывать и оптимизировать способы запуска ИИ-моделей в рамках дезагрегированного инференса. По словам NVIDIA, это позволит ускорить внедрение решения на различных платформах, включая AWS, Cohere, CoreWeave, Dell, Fireworks, Google Cloud, Lambda, Meta✴, Microsoft Azure, Nebius, NetApp, OCI, Perplexity, Together AI и VAST.

NVIDIA Dynamo распределяет информацию, которую системы инференса хранят в памяти после обработки предыдущих запросов (KV-кеш), на множество ускорителей (до тысяч). Затем платформа направляет новые запросы на те ускорители, содержимое KV-кеша которых наиболее близко к новому запросу, тем самым избегая дорогостоящих повторных вычислений.

NVIDIA Dynamo также обеспечивает дезагрегацию обработки входящих запросов, которое отправляет различные этапы исполнения LLM — от «понимания» запроса до генерации — разным ускорителям. Этот подход идеально подходит для рассуждающих моделей. Дезагрегированное обслуживание позволяет настраивать и выделять ресурсы для каждой фазы независимо, обеспечивая более высокую пропускную способность и более быстрые ответы на запросы.

NVIDIA Dynamo включает четыре ключевых механизма:

• GPU Planner: механизм планирования, который динамически меняет количество ускорителей в соответствии с меняющимися запросами, устраняя возможность избыточного или недостаточного выделения ресурсов.
• Smart Router: маршрутизатор для LLM, который распределяет запросы по большим группам ускорителей, чтобы минимизировать дорогостоящие повторные вычисления повторяющихся или перекрывающихся запросов, высвобождая ресурсы для обработки новых запросов.
• Low-Latency Communication Library: оптимизированная для инференса библиотека, которая поддерживает связь между ускорителями и упрощает обмен данными между разнородными устройствами, ускоряя передачу данных.
• Memory Manager: механизм, который прозрачно и интеллектуально загружает, выгружает и распределяет данные инференса между памятью и устройствами хранения.

Платформа NVIDIA Dynamo будет доступна в микросервисах NVIDIA NIM и будет поддерживаться в будущем выпуске платформы NVIDIA AI Enterprise.