Microsoft планирует инвестировать $3,2 млрд в ИИ-системы и облачную инфраструктуру в Швеции. По данным Reuters, это крупнейшее вложение в соответствующие проекты в странах Северной Европы, богатых «зелёной» энергией. Компания закрепит присутствие в стране, добавив 20 тыс. ускорителей в свои три дата-центра. Компания намерена использовать новые ускорители NVIDIA и AMD и, возможно, чипы собственной разработки.

По словам президента IT-гиганта Брэда Смита (Brad Smith), подобная инициатива наглядно демонстрирует веру компании в то, что Швеция способна извлечь выгоду от внедрения ИИ. Microsoft обещает обучить 250 тыс. человек «основным ИИ-навыкам» в школах, организациях, государственном и других секторах в ближайшие три года. Смит также подчеркнул, что Швеция может считаться одной из самых инновационных стран.

Северная Европа стала приоритетной площадкой для крупных потребителей энергии благодаря наличию больших резервов для добычи «чистого» электричества. Дата-центры потребляют много энергии и конкурируют за неё с прочими отраслями экономики, желающими использовать преимущества региона, тарифы на электроэнергию в котором считаются одними из самых низких в мире. Ожидается, что в ближайшие десять лет новые проекты более чем вдвое увеличат спрос на электроэнергию здесь.

Источник изображения: Raphael Andres/unsplash.com

Когда речь заходит о возможном энергетическом кризисе, в Microsoft заявляют, что компания не просто инвестирует в шведские ЦОД, но и сделает крупные вложения в возобновляемую энергию. В частности, компания приобрела уже подписала контракт на поставку около 1 ГВт такой энергии в Швеции и подписала контракт с местной госкомпаний Vattenfall AB. При это в Европе это далеко на самые крупные инвестиции компании. Так, во Франции она потратит $4,31 млрд, в Германии — $3,4 млрд, в Испании — $2,1 млрд. А Лондон компания вообще назвала европейской столицей ИИ, здесь она инвестирует $3,15 млрд.

Российский сервис GitVerse оперативно сформировал собственное «зеркало» Docker Hub, так что теперь у пользователей из России есть доступ к актуальным docker-образам. Пресс-служба «СберТеха» («Сбербанк Технологии») сообщает, что сервис уже заработал в режиме «бета» — достаточно будет быстро перенастроить уже имеющиеся клиенты.

В «СберТехе» сообщают, что размещённые на площадке образы полностью соответствуют исходным с Docker Hub. Уже опубликована инструкция по применению docker-образов и, там же, инструкция по применению альтернативного клиента podman. По словам генерального директора СберТеха, несмотря на то, что зарубежный сервис заблокирован для российских клиентов, он по-прежнему важен с точки зрения непрерывности рабочих процессов. Именно поэтому компания выпустила обновление GitVerse.

Источник изображения: Luke Peters/unsplash.com

Платформа Docker Hub пользовалась большим спросом у российских индивидуальных и корпоративных пользователей, но в конце прошлого месяца доступ к ней был закрыт. Docker Hub активно используется для получения зависимостей и базовых docker-образов в ходе разработки и развёртывания ПО. При этом альтернативные репозитории и «зеркала», созданные неизвестными компаниями или лицами, могут быть опасны в связи с возможными атаками на цепочку поставок.

Dell ожидает, что уже во II половине 2024 года цена DRAM и SSD вырастет на 15–20 %. По словам вице-председателя и операционного директора компании Джеффа Кларка (Jeff Clarke), цены вырастут как на компоненты, так и на логистику. The Register сообщает, что в связи с этим Dell намерена обновить цены на свою продукцию.

По его словам, это связано с недостатком капитальных инвестиций, низкой загрузкой производств и другими факторами. Большая часть спроса придётся на продукцию для ИИ-серверов, за квартал принёсших Dell $1,7 млрд — рост квартал к кварталу составил более 100 %. Подобному оборудованию нужно много памяти с большой пропускной способностью, ёмкое внутренее и внешнее хранилище.

Источник изображения: Dell

По словам Кларка, компания уже начала пересмотр ценообразования с учётом новых реалий, что помогло Dell улучшить показатели своего серверного бизнеса. Речь как обычном оборудовании, так и о комплектах для ИИ. Объём невыполненных заказов на ИИ-серверы Dell достиг $3,8 млрд, но, по словам Кларка, NVIDIA справляется со спросом, поэтому задержек в поставках ускорителей H200 во II квартале опасаться не стоит. А вот ускорители B200, как и предупреждала NVIDIA, пока в дефиците.

Компания IDC обнародовала свежий прогноз по глобальному рынку публичных облачных сервисов и ПО. По мнению аналитиков, затраты в соответствующих сегментах будут быстро расти на фоне стремительного развития ИИ и систем обеспечения информационной безопасности.

Согласно прогнозам, в 2024 году объём отрасли публичных облаков и софта достигнет $222 млрд. Компании, как отмечается, всё чаще используют облачные среды в связи с их гибкостью, масштабируемостью и экономической эффективностью. Внедрение облачных сервисов стимулируется благодаря растущему спросу на решения для анализа больших данных, кибербезопасности и ИИ.

По оценкам IDC, к 2027 году расходы на публичные облачные сервисы поднимутся до $219,3 млрд. При этом затраты на локальные платформы и другие сервисы составят ещё около 30 % от этой суммы, или приблизительно $65,8 млрд. Среди наиболее быстрорастущих направлений названы софт и инфраструктурные сервисы (+19,4 % в 2023 году), телекоммуникации (+16,6 %), ретейл (+16,1 %), образовательная сфера (+15,6 %) и банковский сектор (+14,6 %).

Источник изображения: IDC

Аналитики отмечают, что с географической точки зрения одним из наиболее активно развивающихся станет Азиатско-Тихоокеанский регион. Здесь величина CAGR (среднегодовой темп роста в сложных процентах) в плане расходов на публичные облачные сервисы и ПО в течение ближайших лет ожидается на уровне 14,2 %. Это подчёркивает «стратегическую направленность региона на цифровую трансформацию и технологические инновации».

Среди факторов, сдерживающих внедрение облачных платформ, аналитики называют опасения по поводу безопасности данных, сетевые ограничения, отсутствие внутреннего опыта, желание контроля над IT-инфраструктурой и вопросы, связанные с первоначальными затратами. Поставщики услуг решают эти проблемы, повышая уровень защиты, улучшая сетевую инфраструктуру, предлагая обучение и поддержку, предоставляя гибридные/мультиоблачные варианты использования и внедряя гибкие модели ценообразования.

NVIDIA объявила, что набор инференес-микросервисов NVIDIA NIM будет работать с open source платформой KServe на базе Kubernetes, которая позволит автоматизировать развёртывание ИИ-моделей. Это также делает NIM широкодоступным на платформах различных компаний, таких как Canonical, Nutanix и Red Hat.

Интеграция NIM в KServe позволяет расширить возможность использования технологий NVIDIA сообществом, партнёрами по экосистеме и клиентами. Благодаря интеграции с KServe пользователи смогут получить доступ к NIM на многих корпоративных платформах, таких как Charmed KubeFlow от Canonical, Charmed Kubernetes, Nutanix GPT-in-a-Box 2.0, Red Hat OpenShift AI и многих других.

Источник изображения: NVIDIA

В рамках интеграции NIM компания NVIDIA планирует активно участвовать в продвижении KServe, опираясь на свой портфель ПО с открытым исходным кодом, включая Triton и TensorRT-LLM. NVIDIA также является активным членом фонда Cloud Native Computing Foundation. NVIDIA и ранее участвовала в разработке KServe и адаптации этого инструмента под свои нужды, равно как и AWS, Bloomberg, Canonical, Cisco, Hewlett Packard Enterprise, IBM, Red Hat, Zillow.

NVIDIA объявила о расширении программы сертифицирования систем, которая теперь включает две новых платформы: Spectrum-X и IGX. Как сообщается, каждая сертифицированная компанией система проходит тщательное тестирование и проверяется на предмет обеспечения должного уровня производительности, управляемости, безопасности и масштабируемости корпоративного уровня. Наличие сертификации свидетельствует о поддержке NVIDIA AI Enterprise, в том числе микросервисов MVIDIA NIM.

Серверы, получившие сертификат NVIDIA Spectrum-X Ready, смогут выступать в качестве строительных блоков для HPC- и ИИ-кластеров и должны поддерживать современные ускорители NVIDIA. От сертифицированных периферийных систем на базе платформы NVIDIA IGX требуется долгосрочная поддержка, защищённость и проактивная безопасность, возможность удалённого управления и высокая производительность с низкой задержкой отклика.

Источник изображения: NVIDIA

NVIDIA сообщила, что её ведущие партнёры готовы получить новые сертификаты. Такие компании, как ASUS, Dell, GIGABYTE, HPE, Ingrasys, Lenovo, QCT и Supermicro вскоре предложат сертифицированные NVIDIA системы Spectrum-X Ready. А сертифицированные NVIDIA системы IGX скоро будут доступны у ADLINK, Advantech, Aetina, Ahead, Cosmo Intelligent Medical Devices (подразделение Cosmo Pharmaceuticals), Dedicated Computing, Leadtek, Onyx и YUAN.

NVIDIA сообщила о широкой отраслевой поддержке своей архитектуры нового поколения Blackwell. Эти ускорители, а также чипы Grace легли в основу многочисленных систем для ИИ-фабрик и дата-центров, которые, как ожидается, будут способствовать «следующей промышленной революции».

Источник изображений: NVIDIA

Генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) объявил о том, что серверы на базе Blackwell выпустят ASRock Rack, ASUS, Gigabyte, Ingrasys, Inventec, Pegatron, QCT, Supermicro, Wistron и Wiwynn. Речь идёт об устройствах разного уровня, рассчитанных на облачные платформы, периферийные вычисления и ЦОД клиентов. «Началась очередная промышленная революция. Компании и целые страны сотрудничают с NVIDIA, чтобы трансформировать традиционные дата-центры общей стоимостью в триллионы долларов в платформы нового типа — фабрики ИИ», — говорит Хуанг.

NVIDIA HGX B200

NVIDIA HGX B100

Для решения ИИ-задач и поддержания других ресурсоёмких приложений будут выпущены серверы с CPU на архитектурах х86 и Arm (изделия Grace) с воздушным и жидкостным охлаждением. Заказчикам будут доступны модели с одним и несколькими ускорителями. В частности, сама NVIDIA предлагает DGX-системы Blackwell, а для сторонних производителей доступны готовые платформы HGX B100 и HGX B200.

Кроме того, компания представила ускоритель GB200 NVL2, т.е. сборку из двух GB200, объединённых NVLink 5. NVIDIA также сообщила о том, что модульная архитектура NVIDIA MGX отныне поддерживает Blackwell, включая и GB200 NVL2. В целом, NVIDIA MGX предлагает свыше 100 различных конфигураций. На сегодняшний день на базе MGX выпущены или находятся в разработке более 90 серверов от более чем 25 партнёров NVIDIA по сравнению с 14 системами от шести партнёров в 2023 году. В составе MGX, в частности, впервые будут использоваться изделия AMD EPYC Turin и чипы Intel Xeon 6 (ранее — Granite Rapids).

Отмечается, что глобальная партнёрская экосистема NVIDIA включает TSMC, а также поставщиков различных компонентов, включая серверные стойки, системы электропитания, решения для охлаждения и пр. В число поставщиков такой продукции входят Amphenol, Asia Vital Components (AVC), Cooler Master, Colder Products Company (CPC), Danfoss, Delta Electronics и Liteon. Серверы нового поколения готовят Dell Technologies, Hewlett Packard Enterprise (HPE) и Lenovo.

В скором времени NVIDIA представит улучшенные ускорители Blackwell Ultra, которые получат более современную HBM3e-память. А уже в следующем году компания покажет решения на архитектуре следующего поколения: ускорители Rubin, процессоры Vera, NVLink 6 с удвоенной пропускной способностью (3,6 Тбайт/с), коммутаторы X1600 и DPU SuperNIC CX9 для сетей 1,6 Тбит/с.

Компания NVIDIA сообщила о доступности комплексного решения AI Enterprise-IGX, которое, как утверждается, призвано удовлетворить растущую потребность в ИИ-вычислениях в реальном времени на периферии в таких областях, как медицина, промышленность и пр.

Продукт объединяет NVIDIA IGX и систему Holoscan, а также Isaac и Metropolis. Напомним, IGX — это платформа индустриального уровня для ИИ-вычислений на периферии, специально разработанная для промышленных и медицинских сред. Holoscan предоставляет собой полнофункциональную инфраструктуру, необходимую для масштабируемой программно-определяемой обработки потоковых данных в режиме реального времени на периферии.

Источник изображения: NVIDIA

Отмечается, что AI Enterprise-IGX предоставляет предприятиям новый уровень производительности, безопасности и поддержки для всего стека ПО для периферийных вычислений. В результате, упрощается и ускоряется развёртывание ИИ-приложений на периферии. Благодаря сочетанию NVIDIA AI Enterprise-IGX и Holoscan на базе IGX-платформ клиенты получают решение с гибкими возможностями интеграции сенсоров, высокой ИИ-производительностью и безопасностью для решения задач на периферии.

Источник изображения: NVIDIA

Вместе с тем NVIDIA объявила об обновлении самой аппаратной платформы IGX. В частности, для IGX Orin 700 (кодовое имя IGX Boardkit) реализована поддержка ускорителей NVIDIA RTX 6000 Ada, что обеспечивает ИИ-производительность до 1,705 TOPS — это в семь раз больше по сравнению с показателем, который достигается при использовании интегрированного GPU. Кроме того, появилась поддержка «системы на модуле» IGX Orin 500.

Источник изображения: NVIDIA

Говорится также, что программа сертификации NVIDIA-Certified Systems теперь распространяется на платформу IGX. Такие продукты готовят Advantech, Adlink, Aetina, Ahead, Cosmo Intelligent Medical Devices (подразделение Cosmo Pharmaceuticals), Dedicated Computing, Leadtek, Onyx, YUAN и др.

Вместе с тем многие компании, работающие в области медицинских технологий, включая Barco, Karl Storz, Medtronic и Moon Surgical, внедряют NVIDIA IGX с системой Holoscan для ускорения разработки ИИ-решений для медицинской диагностики, хирургических роботов, средств по уходу за пациентами и пр.

NVIDIA объявила о доступности NVIDIA NIM, микросервисов инференса, которые предоставляют готовые модели в виде заранее оптимизированных контейнеров, доступных для развёртывания в облаках, ЦОД или на рабочих станциях. Это, по словам компании, позволяет разработчикам возможность без труда создавать приложения генеративного ИИ за считанные минуты, хотя ранее на это уходили недели.

Сложность приложений генеративного ИИ растёт и часто в них используется несколько моделей с различными возможностями для генерации текста, изображений, видео, речи и т.д. NVIDIA NIM позволяет значительно повысить производительность разработчиков, предоставляя простой стандартизированный способ добавления генеративного ИИ в их приложения. NIM также позволяет компаниям максимизировать свои инвестиции в инфраструктуру. Например, NIM-контейнер с оптимизированным вариантом Meta✴ Llama 3-8B выдаёт втрое больше токенов за единицу времени, чем LLM без оптимизаций.

Источник изображений: NVIDIA

Более 200 технологических партнёров NVIDIA, включая Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI и Synopsys, уже используют NIM, чтобы ускорить развёртывание генеративного ИИ для приложений, специфичных для их индустрии, таких как ИИ-помощники, помощники по созданию кода, цифровые человеческие аватары и многое другое. Кроме того, экосистему NIM поддерживают Canonical, Red Hat, Nutanix, VMware, Kinetica и Redis. Доступна и интеграция с KServe.

NIM интегрирован в платформу NVIDIA AI Enterprise. Начиная со следующего месяца участники программы NVIDIA Developer Program получат бесплатный доступ к NIM для исследований, разработки и тестирования. Контейнеры NIM могут включать ПО NVIDIA CUDA, NVIDIA Triton Inference Server и NVIDIA TensorRT-LLM. А на ai.nvidia.com уже доступно более 40 готовых моделей, включая Databricks DBRX, Google Gemma, Meta✴ Llama 3, Microsoft Phi-3, Mistral Large, Mixtral 8x22B и Snowflake Arctic. Компания также представила и NVIDIA BioNeMo NIM для биомедицинской сферы.

Ведущие провайдеры ИИ-решений и MLOps-платформ, включая Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot, deepset, Domino Data Lab, LangChain, Llama Index, Replicate, Run.ai, ServiceNow, Securiti AI и Weights & Biases также внедрили NIM. Hugging Face теперь тоже предлагает NIM-контейнейры и позволяет развернуть модели в различных облаках всего за несколько кликов. Микросервисы NIM также интегрированы в AWS, Google Cloud, Microsoft Azure и Oracle Cloud. Наконец, компетенциями в области NIM обзавелись Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS и Wipro.

Предприятия могут запускать приложения с поддержкой NIM практически в любом месте, в том числе на сертифицированных NVIDIA системах Cisco, Dell, HPE, Lenovo и Supermicro, а также ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron и Wiwynn. Более того, например, Foxconn и Pegatron уже используют NIM для разработки предметно-ориентированных LLM для собственных производственных нужд.

Израильская компания Gilat Satellite Networks, производящая наземное оборудование для сетей фиксированной спутниковой связи, по сообщению ComNews, приостановила поставки в Россию. Таким образом, официальные отгрузки зарубежных VSAT-решений (Very Small Aperture Terminal — малая спутниковая станция) на российский рынок полностью прекращены.

Ключевыми производителями VSAT-продукции в мировом масштабе являются американские Hughes Network Systems LLC, ST Engineering iDirect Inc. и Comtech Telecommunications Corp., а также упомянутая Gilat. Первые три компании прекратили работать с российскими заказчиками в 2022 году. Gilat осуществляла отгрузки в РФ и в 2022–2023 гг., но в 2024-м ситуация изменилась, передаёт ComNews.

Источник изображения: Gilat

Сразу несколько российских VSAT-операторов сообщили, что Gilat прекратила заключать с ними новые контракты. Кроме того, некоторые участники рынка РФ пожаловались, что израильская компания остановила отгрузки своего оборудования. В частности, один оператор отметил, что Gilat уведомила о приостановлении поставок продукции в Россию с 1 января 2024 года. Представитель другого оператора добавил, что Gilat была готова заключать новые контракты только до 31 декабря 2023-го.

С другой стороны, некоторые участники российского рынка утверждают, что вели переговоры о поставках оборудования с Gilat в I квартале 2024-го, и «никаких намёков на его недоступность не было». А технический директор ещё одного VSAT-оператора заявляет, что задержки с поставками решений Gilat возникали и раньше, и «иногда они доходили до одного года».