Компания NVIDIA, по сообщению Reuters, начала принимать предварительные заказы на новый ИИ-ускоритель H20, разработанный специально для Китая. Утверждается, что данное изделие стоит примерно столько же, сколько конкурирующий продукт Huawei — Ascend 910B.

Отмечается, что в последние недели NVIDIA оценивает решение H20 в диапазоне от $12 тыс. до $15 тыс. Некоторые китайские дистрибьюторы уже предлагают этот ускоритель за $15 500. Для сравнения: Ascend 910B на местном рынке стоит приблизительно $16 900.

Ради обхода санкционных ограничений, введённых властями США, компании NVIDIA пришлось снизить производительность H20 по сравнению со своими флагманскими чипами. По некоторым ключевым параметрам H20 уступает карте Ascend 910B. Вместе с тем, согласно имеющимся данным, H20 превосходит конкурирующее изделие Huawei с точки зрения скорости передачи данных между ускорителями внутри готовой системы.

Источник изображения: NVIDIA

Reuters также сообщает, что серверы, оснащённые восемью ускорителями H20, доступны в Китае для заказа по цене примерно $197 тыс. Это практически на треть меньше по сравнению с системами, оборудованными восемью чипами H800: такие устройства в прошлом году стоили около $282 тыс.

Китайские дистрибьюторы сообщили, что смогут начать поставлять ускорители H20 небольшими партиями в текущем квартале, тогда как массовые отгрузки запланированы на II четверть 2024 года. При этом любое ужесточение санкций со стороны США может поставить крест на продажах новинок.

Компания Singapore Telecommunication (Singtel), ведущий поставщик коммуникационных услуг в Сингапуре, и NVIDIA объявили о сотрудничестве, нацеленном на создание в Юго-Восточной Азии сети ЦОД для решения ресурсоёмких ИИ-задач. Речь идёт о запуске площадок с высокой энергетической эффективностью.

Первый дата-центр, созданный в рамках партнёрства, появится в Сингапуре. В дальнейшем планируется запуск ЦОД в Индонезии и Таиланде. Для поддержания ИИ-нагрузок будут задействованы ускорители на архитектуре NVIDIA Hopper и эталонные решения NVIDIA AI.

Отмечается, что дата-центры будут выполнять функции «суверенных национальных ресурсов» — фабрик ИИ, позволяющих безопасно обрабатывать собственные наборы данных компаний, стартапов, университетов и государственных организаций. Клиенты в числе прочего смогут внедрять сервисы на базе генеративного ИИ. Singtel стремится к демократизации ИИ и декарбонизации своей деятельности. Компания также станет облачным партнером NVIDIA, предоставляя оптимизированные ИИ-услуги.

Источник изображения: NVIDIA

Singtel построит новые дата-центры под брендом Nxera. Клиенты смогут использовать фиксированную широкополосную связь и сети 5G для управления своими рабочими нагрузками ИИ в мультисетевой и мультиоблачной среде. Singtel намерена задействовать свою программную платформу Paragon для координации работы приложений ИИ. Телекоммуникационная компания также сотрудничает с рядом энергетических организаций, включая таиландскую Gulf Energy Development, индонезийскую Medco Power и TNB Renewables в Малайзии, чтобы гарантировать, что её ЦОД достигнут нулевого уровня выбросов к 2028 году.

Сингапур активно закупает оборудование NVIDIA. Это небольшое государство оказалось на четвёртом месте среди источников выручки NVIDIA, обеспечив долю в 15 % в III квартале 2023 года. Вместе с тем ещё в 2019 году в Сингапуре был введён мораторий на строительство новых ЦОД. Впоследствии ограничения были ослаблены, но власти заявили о намерении жёстко регулировать деятельность дата-центров и облаков, приравняв их к объектам критической инфраструктуры. Летом прошлого года также стало известно, что Сингапур потратит более $7 млрд на расширение инфраструктуры подводных интернет-кабелей.

Облачный провайдер DigitalOcean Holdings Inc. заявил о доступности ускорителей NVIDIA H100 на платформе Paperspace, купленной в июле 2023 года. Решение ориентировано на представителей малого и среднего бизнеса. Ускорители доступны по запросу, но можно и зарезервировать их на заданный период.

В компании подчёркивают, что доступ к NVIDIA H100 предоставляется малому и среднему бизнесу и стартапам в то время, как многие другие облачные провайдеры предпочитают обслуживать крупных клиентов — это снижает порог вхождения мелких игроков на рынок высокопроизводительных вычислений. Ожидается, что новые решения обеспечат работу стартапов следующего поколения, дав доступ к инструментам, необходимым для создания передовых ИИ-продуктов. Paperspace предлагает готовую среду для разработки, обучения и развёртывания ИИ.

Изображение: DigitalOcean

Доступно два варианта инстансов: с одним H100, 20 vCPU и 250 Гбайт RAM или с восемью H100 (NVLink 3,2 Тбайт/с), 128 vCPU и 1536 Гбайт RAM. Зарезервировать можно оба варианта, а вот по запросу доступен только первый. В обоих случаях используется хранилище на базе SSD с поддержкой снимков, а инстансы работают под управлением Ubuntu. Инстанс с одним ускоритель пока что предлагается по промо-цене $6/час (посекундная тарификация), но со временем цена вырастет до $8,96/час. Стоимость зарезервированных инстансов начинается от $2,24/час за каждый ускоритель при бронировании на три года.

К концу 2024 года компания Meta✴ планирует иметь в распоряжении 350 тыс. ускорителей NVIDIA H100. А общая произвдительность всех ИИ-чипов компании будет эквивалента 600 тыс. H100. Об этом сообщил основатель Meta✴ Марк Цукерберг в своём Instagram✴. Meta✴ заинтересовалась ускорителями AMD Instinct MI300, а также разработала собственный ИИ-чип MTIA.

В интервью ресурсу The Verge глава Meta✴ уточнил , что для создания продуктов, которые компания хотела бы иметь в своём портфолио, необходимо разработать сильный искусственный интеллект (AGI). В настоящее время компания занимается проектом по развёртыванию метавселенной, который приносит ей пока только миллиардные убытки. но Meta✴ верит, что за сочетанием ИИ и метавсленными будущее.

Источник изображения: NVIDIA

В рамках реализации планов по совершенствованию технологий ИИ компания пересмотрела находящиеся на стадии разработки проекты, отменив часть из них, что привело к падению капитальных затрат по сравнению с предыдущим годом. В IV квартале компания потратила $6,8 млрд, что на $3 млрд меньше год к году. При этом компания увеличивает вложения в ИИ и разработала новую архитектуру ЦОД, которая позволит повысить эффективность использования ИИ-кластеров.

Всего в 2023 году капвложения Meta✴, по оценкам, составят $27–29 млрд. В 2024 году компания планирует потратить на эти цели $30–35 млрд, причём рост будет обусловлен инвестициями в серверы (включая оборудование, не связанное с ИИ), а также в дата-центры на базе обновлённой архитектуры.

Стремящаяся ускорить технологическое развитие Индия, вероятно, сместит Китай на пьедестале крупного покупателя передовых ускорителей NVIDIA. Как сообщает The Register, это поможет производителю сохранить приемлемые финансовые результаты даже на фоне соблюдения антикитайских санкций. Тем более, что с рынка КНР компания полностью не уходит. Индийские IT-гиганты активно осваивают рынок ИИ.

Например, индийская Yotta готовится к 2025 году получить 32 тыс. ускорителей NVIDIA на сумму порядка $1 млрд, в первую очередь H100 и наиболее современные H200, для создания облачной ИИ-платформы Shakti Cloud. Yotta полагается на оценки экспертов, по прогнозам которых ещё до конца текущего десятилетия на системы машинного обучения в Индии потратят $14 млрд. Кроме того, Reliance Jio закупит ускорители H200 и вместе с NVIDIA создаст большую языковую модель, а Tata и NVIDIA развернут ИИ-инфраструктуру на базе H200.

Источник изображения: Aditya Siva/unsplash.com

После очередного санкционного удара США по Китаю в октябре 2023 года бизнес NVIDIA в КНР оказался под угрозой, но индийский рынок может скомпенсировать вероятные потери. Хотя финансовые эксперты NVIDIA полны оптимизма и ожидают, что рост спроса на ускорители покроет убытки от сокращения китайского рынка, полностью уходить из Поднебесной компания не планирует.

Ранее NVIDIA подготовила для Китая урезанные по возможностям ускорители A800 и H800 суммарной стоимостью порядка $5 млрд. Впоследствии компании пришлось создать для Китая три новые модели ускорителей, соответствующие обновлённым санкционным требованиям, а уже выпущенные решения пристраивать на других рынках. Впрочем, по слухам, в Китае восприняли идею дальнейшего ухудшения ИИ-чипов для страны весьма прохладно. К тому же некоторые заказчики успели накопить запасы ускорителей.

21 декабря в Суперкомпьютерном центре Барселоны — Centro Nacional de Supercomputación (BSC-CNS) — в торжественной обстановке официально запустили европейский суперкомпьютер MareNostrum 5 производительностью 314 Пфлопс. В церемонии, посвящённой машине, созданной в рамках проекта European High Performance Computing Joint Undertaking (EuroHPC JU), принял участие председатель правительства Испании.

MareNostrum 5 представляет собой крупнейшую инвестицию, когда-либо сделанную Европой в научную инфраструктуру Испании — суммарно €202 млн, из которых €151,4 млн ушло на приобретение суперкомпьютера. Финансирование было проведено EuroHPC JU через Фонд ЕС «Соединение Европы» и программу исследований и инноваций «Горизонт 2020», а также государствами-участниками: Испанией (через Министерство науки, инноваций и университетов и правительство Каталонии), Турцией и Португалией.

С запуском MareNostrum 5 заметно укрепились позиции BSC в качестве одного из ведущих суперкомпьютерных центров мира с более чем 900 сотрудниками, занимающимися исследования в области информатики, наук о жизни и о Земле, а также вычислительных систем для науки и техники. Обладая максимальной общей производительностью 314 Пфлопс, MareNostrum 5 присоединяется к двум другим системам EuroHPC: Lumi (Финляндия) и Leonardo (Италия), тоже являющихся суперкомпьютерами предэкзафлопсного класса, единственными системами такого уровня в Европе.

Источник изображений: BSC

Eviden (Atos) была выбрана в качестве основного поставщика, но в создании машины приняли участие Lenovo, IBM, Intel и NVIDIA, а также Partec. Как отмечено в пресс-релизе, уникальная архитектура MareNostrum 5 была создана для того, чтобы предоставить исследователям лучшие из доступных технологий. Это гетерогенная машина, сочетающая в себе две отдельные системы: раздел общего назначения (GPP), предназначенный для классических вычислений, и GPU-раздел (ACC), ориентированный на ИИ. Обе системы по отдельности входят в первую двадцатку TOP500, занимая 19-е и 8-е места соответственно.

Раздел общего назначения (GPP) является крупнейшим в мире x86-кластером на базе Intel Xeon Sapphire Rapids. Эта часть суперкомпьютера имеет пиковую производительность 45,9 Пфлопс. Система, произведённая Lenovo, специально разработана для решения сложных научных задач с разделением ресурсов, что обеспечивает большую гибкость и повышает эффективность системы, поскольку разные пользователи или проекты могут использовать её одновременно. GPP имеет 6408 стандарных узлов следующей конфигурации:

• 2 × Intel Xeon 8480+ (56 ядер, 2 ГГц);
• 256 Гбайт DDR5 (216 узлов с 1 Тбайт RAM);
• NVMe SSD на 960 Гбайт;
• 1 × InfiniBand NDR200, общий для двух узлов (SharedIO, 100 Гбит/с на узел).

Дополнительно система имеет 72 узла с двумя 56-ядерными Xeon Max (1,7 ГГц) и набортной памятью HBM2e объёмом 128 Гбайт.

GPU-раздел (ACC) производства Eviden является третьим по мощности в Европе и восьмым в мире по версии TOP500, с пиковой производительностью 260 Пфлопс. Он основан на 4480 ускорителях NVIDIA H100. Раздел имеет 1120 узлов, каждый из которых включает:

• 2 × Intel Xeon 8460Y+ (32 яда, 2,3 ГГц);
• 512 Гбайт DDR5;
• 4 × NVIDIA H100 с 64 Гбайт HBM3;
• NVMe SSD на 460 Гбайт;
• 4 × InfiniBand NDR200.

Общая ёмкость хранилища MareNostrum 5 составляет 650 Пбайт, из которых, 402 Пбайт приходятся на LTO, 248 Пбайт — на HDD, а остальное — на NVMe SSD. Задействована ФС IBM Spectrum Scale. Машина использует интерконнект InfiniBand NDR200, объединяющий более 8000 узлов. Можно заметить, что NVIDIA предоставила BSC не совсем стандартные решения. В будущем ожидается появление ещё одного GPP-раздела на базе NVIDIA Grace, а вот расширение ACC узлами с Xeon Emerald Rapids и Rialto Bridge не состоится.

Благодаря увеличенной вычислительной мощности MareNostrum 5 позволяет решать всё более сложные задачи. Например, климатические модели получат более высокое разрешение, что сделает прогнозы гораздо более точными и надёжными. Также появится возможность решать гораздо более сложные проблемы в области ИИ и Big Data. Отдельное внимание уделено поддержке европейских медицинских исследований в области создания новых лекарств, разработки вакцин и моделирования распространения вирусов.

Суперкомпьютер также станет важнейшим инструментом для материаловедения и инженерии, включая проектирование и оптимизацию самолётов, развитие более безопасной, экологически чистой и эффективной авиации. Аналогичным образом, машина будет использоваться для моделирования процессов энергогенерации, включая ядерный синтез.

В ближайшие месяцы MareNostrum 5 объединится с двумя квантовыми компьютерами: первой системой испанской суперкомпьютерной сети (RES), которая является частью инициативы Quantum Spain, и одним из первых европейских квантовых компьютеров EuroHPC JU. Оба квантовых компьютера будут одними из первых, которых запустили в Южной Европе.

Предоставляющая клиентам ИИ-инфраструктуру компания CoreWeave купила тысячи серверов Dell PowerEdge XE9680 для своих облачных сервисов. Как сообщает Datacenter Dynamics, некоторые из систем получат ускорители NVIDIA H100 для выполнения ИИ-задач и предоставления клиентам доступа к решениям генеративного ИИ.

Серверы также будут выполнять задачи, связанные с машинным обучением, рендерингом визуальных эффектов и крупномасштабными симуляциями. В CoreWeave заявляют, что именно ИИ стал драйвером спроса на облачные HPC-решения. В компании уверены, что кастомная современная инфраструктура компании обеспечивает наилучшую производительность, а взаимодействие с Dell позволит эффективнее выполнять задачи.

Вышеназванные серверы имеют два процессора Intel Xeon Sapphire Rapids. Они могут оснащаться платами NVIDIA HGX с восемью ускорителями A100 или H100 и восемью NVMe SSD общей ёмкостью до 122,88 Тбайт. Любопытно, что для CoreWeave, похоже, сделано исключение, поскольку обычным заказчикам серверы Dell с ускорителями NVIDIA приходится ждать долгие месяцы.

Источник изображения: Dell

2023 год выдался довольно хлопотным для CoreWeave. Поскольку компания одной из первых получила доступ к передовым ускорителям NVIDIA H100, она потратила немало времени на привлечение средств для их покупки и внедрения. Кроме того, она сотрудничала с Vast Data и DDN над созданием систем хранения данных, а в июне подписала многомиллиардное соглашение с Microsoft.

В декабре компания привлекла $642 млн, продав миноритарный пакет своих акций, а в августе, например, и вовсе дошло до весьма комичной ситуации, когда компания получила более $2 млрд в долг под залог ускорителей NVIDIA для покупки новых ускорителей NVIDIA — всё для удовлетворения растущего спроса на облачные ИИ-услуги.

Lattice Semiconductor представила на конференции для разработчиков Lattice Developers Conference новую эталонную платформу для ускорения разработки периферийных ИИ-решений использованием платформ NVIDIA Jetson Orin и IGX Orin. Сотрудничество Lattice с NVIDIA нацелено на повышение эффективности подключения сенсоров к приложениям для ИИ-обработки, что позволит расширить возможности сообщества разработчиков открытых платформ.

Согласно пресс-релизу, эталонная open source плата, основанная на энергоэффективных FPGA Lattice и аппаратной платформе NVIDIA Orin, предназначена для удовлетворения потребностей разработчиков в подключении к разнообразным датчикам и интерфейсам, при разработке масштабируемых высокопроизводительных периферийных ИИ-приложений с низким уровнем задержкидля нужд здравоохранения, робототехники, встраиваемых систем визуализации и т.д. Эталонная плата пока доступна лишь избранным клиентам, но Lattice планирует расширить доступ к решению и примерам приложений в I половине 2024 года.

Источник изображения: Lattice Semiconductor

«Мы рады сотрудничеству с NVIDIA, которое позволит расширить возможности наших эталонных решений, предлагая больше инноваций нашим клиентам и экосистеме, чтобы помочь упростить и ускорить внедрение периферийных приложений ИИ», — заявил директор по стратегии и маркетингу Lattice Semiconductor. В свою очередь директор по управлению встраиваемыми ИИ-продуктами NVIDIA отметил, что сотрудничество с Lattice позволит ускорить инновации в области обработки показаний датчиков и упростить развёртывание приложений ИИ «от периферии до облака».

NVIDIA и YTL Power (YTLP), энергетическое подразделение малайзийского конгломерата YTL, занялись проектом, предполагающим вложения в объёме $4,3 млрд в строительство ИИ-облака и суперкомпьютеров в стране. Как сообщает Datacenter Dynamics, первая очередь проекта должна быть введена в эксплуатацию в середине 2024 года.

Глава NVIDIA Дженсен Хуанг (Jensen Huang) ещё до объявления о сотрудничестве заявил, что Малайзия является важным хабом для вычислительной инфраструктуры в Юго-Восточной Азии, а YTL может стать на этот рынке крупным игроком. Власти страны уже заявили, что решение команий является недвусмысленным сигналом для других инвесторов, в первую очередь среди техногигантов. Малайзия неоднократно заявляла, что хочет стать новым IT-хабом Юго-Восточной Азии.

Источник изображения: Sadie Teper/unsplash.com

Проект реализуют в принадлежащем YTL технопарке, расположенном в Кулае (Джохор). Здесь компании намерены построить ЦОД и самый быстрый в Малайзии суперкомпьютер на базе ИИ-ускорителей NVIDIA. YTL задействует облачную ИИ-платформу NVIDIA для создания собственной большой языковой модели. Создание технопарка YTL анонсировали в августе 2022 года. Изначально говорилось о кампусе мощностью 500 МВт. Сингапурская IT-компания Sea должна стала «якорным» арендатором, свой ЦОД там строит и GDS.

Предполагается, что значительные поставки ускорителей NVIDIA в Сингапур в III квартале связаны с проектами, которые фактически будут реализовываться в соседних странах, а не на территории самого города-государства, где есть проблемы с энергией и землёй. Подушевые траты на чипы NVIDIA в стране достигают фантастических $600, тогда как в США этот показатель составляет $60, а в Китае — $3.

Dell Technologies анонсировала ряд новых разработок, в том числе в области хранения данных, которые, как утверждается, помогут корпоративным заказчикам повысить производительность при реализации проектов, связанных с генеративным ИИ.

В частности, усовершенствованное ПО PowerScale OneFS позволит компаниям ускорить подготовку, настройку и обучение моделей ИИ, а также поднять быстродействие инференс-нагрузок. Продукт станет доступен до конца текущего года.

Вместе с тем новые СХД PowerScale на базе SSD, основанные на серверах Dell PowerEdge последнего поколения, обеспечат двукратное увеличение производительности при потоковом чтении и записи данных по сравнению с более ранними решениями. Массовые поставки таких систем запланированы на I четверть 2024-го.

Источник изображения: Dell

Платформа Dell PowerScale проходит валидацию для NVIDIA DGX SuperPOD. Благодаря сотрудничеству Dell и NVIDIA клиенты смогут использовать комбинацию NVIDIA DGX, СХД Dell PowerScale, а также сетевых решений NVIDIA Quantum-2 InfiniBand и Spectrum Ethernet для создания высокопроизводительных и эффективны хранилищ для ИИ-задач. Ожидается, что новое решение Dell станет первой Ethernet-платформой ИИ для работы с данными на основе DGX SuperPOD.

По оценкам, почти 87 % компаний используют мультиоблачные среды. Поэтому Dell предоставляет возможность обрабатывать данные там, где это для них наиболее целесообразно — локально, на периферии или в общедоступных облаках. В I половине 2024 года станут доступны услуги хранилища Dell APEX File Storage for Microsoft Azure: этот сервис обеспечит функции управления и быстродействие корпоративного класса в облаке Azure. Система оптимизирована для приложений ИИ и машинного обучения. Интеграция Dell APEX for File Storage с Databricks и MosaicML уже доступна в AWS и появится в Microsoft Azure в I полугодии 2024 года.