Компания NVIDIA на выставке Computex 2023 представила архитектуру MGX, которая открывает перед разработчиками серверного оборудования новые возможности для построения HPC-систем, платформ для ИИ и метавселенных. Утверждается, что MGX закладывает основу для быстрого создания более 100 вариантов серверов при относительно небольших затратах.

Концепция MGX предусматривает, что разработчики на первом этапе проектирования выбирают базовую системную архитектуру для своего шасси. Далее добавляются CPU, GPU и DPU в той или иной конфигурации для решения определённых задач.

Таким образом, на базе MGX может быть построена серверная система для уникальных рабочих нагрузок в области наук о данных, больших языковых моделей (LLM), периферийных вычислений, обработки графики и видеоматериалов и пр. Говорится также, что благодаря гибридной конфигурации на одной машине могут выполняться задачи разных типов, например, и обучение ИИ-моделей, и поддержание работы ИИ-сервисов.

Источник изображений: NVIDIA

Одними из первых системы на архитектуре MGX выведут на рынок компании Supermicro и QCT. Первая предложит решение ARS-221GL-NR с NVIDIA Grace, а вторая — сервер S74G-2U на базе NVIDIA GH200 Grace Hopper. Эти платформы дебютируют в августе нынешнего года. Позднее появятся MGX-платформы ASRock Rack, ASUS, Gigabyte, Pegatron и других производителей.

Архитектура MGX совместима с нынешним и будущим оборудованием NVIDIA, включая H100, L40, L4, Grace, GH200 Grace Hopper, BlueField-3 DPU и ConnectX-7. Поддерживаются различные форм-факторы систем: 1U, 2U и 4U. Возможно применение воздушного и жидкостного охлаждения.

Компания Google Cloud представила на конференции для разработчиков Google I/O инстансы Google Compute Engine A3, специально созданные для обеспечения максимальной производительности рабочих нагрузок машинного обучения. Новинки используют современные CPU, быструю память, ускорители NVIDIA и IPU Intel.

Виртуальная машина A3 включает:

• 8 ускорителей NVIDIA H100 Hopper.
• Коммутаторы NVIDIA NVSwitch с NVLink 4.0, обеспечивающие пропускную способность 3,6 Тбайт/с между ускорителями.
• Процессоры Intel Xeon Sapphire Rapids.
• 2 Тбайт оперативной памяти DDR5-4800.
• 200-Гбит/с IPU, специализированный стек межсерверной связи GPU↔GPU и оптимизации NCCL.

Помимо того, что новые инстансы используют DPU/IPU Mount Evans, разработанные совместно с Intel, кластеры A3 также задействуют фирменные оптические коммутаторы Google Jupiter с возможность переконфигурации топологии по требованию, которые компания уже использует в кластерах с собственными ИИ-ускорителями. Всё это позволяет объединять до 26 тыс. ускорителей H100 в облачный ИИ-суперкомпьютер производительность до 26 Эфлопс (TF32).

Изображение: Google

Ключевое отличие от других облачных предложений именно в интерконнекте и масштабируемости. Например, ИИ-суперкомпьютеры в Microsoft Azure объединяют тысячи и даже десятки тысяч ускорителей с использованием InfiniBand и DPU NVIDIA. В Oracle Cloud Infrastructure (OCI), где ранее был поставлен рекорд по объединению 32 768 ускорителей, используется тот же подход. Наконец, в AWS можно объединить до 20 тыс. ускорителей благодаря EFA.

Google предложит клиентам несколько вариантов использования A3: клиенты смогут запускать ВМ самостоятельно или в качестве управляемого сервиса, где Google возьмёт на себя большую часть работы. Возможно использование A3 в Google Kubernetes Engine (GKE) или в Vertex AI. В настоящее время виртуальные машины A3 доступны только после регистрации в списке ожидания превью. Сейчас компания занята развёртыванием множественных кластеров A3 в наиболее крупных облачных регионах.

Компания AMD, по сообщению ресурса The Register, нашла крупного заказчика для DPU (Data Processing Unit) семейства Pensando: им стало облако Microsoft Azure. Доступ к этим специализированным ускорителям теперь предоставляется клиентам по модели «как услуга». Это тем более любопытно, что Microsoft недавно поглотила разработчика DPU Fungible.

О поставках DPU Pensando в интересах Microsoft сообщила президент и исполнительный директор AMD Лиза Су (Lisa Su) в ходе оглашения финансовых показателей за I квартал 2023 года. Ускорители применяются в составе недавно анонсированной службы Microsoft Accelerated Connections. Гиперскейлеры зачастую используют DPU, но делают это для поддержания работы собственных сервисов. В случае Azure доступ к таким ускорителям предоставляется сторонним заказчикам.

Источник изображения: AMD

В финансовом отчёте AMD говорится, что выручка по итогам I четверти 2023-го составила $5,35 млрд. Это примерно на 9 % меньше результата годичной давности, равнявшегося $5,89 млрд. Компания понесла чистые убытки в размере $139 млн, или 9 центов в пересчёте на одну ценную бумагу. Для сравнения: в I квартале 2022 года AMD продемонстрировала чистую прибыль на уровне $786 млн, или 56 центов на акцию.

Источник изображения: AMD

Выручка подразделения ЦОД за год практически не изменилась: она составила $1,30 млрд против $1,29 млрд в I четверти 2022-го. При этом операционная прибыль рухнула в годовом исчислении на 65 % — с $427 млн до $148 млн. По направлению встраиваемых систем квартальная выручка за год взлетела на 163 % — с $595 млн до $1,56 млрд. Операционная прибыль в этой группе поднялась на 188 %, достигнув $798 млн.

По словам госпожи Су, AMD ожидает, что спрос на серверы во втором квартале 2023 года «остается смешанным». При этом компания рассматривает в качестве потенциальных областей роста ЦОД-сегмент и рынок встраиваемых систем. Увеличению продаж должно способствовать бурное развитие технологий ИИ. Компания ожидает, что на рынке будут востребованы процессоры Genoa и Bergamo, а также ускорители MI300 и решения Xilinx.

Компания NVIDIA объявила о том, что облачная инфраструктура Oracle Cloud Infrastructure (OCI) начала внедрение DPU NVIDIA BlueField для высокопроизводительных вычислений. Это позволит снять нагрузку с CPU и повысить общую эффективность ЦОД. Кроме того, новинка нашла место в инфраструктуре Baidu, JD, Tencent, CoreWeave и Microsoft Azure.

Речь идёт о применении 400Gbe-модулей BlueField-3. Благодаря возможности обеспечить разгрузку, ускорение и изоляцию широкого спектра процессов в работе сети, СХД и решений по безопасности, DPU BlueField позволяют создать безопасную и ускоренную инфраструктуру для решения различных задач в любой среде — от облака и дата-центра до периферийных устройств. Именно эти DPU явяются одним из ключевых компонентов платформы NVIDIA DGX Cloud в OCI.

Источник изображения: NVIDIA

Благодаря BlueField-3, как отмечается, ресурсы CPU в дата-центрах могут быть перенаправлены на обработку бизнес-приложений. BlueField-3 трансформируют традиционные среды облачных вычислений в ускоренную, энергоэффективную и безопасную инфраструктуру для обработки ресурсоёмких рабочих нагрузок генеративного ИИ. Тесты показывают снижение энергопотребления до 24 % на серверах с DPU BlueField по сравнению с традиционными системами.

Источник изображения: NVIDIA

«DPU NVIDIA BlueField-3 являются ключевым компонентом нашей стратегии по созданию современной устойчивой облачной инфраструктуры с высочайшей производительностью», — отметил Клэй Магуирк (Clay Magouyrk), исполнительный вице-президент Oracle Cloud Infrastructure. Программный фреймворк NVIDIA DOCA позволяет разработчикам создавать инфраструктуры нового поколения для дата-центров, обеспечивая высокопроизводительные, программно-определяемые облачные сервисы с ускорением на основе DPU и высоким уровнем безопасности по модели Zero Trust.

Растущая популярность генеративного ИИ и поддержка интеллектуальных функций платформами виртуализации, такими как VMware vSphere, будут способствовать росту продаж боле скоростных сетевых адаптеров Ethernet, считают в аналитической фирме Dell'Oro Group.

Согласно прогнозу Dell'Oro Group, к концу 2023 года сетевые адаптеры Ethernet со скоростью 100 Гбит/с или выше будут приносить почти половину всех доходов в этом сегменте, даже несмотря на то, что их доля в продажах сетевых карт составляет менее 20 %. Аналитики утверждают, что бум машинного обучения, отчасти вызванный ажиотажем вокруг ChatGPT, Midjourney и других моделей генеративного ИИ, будет стимулировать спрос на оборудование, обеспечивающее более быструю работу сети.

По словам аналитика, поскольку рабочие нагрузки AI/ML часто распределяются между несколькими узлами или даже между несколькими стойками, для них обычно требуется более высокая пропускная способность. Например, ИИ/HPC-платформа NVIDIA DGX H100 оснащена восемью 400G-адаптерами, по одному на каждый из её ускорителей H100.

Источник изображения: NVIDIA

Ожидается, что в этом году SmartNIC будут применяться в большем количестве решений благодаря более широкому распространению программных платформ, способных использовать их преимущества. «Я думаю, что в этом году мы можем получить больше поддержки DPU и SmartNIC. Проекты вроде Project Monterey приносят много преимуществ», — отмечают в Dell'Oro Group.

Dell'Oro прогнозирует, что в 2023 году выручка на рынке NIC достигнет двузначного роста, несмотря ожидаемое сокращение поставок на 9 % в годовом исчислении. По словам аналитиков, из-за снижения спроса провайдеры отдают предпочтение оборудованию более высокого класса с более скоростными интерфейсами на 100GbE, 200GbE или даже 400GbE и соответствующей функциональностью, которая обеспечивает более высокую среднюю цену.

При этом у дорогих NIC стоимость обработки бита, как правило, ниже. Это означает, что сервер с поддержкой более высокой скорости передачи данных может оказаться дешевле нескольких серверов с установленными более дешёвыми и соответственно более медленными NIC. Аппаратное ускорение в SmartNIC также может позволить клиентам обойтись процессорами более низкого уровня, поскольку в этом случае часть задач адаптер забирает у CPU. Кроме того, поскольку большинство компаний покупают NIC в составе более крупной системы, они могут получить дополнительную экономию в виде скидки если не на сетевую карту, то на DRAM или SSD/HDD.

Компания Pliops, разработавшая собственный вариант DPU-ускорителя XDP, объявила о расширении его функциональности. Нововведения должны повысить производительность NVMe SSD, продлить им жизнь и ускорить процесс восстановления в случае сбоя. Анонс Pliops говорит о новых службах XDP-RAIDplus, XDP-AccelDB и XDP-AccelKV, назначение которых понятно из названия.

XDP-RAIDplus предназначена для максимизации скорости ввода-вывода накопителей с интерфейсом NVMe, а также позволяет создавать защищённые массивы без потери эффективной ёмкости. Заявляется о 26,6 % прироста по объёму при использовании 6 дисков ёмкостью 15 Тбайт в сравнении с обычным RAID5. При этом в случае сбоя ускоритель перестраивает массив только в части, затронутой отказавшим и заменённым накопителем, а не целиком, что ускоряет процесс перестройки на 65 %, при этом меньше страдает производительность и минимизируется время простоя. Благодаря сочетанию этих функций стоимость владения флеш-массивом может снижаться на величину до 50 %.

Преимущества XDP-RAIDplus в сравнении с классическими решениями. Источник: Pliops

Функция XDP-AccelDB представляет собой движок-ускоритель для СУБД (MySQL/MariaDB, MongoDB) и программно определяемых хранилищ. Движок поддерживает атомарную запись, умную буферизацию и выравнивание данных, что позволяет говорить о 3,2-кратном увеличении количества транзакций за единицу времени, а также о трёхкратном снижении латентности. Наконец, XDP-AccelKV — ускоритель Key-Value хранилищ, предназначенный для решений типа RocksDB или WiredTiger. В сравнении с полностью программными решениями он, как утверждается, способен повысить производительность на порядок.

Акционер и бывший сотрудник Fungible Навин Гупта (Naveen Gupta), как сообщает ресурс Blocks & Files, подал иск против компании в связи с «возможными правонарушениями и неисполнением фидуциарных обязанностей». Поводом для разбирательства послужила сделка по продаже Fungible корпорации Microsoft. Слухи о продаже появились в середине декабря 2022 года, но официально в приобретении Microsoft призналась в начале января.

Сумма сделки не уточняется: по неофициальной информации она составила приблизительно $190 млн, при этом сама компания за всё время существования получила более 300$ млн инвестиций. Однако сама сделка оказалась не столь прозрачной, фактически она завершила ликвидацию и «скрытый» раунд финансирования. Гупта сообщил, что ни ему, ни другим акционерам не была предоставлена возможность участвовать в раунде финансирования серии D (формально последним публичным был раунд C). Утверждается, что к процессу допускались только те лица, которые знали о переговорах между Fungible и Microsoft.

Источник изображения: Fungible

В результате, как считает истец, руководители и некоторые избранные акционеры получили от сделки неоправданно высокий доход. Дело будет рассмотрено в Канцлерском суде Делавэра. Навин Гупта намерен добиться разрешения на получение доступа к бухгалтерским книгам и другим документам Fungible, связанным со сделкой с Microsoft, включая список акционеров с июня 2022 года, заявления совета директоров и пр. Гупта был сотрудником Fungible в течение четырёх лет, имея опционы, благодаря которым стал держателем обыкновенных акций класса А.

Он заявляет, что некоторые лица могли нажиться на своих конвертируемых векселях и привилегированных акциях в серии D за счёт держателей обыкновенных акций. По сути, речь идёт о том, что руководство Fungible обогатилось в ходе необъявленного раунда финансирования с преференциями по ликвидации. Многие люди в Fungible мирились с тем, что им годами недоплачивали в надежде заработать впоследствии на акциях, как это нередко бывает в стартапах, а в итоге остались с пакетами почти бесполезных и практически ничего не стоящих ограниченных акций.

Корпорация Microsoft официально объявила о заключении соглашения по покупке компании Fungible — молодого разработчика DPU (Data Processing Unit). О сумме сделки ничего не сообщается. Слухи о том, что редмондский гигант проявляет интерес к Fungible, появились в середине декабря 2022 года. Тогда говорилось, что приобретение стартапа обойдётся Microsoft приблизительно в $190 млн.

Решения Fungible помогут Microsoft поднять производительность её дата-центров. По условиям соглашения, команда Fungible присоединится к подразделению разработки ЦОД-инфраструктур Microsoft. Специалисты компании сосредоточатся на создании нескольких специализированных DPU, а также на сетевых инновациях и улучшении аппаратных систем. «Технологии Fungible помогают создать высокопроизводительную, масштабируемую, дезагрегированную, горизонтально масштабируемую инфраструктуру ЦОД с высокими показателями надёжности и безопасности», — говорится в заявлении Microsoft.

Источник изображения: Fungible

Добавим, что Fungible была основана в 2015 году выходцами из Xerox PARC Прадипом Синдху (Pradeep Sindhu, сооснователь и бывший глава Juniper Networks) и Бертраном Серле (Bertrand Serlet, работал в Apple и Parallels, основал Upthere). Стартап привлёк более $300 млн инвестиций, но в последнее время дела у него шли не слишком хорошо. По слухам, после неудачной попытки продать компанию Meta* стартап был вынужден уволить часть сотрудников и сократить портфолио решений.

Fungible, как и ряд аналогичных проектов, по мере развития перешёл от создания сверхбыстрых хранилищ к идее переноса на DPU иных инфраструктурных задач по примеру AWS Nitro (собственная разработка Amazon). Однако, как утверждают некоторые источники, сложность разработки ПО негативно сказалась на популярности решений Fungible. Например, Google пошла по другому пути и заручилась поддержкой Intel.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Молодая компания Fungible, разработчик так называемых «процессоров для данных» или DPU (Data Processing Unit), согласно многочисленным источникам на рынке, продана корпорации Microsoft в связи с рядом финансовых трудностей. Сумма сделки оценивается всего в $190 млн.

Fungible была основана в 2015 году Прадипом Синдху (Pradeep Sindhu) и Бертраном Серле (Bertrand Serlet), которые до этого работали в Xerox PARC. Компания базируется в Санта-Кларе, штат Калифорния (США). К 2019 году Fungible получила более $300 млн инвестиций. Деньги пошли на создание аппаратных решений и ПО, а также на укрепление бизнеса.

Источник изображения: Fungible

Осенью 2020 года Fungible приобрела компанию Cloudistics, разработчика ПО для систем хранения данных. Предполагалось, что эта сделка поможет Fungible в развитии. Однако затем стартап столкнулся с различными сложностями. В августе 2022 года Fungible уволила часть персонала, а в ноябре сократила ассортимент решений, отказавшись от планов в отношении компонуемой инфраструктуры, чтобы сосредоточиться на NVMe/TCP СХД. Кроме того, компания испытывает возрастающее давление со стороны гораздо более купных конкурентов, таких как AMD, Intel и NVIDIA в сегменте DPU.

Ходили слухи, что Fungible обсуждала вопрос собственной продажи с Meta*, но успехом эти переговоры не увенчались. Что касается Microsoft, то редмондский гигант рассматривал возможность заключения индивидуальной сделки с Fungible, а затем решил приобрести компанию целиком — вместе с сотрудниками и интеллектуальной собственностью — по привлекательной цене. Сделка поможет Microsoft в развитии своей облачной инфраструктуры Azure.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

На днях крупный провайдер облачных услуг, компания Amazon Web Services представила новые варианты инстансов на базе новейших процессоров Graviton3E, но данный чип — не единственная новинка AWS.

Одновременно с Graviton3E было представлено и пятое поколение аппаратных гипервизоров Nitro, существенно выигрывающих по ключевым показателям у решений предыдущего, четвёртого поколения.

Здесь и далее источник изображений: ServeTheHome

Главная идея Nitro — сочетание «кремния» гипервизора, DPU и сопроцессора безопасности с поддержкой Root of Trust в едином чипе. В системах AWS плата с чипом Nitro полностью управляет распределением вычислительных ресурсов и памяти, избавляя от этой нагрузки хост-процессоры.

По результатам тестов, проведённых AWS, производительность облачных инстансов с использованием ускорителей Nitro практически не отличается от производительности классической bare metal-системы.

AWS Nitro v5 использует кастомный кристалл, разработанный Annapurna Labs. По сравнению с Nitro v4, количество транзисторов было удвоено, но за счёт этого удалось на 60 % поднять скорость обработки сетевых пакетов, на 30 % снизить латентность, а также, благодаря продвинутому техпроцессу, обеспечить лучшую удельную производительность.

Платы AWS Nitro v5 используют проприетарные разъёмы

Улучшились и другие характеристики: на 50 % выросла пропускная способность памяти и вдвое возросла производительность подсистемы PCI Express. Платы Nitro v5 станут сердцем новых инстансов C7gn, где обеспечат полную изоляцию критически важных подсистем, таких, как прошивки BIOS, BMC и накопителей от гостевого доступа извне и позволят обновлять эти прошивки без влияния на клиентские нагрузки.

Также они возьмут на себя обслуживание сетей VPC/EBS, включая переход на использование SRD вместо TCP, и накопителей Nitro SSD. AWS уже объявила о возможности предварительного тестирования систем C7gn на базе Nitro v5 и новейших процессоров Graviton3/3E.