Компания Broadcom представила решение VMware AI Factory в качестве программно-определяемой основы для VMware Private AI Cloud, предлагающей клиентам более простой путь к внедрению ИИ благодаря инновациям в автоматизации развёртывания готовой к ИИ инфраструктуры, её сопровождении и поддержке. Как утверждает Broadcom, с помощью её ИИ-фабрики клиенты смогут ускорить развёртывание первой модели и лучше управлять токеномикой ИИ.

«Мы предоставляем клиентам программно-определяемую основу, которая автоматизирует развёртывание инфраструктуры, объединяет управление жизненным циклом и позволяет им выбирать предпочтительное оборудование и проверенные модели. В результате — ускорение развёртывания первой модели, предсказуемые затраты на частное облако и лучший контроль над токеномикой ИИ», — заявил главный директор по продуктам подразделения VMware Cloud Foundation.

VMware AI Factory предоставляет ИИ-приложения непосредственно к частным данным предприятия в защищённой среде частного облака. Благодаря возможностям автоматизации инфраструктуры VCF время от развёртывания на физическом сервере до запуска первой ИИ-модели сокращается с недель до нескольких часов. VMware AI Factory упрощает управление ИИ-инфраструктурой, полностью автоматизируя выделение оборудования, включение программного стека и управление жизненным циклом от начала до конца.

Источник изображения: Broadcom

VMware AI Factory построена на платформе VMware Cloud Foundation (VCF), которая объединяет и совместно использует ресурсы GPU в масштабах всей организации, позволяя командам запускать несколько моделей на общем оборудовании вместо выделения инфраструктуры для каждой рабочей нагрузки. Новые и готовящиеся к запуску частные ИИ-сервисы включают:

• Многопользовательское совместное использование моделей: Model Runtime теперь поддерживает безопасное совместное использование ИИ-моделей через изолированные пространства имен.
• Единое управление моделями в локальных и облачных средах через единый интерфейс потребления, обеспечивающее доступ к локально размещенным моделям с такими улучшениями, как интеллектуальная маршрутизация запросов, ограничение скорости использования токенов и авторизация приложений.
• Безопасные песочницы и управление ИИ, гарантирующие, что агенты не будут превышать свои полномочия или получать доступ к запрещённым для них ресурсам.

VMware AI Factory поддерживает сертифицированные узлы VCF AI ReadyNodes от Cisco, Dell, Lenovo и Supermicro, а также других производителей. Broadcom также объявила о сотрудничестве с AMD для интеграции VCF с GPU AMD Instinct и программной экосистемой ROCm. Любопытно, что идею ИИ-фабрики (AI Factory) первой предложила NVIDIA в качестве эталонной архитектуры, описывающей всё оборудование и ПО, необходимые для выполнения ИИ-нагрузок. ИИ-фабрики NVIDIA основаны на собственном оборудовании и ПО, а также на серверах Dell, Lenovo, HPE и др., которые тоже называют свои продукты ИИ-фабриками.

Вице-президент по маркетингу продуктов в подразделении VCF компании Broadcom, сообщил изданию The Register, что VMware AI Factory — это «эволюция» VMware Private AI Foundation with NVIDIA, добавив, что NVIDIA является «нашим самым давним партнёром среди поставщиков GPU». Несмотря на давнее партнёрство, VMware позаимствовала название продукта NVIDIA для конкурирующего предложения, продвигающего её главного соперника AMD. Впрочем, VMware сообщила, что не исключает возможность создания AI Factory for NVIDIA.

AMD, Cisco и саудовская Humain запустили первую в Саудовской Аравии промышленную ИИ-инфраструктуру на основе ускорителей Instinct в формате GPUaaS. Инфраструктура объединяет ИИ-ускорители AMD Instinct MI355X, CPU AMD EPYC, коммутаторы Cisco Silicon One (N9000) и оптический 800G-интерконнекты.

Компании заявляют, что инфраструктура обслуживает клиентов Humain в Саудовской Аравии и на других рынках, поддерживая различные задачи, от обучения ИИ-моделей до инференса. Система — первый этап более масштабного проекта строительства ИИ-инфраструктуы. В 2027 году AMD, Cisco и Humain рассчитывают начать внедрение до 250 МВт мощностей с использованием новейших AMD Instinct MI400 Series во II полугодии 2027 года. К 2030 году планируется развернуть до 1 ГВт.

Новая архитектура позиционируется как суверенная ИИ-платформа, с помощью которой Humain рассчитывает обеспечить государственные органы, предприятия, исследовательские организации и разработчиков решением, работающим непосредственно на территории страны. AMD предоставляет вычислительные мощности и открытое ПО (ROCm), а Cisco — совместимую сетевую архитектуру и инструменты для централизованного управления инфраструктурой. ИИ-модели предоставит, в частности, Mistral.

Источник изображения: سيف الظاهر/unsplash.com

Для американских компаний наиболее важен переход архитектуры AMD/Cisco к промышленной эксплуатации. Планируемый переход от AMD Instinct MI355X к поколению MI400 демонстрирует, как быстро должна, по мнению создателей, развиваться инфраструктура. Также проект демонстрирует, как политика суверенного ИИ и архитектура гиперскейл-уровня пересекаются всё теснее. Если заявленные планы реализуют, Саудовская Аравия получит в своё распоряжение ИИ-платформу, по мощности энергопотребления сопоставимую с кампусами гиперскейл-уровня.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) и консорциумом LUMI AI Factory выбрали французскую компанию Bull в качестве подрядчика для реализации проекта LUMI-AI — ИИ-суперкомпьютера стоимостью €387,8 млн. Ожидается, что этот комплекс существенно расширит возможности Европы в сфере HPC.

Система LUMI-AI расположится в IT-центре CSC в Каяани (Финляндия) рядом с действующим суперкомпьютером LUMI. Новая машина проектируется с прицелом на широкий спектр нагрузок — от обучения ИИ-моделей и инференса до масштабных научных симуляций, критически важных для поддержания прорывных исследований.

В основу суперкомпьютера LUMI-AI ляжет новейшая архитектура BullSequana XH3500 с жидкостным охлаждением. Говорится о применении 256-ядерных процессоров AMD EPYC Venice 9006 и ускорителей AMD Instinct MI430X. Платформа BullSequana XH3500 использует открытую модульную конструкцию: такой подход позволяет свободно комбинировать блоки CPU, GPU и сетевые компоненты от различных производителей. Так, в качестве технологических партнёров в рамках проекта LUMI-AI выступают IBM (отвечает за хранилище на основе Storage Scale) и Nokia (экспертиза в области сетевых технологий).

Ожидается, что LUMI-AI обеспечит десятикратный прирост производительности для нагрузок ИИ, а также почти двукратное увеличение быстродействия для HPC-задач по сравнению с существующим суперкомпьютером LUMI. Производительность последнего находится на отметке 379,7 Пфлопс. Новый вычислительный комплекс будет работать исключительно на возобновляемой энергии, соответствуя строгим экологическим стандартам. Генерируемое тепло планируется направлять в городскую систему теплоснабжения Каяани.

Источник изображения: Bull

Проект LUMI-AI финансируется на паритетных началах предприятием EuroHPC JU и консорциумом LUMI AI Factory, в который входят Финляндия, Чехия, Дания, Эстония, Норвегия и Польша. Развёртывание суперкомпьютера намечено на II половину 2027 года.

Компания AMD объявила о том, что некоторые её адаптивные «системы на чипе» (SoC) семейства Versal получат поддержку открытого отраслевого стандарта Universal Chiplet Interconnect Express (UCIe) 1.1. Это упростит интеграцию специализированных компонентов для определённых нагрузок и задач. Изделия Versal RF с поддержкой UCIe появятся в IV квартале 2027 года.

Интерконнект UCIe предназначен для обеспечения высокоскоростного обмена данными между различными чиплетами в составе одного общего корпуса. Поддержкой UCIe 1.1 обзаведутся изделия Versal RF со встроенными высокоскоростными радиочастотными аналого-цифровыми и цифро-аналоговыми преобразователями. Эти изделия объединяют программируемую логику FPGA, специализированные движки ИИ и аппаратные блоки цифровой обработки сигналов (DSP). Производительность достигает 80 TOPS при гетерогенных вычислениях.

Источник изображений: AMD

Сообщается, что устройства серии Versal RF смогут поддерживать до четырёх независимых интерфейсов UCIe Standard Package (UCIe-SP) и до двух интерфейсов UCIe Advanced Package (UCIe-AP). В сумме это обеспечит мультитерабитную пропускную способность внутри одной упаковки.

Благодаря UCIe чиплеты Versal RF смогут напрямую взаимодействовать с другими соупакованными блоками, оптимизированными под конкретные нагрузки. Это могут быть сторонние радиочастотные модули или преобразователи данных, ИИ-ускорители, ядра CPU и GPU, модули безопасности, коммуникационные процессоры, ASIC и пр. Таким образом, устраняется необходимость использования отдельных внешних чипов (становится возможной интеграция чиплетов в SoC), подключение которых создаёт дополнительные задержки, повышает энергопотребление и усложняет проектирование. Интерфейс UCIe обеспечивает стандартизированное внутрикорпусное соединение для эффективного обмена данными между гетерогенными чиплетами, включая решения разных производителей.

Компания Synology анонсировала сетевые хранилища RackStation RS826RP+ и RS826+, ориентированные на использование в сфере малого и среднего бизнеса. Устройства, рассчитанные на монтаж в серверную стойку, построены на аппаратной платформе AMD.

Новинки заключены в корпус формата 1U с габаритами 480 × 518,6 × 44 мм. Задействован процессор Ryzen Embedded V1500B с четырьмя ядрами (восемь потоков), работающими на частоте 2,2 ГГц. Объём оперативной памяти DDR4 ECC SO-DIMM в базовой конфигурации составляет 4 Гбайт, в максимальной — 32 Гбайт (2 × 16 Гбайт).

Во фронтальной части расположены четыре отсека для LFF/SFF-накопителей с интерфейсом SATA-3; допускается горячая замена. Заявленная скорость последовательного чтения информации может превышать 2000 Мбайт/с, скорость последовательной записи — 1300 Мбайт/с. Реализованы четыре сетевых порта 1GbE с разъёмами RJ45, которые могут быть объединены с помощью Link Aggregation для обеспечения автоматического резервирования сети и балансировки нагрузки.

Источник изображения: Synology

Хранилища оборудованы слотом PCIe 3.0 x8, в который может быть установлен контроллер 10/25GbE или адаптер для двух накопителей Synology M.2 SSD. Есть два порта USB 3.0 и разъём USB Type-C. Модель RackStation RS826+ оснащена одним блоком питания мощностью 150 Вт, а версия RackStation RS826RP+ — двумя (с резервированием). Диапазон рабочих температур простирается от 0 до +35 °C.

Две системы RS826RP+/RS826+ можно объединить с помощью Synology High Availability для создания кластера серверов хранения с активным и пассивным режимами. Устройства можно настроить как «горячее» или «холодное» хранилище, что обеспечивает гибкость для дополнения существующего оборудования и инфраструктуры. Инструмент Synology Tiering автоматически перемещает редко используемые данные на более экономичные уровни, обеспечивая баланс между производительностью и ёмкостью. На новинки предоставляется трёхлетняя гарантия. 

Компания Gigabyte анонсировала новые серверы семейства R165 на аппаратной платформе AMD EPYC Venice 9006. Дебютировали модели R165-ZG1-CS1, R165-DG3-CS1 и R165-DG2-CS2 в форм-факторе 1U, подходящие для таких задач, как визуальные вычисления, облачные платформы, ИИ-инференс и пр.

Устройство R165-ZG1-CS1 допускает установку одного процессора EPYC 9006 в исполнении SP8 и 16 модулей оперативной памяти DDR5 RDIMM/MRDIMM. Во фронтальной части расположены 12 отсеков для SFF-накопителей NVMe/SATA/SAS-4 с возможностью горячей замены. Есть по одному разъёму PCIe 6.0 x16 для двухслотового ускорителя на базе GPU, а также дополнительных карт расширения стандартов FHFL и FHHL.

Вариант R165-DG3-CS1 рассчитан на один чип EPYC 9006 в исполнении SP7. В арсенале сервера — 16 слотов DDR5 RDIMM/MRDIMM, 16 отсеков для накопителей E3.S с интерфейсом PCIe 6.0 (NVMe), по одному слоту PCIe 6.0 x16 для GPU-ускорителя FHFL и карты FHHL.

Источник изображений: Gigabyte

Наконец, модификация R165-DG2-CS2 поддерживает процессор EPYC 9006 в исполнении SP7, 16 модулей DDR5 RDIMM/MRDIMM и 12 SFF-накопителей NVMe/SATA/SAS-4. Доступны по одному слоту PCIe 6.0 x16 для GPU-ускорителя FHFL и карты FHHL.

Все новинки укомплектованы двухпортовым сетевым контроллером 1GbE на основе Intel I350-AM2. Предусмотрены два внутренних коннектора для SSD стандарта M.2 с интерфейсом PCIe 4.0 x2. Питание обеспечивают два блока мощностью 3200 Вт с сертификатом 80 PLUS Titanium и резервированием. Говорится о поддержке модуля управления и безопасности DC-SCM (Data Center Secure Control Module).

Компания Gigabyte пополнила ассортимент ИИ-серверов моделью G4L4-ZD3-LAX7 в форм-факторе 4U. Устройство выполнено на аппаратной платформе AMD EPYC 9005 Turin в сочетании с NVIDIA HGX B300 (SXM).

Допускается установка двух процессоров EPYC в исполнении Socket SP5 (LGA 6096) с показателем TDP до 500 Вт. Доступны 24 слота для модулей оперативной памяти DDR5-6400, а также четыре слота PCIe 5.0 x16 для карт типоразмера FHHL. Питание обеспечивают десять блоков мощностью 3000 Вт с резервированием и сертификатом 80 PLUS Titanium.

Сервер располагает контроллером ASPEED AST2600, двумя сетевыми портами 10GbE на базе Intel X710-AT2, а также выделенным сетевым портом управления 1GbE. Могут быть реализованы восемь OSFP-портов InfiniBand XDR с пропускной способностью до 800 Гбит/с или сдвоенные 400GbE-порты на базе NVIDIA ConnectX-8 SuperNIC. Упомянута совместимость с DPU NVIDIA BlueField-3.

Во фронтальной части расположены восемь отсеков для SFF-накопителей с интерфейсом PCIe 5.0 (NVMe). Кроме того, есть два внутренних коннектора M.2 (2280/22110) для SSD с интерфейсами PCIe 3.0 x4 и PCIe 3.0 x1. Предусмотрены два фронтальных порта USB 3.0 Type-A, разъём D-Sub и три гнезда RJ45 для сетевых кабелей.

Источник изображения: Gigabyte

Применяется жидкостное охлаждение, которое охватывает все ключевые компоненты, в том числе CPU, GPU и RAM. Дополнительно установлены вентиляторы диаметром 60 мм в области материнской платы и 80 мм в зоне слотов PCIe. Диапазон рабочих температур — от +10 до +35 °C. Опционально доступен модуль TPM 2.0 для обеспечения безопасности.

Компания Supermicro пополнила ассортимент серверов моделью Storage SuperServer ASG-4116S-NU160R на аппаратной платформе AMD. Это система хранения высокой плотности типоразмера 4U, допускающая установку более 160 твердотельных накопителей с интерфейсом PCIe.

Источник изображения: Supermicro

Устройство оснащается процессором семейства AMD EPYC 9005 Turin с показателем TDP до 360 Вт (до 96C/192T). Предусмотрены 12 слотов для модулей оперативной памяти DDR5-6400 RDIMM ECC суммарным объёмом до 6 Тбайт. В оснащение входят два сетевых порта 10GbE RJ45 на основе контроллера Broadcom BCM57416 и выделенный сетевой порт управления 1GbE RJ45 на базе ASPEED AST2600. Есть три слота PCIe 5.0 x16 для карт формата FHHL, два фронтальных порта USB 3.0 Type-A и аналоговый порт D-Sub.

Сервер оснащён 160 слотами для SSD стандарта SFF U.2 (PCIe 4.0 x1; NVMe) с вертикальной загрузкой и возможностью горячей замены. Кроме того, предусмотрены четыре фронтальных отсека для накопителей E1.S (PCIe 5.0; x4 NVMe) с поддержкой горячей замены, а также два внутренних коннектора для SSD типоразмера M.2 M-key 22110/2280 (NVMe). Таким образом, в общей сложности могут быть задействованы до 166 накопителей.

Источник изображения: Supermicro

Новинка оборудована системой воздушного охлаждения. Диапазон рабочих температур простирается от +10 до +35 °C. Питание обеспечивают два блока мощностью 2600 Вт с резервированием и сертификатом 80 PLUS Titanium. Габариты системы составляют 845 × 448,4 × 176 мм, масса — 92 кг. Присутствует модуль TPM 2.0 для обеспечения безопасности.

Компания Synology анонсировала сетевые хранилища серии DiskStation neo+ на аппаратной платформе AMD. Дебютировали модели DS1825neo+, DS1525neo+, DS925neo+ и DS725neo+ с возможностью установки соответственно восьми, пяти, четырёх и двух LFF/SFF-накопителей с интерфейсом SATA-3.

Все новинки выполнены в «настольном» форм-факторе. Применён процессор Ryzen Embedded V1500B с четырьмя ядрами (восемь потоков), работающими на частоте 2,2 ГГц (модель DS725neo+ получила двухъядерный чип Ryzen Embedded R1600 с частотой 2,6–3,1 ГГц) — это весьма старые чипы. Две старшие модели несут на борту 8 Гбайт DDR4 SO-DIMM (по умолчанию без ECC), две младшие — 4 Гбайт. Во всех случаях допускается расширение до 32 Гбайт в виде двух модулей на 16 Гбайт, в том числе с ECC.

Источник изображений: Synology

Хранилища располагают двумя коннекторами M.2 2280 для NVMe SSD. Предусмотрены два сетевых порта 2.5GbE (у варианта DS725neo+ — по одному порту 2.5GbE и 1GbE). Модификации DS1825neo+ и DS1525neo+ оборудованы слотом расширения PCIe 3.0 для опционального сетевого адаптера 10GbE или 25GbE. В зависимости от модели реализованы от одного до трёх разъёмов USB 3.0. Можно подключить модуль расширения DX525.

Устройства функционируют под управлением ОС DSM. Предусмотрены средства шифрования информации на стороне клиента. Возможна защита критически важных томов (LUN) и общих папок с помощью автоматизированных неизменяемых снимков, для которых применяются пользовательские политики хранения. Приём заказов на NAS серии DiskStation neo+ уже начался.

AMD объявила о достижении окончательного соглашения о приобретении Taalas, канадского разработчика ускорителей для ИИ-инференса из Торонто. Финансовые подробности сделки не раскрываются. С момента основания в 2023 году Taalas привлекла в общей сложности $219 млн венчурных инвестиций в рамках трёх раундов финансирования, включая последний на $169 млн в феврале этого года. AMD сообщила, что технология Taalas дополнит полнофункциональную ИИ-платформу AMD, включая стоечные решения Helios, Instinct, EPYC, ROCm и расширяющуюся экосистему ИИ компании.

Покупая Taalas, компания AMD решает те же задачи, что и NVIDIA при покупке Groq за $20 млрд в декабре прошлого года, говорят аналитики: сделать высокопроизводительные «премиальные» сервисы инференса, востребованные для ИИ-агентов, быстрее и дешевле в использовании. Taalas разрабатывает чипы, ориентированные на конкретные ИИ-модели, что обеспечивается путём прямой интеграции их весов в «кремний» вместе со значительным объёмом высокоскоростной памяти SRAM.

Источник изображения: AMD

Этот подход отличается от традиционных решений для инференса, которые полагаются на универсальные GPU. При этом он позволяет снизить задержку и вычислительные затраты за счёт устранения необходимости обращения к внешней памяти во время процесса инференса. Ресурс The Register отметил, что Taalas не раскрывает принцип работы своих чипов, но известно, что они состоят из двух основных областей: микросхемы памяти с маской (Mask-ROM), где вытравливаются веса модели, и собственно SRAM, где хранятся KV-кеши и т.д.

Что важно, технология Taalas — это не просто концептуальная разработка. В феврале компания представила свой первый тестовый чип HC1, изготовленный по 6-нм техпроцессу TSMC с площадью кристалла 815 мм², который содержит 53 млрд транзисторов. Первоначальные тесты показали, что чип обрабатывает Meta✴ Llama 3.1 8B со скоростью 16 960 токенов в секунду — на момент анонса в феврале прошлого года это было в 48 раз быстрее, чем NVIDIA H200, и в 8,5 раза быстрее, чем ускорители Cerebras.

Источник изображения: Taals

Taalas разработала совместно с TSMC оптимизированный для литографического производства рабочий процесс, который позволяет клиентам перейти от весов моделей к развёртываемым PCIe-картам, работающим с реальным инференсом, примерно за два месяца, говорит генеральный директор Taalas Любиша Байич (Ljubisa Bajic), о чём пишет ресурс CNBC. Это значительно быстрее по сравнению с традиционными циклами разработки заказных чипов, что делает кастомные кремниевые микросхемы более доступными для компаний, которые ранее не могли позволить себе разработку ASIC из-за высокой стоимости.

В чипе HC2 второго поколения, который должен выйти этим летом, Taalas планирует увеличить количество параметров ИИ-модели до 20 млрд. При обработке больших ИИ-моделей, как и при использовании GPU, веса просто распределяются между несколькими ускорителями с использованием конвейерного параллелизма. Таким образом, для модели с 1 трлн параметров понадобится всего 50 ускорителей HC2, и у AMD как раз есть вычислительная платформа стоечного масштаба и собственная команда разработчиков систем. Это решение компактнее и энергоэффективнее NVIDIA LPX, для работы которого потребуется несколько десятков GPU и как минимум 2000 LPU Groq, отметил The Register.

Источник изображения: Taals

Альтернативные чипы, разработанные Taalas и Groq, особенно важны для приложений с «низкой задержкой», где время до первого ответа от ИИ-модели имеет большое значение. «Я твёрдо убеждена, что в отношении чипов нет универсального решения», — заявила генеральный директор AMD Лиза Су (Lisa Su) в июле. Она добавила, что AMD прогнозирует, что GPU будут и дальше составлять большую часть рынка ИИ-чипов, поскольку они достаточно гибкие, чтобы поддерживать новые ИИ-модели. Впрочем, AMD недавно заключила соглашение с Cerebras, которое тоже ориентировано на сверхбыстрый инференс.

Разрабатывая чип специально для конкретной модели, компания жертвует гибкостью ради эффективности. Специализация позволяет сократить рабочую нагрузку, переведя её в более прямой поток данных, что снижает вычислительные и оперативные издержки, присущие универсальным решениям. Но стойку, построенную для использования одной модели, нельзя просто перенастроить при изменении модели. Это делает подход Taalas наиболее привлекательным для стабильного, высокопроизводительного инференса, который, по словам AMD, является наиболее быстрорастущим сегментом ИИ-рынка.

При этом Taalas утверждает, что изменение весов, размеров матрицы и других важных параметров требует изменения всего двух слоев маски. Это означает, что даже если для каждой модели потребуется много разных чипов, количество дорогостоящих масок, которые необходимо будет изготовить, намного меньше, чем если бы, например, пришлось изготавливать два разных GPU, пишет ServeTheHome.