Компания NVIDIA объявила во вторник о досрочном завершении сборки первой фазы ИИ-суперкомпьютера Israel-1, анонсированного летом этого года. Сообщается, что суперкомпьютер уже доступен для использования исследовательскими и опытно-конструкторскими группами компании, а также её отдельными партнёрами. После завершения строительства Israel-1 станет самым мощным ИИ-суперкомпьютером в Израиле.

По данным NVIDIA, первая фаза компьютерной системы была построена менее чем за 20 недель или почти на два месяца раньше намеченных сроков — это намного быстрее, чем требуется для создания традиционных суперкомпьютеров, которые могут создаваться и несколько лет.

Первая фаза Israel-1, обеспечивающая производительность при обработке ИИ-нагрузок в 4 Эфлопс (FP8) и при научных вычислениях в 65 Пфлопс (FP64), послужит испытательным стендом для разработанной в Израиле сетевой Ethernet-платформы NVIDIA/Mellanox Spectrum-X, предназначенной для повышения производительности и эффективности облачных ИИ-сервисов.

Изображение: NVIDIA

В конечном итоге Israel-1 будет содержать 256 систем NVIDIA HGX H100, включающих в общей сложности 2048 ускорителей NVIDIA H100 с более чем 34 млн ядер CUDA и 1 млн тензорных ядер четвёртого поколения, 2560 единиц DPU BlueField-3 и 80 коммутаторов Spectrum-4. Первая фаза суперкомпьютера включает 128 серверов Dell PowerEdge XE9680 на базе платформы NVIDIA HGX H100, 1280 единиц DPU BlueField-3 и более 40 коммутаторов Spectrum-4.

Компании Dell Technologies и Hugging Face объявили о заключении соглашения о сотрудничестве, цель которого заключается в том, чтобы помочь корпоративным клиентам в создании, настройке и использовании собственных систем на базе генеративного ИИ.

Партнёры сформируют новый портал на платформе Hugging Face. Через него будут доступны специальные контейнеры и сценарии, которые помогут заказчикам быстро и безопасно разворачивать открытые ИИ-модели, доступные в репозитории Hugging Face. Ранее похожее решение было представлено для моделей Llama 2.

Источник изображения: pixabay.com

Для локального развёртывания ИИ-приложений будет использоваться оборудование Dell — серверы PowerEdge и СХД. Со временем на портале появятся дополнительные контейнеры с оптимизированными моделями для инфраструктуры Dell, предназначенные для внедрения ИИ-систем нового поколения. Ранее компания представила расширеннное портфолио комплексных решений и сервисов для «локализации» генеративного ИИ.

Компания Liqid в партнёрстве с Dell Technologies анонсировала эталонную архитектуру UltraStack L40S для формирования систем с высокой плотностью компоновки GPU и иных ускорителей — до 16 шт. на один сервер. Такие платформы могут использоваться для ИИ-приложений, работы с большими языковыми моделями (LLM), задач НРС и пр.

Новинка доступна в конфигурациях UltraStack x8 и UltraStack x16. В качестве хост-сервера в составе решения выступает Dell PowerEdge R760xa на базе Intel Xeon Sapphire Rapids: применены два процессора Xeon Gold 6430 (32 ядра; 64 потока; 1,9 ГГц). Объём оперативной памяти в первом случае составляет 1 Тбайт, во втором — 2 Тбайт.

К серверу подключаются модули Liqid PCIe Chassis. Версия UltraStack x8 использует два таких модуля: задействованы восемь ускорителей NVIDIA L40S с 48 Гбайт памяти GDDR6 и SSD-хранилище вместимостью 30 Тбайт (NVMe). Вариант UltraStack x16 комплектуется тремя модулями Liqid PCIe Chassis: объединены 16 карт NVIDIA L40S, а ёмкость хранилища составляет 60 Тбайт.

Источник изображения: Liqid

Платформа UltraStack L40S предполагает применение восьми двухпортовых сетевых адаптеров NVIDIA ConnectX-7 (16 × 200 Гбит/с), DPU BlueField-3, двух хост-адаптеров Liqid Gen 4.0 x16 HBA, а также коммутатора PCIe 4.0 на 24/48 портов. Среднее энергопотребление UltraStack x8 заявлено на уровне 4,5 кВт, UltraStack x16 — 7,5 кВт.

Система базируется на ПО Liqid Matrix. Компания Liqid утверждает, что по сравнению с четырьмя серверами формата 2U, каждый из которых содержит четыре ускорителя NVIDIA L40S, её система UltraStack с 16 такими картами обеспечивает на 35 % более высокую производительность, сокращение энергопотребления на 35 % и снижение общей стоимости владения на 25 %.

Корпорация Dell анонсировала программно определяемую объектную систему хранения данных ObjectScale XF960. Новинка, ставшая первым представителем семейства ObjectScale X Series, ориентирована на задачи генеративного ИИ и аналитику в реальном времени. В состав системы входят серверы PowerEdge, коммутаторы, необходимое стоечное оборудование и кабели. Применена программная платформа ObjectScale v1.3.

В зависимости от конфигурации ObjectScale XF960 объединяет от 4 до 16 узлов. Каждый из них несёт на борту два 32-ядерных процессора Intel Xeon Sapphire Rapids и 256 Гбайт оперативной памяти. Предусмотрены два загрузочных накопителя с зеркалированием для обеспечения надёжности. Сетевая подсистема включает по два порта 100 GbE (back-end) и 25 GbE (front-end).

Система относится к классу All-Flash. В оснащение каждого из 2U-узлов входят 24 накопителя NVMe на основе флеш-памяти TLC вместимостью 30,72 Тбайт. Таким образом, суммарная «сырая» ёмкость составляет 737,3 Тбайт. В максимальной конфигурации с 16 узлами общая вместимость достигает 11,8 Пбайт.

Источник изображения: Dell

Dell заявляет, что ObjectScale XF960 — это полностью интегрированная система «под ключ» и самая мощная в мире объектная платформа хранения данных, созданная специально для Kubernetes. Система способна обеспечить скорость чтения до 5,7 Гбайт/с и скорость записи до 5,0 Гбайт/с на каждый узел.

Dell и Meta✴ предложили совместную разработку для повышения эффективности работы компаний в области генеративного ИИ, основанную на использовании большой языковой модели Meta✴ Llama 2 и инфраструктуры Dell.

Запуск таких приложений генеративного ИИ, как чат-боты, виртуальные помощники, в том числе для написания кода, предполагает обучение моделей на собственных данных компаний. Однако решения в публичных облаках хотя и удобны, часто имеют определённые ограничения, включая риски безопасности, связанные с суверенитетом данных, а также непредсказуемые затраты и проблемы с соблюдением регуляторных требований.

Источник изображения: Dell

Локальное развёртывания открытых больших языковых моделей (LLM) вроде Llama 2 обеспечивает клиентам предсказуемые затраты и полный контроль над своими данными, снижая риск для безопасности и утечки интеллектуальной собственности, а также обеспечивая соответствие нормативным требованиям, говорит Dell. Решения Dell Generative AI Solutions вместе с Dell Validated Design for Generative AI предлагают клиентам готовый, предварительно протестированный программно-аппаратный, специально созданный для работы с генеративным ИИ.

Источник изображения: Dell

Теперь же Dell в сотрудничестве с Meta✴ расширила свой портфель предложений для работы с генеративным ИИ — клиентам доступно упрощённое развёртывание и тюнинг ИИ-моделей Meta✴ Llama 2 от Meta✴ в локальной среде. Решение Dell Validated Design for Generative AI вместе с Llama 2 предоставляет компаниям готовую инфраструктуру, ПО и сервисы Dell для оптимизации развёртывания и управления локальными ИИ-проектами. Llama 2 протестирована и проверена Dell, в том числе при работе с (SFT), LoRA и p-tuning на моделях с 7, 13 и 70 млрд параметров

Благодаря руководству по развёртыванию и настройке компании смогут быстро запустить свою ИИ-инфраструктуру и использовать Llama 2 с большей предсказуемостью. В частности, доступны анализ использования памяти, задержек и эффективности LLM. «Наша цель — стать предпочтительным поставщиком локальной инфраструктуры для клиентов, развёртывающих Llama 2, и предоставить нашим клиентам лучшие в своём классе генеративные решения ИИ», — сообщила компания. Аппаратная основа включает серверы PowerEdge XE9680, а также PowerEdge R760xa (с NVIDIA L40S).

Dell Technologies, Intel и Кембриджский университет объявили о создании в Великобритании разработанного совместными усилиями суперкомпьютера Dawn. Запуск будет осуществляться в два этапа. Первый будет выполнен в течение двух месяцев, то есть до конца года. На втором этапе, который буде завершён в 2024 году, производительность Dawn будет увеличена в десять раз, будет завершена в следующем году. Подробные характеристики Dawn будут объявлены на SC23 в этом месяце.

Суперкомпьютер Dawn установлен в лаборатории Cambridge Open Zettascale Lab. Как сообщает Dell, это будет самое мощное суперкомпьютерное ИИ-облако на базе OpenStack, разработанное совместно с британской SME StackHPC. Машина использует серверы Dell PowerEdge XE9640 с процессорами Sapphire Rapids и ускорителями Max. Всего задействовано более 1 тыс. ускорителей.

Платформа Scientific OpenStack с открытым исходным кодом обеспечит полностью оптимизированную для ИИ и моделирования облачную HPC-среду. Отмечена и поддержка Intel oneAPI для гетерогенных вычислений. Предполагается, что суперкомпьютер будет использоваться для выполнения сложных вычислительных задач в области академических и промышленных исследований, здравоохранения, инжиниринга и моделирования климата.

Изображение: Intel

В следующем году в Великобритании также будет построен суперкомпьютер Isambard-AI, который вместе с Dawn будет включён в проект AI Research Resource (AIRR), созданный британским правительством для оказания помощи национальным разработчикам ИИ. Isambard-AI и Isambard-3 будут построены HPE с использованием Arm-чипов NVIDIA Grace и Grace Hopper. При этом и Dell, и HPE одновременно заявили, что именно их детища будут самыми быстрыми ИИ-суперкомпьютерами в стране.

Dell и Red Hat представили облачную платформу APEX Cloud Platform for Red Hat OpenShift. Как сообщается в блоге Dell, это первая полностью интегрированная платформа доставки приложений для Red Hat OpenShift на рынке.

APEX Cloud Platform for Red Hat OpenShift позволяет клиентам развёртывать, управлять и запускать контейнеры вместе с виртуальными машинами локально. Платформа, разработанная Dell совместно с Red Hat, использует серверы нового поколения PowerEdge MC-760/MC-660 с процессорами Intel Xeon Sapphire Rapids и масштабируемую СХД Dell на базе PowerFlex с NVMe/SAS SSD.

Платформа упрощает мультиоблачные операции, ускоряет развёртывание приложений и оптимизирует размещение рабочих нагрузок. APEX Cloud Platform обеспечивает плавное перемещение приложений и наборов данных в мультиоблачных средах. А СХД обеспечивает совместимость между локальным и публичным облачным хранилищем.

Источник изображения: Dell/Blocks and Files

В мультиоблачной среде клиентам требуется производительность, надёжность и безопасность локальной инфраструктуры в сочетании с гибкостью публичного облака. Платформа устраняет сложности, связанные с развёртыванием и управлением Kubernetes, предлагая готовое интегрированное решение bare-metal. Решение автоматизирует развёртывание Red Hat OpenShift, сокращая время обновления компонентов на 90 % по сравнению с обновлением вручную.

Также было анонсировано решение Dell Validated Design for Red Hat OpenShift AI on APEX Cloud Platform, которое предлагает компаниям упрощённое решение по развёртыванию цифрового ассистента с использованием большой языковой модели (LLM) и ИИ-фреймворка Retrieval Augmented Generation (RAG), повышающего качество сгенерированных ИИ ответов.

Компания Dell расширила ассортимент рабочих станций, анонсировав модель Precision 7875 на базе AMD Ryzen Threadripper Pro 7000 WX. В продажу новинка поступит 5 декабря нынешнего года и будет предлагаться с ОС Windows 10/11, Ubuntu 22.04 LTS, Ubuntu 20.04 LTS или Red Hat Enterprise Linux 9.3.

В наиболее дорогой конфигурации задействован процессор Ryzen Threadripper Pro 7995WX (96 ядер; 192 потока; 2,5–5,1 ГГц; 350 Вт). Объём оперативной памяти DDR5-4800 может достигать 2 Тбайт в конфигурации 8 × 256 Гбайт.

Источник изображения: Dell

Возможна установка двух ускорителей AMD Radeon Pro W7900 или NVIDIA RTX 6000 Ada, а также накопителей типоразмера LFF, SFF и М.2 2280/2230 суммарной вместимостью до 56 Тбайт. За питание отвечает блок с сертификатом 80 Plus Platinum мощностью 1350 или 1000 Вт.

В оснащение входят адаптеры Wi-Fi 6E (802.11ax) и Bluetooth 5.3, звуковой кодек Realtek ALC3246, контроллеры 1GbE и 10GbE, оптический привод 16x DVD+/-RW (опционально). Набор портов включает два гнезда RJ-45 для сетевых кабелей, по четыре разъёма USB 3.2 Gen1 (два на фронтальной панели) и USB 3.2 Gen2 Type-C (один спереди), последовательный порт (опционально), два гнезда PS/2 (опционально). Габариты составляют 442,7 × 172,6 × 465,0 мм, максимальный вес — 25,57 кг. Упомянут модуль TPM 2.0.

Dell Technologies на мероприятии для инвесторов сообщила о том, что её приоритетным направлением развития бизнеса является продажа оборудования для дата-центров. Компания ожидает, что серверы, а не ПК, станут основным драйвером роста в обозримом будущем, что объясняется бумом ИИ-технологий.

Dell прогнозирует, что рынок ПК выйдет из кризиса, а продажи в данном сегменте будут увеличиваться приблизительно на 2,5 % в год в течение нескольких следующих лет. Вместе с тем в серверном сегменте ожидается рост выручки на 7 % в год — это практически в два раза превышает прогноз, сделанный в 2021-м.

Источник изображения: Dell

Как отметил главный операционный директор Dell Джефф Кларк (Jeff Clarke), стремительное развитие ИИ-рынка приведёт к увеличению общих расходов на технологии. Наряду с серверами, оснащёнными ИИ-ускорителями, растёт потребность в хранилищах данных большой вместимости. Ещё в августе Dell заявляла, что у неё имеются заказы на поставку серверного оборудования на общую сумму около $2 млрд. Однако компания, как и другие участники рынка, сталкивается с нехваткой определённых компонентов. По словам Кларка, спрос опережает предложение.

Dell не отказывается от продажи ПК — это по-прежнему бизнес с оборотом примерно $58 млрд в год, приносящий более половины выручки компании. Но потенциал роста в данном сегменте не столь высок, как на серверном рынке. В компании также сообщили, что скорректированная прибыль на акцию, согласно прогнозам, будет увеличиваться как минимум на 8 % в год, а более 80 % свободного денежного потока планируется использовать для выкупа акций или выплаты дивидендов.

Dell объявила о расширении портфеля решений Dell Generative AI Solutions с целью поддержки компаний в трансформации методов работы с генеративным искусственным интеллектом (ИИ). Первоначально в разработанном совместно с NVIDIA решении Dell Validated Design for Generative AI основное внимание уделялось обучению ИИ, но теперь продукт также поддерживает тюнинг моделей и инференс. Это, в частности, означает, что у клиентов есть возможность развёртывать модели в собственных ЦОД, передаёт StorageReview.

Dell Validated Design for Generative AI with NVIDIA for Model Customization предлагает предварительно обученные модели, которые извлекают знания из данных компания без необходимости создания моделей с нуля и обеспечивают безопасность информации. Благодаря масштабируемой схеме тюнинга у организаций теперь есть множество способов адаптировать модели генеративного ИИ для выполнения конкретных задач с использованием своих собственных данных.

Изображения: Dell (via StorageReview)

Инфраструктура базируется на GPU-серверах Dell PowerEdge XE9680 и PowerEdge XE8640 с ускорителями NVIDIA, стеком NVIDIA AI Enterprise и фирменным ПО Dell. Компания позиционирует это как идеальное решение для компаний, которые хотят создавать генеративные ИИ-модели, сохраняя при этом безопасность своих данных на собственных серверах. Для хранения данных предлагаются различные конфигурации Dell PowerScale и Dell ObjectScale. Доступ к этой инфраструктуре также возможен по подписке в рамках Dell APEX.

Dell также расширила портфолио профессиональных сервисов. Так, появились сервисы по подготовке данных (Data preparation Services), разработанные специально для предоставления клиентам тщательно подготовленных, очищенных и корректно отформатированных наборов данных. А с помощью сервисов по внедрению (Dell Implementation Services) для компании в короткие сроки создадут полностью готовую платформу генеративного ИИ, оптимизированную для инференса и подстройки моделей.

Dell также предлагает новые образовательные сервисы (Education Services) для клиентов, которые хотят обучить своих сотрудников современным ИИ-технологиям. Наконец, было объявлено о партнёрстве Dell и Starburst, в рамках которого Dell интегрирует платформы PowerEdge и СХД с аналитическим ПО Starburst, чтобы помочь клиентам создать централизованное хранилище данных и легче извлекать необходимую информацию из своих данных.

Энди Турай (Andy Thurai), вице-президент и главный аналитик Constellation Research, сообщил в интервью SiliconANGLE, что наиболее мощные LLM, такие как GPT-4, обучаются в специально созданных облачных окружениях из-за их огромных размеров и требований к ресурсам. Вместе с тем некоторые компания ищут способы обучения своих собственных, гораздо меньших по размеру LLM в локальных средах. Турай отметил, что Dell потребуется время, чтобы добиться каких-либо успехов в «локализации» генеративного ИИ, поскольку настройка инфраструктуры, перемещение подгтовка данных — занятие не для слабонервных.

Как сообщается, решение Dell Validated Design for Generative AI with NVIDIA for Model Customization будет доступно глобально позже в октябре. Профессиональные сервисы появятся тогда же, но только в некоторых странах. А решение Dell для озера данных на базе Starburst станет глобально доступно в I половине 2024 года. Фактически новые решения Dell являются развитием совместной с NVIDIA инициативы Project Helix.