По мере того, как генеративный ИИ становится всё популярнее, растёт и дефицит вычислительных ресурсов, что создаёт значимые барьеры для новичков, желающих заняться бизнесом в этой сфере. Как сообщает DigiTimes, проблему, возможно, помогут решить облачные игровые сервисы, располагающие огромным числом высокопроизводительных ускорителей, которые можно использовать для ИИ-проектов.

Например, тайваньское подразделение японского сервис-провайдера Ubitus располагает десятками тысяч ускорителей — столько имеют немногие бизнесы в IT-отрасли. По мнению некоторых экспертов, облачные игровые сервисы скоро могут принять участие в разработках, связанных с генеративным ИИ. По классификации SemiAnalysis IT-компании делились на две группы: «богатые» ускорителями и «бедные». В первую группу входят немногочисленные компании, владеющие более 20 тыс. ускорителей A100 или H100, например, Google, Anthropic, X, Meta✴, Inflection и OpenAI, причём у некоторых есть и более 100 тыс. ускорителей.

Изображение: NVIDIA

В первой половине ноября 2023 года Ubitus объявила о сотрудничестве с Национальным университетом Тайваня в области ИИ-вычислений — компания, возможно, является крупнейшим на острове оператором ускорителей, изначально предназначенных для облачных игровых проектов. Фактически излишки ресурсов уже направляются на работу с большими языковыми моделями (LLM), в частности, на китайском языке. По некоторым данным, IT-гиганты вроде Google уже предлагали компании рассмотреть возможность участия в развитии ИИ-отрасли на Тайване.

При этом тайваньские эксперты подчёркивают, что для облачных игр обычно применяют флагманские GPU серии RTX — они гораздо менее производительны в ИИ-задачах, но и на порядок дешевле специализированных ускорителей. Впрочем, в Ubitus утверждают, что преимущественно используют ускорители именно такого типа, включая H100, A100 и L40S в PCIe-исполнении.

Компания iXsystems анонсировала СХД семейства TrueNAS F-Series в форм-факторе 2U. Устройства выполнены на основе NVMe SSD и оснащены двумя контроллерами, а заявленная доступность достигает 99,999 %. Изделия подходят для решения задач в области ИИ, машинного обучения, виртуализации и пр.

В серию вошли модификации F60 и F100. Они выполнены в корпусе глубиной 686 мм. Допускается установка 24 накопителей SFF. Каждый из контроллеров наделён 512 Гбайт DRAM-кеша. Предусмотрены два сетевых порта 10GbE и порт управления. Модель TrueNAS F60 располагает четырьмя оптическими портами 40/100GbE, модификация TrueNAS F100 — шестью. Максимальная пропускная способность хранилищ составляет соответственно 20 Гбайт/с и 30 Гбайт/с.

Источник изображения: iXsystems

Вместимость достигает 720 Тбайт при использовании SSD на 30 Тбайт. При использовании СХД и дополнительных полок максимальная общая ёмкость составляет 2,1 Пбайт у F60 (две полки) и 3,5 Пбайт у F100 (четыре полки), а эффективная ёмкость послек компресии и дедупликации — 4 Пбайт и 7 Пбайт соответственно.

Источник изображения: iXsystems

Реализована поддержка SMB v1/2/3, NFSv3/v4, AFP, FTP, WebDAV, iSCSI, OpenStack Cinder, S3, Minio. Для СХД доступно обновлённое ПО TrueNAS SCALE версии 23.10, основанное на ядре Linux 6.1 и OpenZFS 2.2. Оно предлагает возможности виртуализации KVM, поддержку контейнеров, интеграцию с Kubernetes и функции масштабирования до 1200 накопителей. В версии TrueNAS SCALE 23.10 улучшен пользовательский интерфейс.

Габариты СХД составляют 686 × 483 × 89 мм, вес — 19,5 кг без установленных накопителей. Диапазон рабочих температур — от +5 до +35 °C. Пробные поставки СХД TrueNAS F-Series уже начались. Стоимость версии F60 начинается с $60 тыс., модификации F100 — со $100 тыс.

Hitachi Vantara, «дочка» Hitachi Ltd., специализирующаяся на СХД, управлении данными и цифровых решениях, объявила на конференции SC23 о партнёрстве с Quobyte, занимающейся разработкой высокопроизводительных программно определяемых хранилищ. Цель альянса — создание долговечных масштабируемых решений для хранения данных с доступной ценой. Партнёрство включает и стратегическое сотрудничество в области маркетинга и взаимодействия с клиентами.

Как отмечено в пресс-релизе, интеграция интеллектуальной платформы данных Hitachi Vantara и передовой платформы хранения данных Quobyte «откроет новую эру управления данными, соответствующую меняющимся потребностям современных предприятий и сред HPC». «Объединяя наше мастерство управления данными с возможностями Quobyte в области хранения данных, мы не просто решаем проблемы управления данными, но и поднимаем операционную эффективность на новый уровень», — заявил представитель Hitachi Vantara.

Изображение: Quobyte

Сообщается, что благодаря партнёрству клиентам компаний будут предложены:

• Высочайшая надёжность: бесперебойная работа в сочетании с горизонтально масштабируемой производительностью, а также возможность добавлять и удалять оборудование без простоев в составе базовой функциональности;
• Функции корпоративного уровня: интуитивно понятное управление политиками, надёжные функции безопасности, простое управление, снимки, квоты, а также мультикластерность и многопользовательское окружение — всё с учётом жёстких требований сред HPC;
• Масштабируемая производительность с возможностью управления петабайтами данных и тысячами узлов;
• Доступность и дружественность: устранение разрыва между потребностью в хранилищах для HPC и удобными для пользователя решениями, что делает хранилище для HPC простым, надёжным и доступным с корпоративными функциями.
• Экономическая эффективность за счёт подхода Quobyte, ориентированного на ПО с использованием обычного оборудования, обеспечивающего значительное снижение совокупной стоимости владения (TCO) без ущерба для производительности или простоты управления;
• Клиентоориентированный подход.

Как известно, уроненное Intel знамя Omni-Path подхватила компания Cornelis Networks, которая достаточно успешно и уверенно продолжает совершенствовать эту систему интерконнекта. Буквально на днях состоялся официальный анонс CN5000 — серии решений для экосистемы Omni-Path второго поколения, способных работать на скорости 400 Гбит/с.

Источник изображений здесь и далее: Cornelis Networks

О планах Cornelis Networks относительно CN5000 и следующих за ним поколений Omni-Path уже рассказывалось ранее. Во втором поколении разработчики отказались от Performance Scale Messaging и целиком перешли на открытый стек OFI (libfabric). По всей видимости, дела у Cornelis идут хорошо, поскольку анонс состоялся уже сейчас, хотя ранее выход CN5000 был запланирован на 2024 год. Никаких данных о сроках начала массовых поставок и ценах компания-разработчик пока не приводит, но потенциальным заказчикам уже предлагает связаться с отделом продаж.

Компания назвала главные достоинства новой технологии. Среди них высокая инфраструктурная эффективность, отличное соотношение цены и качеству, высокая защищённость соединений, реализация QoS, а также лучшая в своём классе латентность (менее 1 мкс), что особенно важно для рынков ИИ и HPC.

В основе инфраструктуры Omni-Path CN5000 лежат три ключевых продукта: хост-адаптеры PCIe 5.0, непосредственно устанавливаемые в узлы, 48-портовые 1U-коммутаторы и 576-портовые 17U-директоры. Для всех трёх доступно как воздушное, так и жидкостное охлаждение. Фабрика на базе CN5000 может содержать до 330 тыс. узлов, чего достаточно для построения крупномасштабных HPC-систем.

Компания Seagate, по сообщению ресурса HPCwire, анонсировала СХД Exos Corvault 4U106 на основе HDD, выполненных по технологии магнитной записи с подогревом (HAMR). Причём накопители отдельно от СХД пока не предоставляются. Система будет предлагаться в модификациях суммарной вместимостью 2,0 и 2,5 Пбайт.

Стоечная СХД Exos Corvault 4U106 выполнена в формате 4U и рассчитана на установку 106 накопителей LFF. Применены два контроллера VelosCT, которые функционируют в режиме активный — активный. Для каждого из контроллеров предусмотрены четыре порта mini-SAS-3 HD.

Фирменная технология Autonomous Drive Regeneration (ADR) минимизирует время простоя и сокращает количество компьютерных отходов благодаря восстановлению сбойных накопителей. Функция Autonomic Distributed Allocation Protection Technology (ADAPT) повышает надёжность и способствует более эффективному использованию СХД. Возможно шифрование информации. Пропускная способность достигает 12 Гбайт/с при последовательном чтении данных и 10 Гбайт/с при последовательной записи.

Источник изображения: Seagate

Габариты системы составляют 176,4 × 441 × 1139 мм, вес — 131,5 кг. Предусмотрен интерфейс 1GbE. Максимальное заявленное энергопотребление — 2000 Вт. Диапазон рабочих температур простирается от +5 до +35 °C. Приём предварительных заказов на СХД Exos Corvault 4U106 с накопителями HAMR начнётся в текущем месяце, а поставки будут организованы к концу декабря.

В августе этого года израильская компания Xinnor, специализирующаяся на решениях для хранения данных, в том числе программного RAID для современных NVMe SSD, сообщила в ходе саммита Flash Memory Summit о мировом рекорде производительности, установленном с использованием ПО Xinnor xiRAID и 12-ти NVMe SSD Kioxia CM7-R (PCIe 5.0). На SC23 компания обновила рекорд.

На этот раз в тесте были задействованы сразу 24 накопителя Kioxia CM7-V (PCIe 5.0, NVMe). Каждый диск имеет скорость последовательного чтения 14 Гбайт/с и последовательной записи 6,75 Гбайт/с, а на случайных операциях производительность составляет 2,7 млн IOPS и более 600 тыс. IOPS соответственно.

При развёртывании множества таких SSD в системе первостепенное значение приобретает обеспечение надлежащей масштабируемости производительности и целостности данных. Xinnor выполнила тест на сервере Supermicro с двумя 64-ядерными процессорами AMD EPYC Genoa 9534 и 768 Гбайт RAM. Чтобы избежать узких мест, Xinnor создала две группы RAID 5 по 12 дисков так, что каждый массив находился в рамках одного NUMA-домена. Такая конфигурация обеспечивает наивысшую производительность и одновременно защиту данных в случае сбоя диска для каждого RAID, говорит Xinnor.

Изображение: Xinnor

Сообщается, что в последовательных рабочих нагрузках рекордные показатели (см. таблицу ниже) были достигнуты при использовании лишь 16 из 128 доступных ядер, а на случайных операциях xiRAID нагружал на 3–9 % лишь половину ядер. Низкая нагрузка на CPU и универсальность xiRAID, по словам компании, значительно упрощает развёртывание массивов и позволяет эффективно использовать имеющееся оборудование.

Xinnor также проверила работу в деградированном режиме, когда из массива RAID 5 «выпадает» один накопитель. Даже в этом случае производительность остаётся достаточно высокой: более 34 млн и 6 млн IOPS при произвольных чтении и записи соответственно, что эквивалентно 52 % и 75 % от нормальной производительности. При последовательных операциях доступа Xinnor зафиксировала производительность выше 70 % от нормальной.

Заодно Xinnor также протестировала ту же систему, создав 2 группы RAID 6 (2 × 10 + 2). При чтении производительность была сравнима с RAID 5: 64 млн IOPS и 310 Гбайт/с. При записи производительность была ниже: 5,2 млн IOPS и 128 Гбайт/с. Впрочем, по словам Xinnor, xiRAID быстрее, чем любое другое альтернативное решение RAID.

Корпорация Intel на конференции по высокопроизводительным вычислениям SC23 рассказала о новых суперкомпьютерах, попавших в ноябрьский рейтинг TOP500. Речь, в частности, идёт о вычислительных комплексах Dawn (Phase 1), SuperMUC-NG (Phase 2) и Crossroads.

Система Dawn, созданная специалистами Intel, Dell Technologies и Кембриджского университета, рассчитана на задачи ИИ. В основу положены серверы Dell PowerEdge XE9640 с жидкостным охлаждением. В общей сложности задействованы 256 узлов, в состав которых входят 512 процессоров Intel Xeon Sapphire Rapids — Platinum 8468 с 48 ядрами (96 потоков; 2,1–3,8 ГГц; 350 Вт).

Суперкомпьютер Dawn использует 1024 ускорителя Intel Data Center GPU Max 1550. Общий объём памяти DDR составляет 256 Тбайт, а её пропускная способность достигает 157 Тбайт/с. Кроме того, задействовано 128 Тбайт памяти НВМ с пропускной способностью до 3,3 Пбайт/с.

Подсистема хранения данных вместимостью 3 Пбайт обеспечивает скорость до 2 Тбайт/с. Агрегированная пропускная способность сети — до 25,6 Тбайт/с. Заявленная производительность достигает 19,46 Пфлопс (FP64). Это соответствует 41-му месту в ноябрьском рейтинге ТОР500. Пиковое быстродействие — 53,85 Пфлопс. Система установлена в лаборатории Cambridge Open Zettascale Lab (Великобритания).

Источник изображения: Intel

В свою очередь, комплекс SuperMUC-NG (Phase 2) смонтирован в Суперкомпьютерном центре Лейбница Баварской академии наук (Германия). Этот суперкомпьютер базируется на серверах Lenovo ThinkSystem SD650-I V3 Neptune DWC с прямым жидкостным охлаждением. Установлены 240 узлов, в состав которых входят в общей сложности 480 процессоров Intel Xeon Platinum 8480L (56 ядер; 112 потоков; 2,0–3,8 ГГц; 350 Вт) и 960 ускорителей Data Center GPU Max.

Источник изображения: Intel

Комплекс SuperMUC-NG (Phase 2) оперирует 123 Тбайт памяти DDR с пропускной способностью до 147 Тбайт/с. Память НВМ такого же объёма обеспечивает пропускную способность до 3,1 Пбайт/с. Применено хранилище на 1 Пбайт со скоростью 750 Гбайт/с. Пропускная способность сети — до 12 Тбайт/с. Суперкомпьютер обладает производительностью 17,19 Пфлопс (FP64): в списке ТОР500 система располагается на 52-й строке.

Наконец, суперкомпьютер Crossroads размещён в Лос-Аламосской национальной лаборатории (LANL) Министерства энергетики США. Система обладает производительностью 30,03 Пфлопс (FP64). Задействованы 2600 чипов Intel Xeon CPU Max 9480 с 56 ядрами и памятью HBM. Система находится на 24-м месте рейтинга ТОР500. Всего же в новой редакци рейтинга есть 20 новых машин на базе Sapphire Rapids, из которых пять используют Max-версию процессоров, а также четыре системы с ускорителями Data Center GPU Max.

В рамках SC23 корпорация Intel продемонстрировала ряд любопытных слайдов. На них присутствуют результаты тестирования ускорителя Max 1550 с архитектурой Xe, а также планы относительно следующего поколения ИИ-ускорителей Gaudi.

Изображение: Intel

При этом компания применила иной подход, нежели обычно — вместо демонстрации результатов, полученных в стенах самой Intel, слово было предоставлено Аргоннской национальной лаборатории Министерства энергетики США, где летом этого года было завершён монтаж суперкомпьютера экза-класса Aurora, занимающего нынче второе место в TOP500.

В этом HPC-кластере применены OAM-модули Max 1550 (Ponte Vecchio) с теплопакетом 600 Вт. Они содержат в своём составе 128 ядер Xe и 128 Гбайт памяти HBM2E. Интерфейс Xe Link позволяет общаться напрямую восьми таким модулям, что обеспечивает более эффективную масштабируемость.

Источник изображений здесь и далее: Intel via ServeTheHome

Хотя настройка вычислительного комплекса Aurora ещё продолжается, уже имеются данные о производительности Max 1550 в сравнении с AMD Instinct MI250 и NVIDIA A100. В тесте физики высоких частиц, использующих сочетание PyTorch+Horovod (точность вычислений FP32), ускорители Intel уверенно заняли первое место, а также показали 83% эффективность масштабирования на 512 узлах Aurora.

В тесте, симулирующем поведение комплекса кремниевых наночастиц, ускорители Max 1550, также оказались первыми как в абсолютном выражении, так и в пересчёте на 128-узловой тест в сравнении с системами Polaris (четыре A100 на узел) и Frontier (четыре MI250 на узел). Написанный с использованием Fortran и OpenMP код доказал работоспособность и при масштабировании до более чем 500 вычислительных узлов Aurora.

Источник изображения: Intel via Phoronix

В целом, ускорители Intel Max 1550 демонстрируют хорошие результаты и не уступают NVIDIA H100: в некоторых задачах их относительная эффективность составляет не менее 0,82, но в большинстве других тестов этот показатель варьируется от 1,0 до 3,76. Очевидно, что у H100 появился достойный соперник, который, к тому же, имеет меньшую стоимость и большую доступность. Но сама NVIDIA уже представила чипы (G)H200, а AMD готовит Instinct MI300.

Системы на базе Intel Max доступны в различном виде: как в облаке Intel Developer Cloud, так и в составе OEM-решений. Supermicro предлагает сервер с восемью модулями OAM, а Dell и Lenovo — решения с четырьями ускорителями в этом же формате. PCIe-вариант Max 1100 доступен от вышеуказанных производителей, а также у HPE.

Помимо ускорителей Max, Intel привела и новые данные о производительности ИИ-сопроцессоров Gaudi2. Компания продолжает активно совершенствовать и оптимизировать программную экосистему Gaudi. В результате, в инференс-системе на базе модели GPT-J-6B результаты ускорителей Gaudi2 уже сопоставимы с NVIDIA H100 (SXM 80 Гбайт), а A100 существенно уступает как Gaudi2, так и Max 1550.

Но самое интересное — это сведения о планах относительно следующего поколения Gaudi. Теперь известно, что Gaudi3 будет производиться с использованием 5-нм техпроцесса. Новый чип будет в четыре раза быстрее в вычислениях BF16, а также получит вдвое более мощную подсистему памяти и в 1,5 раза больше памяти HBM. Увидеть свет он должен в 2024 году.

Заодно компания напомнила, что процессоры Xeon Emerald Rapids будут представлены ровно через месяц, а Granite Rapids появятся в 2024 году. В 2025 появится чип Falcon Shores, который теперь должен по задумке Intel сочетать в себе GPU и ИИ-сопроцессор. Он объединит архитектуры Habana и Xe в единое решение с тайловой компоновкой, памятью HBM3 и полной поддержкой CXL.

Источник изображения: Intel via Phoronix

Следует отметить, что такая унификация вполне реальна: Intel весьма активно развивает универсальный, гибкий и открытый стек технологий в рамках проекта oneAPI. В него входят все необходимые инструменты — от компиляторов и системных библиотек до средств интеграции с популярными движками аналитики данных, моделями и библиотеками искусственного интеллекта.

Компания One Stop Systems (OSS) на конференции по высокопроизводительным вычислениям SC23 представила сервер Gen 5 AI Transportable, предназначенный для решения задач ИИ и машинного обучения на периферии. Устройство, рассчитанное на монтаж в стойку, выполнено в корпусе уменьшенной глубины.

Новинка соответствует американским военным стандартам в плане устойчивости к ударам, вибрации, диапазону рабочих температур и пр. Сервер может применяться в составе мобильных дата-центров, на борту грузовиков, самолётов и подводных лодок.

Возможна установка четырёх ускорителей NVIDIA H100 и до 16 NVMe SSD суммарной вместимостью до 1 Пбайт. Говорится о поддержке до 35 одновременных ИИ-нагрузок. Кроме того, могут применяться сетевые решения стандарта 400 Гбит/с. При необходимости можно подключить NAS-хранилище в усиленном исполнении.

Источник изображения: OSS

Для сервера доступны различные варианты охлаждения: воздушное, автономное жидкостное или внешний теплообменник с жидкостным контуром. Поддерживаются различные варианты организации питания с переменным и постоянным током для использования на суше, в воздухе и море.

При использовании СЖО ускорители H100, по всей видимости, комплектуются водоблоком EK-Pro NVIDIA H100 GPU WB. Реализована фирменная архитектура Open Split-Flow: она обеспечивает высокую эффективность охлаждения даже при небольшой скорости потока жидкости, что позволяет применять не слишком мощные помпы или помпы, работающие с невысокой скоростью. Микроканалы, фрезерованные на станке с ЧПУ, обладают минимальным гидравлическим сопротивлением потоку. Водоблок имеет однослотовое исполнение.

Источник изображения: EKWB

Предусмотрено проприетарное ПО U-BMC (Unified Baseboard Management Controller) для динамического управления скоростью вентиляторов, мониторинга системы и пр. Сервер подходит для монтажа в большинство 19″ стоек.

Компания Synopsys анонсировала процессорные ядра ARC-V на архитектуре RISC-V, которые будут доступны для лицензирования сторонним разработчикам. Заказчики смогут воспользоваться сопутствующими инструментами, включая средства автоматизации проектирования электронных устройств на базе ИИ Synopsys.ai.

В семейство Synopsys ARC-V Processor IP вошли модификации с высоким и средним уровнями производительности, а также версия со сверхнизким энергопотреблением. Разработчики смогут воспользоваться платформой Synopsys MetaWare для создания эффективного и высокооптимизированного кода.

Источник изображения: Synopsys

Кроме того, анонсировано ядро Synopsys ARC-V Functional Safety (FS) со встроенными аппаратными функциями безопасности для обнаружения системных ошибок. Говорится об уровнях безопасности ASIL B и ASIL D. Изделие разработано на основе системы управления качеством (QMS) Synopsys, сертифицированной по стандарту ISO 9001. А пакет MetaWare Development Toolkit for Safety поможет разработчикам ускорить написание кода, соответствующего стандарту ISO 26262.

32-битное ядро Synopsys ARC-V RMX для встраиваемых систем станет доступно во II квартале 2024 года. 32-битное ядро реального времени Synopsys ARC-V RHX и 64-битное ядро Synopsys ARC-V RPX IP планируется выпустить во второй половине следующего года.

Synopsys также сообщила, что её представитель войдёт в состав совета директоров и технический руководящий комитет некоммерческой организации RISC-V International, которая занимается координацией разработки данной архитектуры.