Red Hat объявила о запуске платформы Red Hat Enterprise Linux AI (RHEL AI) для создания генеративных ИИ-решений в облачных средах. По данным Silicon Angle, анонсированный три месяца назад пакет ПО сделали общедоступным в ходе мероприятия Red Hat Summit.

Ранее анонсированный пакет включает семейство открытых языковых моделей IBM Granite, а также инструмент настройки моделей InstructLab, разработанный самой RedHat. Всё это объединили в образ RHEL для развёртывания в гибридных облаках и на локальных площадках. В компании сообщили, что RHEL AI упростит и удешевит разработку компактных и недорогих моделей.

Затраты на обучение моделей могут быть очень высокими, в Red Hat сообщают, что на создание некоторых передовых моделей уходит до $200 млн. И это только на обучение, без учёта стоимости самих данных и настройки, критически важной для выполнения специальных задач каждой конкретной компании. В Red Hat уверяют, что будущее за небольшими генеративными ИИ-моделями, большинство которых будет open source.

Источник изображения: Red Hat

В компании рассчитывают, что RHEL AI станет основной платформой для создания «бюджетных» и открытых решений. По умолчанию предоставляется библиотека бесплатных LLM Granite общего назначения. InstructLab поможет в тонкой настройке моделей без обширных навыков, связанными с наукой о данных. А интеграция с Red Hat OpenShift AI упростит обучение, настройку и обслуживание моделей. RHEL AI позволит разворачивать генеративный ИИ в непосредственной близости от баз данных и хранилищ компаний.

RHEL AI оптимизирован для развёртывания на новейших серверах Dell PowerEdge и обеспечивает все возможности, предоставляемые подпиской Red Hat, в т.ч. круглосуточную поддержку, расширенную поддержку жизненного цикла моделей и, например, правовую защиту Open Source Assurance. Поскольку RHEL AI фактически является расширением Red Hat Enterprise Linux, дистрибутив можно использовать и на любом другом оборудовании, в том числе в облаках. Решение уже доступно у AWS и IBM Cloud, в Google Cloud и Azure появится возможность использовать его позже в этом году. В IBM Cloud ожидается появление предложения «как услуги» — по подписке в самом облаке, но только в следующем году.

Ранее сообщалось, что для запуска RHEL AI требуются весьма производительные сертифицированные системы с ускорителями, имеющими минимум 320 Гбайт памяти и хранилище от 200 Гбайт. Среди протестированных указаны серверы Dell с четырьмя NVIDIA H100, Lenovo с восемью AMD Instinct MI300X, а также инстансы IBM Cloud GX3. Вскоре обещана поддержка инстансов AWS EC2 P5 с NVIDIA H100 и ускорителей Intel.

Вместе с процессорами Telum II для систем z17 компания IBM представила и собственные ускорители Spyre, ещё больше расширяющие возможности будущих мейнфреймов в области обработки ИИ-нагрузок. Они станут дополнением к встроенным в Telum ИИ-блокам.

Источник изображений: IBM

Spyre представляет собой плату расширения с интерфейсом PCIe 5.0 x16 и теплопакетом 75 Вт. Помимо самого нейропроцессора IBM на ней установлено 128 Гбайт памяти LPDDR5, а производительность в ИИ-задачах оценивается производителем в более чем 300 Топс, т.е. новинки подходят для инференса крупных моделей. Сам чип приозводится с использованием 5-нм техпроцесса Samsung 5LPE и содержит 26 млрд транзисторов, а площадь его кристалла составляет 330 мм².

Spyre включает 32 ядра, каждое из которых дополнено 2 Мбайт быстрой скрэтч-памяти. Отдельно отмечено, что последняя не является кешем. При этом заявлена эффективность использования доступных вычислительных ресурсов — свыше 55 % на ядро. Каждое ядро содержит 78 матричных блоков и раздельные FP16-аккумуляторы, по восемь на «вход» и «выход». Интересно, что ядра Spyre и скрэтч-память используют отдельные кольцевые двунаправленные шины разной разрядности (32 и 128 бит соответственно), причём с оперативной памятью на скорости 200 Гбайт/с соединена именно вторая.

Каждый узел (drawer) на базе Telum II способен вместить восемь плат Spyre, которые формируют логический кластер, располагающий 1 Тбайт памяти с совокупной ПСП 1,6 Тбайт/с, но, разумеется, каждая плата будет ограничена 128 Гбайт/с из-за интерфейса PCIe 5.0 x16. Spyre создан с упором на предиктивный и генеративный ИИ, благо в полной комплектации новые мейнфреймы могут нести 96 таких ускорителей и развивать до 30 ПОпс (Петаопс).

Новинки рассчитаны на работу в средах zCX или Linux on Z, сопровождаются оптимизированным набором библиотек и совместимы с популярными фреймворками Pytoch, TensorFlow и ONNX. Они станут частью программных платформ IBM watsonx и Red Hat OpenShift. Новые мейнфреймы IBM z17 должны дебютировать на рынке в 2025 году. А в собственном облаке IBM будет также полагаться и на Intel Gaudi 3.

Несмотря на доминирование архитектур x86 и Arm, а также растущую популярность RISC-V, востребованность классических мейнфреймов IBM на базе z/Architecture по-прежнему остаётся высокой, и компания продолжает активно развивать данное направление. На этой неделе IBM представила наследника Telum — процессор Telum II, в котором не только получили развитие заложенные ранее идеи, но и были реализованы достаточно серьёзные нововведения.

Telum II будет выпускаться Samsung по 5-нм техпроцессу 5HPP (43 млрд транзисторов, 600 мм²). Он по-прежнему имеет восемь ядер с фиксированной рабочей частотой 5,5 ГГц. Сами ядра подверглись усовершенствованию, пусть и достаточно минорному: повышена точность предсказания ветвлений, улучшены механизмы сквозной записи и трансляции адресов. Это должно обеспечить новинке 20 % преимущества в пересчёте на процессорный разъём в сравнении с предшественником. Также благодаря новому техпроцессу удалось снизить площадь ядра на 20 %, а энергопотребление — на 15 %. Для поддержания постоянной тактовой частоты в Telum II используется новый блок управления напряжениями.

Источник изображений: IBM

Серьёзно улучшена подсистема кешей: объём кеш-памяти подрос на 40 %, всего разделов L2-кеша десять. Каждый из них имеет объём 36 Мбайт, а латентность не превышает 3,6 нс. Объёмы виртуальных кешей L3 (11,5 нс) и L4 (48,5 нс) выросли до 360 Мбайт (на процессор) и 2,88 Гбайт (на узел) соответственно. Сама технология виртуального кеширования такова, что текущее свободное место в L2 может использоваться для любой задачи, где может быть востребовано. На 30 % повышена пропускная способность связи чипа с внешним миром, а общение на межузловом уровне теперь шифруется.

Встроенный ИИ-блок в Telum II в сравнении с предыдущим поколением стал вчетверо быстрее — 24 Топс. Сам сопроцессор имеет архитектуру, оптимальную для работы с LLM и нагрузками, в которых активно используется сравнительный анализ структурных или текстовых массивов данных. Есть поддержка INT8/FP16. При этом любой ИИ-ускоритель Telum II может работать с любым из ядер в пределах узла (drawer), что в предельной конфигурации даёт производительность на уровне 192 Топс, а для полностью сконфигурированной системы этот показатель равен 768 Топс. «Снаружи» ИИ-ускоритель доступен в виде набора CISC-инструкций.

А вот блок DPU дебютировал в Telum II впервые. Что интересно, архитектурно он не располагается «позади» PCI Express, как это бывает в системах на базе x86 или Arm, а имеет когерентное подключение к кешу L2 процессорных ядер, и при этом имеет свою подсистему кешей. Применение DPU, по словам IBM, позволило снизить энергозатраты на обслуживание операций ввода-вывода на 70 %. DPU жизненно необходим, поскольку на мейнфреймах будут работать тысячи инстансов, а самим системам теперь полагается и внешний ИИ-ускоритель Spyre.

Всего в состав DPU входит четыре кластера по по восемь программируемых микроядер, каждое из которых имеет кеш L1 объёмом 32+32 Кбайт и работает под управлением кастомных протоколов, разработанных IBM. DPU предоставляет шину PCI Express 5.0 и в полной конфигурации c 32 процессорами и 12 модулями расширения по 16 слотов x16 в каждом система на базе Telum II может работать со 192 адаптерами PCIe.

Компания-производитель позиционирует новые системы, как enterpise-решения широкого спектра для сценариев с использованием ИИ, в том числе, в режиме Ensemble AI, в котором одновременно над задачей могут работать модели разного размера и сложности. В этом режиме малая модель выявления мошеннических атак может работать как быстрое средство, а для отдельных, особенно важных транзакций в работу включается более сложная, но и более эффективная модель класса LLM.

Процессоры Telum II станут основой как новых мейнфреймов IBM Z, работающих под управлением классической z/OS, так и Linux. Ожидается, что платформы IBM z17 на базе Telum II будут доступны уже в следующем году.

Компании Intel и IBM намерены активно сотрудничать в сфере облачных ИИ-решений. По данным HPC Wire, доступ к ускорителям Intel Gaudi 3 будет предоставляться в облаке IBM Cloud с начала 2025 года. Сотрудничество обеспечит и поддержку Gaudi 3 ИИ-платформой IBM Watsonx. IBM Cloud станет первым поставщиком облачных услуг, принявшим на вооружение Gaudi 3 как для гибридных, так и для локальных сред.

Взаимодействие компаний позволит внедрять и масштабировать современные ИИ-решения, а комбинированное использование Gaudi 3 с процессорами Xeon Emerald Rapids откроет перед пользователями дополнительные возможности в облаках IBM. Gaudi 3 будут применяться и в задачах инференса на платформе Watsonx — клиенты смогут оптимизировать исполнение таких нагрузок с учётом соотношения цены и производительности.

Для помощи клиентам в различных отраслях, в том числе тех, деятельность которых жёстко регулируется, компании предложат возможности IBM Cloud для гибкого масштабирования нагрузок, а интеграция Gaudi 3 в среду IBM Cloud Virtual Servers for VPC позволит компаниям, использующим аппаратную базу x86, быстрее и безопаснее использовать свои решения, чем до интеграции.

Источник изображения: Intel

Ранее сообщалось, что модель Gaudi 3 готова бросить вызов ускорителям NVIDIA. В своё время Intel выступила с заявлением о 50 % превосходстве новинки в инференс-сценариях над NVIDIA H100, а также о 40 % преимуществе в энергоэффективности при значительно меньшей стоимости. Позже Intel публично раскрыла стоимость новых ускорителей, нарушив негласные правила рынка.

IBM сообщила финансовые результаты II квартала 2024 года, завершившегося 30 июня. Выручка компании за этот период выросла на 1,9 % до $15,77 млрд с $15,48 млрд во втором квартале 2023 года, превзойдя консенсус-прогноз аналитиков, опрошенных LSEG, в размере $15,62 млрд. Чистая прибыль (GAAP) составила $1,83 млрд или $1,96 на акцию, что выше показателя в $1,58 млрд или $1,72 на акцию годом ранее. Скорректированная чистая прибыль (Non-GAAP) в размере $2,43 на акцию значительно превышает консенсус-прогноз аналитиков в $2,20.

IBM заявила, что ИИ сыграл центральную роль в общем росте выручки. Гендиректор Арвинд Кришна (Arvind Krishna) отметил, что портфель заказов компании на ИИ превысил $2 млрд, чему способствовал запуск год назад её платформы разработки watsonx.

Источник изображений: IBM

Основные бизнес-подразделения IBM продемонстрировали хорошие результаты несмотря на геополитическую неопределённость в ряде регионов мира. Компания сообщила о росте выручки подразделения по разработке ПО год к году на 7,1 % до $6,74 млрд, что превышает консенсус-прогноз аналитиков, опрошенных StreetAccount, в размере $6,49 млрд. В этом квартале Red Hat показала рост на 7 %, что относительно мало для приобретённого компанией программного бизнеса, который когда-то стабильно рос более чем на 20 % в квартал. Однако Кришна заявил, что заказы для Red Hat выросли в этом квартале, что является многообещающим знаком для второго полугодия. В свою очередь, финансовый директор Джим Кавано (Jim Kavanaugh) сообщил инвесторам, что бизнес IBM Red Hat «всё ещё растёт хорошо» с ростом заказов год к году на 20 %, а заказы OpenShift растут вдвое быстрее.

Рост выручки подразделения по автоматизации составил 15 %, выручка подразделения по обработке данных и ИИ упала на 3 %. Консалтинговое подразделение IBM принесло выручку в размере $5,18 млрд, что на 0,9 % меньше год к году и немного ниже прогноза Уолл-стрит в размере $5,23 млрд. Кришна объяснил слабый рост «такими факторами, как процентные ставки и инфляция, влияющие на время принятия решений и дискреционные расходы» — проблемами, которые присутствовали весь год. В свою очередь, инфраструктурное подразделение получило $3,65 млрд выручки, что на 0,7 % больше показателя аналогичного периода 2023 года и выше консенсус-прогноза Уолл-стрит в размере $3,51 млрд.

Финансовый директор IBM Джим Кавано отметил хорошие продажи мейнфреймов z16 текущего поколения, вышедших в 2022 году. «Мы уже более двух лет в цикле z16, и показатели выручки продолжают превосходить предыдущие циклы», — цитирует ресурс DatacenterDynamics заявление Кавано. «IBM Z остаётся устойчивой платформой для критически важных рабочих нагрузок, стимулируя как аппаратное обеспечение, так и связанное с ним ПО, системы хранения и внедрения услуг», — добавил он.

Доход компании от распределённой инфраструктуры вырос на 3 %. «Рост был обусловлен спросом на рабочие нагрузки с интенсивным использованием данных на Power10 во главе с SAP HANA. Системы хранения снова продемонстрировали рост в этом квартале, включая рост высокопроизводительных систем хранения, связанных с циклом z16, и решений, разработанных для защиты, управления и доступа к данным для масштабирования генеративного ИИ», — сказал Кавано.

IBM также сообщила, что по-прежнему ожидает рост выручки в 2024 году в пределах 4–6 %, в то время как свободный денежный поток должен превысить отметку в $12 млрд. Как сообщается, акции IBM выросли с начала года на 14 %, что соответствует росту индекса S&P 500.

Из значимых событий в прошедшем квартале следует отметить заключение соглашения IBM по покупке HashiCorp, разработчика открытых инструментов для управления облачной инфраструктурой, за $6,4 млрд. Хотя Федеральная комиссия по торговле США (FTC) начала антимонопольную проверку сделки, что может затянуть её завершение, Кришна заявил аналитикам, что сделка будет закрыта во второй половине года. Также было объявлено о партнёрстве IBM с Palo Alto Networks Inc., которая приобретёт ресурсы QRadar Software as a Service (SaaS) и станет предпочтительным партнёром IBM в области кибербезопасности в сетевых, облачных и защитных операциях.

Федеральная комиссия по торговле США (FTC) инициировала антимонопольную проверку в связи намерением IBM купить HashiCorp за $6,4 млрл, передаёт Silicon Angle. В документах, поданных HashiCorp американскому регулятору, указывается, что компании получили в минувшую пятницу от FTC т.н. «второй запрос» — это инструмент, который регулятор использует для сбора информации перед антимонопольной проверкой.

Ничего неожиданного в этом нет, поскольку крупные покупки часто рассматриваются FTC в антимонопольном контексте. Например, аналогичный запрос был сделан при покупке VMware компанией Broadcom — со временем сделка была одобрена и уже полностью окупилась. В HashiCorp уже заявили, что стороны ответят на запрос так быстро, насколько это возможно.

Источник изображения: HashiCorp

Одним из флагманских решений HashiCorp является платформа Terraform, автоматизирующая задачи администрирования и конфигурации облачных сред. Также компания предлагает инструмент Packer для работы с облачными образами, платформу Waypoint для разработки ПО и оркестратор Nomad. В области информационной безопасности компания разрабатывает Vault (управление ключами шифрования, паролями и т.п.), Boundary (управление удалённым доступом) и Consul (управление сетевыми окружениями).

Зарабатывает компания на платных версиях своих open source-решений. Выручка в прошлом квартале составила $160,6 млн, на 16 % больше год к году, скорректированная прибыль — по 6 центов на акцию. В IBM рассчитывают, что покупка HashiCorp благоприятно скажется на скорректированной прибыли EBITDA в течение года после завершения сделки. Саму сделку планируется закрыть к концу 2024 года. В недавно обнародованных документах данные полностью подтвердились.

$6,4 млрд IBM потратит на акции HashiCorp — по $35 за ценную бумагу, что на 42,6 % дороже, чем последняя на момент предложения цена к закрытию торгов. Однако это вдвое меньше оценки HashiCorp на момент выхода на IPO в 2021 году — $14 млрд. При этом функциональность продуктов HashiCorp и Red Hat, принадлежащей IBM, частично пересекается. Так, возможности Ansible во многом схожи с Terraform.

IBM представила платформу POWER Virtual Server Private Cloud для локального развёртывания частного облака, за обслуживание и корректное функционирование которого отвечает сама IBM. Это решение, по словам компании, позволяет сохранить «ИТ-суверенитет» и избежать существенных финансовых затрат благодаря гибкой ценовой политике.

Базовая конфигурация (Small Pod) начинается с 2–4 серверов с 8 Тбайт оперативной памяти, до 340 ядер и до 438 Тбайт пространства для хранения данных. Занимают такие комплекты одну стандартную стойку. Среднего размера «капсула» (Medium Pod) может насчитывать до 40 серверов, в том числе в варианте с 32 Тбайт памяти. Максимальная конфигурация насчитывает 1615 ядер и примерно 3,5 Пбайт дискового пространства.

Источник изображения: IBM

В основе платформы лежат серверы IBM POWER S1022 и E1050/1080, использующие процессоры POWER10. Первая система может иметь один или два 20-ядерных процессора с поддержкой SMT8, дополненных 2-4 Тбайт памяти. POWER E1050/1080 поддерживают до четырёх процессоров. Объём памяти в этом случае варьируется в пределах 4–32 Тбайт на сервер.

В состав локального облака также могут входить СХД IBM FlashSystem ёмкостью 460 или 920 Тбайт. Сетевые коммутаторы и управляющие серверы входят в стоимость услуги. В качестве базовых ОС доступны Red Hat Enterprise Linux и классические решения IBM — IBM i и AIX. Доступна и сертификация SAP HANA и SAP NetWeaver.

Сама услуга предлагается сроком на один год с возможностью возобновления, также доступны трёх- и пятилетние контракты. При этом само оборудование и лицензии приобретать не придётся, платить надо только за их фактическое использование, а сама платформа управляется из IBM Cloud.

Компания Everspin Technologies сообщила о том, что её чипы магниторезистивной памяти с произвольным доступом (MRAM) войдут в состав вычислительных накопителей IBM FlashCore Modules (FCM) четвёртого поколения. Это обеспечит дополнительный уровень защиты данных при отключении питания.

Речь идёт о применении изделий Everspin Persyst EMD4E001G ёмкостью 1 Гбит. Эти высокопроизводительные энергонезависимые чипы выполнены по технологии STT-MRAM (запись данных с помощью переноса спинового момента).

Источник изображения: Everspin

Изделия Everspin используют интерфейс DDR4. Заявленная скорость передачи информации в режимах чтения и записи достигает 2,7 Гбайт/с. В случае внезапного сбоя питания критически важные данные могут быть быстро перенесены в память STT-MRAM, что обеспечит их сохранность.

Что касается FCM4, то это проприетарные накопители IBM, выполненные на 176-слойных чипах TLC NAND. Вместимость составляет 4,8, 9,6, 19,2 или 38,4 Тбайт. Реализована технология защиты от вредоносного ПО, работающая на уровне прошивки. Накопители анализируют I/O-операции с помощью ИИ-алгоритмов, оперативно выявляя проникновение программ-вымогателей и других зловредов.

Согласно прогнозам Technavio, показатель CAGR (среднегодовой темп роста в сложных процентах) на мировом рынке MRAM составит 37,39 % до 2026 года. Таким образом,  прирост продаж в денежном выражении с 2021-го по 2026 год достигнет $1,43 млрд.

Red Hat представила Red Hat Enterprise Linux AI (RHEL AI), базовую платформу, которая позволит более эффективно разрабатывать, тестировать и запускать генеративные модели искусственного интеллекта (ИИ) для поддержки корпоративных приложений. Фактически это специализированный дистрибутив, включающий базовые модели, инструменты для работы с ними и необходимые драйверы.

Источник изображений: Red Hat

Доступная сейчас в качестве превью для разработчиков, платформа RHEL AI включает в себя семейство больших языковых моделей (LLM) IBM Granite, недавно ставших доступными под лицензией Apache 2.0, инструментом тюнинга и доработки моделей InstructLab посредством методики LAB (Large-Scale Alignment for Chatbots), а также различные библиотеки и фреймворки.

Решение представляется в виде готового для развёртывания образа и является частью MLOps-платформы OpenShift AI. По словам Red Hat, RHEL AI предоставляет поддерживаемую, готовую к корпоративному использованию среду для работы с ИИ-моделями на аппаратных платформах AMD, Intel и NVIDIA. По словам компании, open source подход позволит устранить препятствия на пути реализации стратегии в области ИИ, такие как недостаток навыков обработки данных и финансовых возможностей.

Основная цель RHEL AI и проекта InstructLab — предоставить экспертам в предметной области возможность напрямую вносить свой вклад в большие языковые модели, используя свои знания и навыки. Новая платформа позволит им более эффективно создавать приложения с использованием ИИ, например, чат-боты. Впоследствии при наличии подписки RHEL AI компания предложит поддержку корпоративного уровня на протяжении всего жизненного цикла продукта, начиная с модели Granite 7B и ПО и заканчивая возможным возмещение ущерба в отношении интеллектуальной собственности.

«Опираясь на инфраструктуру GPU, доступную в IBM Cloud, которая используется для обучения моделей Granite и поддержки InstructLab, IBM Cloud получит поддержку RHEL AI и OpenShift AI. Эта интеграция позволит предприятиям легче внедрять генеративный ИИ в свои критически важные приложения», — отметила компания.

При этом прямо сейчас для запуска RHEL AI требуются весьма производительные сертифицированные системы с ускорителями, имеющими минимум 320 Гбайт памяти, а также хранилищем ёмкостью от 200 Гбайт. Среди протестированных указаны серверы Dell с четырьмя NVIDIA H100, Lenovo с восемью AMD Instinct MI300X, а также инстансы IBM Cloud GX3. Вскоре обещана поддержка инстансов AWS EC2 P5 с NVIDIA H100 и ускорителей Intel.

Корпорация IBM анонсировала компактный сервер POWER S1012 на платформе POWER10, предназначенный для решения ИИ-задач на периферии. Новинка будет предлагаться в двух вариантах исполнения — в корпусе башенного типа и в виде системы формата 2U половинной ширины, что позволит размещать в стандартной стойке два устройства бок о бок.

Решение оснащается модулем POWER10 eSCM с одним, четырьмя или восемью ядрами (3,0–3,9 ГГц) и 256 Гбайт памяти. Каждое ядро способно выполнять до восьми потоков инструкций одновременно (SMT8), благодаря чему максимальная конфигурация обеспечивает до 64 потоков. Заявленная пропускная способность памяти — до 102 Гбайт/с.

Источник изображений: IBM

Конфигурация POWER S1012 (Bonnell) может включать два слота PCIe 5.0 x8 или один слот PCIe 4.0 x16, а также дополнительный разъём PCIe 5.0 x8. Допускается установка четырёх накопителей NVMe U.2.

По заявлениям IBM, в плане производительности новинка втрое превосходит сервер POWER S814, поддержка которого закончится буквально на днях. Модификация в формате 2U половинной ширины позволяет сократить пространство для оборудования до 75 % по сравнению со стоечным сервером POWER S1014 (4U). Применение POWER S1012 на периферии даёт возможность выполнять определённые ИИ-задачи непосредственно в точке получения данных, что снижает задержки и уменьшает нагрузку на сетевые каналы.

Сервер POWER S1012 станет доступен у IBM и сертифицированных бизнес-партнёров 14 июня 2024 года. Клиенты смогут выбрать оптимальный для себя период поддержки в диапазоне от трёх до пяти лет. Кроме того, в зависимости от потребностей будут доступны дополнительные варианты обслуживания.