Amazon Web Services представила сервис Amazon SageMaker HyperPod для обучения и точной настройки больших языковых моделей (LLM). Новинка обеспечивает распределённое обучение для больших обучающих кластеров ИИ, оптимизированное использование вычислительных ресурсов, памяти и сетевых ресурсов кластера, а также гибкую среду обучения, исключающую перерывы.

Базовые модели ИИ (FM, foundation model) зачастую слишком сложны, поэтому их обучение приходится проводить на нескольких ускорителях, что является технически сложной задачей, требует узкоспециализированных навыков и может занять недели или месяцы в зависимости от количества задействованного оборудования. При этом возрастает вероятность сбоев, таких как единичный отказ ускорителя.

Изображение: AWS

Эти сбои могут нарушить весь процесс обучения и потребовать ручного вмешательства для выявления, изоляции, отладки, устранения неполадок и восстановления после них, что ещё больше задержит процесс обучения. Для бесперебойного обучения модели разработчики должны постоянно сохранять прогресс обучения с помощью контрольных точек, что ещё больше увеличивает временные затраты и отдаляет вывод решения на рынок.

SageMaker HyperPod обеспечивает доступ к ИИ-кластерам по требованию. Разработчики могут подготовить кластер с помощью комбинации команд и простых сценариев, что значительно быстрее, чем настройка инфраструктуры вручную. По словам AWS, SageMaker HyperPod может сократить время, необходимое для обучения базовых моделей, более чем на треть.

Изображение: AWS

HyperPod предварительно сконфигурирован с использованием распределённых обучающих библиотек SageMaker, которые позволяют автоматически распределять учебные нагрузки между тысячами ускорителей. SageMaker также разделяет данные, на которых обучается модель, на более мелкие и более управляемые части.

Hyperpod гарантирует непрерывность обучения моделей и периодическое создание контрольных точек. Когда во время обучения происходит аппаратный сбой, SageMaker HyperPod автоматически обнаруживает его, восстанавливает или заменяет неисправный инстанс и возобновляет обучение с последней контрольной точки, устраняя необходимость в ручном управлении этим процессом и позволяя проводить обучение в распределённой среде без сбоев в течение длительного времени.

Изображение: AWS

Вместе с тем клиенты с повышенными требованиями имеют возможность использовать собственный распределённый код для обучения. AWS также предоставляет возможность оснастить ИИ-кластер другими программными компонентами, такими как инструменты отладки.

SageMaker HyperPod уже доступен в облачных регионах AWS в Огайо, Северной Вирджинии, Орегоне, Сингапуре, Сиднее, Токио, Франкфурте, Ирландии и Стокгольме.

Компания Renesas Electronics объявила о создании собственного 32-битного процессорного ядра на основе архитектуры набора команд RISC-V (ISA) с открытым исходным кодом. Решение дополнит существующее семейство 32-бит микроконтроллеров (MCU) Renesas, включая проприетарные изделия RX и RA на архитектуре Arm Cortex-M.

RISC-V-ядро Renesas предназначено для создания чипов общего назначения. Предполагается, что такие процессоры найдут применение в устройствах Интернета вещей, потребительской электронике, медицинском оборудовании, индустриальных системах и пр.

Источник изображения: Renesas

Новое ядро может выполнять функции основного контроллера приложений или дополнительного вторичного узла в SoC. Кроме того, ядро подходит для применения в составе внутрикристальных подсистем и специализированных изделий (ASSP). Производительность оценивается в 3,27 CoreMark/МГц, что, как утверждает Renesas, превосходит показатель других сопоставимых по классу решений, представленных на рынке.

В ядре Renesas реализованы некоторые расширения RISC-V ISA: это M (целочисленное умножение/деление), А (атомарные операции с памятью), С (сжатый формат команд; подмножество RV32I) и В (инструкции для манипуляций с битами). Компания Renesas планирует выпустить свой первый MCU на базе RISC-V и соответствующие инструменты разработки в I квартале 2024 года. Тогда же будут обнародованы технические подробности о продукте.

Компания Synopsys обнародовала показатели работы в IV квартале и 2023 финансовом году в целом, который был завершён 31 октября. Американский разработчик САПР для электроники зафиксировал рекордную выручку и показал значительный рост чистой прибыли.

За трёхмесячный период Synopsys получила $1,6 млрд выручки, что является историческим максимумом. Это на 25 % больше результата за последнюю четверть 2022 финансового года, когда показатель равнялся приблизительно $1,3 млрд.

Компания подчёркивает, что благодаря активным исследованиям и разработкам смогла улучшить показатели деятельности даже в условиях кризиса и макроэкономических неопределённостей. Чистая квартальная прибыль в годовом исчислении поднялась более чем в два раза — со $153,5 млн до $349,2 млн. Прибыль в пересчёте на одну ценную бумагу составила $2,26 против $0,99 годом ранее.

Выручка по итогам 2023 финансового года в целом также оказалась рекордной — примерно $5,8 млрд. Для сравнения: годом ранее Synopsys получила около $5,1 млрд. Таким образом, рост оказался на уровне 15 %. Чистая годовая прибыль достигла $1,2 млрд, или $7,92 на акцию, по сравнению с $984,6 млн, или $6,29 на одну ценную бумагу, в 2022 финансовом году.

В I четверти 2024 финансового года, которая продлится до 31 января, Synopsys рассчитывает получить выручку от $1,63 млрд до $1,66 млрд и показать при этом прибыль в диапазоне от $2,4 до $2,5 на акцию. В наступившем финансовом году в целом выручка, как ожидается, составит от $6,57 млрд до $6,63 млрд, чистая прибыль — от $9,07 до $9,25 на одну ценную бумагу.

Компания Amazon Web Services представила интеллектуального ассистента Amazon Q на базе генеративного ИИ, предназначенного для помощи корпоративным клиентам. Поначалу Amazon Q будет использоваться для нужд разработчиков и поддержки IT-команд. Amazon Q уже доступен в виде превью, причем многие функции бесплатны. В дальнейшем AWS будет брать по $20/мес. за каждого пользователя, а версия с дополнительными функциями для ИТ-специалистов будет стоить $25/мес.

«Amazon Q может помочь вам получать быстрые и актуальные ответы на насущные вопросы, решать проблемы, генерировать контент и предпринимать действия, используя данные и опыт, найденные в информационных репозиториях, коде и корпоративных системах вашей компании», — сообщил гендиректор Amazon. Глава AWS считает, что Amazon Q реформирует множество видов деятельности. ИИ-помощник разработан с учётом 17-летнего опыта работы самой AWS и поначалу будет доступен именно внутри экосистемы AWS.

Хотя Amazon Q в первую очередь нацелен на разработчиков и ИТ-специалистов, компания планирует в конечном итоге распространить его возможности на весь корпоративный сегмент. Подобно другим ИИ-помощникам он сможет подключаться к различным источникам данных, отвечать на вопросы и составлять резюме, а также предоставлять экспертные сведения или помощь на основе внутренней информации компании. Это потенциально может сделать его конкурентом ChatGPT Enterprise от OpenAI, Copilot for 365 от Microsoft и Duet AI for Workspace от Google.

Источник изображения: AWS

Специалисты смогут получить доступ Amazon Q из консоли AWS. Q расскажет, как использовать сервисы, какие API доступны, к каким сервисам можно подключиться и как они взаимодействуют между собой. Пользователь сможет создавать запросы на естественном языке, а Q подготовит экспертный ответ со ссылками и цитатами. Так, в EC2-консоли Amazon Q даст совет, какой тип инстанса лучше всего подходит для размещения определённого типа приложений в зависимости в зависимости от потребностей клиента. А если возникла проблема с сетью, у Q можно напрямую спросить: «Почему я не могу подключиться по SSH к своему инстансу?». В этом случае помощник подключит его к сетевому анализатору, чтобы устранить неполадки с соединением.

AWS интегрировала ИИ-ассистента в поддерживаемые IDE вместе с ИИ-инструментом Amazon CodeWhisperer, так что с Q можно пообщаться непосредственно во время разработки. Например, Amazon Q может разобрать и описать исходный код незнакомого проекта или же в диалоговом режиме в Amazon CodeCatalyst поможет создать новый код, опираясь на описание необходимой функциональности и учитывая лучшие практики, а также имеющуюся кодовую базу и бизнес-сведения. Наконец, функция Amazon Q Transformation, доступная в виде превью для IntelliJ IDEA и Visual Studio Code, позволит автоматизировать обновление кода приложений с Java 8 и 11 до версии 17. А вскоре Q научится преобразовывать .NET-приложения для Windows в кросс-платформенные.

Компания Positive Technologies сообщила о выпуске новой версии комплексного решения PT Industrial Security Incident Manager 4.4 (PT ISIM 4.4), предназначенного для защиты автоматизированных систем управления технологическими процессами (АСУ ТП).

Представленный российским разработчиком продукт осуществляет сбор и анализ сетевого трафика в инфраструктуре предприятия. PT ISIM обеспечивает поиск следов нарушений информационной безопасности в сетях АСУ ТП, помогает на ранней стадии выявлять кибератаки, активность вредоносного ПО, неавторизованные действия персонала (в том числе злоумышленные) и обеспечивает соответствие требованиям законодательства (187-ФЗ, приказы ФСТЭК № 31, 239, ГосСОПКА).

PT Industrial Security Incident Manager 4.4 включает в себя расширенный контроль сетевых коммуникаций на современных цифровых энергообъектах по стандарту МЭК-61850. В продукте появился новый microView Sensor, который устанавливается на компактные промышленные ПК и предназначен для использования на небольших объектах автоматизации: подстанциях 6–10 кВ, тепловых пунктах, в цехах и инженерных системах ЦОД и зданий.

Решение может выявлять аномальные сетевые соединения, отказы и ошибки коммуникации по протоколам MMS и GOOSE, свидетельствующие о неправильной эксплуатации, некорректной настройке оборудования или попытках компрометации устройств. Также упростился пользовательский интерфейс PT ISIM 4.4. Обновление предыдущих версий теперь полностью централизованно для всех поддерживаемых операционных систем — ручное обновление дополнительных модулей не требуется.

Компания VMware объявила о том, что для платформы VMware Cloud on AWS реализована поддержка инстансов Amazon EC2 M7i bare-metal (m7i.metal-24xl) на базе кастомных Intel Xeon Sapphire Rapids. Конфигурация включает 96 vCPU и около 414 Гбайт памяти. Решение, как отмечается, поможет клиентам ускорить миграцию в облако и модернизацию корпоративных приложений.

VMware Cloud on AWS позволяет работать с ПО VMware для программно-определяемых центров обработки данных (SDDC) корпоративного класса в облаке AWS, используя оптимизированный доступ к собственным сервисам AWS. Платформа создана на основе VMware Cloud Foundation. Сервис совмещает решения для вычислений, хранения данных и виртуализации сети (VMware vSphere, VMware vSAN и VMware NSX), а также инструменты управления VMware vCenter Server, оптимизированные для работы в выделенной эластичной инфраструктуре AWS. VMware Cloud on AWS предоставляет однопользовательскую среду с поддержкой от 4 до 16 хостов на каждый кластер vSphere.

Источник изображения: AWS

Объединив M7i bare metal с томами Amazon FSx для NetApp ONTAP и VMware Cloud Flex Storage, клиенты могут расширять хранилище по мере необходимости независимо от вычислительных мощностей, чтобы максимизировать использование ресурсов. Для рабочих нагрузок с интенсивным вводом-выводом, требующих высокой производительности и низких задержек, заказчики могут продолжать использовать существующие экземпляры i3en и i4i с гиперконвергентной архитектурой.

В целом, благодаря M7i bare metal пользователи VMware Cloud on AWS смогут ускорить перенос нагрузок в облако, сократить время восстановления после сбоев и атак программ-вымогателей, а также повысить эффективность развёртывания приложений ИИ и машинного обучения при снижении совокупной стоимости владения, сообщает компания.

Компания Hewlett Packard Enterprise (HPE) опубликовала отчёт о работе в последней четверти и 2023 финансовом году в целом, который был закрыт 31 октября. Поставщик оборудования значительно улучшил показатели чистой прибыли, что объясняется растущим спросом на НРС-платформы и стремительным развитием сегмента ИИ.

Квартальная выручка составила $7,35 млрд, что находится в середине собственного прогнозного диапазона HPE. Однако это примерно на 7 % меньше прошлогоднего результата, когда компания получила $7,87 млрд. Чистая прибыль составила $642 млн, тогда как годом ранее были продемонстрированы чистые убытки в размере $304 млн.

Источник изображений: HPE

Подразделение Intelligent Edge, отвечающее в числе прочего за продажи продукции для Интернета вещей и сетевой бизнес Aruba, принесло $1,36 млрд, что на 41 % больше, чем годом ранее. Выручка в сегменте ИИ и высокопроизводительных вычислений (HPC & AI) составила $1,18 млрд — это на 37 % больше по сравнению с III четвертью 2022 финансового года. В сфере СХД квартальный объём продаж составил $1,1 млрд, что на 13 % меньше, чем годом ранее. Поступления от платформ для вычислений упали на 31 % год к году — до $2,6 млрд.

По итогам 2023 финансового года в целом HPE показала выручку в размере $29,14 млрд против $28,50 млрд в 2022-м. Таким образом, рост оказался на отметке 2 %. При этом чистая прибыль подскочила более чем в два раза — с $868 млн до $2,03 млрд. Годовая выручка подразделения Intelligent Edge поднялась на 42 %, достигнув $5,20 млрд. Бизнес HPC & AI принёс $3,91 млрд, что на 23 % больше прошлогоднего результата. По направлению СХД продажи зафиксированы на отметке $4,42 млрд — минус 4 % год к году. Выручка в сегменте вычислений сократилась на 11 %, составив $11,44 млрд.

В I квартале 2024 финансового года HPE ожидает показать выручку от $6,9 до $7,3 млрд, а чистая прибыль составит от 42 до 50 центов на акцию. В целом, в 2024 финансовом году компания намерена получить прибыль от $1,82 до $2,02 на ценную бумагу.

Amazon Web Services представила Arm-процессор нового поколения Graviton4 и ИИ-ускоритель Trainium2, предназначенный для обучения нейронных сетей. Всего к текущему моменту компания выпустила уже 2 млн Arm-процессоров Graviton, которыми пользуются более 50 тыс. клиентов.

Amazon Graviton4 (Изображение: AWS)

«Graviton4 представляет собой четвёртое поколение процессоров, которое мы выпустили всего за пять лет, и это самый мощный и энергоэффективный чип, который мы когда-либо создавали для широкого спектра рабочих нагрузок», — отметил Дэвид Браун (David Brown), вице-президент по вычислениям и сетям AWS. По сравнению с Graviton3 новый чип производительнее на 30 %, включает на 50 % больше ядер и имеет на 75 % выше пропускную способность памяти.

Изображение: AWS

Graviton4 будет иметь до 96 ядер Neoverse V2 Demeter (2 Мбайт L2-кеша на ядро) и 12 каналов DDR5-5600. Кроме того, новый чип получит поддержку шифрования трафика для всех своих аппаратных интерфейсов. Процессор изготавливается по 4-нм техпроцессу TSMC и, вероятно, имеет чиплетную компоновку. Возможно, это первый CPU компании, ориентированный на работу в двухсокетных платформах.

Изображение: AWS

Поначалу Graviton4 будет доступен в инстансах R8g (пока в статусе превью), оптимизированных для приложений, интенсивно использующих ресурсы памяти — высокопроизводительные базы данных, in-memory кеши и Big Data. Эти инстансы будут поддерживать более крупные конфигурации, иметь в три раза больше vCPU и в три раза больше памяти по сравнению с инстансами Rg7, которые имели до 64 vCPU и 512 Гбайт ОЗУ.

Amazon Trainium2 (Изображение: AWS)

В свою очередь, Trainium 2 предназначен для обучения больших языковых моделей (LLM) и базовых моделей. Сообщается, что ускоритель в сравнении с Trainium 1 вчетверо производительнее и при этом имеет в 3 раза больший объём памяти и в 2 раза более высокую энергоэффективность. Инстансы EC2 Trn2 получат 16 ИИ-ускорителей с возможностью масштабирования до 100 тыс. единиц в составе EC2 UltraCluster, которые суммарно дадут 65 Эфлопс, то есть по 650 Тфлопс на ускоритель. Как утверждает Amazon это позволит обучать LLM с 300 млрд параметров за недели вместо месяцев.

Со временем на Graviton4 заработает SAP HANA Cloud, портированием и оптимизацией этой платформы уже занимаются. Oracle также перенесла свою СУБД на Arm, а заодно перевела все свои облачные сервисы на чипы Ampere, в которую в своё время инвестировала. Microsoft же пошла по пути AWS и недавно анонсировала 128-ядерый Arm-процессор (Neoverse N2) Cobalt 100 и ИИ-ускоритель Maia 100 собственной разработки. Всё это может представлять отдалённую угрозу для AMD и Intel. С NVIDIA же все всё равно пока что продолжают дружбу — именно в инфраструктуре AWS, как ожидается, появится самый мощный в мире ИИ-суперкомпьютер на базе новых GH200.

Хотя стартап Cerebras, занимающийся разработкой чипов, раскритиковал NVIDIA за попытки обойти санкционные ограничения в отношении Китая и призвал соблюдать не букву, но дух американского закона, у компании, похоже, нашлись свои скелеты в шкафу. Как сообщает The Register, сейчас в США расследуют деятельность клиента Cerebras — группы G42, возможно, помогавшей Поднебесной обходить санкционные ограничения.

Американские спецслужбы подозревают, что базирующаяся в ОАЭ многопрофильная компания G42 поставляет в Китай передовые технологии. Для своих ИИ-исследований компания обратилась к Cerebras с целью постройки суперкомпьютерного кластера Condor Galaxy за $100 млн, а всего стартап намерен построить девять подобных объектов на $900 млн. При этом узлы кластера используют разработанные Cerebras чипы WSE-2, подходящие для обучения ИИ-систем.

Источник изображения: Arthur Wang/unsplash.com

Как показывают предварительные результаты расследования американских журналистов, властей и спецслужб, G42 пытается сотрудничать с Пекином и работает с китайскими компаниями вроде Huawei, давно находящимися под санкциями. В самой G42 утверждают, что принимают все меры для того, чтобы соблюдать американские ограничения. При этом, по данным журналистов, G42 считают прокси-компанией для работы в интересах КНР, помогающей Пекину получать вычислительные ресурсы и подсанкционные технологии.

По словам главы Cerebras Эндрю Фельдмана (Andrew Feldman), его компания точно не будет вести бизнес с Китаем. Бизнесмен попал в неловкую ситуацию после того, как появилась информация о тесных связях G42 с Пекином. На запрос журналистов в Cerebras заявили, что кластеры Condor Galaxy находятся в США, а G42 получает к ним облачный доступ, так что любая активность контролируется и соответствует американским законам — государства-противники не имеют прямого доступа к ИИ-системам. Фельдман якобы не знал о сомнительном статусе G42, а в стартапе подчеркнули, что не комментируют слухи.

Бюро промышленности и безопасности США уже обратилось к поставщикам облачных инфраструктур для консультаций о целесообразности дополнительных ограничений доступа к их услугам из некоторых стран. В частности, бюро интересует, как операторы намерены выявлять разработчиков ИИ-моделей, вызывающих обеспокоеность властей и что можно предпринять для устранения угроз. Кроме того, президент США предложил новые правила, согласно которым облакам потребуется докладывать о деятельности иностранцев, связанной с обучением больших языковых моделей (LLM).

AWS и NVIDIA анонсировали сразу несколько новых совместно разработанных решений для генеративного ИИ. Основным анонсом формально является появление ИИ-облака DGX Cloud в инфраструктуре AWS, вот только облако это отличается от немногочисленных представленных ранее платформ DGX Cloud тем, что оно первом получило гибридные суперчипах GH200 (Grace Hoppper), причём в необычной конфигурации.

Изображения: NVIDIA

В основе AWS DGX Cloud лежит платформа GH200 NVL32, но это уже не какой-нибудь сдвоенный акселератор вроде H100 NVL, а целая, готовая к развёртыванию стойка, включающая сразу 32 ускорителя GH200, провязанных 900-Гбайт/с интерконнектом NVLink. В состав такого суперускорителя входят 9 коммутаторов NVSwitch и 16 двухчиповых узлов с жидкостным охлаждением. По словам NVIDIA, GH200 NVL32 идеально подходит как для обучения, так и для инференса действительно больших LLM с 1 трлн параметров.

Простым перемножением количества GH200 на характеристики каждого ускорителя получаются впечатляющие показатели: 128 Пфлопс (FP8), 20 Тбайт оперативной памяти, из которых 4,5 Тбайт приходится на HBM3e с суммарной ПСП 157 Тбайтс, и агрегированная скорость NVLink 57,6 Тбайт/с. И всё это с составе одного EC2-инстанса! Да, новая платформа использует фирменные DPU AWS Nitro и EFA-подключение (400 Гбит/с на каждый GH200). Новые инстансы, пока что безымянные, можно объединять в кластеры EC2 UltraClasters.

Одним из таких кластеров станет Project Ceiba, очередной самый мощный в мире ИИ-суперкомпьютер с FP8-производительность 65 Эфлопс, объединяющий сразу 16 384 ускорителя GH200 и имеющий 9,1 Пбайт памяти, а также агрегированную пропускную способность интерконнекта на уровне 410 Тбайт/с (28,8 Тбайт/с NVLink). Он и станет частью облака AWS DGX Cloud, которое будет доступно в начале 2024 года. В скором времени появятся и EC2-инстансы попроще: P5e с NVIDIA H200, G6e с L40S и G6 с L4.