Компания Hyperion Research, по сообщению ресурса HPC Wire, сделала прогноз по мировому рынку облачных HPC-решений. По мнению аналитиков, спрос на такие услуги в ближайшие годы будет быстро расти, что объясняется стремительным внедрением ИИ, генеративных сервисов и других современных решений.

Говорится, что значение CAGR (среднегодовой темп роста в сложных процентах) на рынке облачных НРС-сервисов в перспективе пяти лет составит 18,1 %. При этом, как отмечается, данный показатель не в полной мере учитывает значительное влияние ИИ на увеличение спроса на технические вычисления в облаке.

Аналитики отмечают, что обучение ИИ-моделей, имеющее большое значение, может быть отодвинуто на второй план из-за роста потребностей в инференсе. Дело в том, что обучение требует значительных вычислительных ресурсов, но на относительно небольшие периоды времени. Кроме того, обучение выполняет сравнительно небольшое количество пользователей. Вместе с тем инференс востребован среди широкого круга заказчиков для самых разных приложений.

Источник изображения: pixabay.com

В исследовании также говорится, что рост использования генеративного ИИ продолжится, тогда как его темпы внедрения стабилизируются. В сегменте больших языковых моделей (LLM) популярность начнут обретать фреймворки.

В плане аппаратного обеспечения, как полагают аналитики Hyperion Research, резко возрастёт востребованность Arm-процессоров. В сегменте НРС выручка от Arm-систем в 2024 году поднимется в два раза по отношению к предыдущему году. Кроме того, ожидается рост популярности чипов с открытой архитектурой RISC-V. Прогнозируется также увеличение интереса к локальным квантовым компьютерам, которые будут дополнять квантовые вычисления через облако.

Китайский IT-гигант Alibaba Group Holding Ltd. инициировала масштабное снижение цен на свои облачные сервисы для клиентов по всему миру. По данным Bloomberg, речь идёт о дисконте до 59 % — ранее стоимость услуг уже была снижена в КНР в попытке потеснить локальных соперников и вернуть бизнес к росту.

Новые меры совпали с ростом спроса на облачные вычисления для ИИ-решений, а также сложной внутренней реструктуризацией бизнеса компании. Её глава надеется придать второе дыхание основному бизнесу холдинга, включая, например, сегмент электронной коммерции. В своё время облачное подразделение отказалось от идеи отделиться и выйти на IPO, сославшись на трудности с получением необходимых ей чипов NVIDIA, а также растущую конкуренцию с китайской же Tencent Holdings Ltd. и рядом поддерживаемых государством облачных провайдеров.

Источник изображения: Alibaba

В понедельник она снизила цены в среднем на 23 % на порядка 500 вариантов облачных продуктов. Такие дисконты теперь доступны в 13 регионах. На сегодня Alibaba Cloud является крупнейшим облачным провайдером в Китае, но на мировом рынке это сравнительно небольшой игрок, особенно на фоне AWS или Microsoft Azure. В последние годы компания потеряла часть позиций в Китае, уступив долю рынка окологосударственным бизнесам, а экономическая война США с Китаем помешала экспансии Alibaba за рубежом.

Хотя в прошлом фискальном году выручка превысила $11 млрд, в I квартале этого года она, как ожидается, упадёт на 2 %. На прошлой неделе представители компании заявили, что ограничения на поставку чипов составляют большую проблему для китайских облачных провайдеров — запасов хватит на обучение больших языковых моделей (LLM) ещё в течение 12–18 мес., но ограниченный доступ к передовым ускорителям NVIDIA не может не сказаться на конкурентоспособности компании в среднесрочной перспективе, пока не появятся сильные альтернативы китайского производства.

Источник изображения: Alibaba

В Bloomberg считают, что снижение цен свидетельствует о желании поднять выручку, но не прибыльность в фискальном году, заканчивающемся в марте 2025-го. Рост EBITA на 2 п.п. год к году в тот же период оценивается экспертами как «чересчур оптимистичный» прогноз. Изменения на международном рынке последовали за февральским снижением цен на более 100 облачных предложений Alibaba в КНР, которое начало ценовую войну, поскольку конкуренты вроде JD тут же предложили собственные дисконты. Более того, это уже второе понижение цен Alibaba Cloud за последний год.

Новые дисконты, в частности, ожидают существующих международных клиентов. Дополнительно компания обещает увеличить дисконты и улучшить другие условия для продавцов-посредников. Также ИИ-платформа PAI-Lingjun станет доступна в Сингапуре. В целом в Alibaba Cloud намерены не только смягчить условия для клиентов, но и дать понять, что компанией заложена основа для долгосрочного стратегического развития.

Облачная платформа VK Cloud дополнилась сервисом Cloud Desktop, построенным на базе решения для удалённого доступа Termidesk компании «Увеон — облачные технологии» (входит в «Группу Астра»).

Cloud Desktop относится к категории VDI-решений (Virtual Desktop Infrastructure) и предназначен для развёртывания инфраструктуры виртуальных рабочих мест и организации безопасной удалённой работы сотрудников. Продукт поддерживает интеграцию со службами каталогов Active Directory/OpenLDAP, включает средства разграничения прав доступа к пулам виртуальных рабочих столов для отдельных пользователей или их групп и позволяет объединить все корпоративные приложения компании в единую рабочую область, обеспечивая масштабирование и гибкость виртуальных рабочих мест сотрудников.

Предусмотрена поддержка Windows и Linux. Ограничений по приложениям нет — можно установить как стандартные, так и специализированные программы. Передача данных выполняется через протокол RDP. Системный администратор компании может централизованно управлять развёрнутой в облаке VDI-инфраструктурой, что упрощает настройку, техническую поддержку и работу с обновлениями. С помощью сервиса можно выделять вычислительные ресурсы, выбирать операционную систему и настраивать политики доступа, добавлять или отключать удалённых сотрудников.

Шифрование и защищённый шлюз для подключения внешних пользователей обеспечивает безопасность работы сервиса. Обработка корпоративной информации разного уровня конфиденциальности происходит изолированно. Решение поддерживает регистрацию событий безопасности, защиту от несанкционированного копирования и потери данных. Данные размещаются на облачной платформе VK Cloud, инфраструктура которой соответствует требованиям 152-ФЗ по уровню защищённости УЗ-1.

Облачная платформа Amazon Web Services (AWS) анонсировала полностью управляемый сервис Deadline Cloud, позволяющий клиентам быстро настраивать, разворачивать и масштабировать проекты в области высокопроизводительного рендеринга материалов 2D и 3D.

В AWS отмечают, что создание сложной компьютерной графики и визуальных эффектов требует наличия мощных и дорогих вычислительных систем. Для решения этих задач кинематографисты и создатели контента формируют так называемые рендер-фермы, которые объединяют ресурсы сотен и тысяч узлов. Но на формирование таких платформ могут уходить недели и даже месяцы, поскольку процесс требует тщательного планирования и настройки сложной инфраструктуры. Сервис Deadline Cloud позволяет сократить время создания ферм до считаных минут.

Источник изображений: Amazon

Новая система предоставляет удобный и понятный интерфейс для быстрого создания ферм необходимой мощности. При этом отпадает необходимость в сложной настройке backend-инфраструктуры. Благодаря гибкому масштабированию можно использовать необходимое количество вычислительных инстансов — вплоть до тысяч. Это позволяет решать наиболее ресурсоёмкие задачи с минимальными временными затратами, говорит AWS. Предусмотрена возможность интеграции с Autodesk Arnold, Autodesk Maya, Foundry Nuke и SideFX Houdini.

Мастер запуска поможет клиентам сформировать ферму: получив информацию о параметрах проекта, система выделит необходимые для него EC2-инстансы. Deadline Cloud предоставляет единый интерфейс для управления всеми проектами рендеринга. Это позволяет централизованно определять приоритеты для различных задач, просматривать журналы событий и текущее состояние процессов.

Платформа Deadline Cloud построена таким образом, что клиенты платят только за те вычислительные ресурсы, которые им нужны, и тогда, когда они им нужны, что минимизирует расходы. Реализованы возможности управления бюджетом, которые помогут лучше изучить затраты на рендеринг для каждого проекта. Клиенты могут просмотреть, сколько ресурсов AWS используется, а также рассчитать примерную стоимость использования этих инстансов.

Компании Oracle и Palantir объявили о заключении партнёрского соглашения, в рамках которого планируется развитие безопасных облачных сервисов и ИИ-систем для государственных организаций и корпоративных заказчиков по всему миру. Предполагается, что совместное предложение поможет клиентам максимизировать ценность своих данных и повысить эффективность работы.

В рамках соглашения распределённое облако и ИИ-инфраструктура Oracle будут использоваться в сочетании с платформами ИИ и ускорения принятия решений Palantir. Вместе с тем Palantir перенесёт рабочие нагрузки своей платформы Foundry в Oracle Cloud Infrastructure (OCI). Отмечается, что Foundry позволяет переосмыслить то, как используются данные, а также устраняет барьеры между внутренним управлением и внешним анализом информации.

По условиям подписанного договора, Palantir обеспечит возможность развёртывания своих систем Gotham и Artificial Intelligence (AI) в распределённом облаке Oracle. Речь идёт о публичных и выделенных регионах Oracle Cloud, европейском суверенном облаке Oracle EU Sovereign Cloud, инфраструктурной платформе Oracle Alloy, гособлаке Oracle Government Cloud, инфраструктуре Oracle Roving Edge, а также изолированных регионах Oracle для оборонных заказчиков и спецслужб.

Источник изображения: Oracle

Платформа Palantir AI, как отмечается, позволяет организациям использовать возможности больших языковых моделей (LLM) в своих корпоративных сетях и интегрировать ИИ в основные операции с максимальной безопасностью. Решение предназначено для объединения разрозненных источников данных, логических активов и прочих ресурсов в единую операционную среду.

В целом, как утверждается, партнёрство Oracle и Palantir позволит организациям использовать облачные сервисы и системы ИИ с соблюдением стандартов суверенитета и безопасности. Стороны намерены совместно предоставлять и поддерживать широкий спектр услуг.

Компания Lambda Labs объявила о привлечении финансирования в размере $500 млн для расширения своей облачной «платформы по требованию», которая предназначена для решения задач в области ИИ и машинного обучения. Программу возглавила Macquarie Group при участии Фонда промышленного развития (IDF).

Стартап Lambda Labs был основан в 2012 году. Он предоставляет услуги облачных ИИ-вычислений с использованием собственных систем на базе ускорителей NVIDIA и чипов AMD и Intel. Фирма сдаёт в аренду места в дата-центрах в Сан-Франциско (Калифорния) и Аллене (Техас). Компания также продаёт настольные рабочие станции на базе GPU.

Источник изображения: Lambda Labs

В феврале нынешнего года Lambda Labs сообщила о проведении инвестиционного раунда Series C на сумму в $320 млн. Как теперь стало известно, компания получила финансовую поддержку «специального назначения» обхёмом $500 млн для развития облачной ИИ-инфраструктуры. Речь идёт о внедрении «десятков тысяч» ускорителей.

Подход к предоставлению вычислительных ресурсов, который использует Lambda Labs, как отмечается, даёт возможность обслуживать тысячи клиентов без необходимости заключения долгосрочных контрактов. Таким образом, поддерживаются инновации в области ИИ, генеративных сервисов и больших языковых моделей (LLM). Lambda Labs также поддерживает платформу NVIDIA AI Enterprise, предоставляя полный набор решений для разработчиков генеративного ИИ.

Публичные облака очень популярны, но не всегда в должной мере отвечают поставленным целям и задачам компании. В то же время, классическая серверная инфраструктура дорога в содержании, хлопотна в настройке и не всегда безопасна — не в последнюю очередь из-за фрагментированности программных и аппаратных архитектур, уходящей корнями в далёкое прошлое.

Компания Oxide Computer заявила, что разработанная ею интегрированная платформа должна вернуть компьютерным системам нового поколения холизм, присущий самым ранним вычислительным решениям, когда аппаратное и программное обеспечение создавалось совместно и с взаимным учётом особенностей.

Разлад, по мнению Oxide, начался в этой сфере давно — с появлением BIOS, отделившей «железо» от системного ПО. В дальнейшем этот разрыв только нарастал, как и степень закрытости компонентов вкупе со всё большим и большим количеством слоёв абстракций.

Источник изображений здесь и далее: Oxide Computer

Появление UEFI лишь усугубило эту проблему. Причём речь здесь не только о прошивках: можно вспомнить SMM и интеграцию в процессоры «вспомогательных ядер», обслуживающих I/O-подсистемы, но полностью скрытых от системного ПО. По мнению Oxide, такой подход представляет серьёзную угрозу безопасности, поскольку со стороны «железа» операционной системе доступно всё меньше информации об истинных аппаратных возможностях и ресурсах сервера.

Появление BIOS с открытым кодом проблемы не решает — вспомогательные аппаратные компоненты сегодня не просто слишком сложны, но и работают под управлением проприетарных прошивок, а информации в открытом доступе о них крайне мало. Крупные гиперскейлеры борются с этой фрагментацией путём создания собственных, уникальных решений. Oxide Computer же решила распространить этот подход на традиционный корпоративный рынок.

В своих новых системах компания отказалась не только от традиционных прошивок BIOS и UEFI, но и от использования закрытых BMC и сервисных процессоров, равно как и блоков Root-of-Trust (RoT). Вместо них используются чипы STM32H753 и LP55S28, работающие под управлением специально разработанной для этих целей операционной системы Hubris, полностью открытой, написанной на языке Rust.

Полностью избавиться от проприетарности на платформе AMD невозможно, поскольку Platform Security Processor (PSP) отвечает за старт и инициализацию процессора и памяти. Но вот дальнейший процесс загрузки управляется не BIOS/UEFI, а фирменной открытой ОС Helios, часть которой «живёт» в SPI-памяти. Helios является своего рода наследницей illumos, восходящей ещё к OpenSolaris. Стек включает гипервизор bhyve, Propolis для работы с VMM, а также Omicron для управления всей платформой в целом на уровне стойки. Естественно, для подсистемы хранения задействованы ZFS-пулы.

Результатом работ Oxide стала платформа под названием Cloud Computer. Для неё не просто было разработано уникальное программное обеспечение — практически с нуля была создана и вся аппаратная часть, от вычислительных узлов до сетевых коммутаторов и подсистемы питания. Об этом компания рассказывает в своём блоге. При этом практически вся программная часть этого программно-аппаратного комплекса открыта, но вот аппаратную часть кому-то со стороны просто так повторить вряд ли удастся.

Oxide позиционирует Cloud Computer в качестве универсальной платформы для частных облаков, обеспечивающей единство архитектуры и удобства конфигурирования с гибкостью и простотой использования публичных облаков. По словам компании, развёртывание облака на базе Oxide Cloud Computer занимает считаные часы, что является заслугой в том числе и уникальной архитектуры новинки. Фактически для первичного запуска системы достаточно подключить питание и сеть.

Платформа (фактически готовая стойка) может включать в себя 16, 24 или 32 вычислительных узла на базе 64-ядерных процессоров AMD EPYC 7713P (Milan) с 512 или 1 Тбайт RAM, что даёт до 2048 ядер и до 32 Тбайт памяти на стойку. Каждый узел имеет 10 U.2-отсеков и комплектуется NVMe SSD объёмом 3,2 Тбайт, так что суммарный объём хранилища может достигать 931,5 Тбайт. В качестве интерконнекта используется 100GbE, в состав системы входит два программируемых коммутатора на базе Intel Tofino 2 (12,8 Тбит/с). В них также применяется ПО Oxide, написанное на P4.

Подсистема хранения использует OpenZFS для построения распределённого блочного хранилища и реализует проактивную защиту данных, быстрое снятие снимков, их преобразование в дисковые образы и обратно, а также многое другое. Шифрование данных обеспечивается на всех уровнях, а за безопасность и хранение ключей отвечает фирменный RoT-контроллер, упомянутый ранее.

Полка питания содержит 6 БП (5+1), максимальная потребляемая стойкой мощность не превышает 15 кВт. Питание у системы трёхфазное. Высота стойки Oxide составляет 2354 мм, ширина — стандартные 600 мм, глубина — 1060 мм. Платформа может генерировать почти 61500 BTU/час и нуждается в соответствующем воздушном охлаждении. Система работоспособна при температурах окружающей среды в пределах от +2 до +35 °C при относительно влажности не выше 80 %. Масса стойки составляет до 1145 кг.

После завершения сделки по приобретению VMware компания Broadcom приступила к изменению портфеля её текущих предложений. В частности, была прекращена практика заключения контрактов по бессрочному лицензированию ПО. Также было объявлено о прекращении поддержки и продления подписки (SnS) для бессрочных предложений.

Broadcom заявила, что предоставляет опцию BYOS (Bring Your Own Subscription, «принеси свою собственную подписку»), обеспечивающую переносимость лицензии на проверенные VMware решения на базе VMware Cloud Foundation. «В рамках нашего перехода на подписку и упрощённый портфель, начиная с сегодняшнего дня, мы больше не будем продавать бессрочные лицензии, — говорится в сообщении Broadcom. — В дальнейшем все предложения будут доступны по подписке». О планах перевести все продукты на подписочную модель Broadcom предупреждала задолго до закрытия сделки.

В попытке склонить клиентов к переходу на ежегодную подписку Broadcom снизила стоимость на флагманское корпоративное решение VMware Cloud Foundation, так что формально глава компании сдержал слово. «Чтобы позволить большему количеству клиентов получить выгоду от этого решения, мы снизили прежнюю цену подписки вдвое и добавили более высокие уровни поддержки, включая расширенную поддержку для активации решения и управления жизненным циклом», — сообщила компания.

Источник изображения: Broadcom

Broadcom также представила обновлённую платформу VMware vSphere Foundation, упрощающую обработку рабочих нагрузок среднего и малого бизнеса. VMware vSphere Foundation интегрирует vSphere с «интеллектуальным управлением работой», чтобы клиенты могли добиться максимальной производительности, доступности и эффективности с большей прозрачностью.

VMware Cloud Foundation и VMware vSphere Foundation будут иметь опциональные расширения (add-on), которые охватывают хранилища, защиту от программ-вымогателей, аварийное восстановление, сервисы платформы приложений и т.д. Предложения Application Network и Security доступны в качестве дополнений для VMware Cloud Foundation. Также компания планирует добавить сервисы на основе ИИ. Вместе с тем компания намерена отказаться от решений для конечных пользователей, например, VDI-платформы VMware Horizon.

Брайан Беттс (Bryan Betts), главный аналитик Freeform Dynamics, говоря о стратегии Broadcom, привёл слова гендиректора Nutanix Раджива Рамасвами (Rajiv Ramaswami). «Если вы посмотрите на её историю, вся бизнес-модель Broadcom заключалась в максимизации приобретённых активов за два-три года, — сказал он. — Это означает сокращение расходов и увеличение доходов».

Компания Google анонсировала свой самый высокопроизводительный ускоритель для задач ИИ — Cloud TPU v5p. По сравнению с изделием предыдущего поколения TPU v4 обеспечивается приблизительно 1,7-кратный пророст быстродействия на операциях BF16. Впрочем, для Google важнее то, что она наряду с AWS является одной из немногих, кто при разработке ИИ не зависит от дефицитных ускорителей NVIDIA. К этому же стремится сейчас и Microsoft.

Решение Cloud TPU v5p оснащено 95 Гбайт памяти HBM с пропускной способностью 2765 Гбайт/с. Для сравнения: конфигурация TPU v4 включает 32 Гбайт памяти HBM с пропускной способностью 1228 Гбайт/с.

Источник изображений: Google

Кластер на базе Cloud TPU v5p может содержать до 8960 чипов, объединённых высокоскоростным интерконнектом со скоростью передачи данных до 4800 Гбит/с на чип. В случае TPU v4 эти значения составляют соответственно 4096 чипов и 2400 Гбит/с. Что касается производительности, то у Cloud TPU v5p она достигает 459 Тфлопс (BF16) против 275 Тфлопс у TPU v4. На операциях INT8 новинка демонстрирует результат до 918 TOPS.

В августе нынешнего года Google представила ИИ-ускоритель TPU v5e, созданный для обеспечения наилучшего соотношения стоимости и эффективности. Это изделие с 16 Гбайт памяти HBM (820 Гбит/с) показывает быстродействие 197 Тфлопс и 394 TOPS на операциях BF16 и INT8 соответственно. При этом решение обеспечивает относительную производительность на доллар на уровне $1,2 в пересчёте на чип в час. У TPU v4 значение равно $3,22, а у новейшего Cloud TPU v5p — $4,2 (во всех случаях оценка выполнена на модели GPT-3 со 175 млрд параметров).

По заявлениям Google, чип Cloud TPU v5p может обучать большие языковые модели в 2,8 раза быстрее по сравнению с TPU v4. Более того, благодаря SparseCores второго поколения скорость обучения моделей embedding-dense увеличивается приблизительно в 1,9 раза.

На базе TPU и GPU компания предоставляет готовый программно-аппаратный стек AI Hypercomputer для комплексной работы с ИИ. Система объединяет различные аппаратные ресурсы, включая различные типы хранилищ и оптический интерконнект Jupiter, сервисы GCE и GKE, популярные фреймворки AX, TensorFlow и PyTorch, что позволяет быстро и эффективно заниматься обучением современных моделей, а также организовать инференс.

AWS и NVIDIA анонсировали сразу несколько новых совместно разработанных решений для генеративного ИИ. Основным анонсом формально является появление ИИ-облака DGX Cloud в инфраструктуре AWS, вот только облако это отличается от немногочисленных представленных ранее платформ DGX Cloud тем, что оно первом получило гибридные суперчипах GH200 (Grace Hoppper), причём в необычной конфигурации.

Изображения: NVIDIA

В основе AWS DGX Cloud лежит платформа GH200 NVL32, но это уже не какой-нибудь сдвоенный акселератор вроде H100 NVL, а целая, готовая к развёртыванию стойка, включающая сразу 32 ускорителя GH200, провязанных 900-Гбайт/с интерконнектом NVLink. В состав такого суперускорителя входят 9 коммутаторов NVSwitch и 16 двухчиповых узлов с жидкостным охлаждением. По словам NVIDIA, GH200 NVL32 идеально подходит как для обучения, так и для инференса действительно больших LLM с 1 трлн параметров.

Простым перемножением количества GH200 на характеристики каждого ускорителя получаются впечатляющие показатели: 128 Пфлопс (FP8), 20 Тбайт оперативной памяти, из которых 4,5 Тбайт приходится на HBM3e с суммарной ПСП 157 Тбайтс, и агрегированная скорость NVLink 57,6 Тбайт/с. И всё это с составе одного EC2-инстанса! Да, новая платформа использует фирменные DPU AWS Nitro и EFA-подключение (400 Гбит/с на каждый GH200). Новые инстансы, пока что безымянные, можно объединять в кластеры EC2 UltraClasters.

Одним из таких кластеров станет Project Ceiba, очередной самый мощный в мире ИИ-суперкомпьютер с FP8-производительность 65 Эфлопс, объединяющий сразу 16 384 ускорителя GH200 и имеющий 9,1 Пбайт памяти, а также агрегированную пропускную способность интерконнекта на уровне 410 Тбайт/с (28,8 Тбайт/с NVLink). Он и станет частью облака AWS DGX Cloud, которое будет доступно в начале 2024 года. В скором времени появятся и EC2-инстансы попроще: P5e с NVIDIA H200, G6e с L40S и G6 с L4.