Dell Technologies анонсировала ряд новых разработок, в том числе в области хранения данных, которые, как утверждается, помогут корпоративным заказчикам повысить производительность при реализации проектов, связанных с генеративным ИИ.

В частности, усовершенствованное ПО PowerScale OneFS позволит компаниям ускорить подготовку, настройку и обучение моделей ИИ, а также поднять быстродействие инференс-нагрузок. Продукт станет доступен до конца текущего года.

Вместе с тем новые СХД PowerScale на базе SSD, основанные на серверах Dell PowerEdge последнего поколения, обеспечат двукратное увеличение производительности при потоковом чтении и записи данных по сравнению с более ранними решениями. Массовые поставки таких систем запланированы на I четверть 2024-го.

Источник изображения: Dell

Платформа Dell PowerScale проходит валидацию для NVIDIA DGX SuperPOD. Благодаря сотрудничеству Dell и NVIDIA клиенты смогут использовать комбинацию NVIDIA DGX, СХД Dell PowerScale, а также сетевых решений NVIDIA Quantum-2 InfiniBand и Spectrum Ethernet для создания высокопроизводительных и эффективны хранилищ для ИИ-задач. Ожидается, что новое решение Dell станет первой Ethernet-платформой ИИ для работы с данными на основе DGX SuperPOD.

По оценкам, почти 87 % компаний используют мультиоблачные среды. Поэтому Dell предоставляет возможность обрабатывать данные там, где это для них наиболее целесообразно — локально, на периферии или в общедоступных облаках. В I половине 2024 года станут доступны услуги хранилища Dell APEX File Storage for Microsoft Azure: этот сервис обеспечит функции управления и быстродействие корпоративного класса в облаке Azure. Система оптимизирована для приложений ИИ и машинного обучения. Интеграция Dell APEX for File Storage с Databricks и MosaicML уже доступна в AWS и появится в Microsoft Azure в I полугодии 2024 года.

В Oracle заявили о намерении запустить облачный регион в столице Колумбии — Боготе. Как сообщает Datacenter Dynamics, для этого будет использован дата-центр одного из партнёров компании — местного оператора Claro. Claro принадлежит мексиканской América Móvil и управляет тремя дата-центрами в Колумбии — в Боготе и Медельине. Как сообщил представитель Oracle в Колумбии и Эквадоре, IT-гигант будет первым крупным игроком, запускающим в стране облачный регион.

Новый регион поможет ускорить внедрение в стране облачных решений и сделать более демократичным доступ к облачным технологиям. Облако позволит модернизировать местные организации и стимулировать их рост для достижения успеха в конкурентной бизнес-среде, сообщает компания.

Источник изображения: Random Institute/unsplash.com

Впервые компании-партнёры объявили о намерении открыть облачный регион в Колумбии ещё в июле 2022 года. По словам представителя Claro Columbia, первый регион в стране станет важной вехой на пути технологической эволюции Колумбии, он будет способствовать цифровой трансформации не только крупного, но и средних и даже мелких компаний, на долю которых в совокупности приходится 90 % всего бизнеса в стране.

В Claro уверены, что благодаря Oracle, выбор которой пал на ЦОД ICREA 5, доступ к инновационным облачным сервисам с низкой задержкой получат компании не только в Колумбии, но и в Перу, Эквадоре и Панаме. Это будет 47-й по счёту облачный регион Oracle в мире.

Amazon присоединилась к Google, обвинившей Microsoft в антиконкурентном поведении на облачном рынке Великобритании и направившей письмо по этому поводу в Управление по защите конкуренции и рынкам (Competition and Markets Authority, CMA) Великобритании. В своём письме от 23 ноября 2023 года, опубликованном на днях на сайте CMA, Amazon отметила, что используемые Microsoft методы лицензирования ограничивают выбор клиентов и усложняют переход к другим провайдерам.

«Например, Microsoft изменила условия лицензирования в 2019 году и ещё раз в 2022 году, чтобы затруднить клиентам запуск некоторых популярных программных предложений в Google Cloud, AWS и Alibaba Cloud, — отметила Amazon. — Чтобы использовать многие программные продукты Microsoft с продуктами этих поставщиков облачных услуг, клиент должен приобрести отдельную лицензию, даже если у него уже есть это ПО. Это часто делает для клиента финансово невыгодным выбирать другого поставщика, кроме Microsoft».

Фото: Walkerssk / Pixabay

5 октября CMA начало официальное расследование в отношении индустрии облачных вычислений в Великобритании по предложению Ofcom, регулятора телекоммуникаций страны, выразившего обеспокоенность по поводу доминирования Amazon и Microsoft на облачном рынке. Согласно данным Ofcom, в 2022 году совокупная доля Amazon Web Services (AWS) и Microsoft на облачном рынке Великобритании составляла 70–80 %, в то время как доля Google, их ближайшего конкурента, была 5–10 %.

Фото: AWS

Глава CMA Сара Карделл (Sarah Cardell) заявила, что это рынок объёмом £7,5 млрд, который лежит в основе целого ряда онлайн-сервисов — от социальных сетей до ИИ. «Многие предприятия теперь полностью полагаются на облачные сервисы, что делает необходимой эффективную конкуренцию на этом рынке», — отметила она. Google утверждает, что практика лицензирования Microsoft не оставляет клиентам «никакой экономически разумной альтернативы, кроме использования Azure в качестве поставщика облачных услуг».

В августе прошлого года Microsoft обновила условия соглашений об облачном лицензировании, однако конкуренты не увидели в них существенных изменений. Вице-президент Google Cloud Амит Завери (Amit Zavery) сообщил в интервью агентству Reuters, что обновлённое лицензирование Microsoft привело к увеличению затрат для клиентов, которые хотели бы использовать сервисы Google или AWS вместо Azure. Завери также отметил, что AWS не представляет таких же антиконкурентных рисков, как Microsoft, несмотря на большую долю облачного рынка, поскольку у неё нет таких лицензионных ограничений.

Компания Google анонсировала свой самый высокопроизводительный ускоритель для задач ИИ — Cloud TPU v5p. По сравнению с изделием предыдущего поколения TPU v4 обеспечивается приблизительно 1,7-кратный пророст быстродействия на операциях BF16. Впрочем, для Google важнее то, что она наряду с AWS является одной из немногих, кто при разработке ИИ не зависит от дефицитных ускорителей NVIDIA. К этому же стремится сейчас и Microsoft.

Решение Cloud TPU v5p оснащено 95 Гбайт памяти HBM с пропускной способностью 2765 Гбайт/с. Для сравнения: конфигурация TPU v4 включает 32 Гбайт памяти HBM с пропускной способностью 1228 Гбайт/с.

Источник изображений: Google

Кластер на базе Cloud TPU v5p может содержать до 8960 чипов, объединённых высокоскоростным интерконнектом со скоростью передачи данных до 4800 Гбит/с на чип. В случае TPU v4 эти значения составляют соответственно 4096 чипов и 2400 Гбит/с. Что касается производительности, то у Cloud TPU v5p она достигает 459 Тфлопс (BF16) против 275 Тфлопс у TPU v4. На операциях INT8 новинка демонстрирует результат до 918 TOPS.

В августе нынешнего года Google представила ИИ-ускоритель TPU v5e, созданный для обеспечения наилучшего соотношения стоимости и эффективности. Это изделие с 16 Гбайт памяти HBM (820 Гбит/с) показывает быстродействие 197 Тфлопс и 394 TOPS на операциях BF16 и INT8 соответственно. При этом решение обеспечивает относительную производительность на доллар на уровне $1,2 в пересчёте на чип в час. У TPU v4 значение равно $3,22, а у новейшего Cloud TPU v5p — $4,2 (во всех случаях оценка выполнена на модели GPT-3 со 175 млрд параметров).

По заявлениям Google, чип Cloud TPU v5p может обучать большие языковые модели в 2,8 раза быстрее по сравнению с TPU v4. Более того, благодаря SparseCores второго поколения скорость обучения моделей embedding-dense увеличивается приблизительно в 1,9 раза.

На базе TPU и GPU компания предоставляет готовый программно-аппаратный стек AI Hypercomputer для комплексной работы с ИИ. Система объединяет различные аппаратные ресурсы, включая различные типы хранилищ и оптический интерконнект Jupiter, сервисы GCE и GKE, популярные фреймворки AX, TensorFlow и PyTorch, что позволяет быстро и эффективно заниматься обучением современных моделей, а также организовать инференс.

Еврокомиссия намерена выделить до €1,2 млрд средств на финансирование проекта IPCEI Cloud. Как сообщает The Register, планируется привлечь ещё €1,4 млрд частных средств. Предполагается, что это позволит продвигать местные региональные интересы в секторе, контролируемом американскими IT-гигантами.

Ожидается, что проект Important Project of Common European Interest (IPCEI) обеспечит серьёзный вклад в рост региона, позволит создать новые рабочие места, осуществить переход на «зелёные» и цифровые технологии и повысит конкурентоспособность местной промышленности и экономики.

Основная проблема в том, что на облачном рынке Евросоюза доминируют игроки из США, включая AWS, Microsoft и Google. По данным Synergy Research, они сообща занимают уже 72 % рынка, а локальные провайдеры за пять снизили свою долю практически вдвое. Средства на получение облачного суверенитета выделят из фондов семи стран — участниц Евросоюза, включая Германию, Францию, Венгрию, Нидерланды, Италию, Польшу и Испанию.

В рамках проекта предполагается объединить облачные и периферийные вычисления множества европейских игроков локального масштаба. Всего выделено четыре направления работы. В рамках первого займутся разработкой интерфейсов для уже существующей инфраструктуры, в рамках второго разработают «эталонную» архитектуру, позволяющую объединить мощности разных провайдеров. Ещё два направления предусматривают создание инструментов и приложений для связи облачной инфраструктуры в единую сеть.

Источник изображения: Christian Lue/unsplash.com

Первые результаты должны появиться к концу 2027 года. Это, как рассчитывают в Евросоюзе, позволит создать 1 тыс. рабочих мест в ИИ-индустрии, сегментах, связанных с обеспечением кибербезопасности, разработкой и т.п. Ещё 5 тыс. мест появится, когда реализация проекта достигнет коммерческой фазы. Исследования, разработка и внедрение будут происходить с 2023 по 2031 гг. — участие принимают 19 компаний, включая SAP, Orange и Deutsche Telecom.

Государственное финансирование смягчит негативный эффект в случае провала некоторых инициатив, а компании, разрабатывающие ПО с открытым кодом, обеспечат лицензии для его использования без ограничений всем заинтересованным сторонам. Кроме того, 20 % мощностей облачной инфраструктуры, финансируемой за счёт государства, необходимо будет выделить третьим сторонам, а если дела у получателей помощи не пойдут, компании должны будут вернуть предоставленные средства.

К сожалению европейских властей, облачные и IT-проекты в регионе развиваются не так успешно, как могли бы. Например, общеевропейский облачный проект предложили реализовать ещё в 2019 году, но по данным на конец 2023 года, работы всё ещё не завершились. В конце 2021 года сообщалось о запуске в ЕС проекта Alliance for Industrial Data, Edge and Cloud без участия китайских и американских компаний. Кроме того, Brexit значительно повлиял на планы развития IT-индустрии в Европе.

Компания CoreWeave, предоставляющая облачные услуги для решения ИИ-задач, сообщила о привлечении дополнительных инвестиций в размере $642 млн. Программу финансирование возглавляет Fidelity Management  &  Research Company при участии Investment Management Corporation of Ontario (IMCO), Jane Street, J. P. Morgan Asset Management, Nat Friedman  &  Daniel Gross, Goanna Capital, Zoom Ventures и др.

CoreWeave, основанная в 2017 году, начинала свой бизнес с майнинга криптовалют, а затем сосредоточила внимание на вычислениях общего назначения и хостинге проектов генеративного ИИ. Затем компания переориентировалась на предоставление специализированных облачных ИИ-решений. Именно это направление CoreWeave активно развивает в настоящее время.

Источник изображения: CoreWeave

В качестве аппаратной основы облачных сервисов CoreWeave выступают ускорители NVIDIA. В августе нынешнего года CoreWeave объявила о привлечении $2,3 млрд долгового финансирования под залог ускорителей NVIDIA. Причём полученные средства компания направит на закупку дополнительного аппаратного обеспечения той же NVIDIA. В апреле 2023-го CoreWeave получила $221 млн в рамках инвестиционной программы Series B, а позднее закрыла раунд финансирования ещё на $200 млн.

«Индустрия искусственного интеллекта находится на переломном этапе, и CoreWeave сыграла ключевую роль в её развитии, предоставив клиентам дифференцированную инфраструктуру», — сказал Майкл Интратор (Michael Intrator), соучредитель и генеральный директор компании.

CoreWeave, по её собственным заявлениям, интегрирует передовые ускорители, сетевые технологии и средства хранения данных в наиболее дифференцированную инфраструктуру ИИ. Компания обеспечивает облачный доступ к изделиям NVIDIA H100, а также A100, A40 и RTX A6000.

Компания GigaIO объявила о заключении соглашения по созданию инфраструктуры для специализированного ИИ-облака TensorNODE, которое создаётся провайдером TensorWave. В составе платформы будут применяться ускорители AMD Instinct MI300X, оснащённые 192 Гбайт памяти HBM3.

Основой TensorNODE послужат мини-кластеры SuperNODE, дебютировавшие летом уходящего года. Особенность этого решения заключается в том, что оно позволяет связать воедино 32 и даже 64 ускорителя посредством распределённого интерконнекта на базе PCI Express.

TensorWave будет использовать FabreX для формирования пулов памяти петабайтного масштаба. На первом этапе в начале 2024 года платформа TensorNODE объединит до 5760 ускорителей Instinct MI300X в одном домене. Таким образом, при решении сложных задач можно будет получить доступ более чем к 1 Пбайт памяти с любого узла. Это, как отмечается, позволит обрабатывать даже самые ресурсоёмкие нагрузки в рекордно короткие сроки.

Источник изображения: GigaIO

В течение следующего года планируется развернуть несколько систем TensorNODE. Архитектура GigaIO обеспечит улучшенную гибкость по сравнению с традиционными решениями: инфраструктуру можно будет оптимизировать «на лету» для удовлетворения как текущих, так и будущих потребностей в области ИИ и больших языковых моделей (LLM).

Отмечается, что TensorNODE полностью базируется на ключевых компонентах AMD. Помимо ускорителей Instinct MI300X, это процессоры EPYC Genoa. Облако TensorWave обеспечит снижение энергозатрат и общей стоимости владения благодаря исключению из конфигурации избыточных серверов и связанного с ними сетевого оборудования.

Компания IonQ объявила о том, что её квантовые компьютеры Forte стали впервые доступны клиентам на платформе Amazon Braket в рамках программы бронирования Braket Direct. Таким образом, заказчики могут резервировать мощности различных квантовых систем по своему выбору и использовать их в удобное для себя время.

Amazon Braket — это полностью управляемый сервис квантовых вычислений, предназначенный для ускорения научных исследований и разработки ПО в соответствующей сфере. Платформа предоставляет все необходимые инструменты для создания, тестирования и запуска квантовых алгоритмов в облаке AWS.

Источник изображения: IonQ

IonQ предоставляет на базе Amazon Braket доступ к системе Forte с 29 алгоритмическими кубитами (AQ) на базе оптических ловушек ионов. Forte представляет собой универсальную машину на основе шлюзов, использующую ионизированные атомы иттербия. Внутренние состояния двух идентичных атомов составляют один кубит. Вычислительные задачи выполняются путём программирования последовательности лазерных импульсов, с помощью которых реализуется каждая из операций квантовых вентилей.

Утверждается, что 29-кубитный комплекс Forte на сегодняшний день является самым высокопроизводительным коммерческим квантовым компьютером IonQ. По программе Braket Direct клиенты платят только за период использования ресурсов системы. Пользователи могут взаимодействовать с командами разработчиков приложений IonQ, связываясь с ними напрямую через Amazon Braket. Отмечается, что IonQ — единственная компания, чьи квантовые компьютеры доступны через облака Amazon Braket, Microsoft Azure и Google Cloud, а также посредством API.

Компания Yotta Data Services объявила о заключении соглашения о сотрудничестве, в рамках которого планируется развёртывание облачной инфраструктуры Shakti Cloud — самой высокопроизводительной в Индии платформы для задач ИИ на основе GPU.

По условиям договора, Yotta закупит крупную партию ускорителей NVIDIA H100. К январю 2024 года планируется ввести в эксплуатацию 4096 ускорителей. Ещё 16 384 ускорителя войдут в состав Shakti Cloud к июню наступающего года. А к концу 2025-го инфраструктура Yotta будет насчитывать 32 768 ускорителей.

Yotta развернёт первый кластер из 16 384 ускорителей на площадке NM1 — это крупнейший в Азии дата-центр класса Tier IV, расположенный в Нави-Мумбаи на западном побережье индийского штата Махараштра. Затем Yotta создаст кластер аналогичного масштаба в D1 — своём новейшем ЦОД гиперскейл-уровня в Грейтер-Нойде недалеко от Дели. Проектная мощность Shakti Cloud составит 16 Эфлопс на операциях ИИ.

Источник изображения: NVIDIA

На базе облака Yotta Shakti Cloud клиентам будут предоставляться различные услуги PaaS. Заказчики смогут обучать большие языковые модели (LLM), запускать ресурсоёмкие ИИ-задачи и другие рабочие нагрузки. Ожидается, что платформа поможет удовлетворить растущий спрос на услуги НРС со стороны исследовательских лабораторий, корпоративных пользователей и стартапов.

Кроме того, Yotta намерена использовать решения NVIDIA InfiniBand для формирования GPU-кластеров, предназначенных для поддержания масштабных проектов, связанных с инференсом, обучением крупных ИИ-моделей и пр. В целом, партнёрство с NVIDIA поможет Индии укрепить позиции на стремительно растущем мировом рынке ИИ.

Hewlett Packard Enterprise (HPE) объявила о расширении стратегического сотрудничества с NVIDIA с целью создания инструментов для генеративного ИИ. Совместно разработанное, предварительно настроенное решение позволит предприятиям любого размера использовать собственные данные для быстрой настройки посредством RAG базовых ИИ-моделей, которые были обучены на больших наборах данных и могут быть адаптированы для выполнения различных задач от периферии до облака.

HPE и NVIDIA также предоставляют в рамках сотрудничества полнофункциональные готовые решения для обработки приложений ИИ. Эти решения объединяют ПО фирменные среды разработки HPE для машинного обучения, HPE Ezmeral, платформы HPE ProLiant и HPE Cray, а также программный пакет NVIDIA AI Enterprise, включая NVIDIA NeMo. Аппаратная составляющая включает 16 серверов HPE ProLiant DL380a, несущих в общей сложности 64 ускорителя NVIDIA L40S и использующих DPU NVIDIA BlueField-3 и NVIDIA Spectrum-X.

Источник изображений: HPE

Программно-аппаратный комплекс, например, позволяет дообучить на собственных данных модель Llama 2 с 70 млрд параметров. Решение включает ПО HPE Machine Learning Development Environment с новыми возможностями в области генеративного ИИ для быстрого прототипирования и тестирования моделей, а также ПО HPE Ezmeral с поддержкой ускорителей, которое упростит развёртывания и ускорит подготовку данных для ИИ-нагрузок в гибридном облаке. Партнёры HPE смогут заказать решение уже в I квартале 2024 года.

Заодно HPE анонсировала платформу Project Ethan, ориентированную на оркестрацию ресурсов в локальных или публичных облаках для работы с большими языковыми моделями (LLM). Кроме того, компания сообщила, как планирует более полно адаптировать платформу Greenlake для работы с ИИ. Например, OpsRamp, ИИ-решение для управления ИТ-операциями (IT Operations Management, ITOM), приобретённое компанией в марте этого года, уже доступно по подписке в Greenlake.

В OpsRamp добавлен HPE Sustainability Insight Center — инструмент для отслеживания и мониторинга энергопотребления ИТ-ресурсов, которыми управляет организация. Это было сделано для удобства клиентов, которые обучают и используют модели ИИ, и хотят контролировать потребление энергии. Обучение и инференс LLM, по словам компании, требует больших затрат электроэнергии — 1200 МВт·ч и 250 МВт·ч в день соответственно. Инструмент позволит управлять энергопотреблением с учётом возможностей компании.

Также HPE представила пакет ПО Greenlake Hybrid Operations, объединяющий Ezmeral, OpsRamp с Sustainability Insight Center и набор решений для резервного копирования и восстановления HPE Data Protection Suite. Он позволит клиентам управлять, контролировать и защищать свои данные и рабочие нагрузки от периферии до облака.

В ближайшее время будет представлено и решение HPE Private Cloud Solutions для ИИ, основанное на аппаратных решениях HPE, обновлённой платформе HPE Greenlake for File Storage (эффективная ёмкость до 250 Пбайт, до 700 Гбайт/с на чтение и до 200 Гбайт/с на запись), OpsRamp и Zerto Cyber Resilience Vault. Последнее решение представляет собой автономную платформу для данных, которая помогает восстановить работу после атаки программы-вымогателя, если данные зашифрованы или удалены.

Полная информация и даты доступности новых продуктов не разглашаются. Как сообщает ресурс The Register, решение объявить о них на мероприятии HPE Discover EMEA было принято в последнюю минуту.