Облачный провайдер CoreWeave привлёк кредитную линию на $650 млн от крупного инвестиционного бизнеса для масштабирования своей деятельности по всему миру. По данным Silicon Angle, лидерами раунда финансирования стали JPMorgan Chase, Goldman Sachs и Morgan Stanley, к ним присоединились Barclays, CitiGroup, Deutsche Bank, Jefferies, Mizuho, MUFG и Wells Fargo.

За последние 18 месяцев компания уже привлекла $12,7 млрд в виде акционерного капитала и долговых обязательств, оценка компании составила $19 млрд. В компании утверждают, что новая кредитная линия будет способствовать росту в быстроразвивающейся сфере ИИ.

Сегодня CoreWeave выступает оператором публичного облака, обеспечивающего доступ к ускорителям NVIDIA для ИИ и рендеринга — в том числе доступны NVIDIA H100 и H200. Ещё в августе компания заявила, что стала первым облачным провайдером, предоставившим клиентам доступ к новейшим ускорителям NVIDIA H200. Обучение и внедрение больших языковых моделей (LLM) требует больших вычислительных ресурсов, но CoreWeave говорит, что её инфраструктура позволяет легко масштабировать ИИ-нагрузки в облаке.

Источник изображения: CoreWeave

На сегодня инвестиции в ИИ-платформы очень популярны, поскольку спрос на вычисления продолжает расти. Например, ранее в этом месяце OpenAI уже привлекла кредитную линию на $4 млрд и ещё $6.6 миллиарда в рамках инвестиционного раунда. При этом в формировании кредитных линий CoreWeave и OpenAI зачастую участвуют одни и те же инвестиционные компании.

Недавно CoreWeave открыла европейскую штаб-квартиру в Лондоне. При этом она намерена инвестировать $3,5 млрд в расширение бизнеса в Европе. В том числе речь идёт об открытии двух ЦОД в Великобритании, не считая дата-центров в Норвегии, Швеции и Испании. До конца года компания намерена получить в своё распоряжение до 28 ЦОД по всему миру. В 2025 году запланировано открытие ещё 10 дата-центров.

В апреле прошлого года CoreWeave получила $221 млн, а потом — ещё $200 млн. В августе 2023 года было объявлено о долговом финансировании в размере $2,3 млрд под залог ускорителей NVIDIA. В декабре того же года CoreWeave провела раунд финансирования на $642 млн, а в мае текущего года она получила $1,1 млрд. Позже компания привлекла ещё $7,5 млрд. Наконец, в октябре появилась информация о намерении Cisco инвестировать в компанию. При этом в рамках сделки CoreWeave может получить оценку в $23 млрд.

Стартап TensorWave из Лас-Вегаса провёл раунд финансирования на условиях SAFE (simple agreements for future equity), в результате которого привлёк $43 млн, сообщили ресурсы DataCenter Dynamics и The Register. Условия SAFE означают, что инвесторы имеют право при определённых обстоятельствах конвертировать свои инвестиции в акции компании, но не смогут потребовать возврат денег. Финансовый раунд возглавил вице-президент Nexus, также в нём приняли участие Maverick Capital, Translink Capital, Javelin Venture Partners, Granite Partners и AMD Ventures.

Полученные средства TensorWave планирует использовать для оснащения своего основного ЦОД ускорителями AMD Instinct MI300X, на расширение команды, а также на подготовку к внедрению следующего поколения ускорителей Instinct MI325X и запуска новой корпоративной инференс-платформы Manifest в IV квартале 2024 года. По словам компании, Manifest, разработанная для поддержки более крупных контекстных окон ИИ-моделей с уменьшенной задержкой, помимо быстрого инференса позволяет анализировать сложные документы и безопасно обрабатывать и хранить конфиденциальные данные.

Источник изображения: TensorWave

Основанный в прошлом году стартап TensorWave, в отличие от большинства участников рынка ИИ, использующих ускорители NVIDIA, делает ставку на ускорители AMD Instinct. Разворачивать системы на базе MI300X стартап начал этой весной. Ускоритель MI300X также получил достаточно широкое распространение среди ряда облачных провайдеров. В частности, его использует Microsoft для обслуживания ИИ-модели OpenAI GPT-4 Turbo и многих сервисов Copilot. Oracle готова развернуть кластер из 16 384 MI300X. Также облачный стартап Vultr начал предлагать инстансы на базе MI300X.

MI300X имеет больше памяти, чему у того же NVIDIA H100 — 192 Гбайт против 80 Гбайт. С выпуском ускорителей следующего поколения MI325X в конце этого года AMD ещё больше увеличит преимущество, поскольку ёмкость HBM3e-памяти ускорителя вырастет до 288 Гбайт. Это втрое больше, чем у H100, и наполовину больше, чем у будущих ускорителей NVIDIA Blackwell, говорит компания.

Больший объём памяти особенно ценен для тех, кто запускает крупные ИИ-модели в FP16-формате. При 1536 Гбайт на узел система на базе MI300X может легко вместить модель Llama 3.1 405B от Meta✴, тогда как при использовании ускорителей H100 для этого её придётся разделить между несколькими системами или ужать с помощью 8-бит квантования. Можно также «втиснуть» несжатую модель в один узел с ускорителями NVIDIA H200, но тогда не останется достаточно места для большего контекстного окна, поддерживаемого моделью.

Российский провайдер сервисов IT-инфраструктуры Selectel приступил к бета-тестированию инференс-платформы собственной разработки, которая позволит упростить запуск ML-моделей в промышленную эксплуатацию и ускорить их работу. Как сообщается на сайте провайдера, с помощью нового сервиса можно всего за несколько минут развернуть готовую модель на вычислительных мощностях провайдера без привлечения разработчиков.

Решение нацелено на компании, использующие в работе ИИ-модели для обеспечения функционирования голосовых роботов в колл-центрах, чат-ботов для консультаций сотрудников и клиентов, сервисов распознавания изображений и других задач. С помощью платформы можно загружать модели в объектное хранилище Selectel, а на выходе получить готовые API. Также с её помощью можно регулярно обновлять версии моделей без прекращения обработки поступающих пользовательских запросов.

Selectel отметил, что благодаря инференс-платформе можно в несколько раз сократить время вывода ИИ-проектов на рынок, причём с учётом конкретных профилей нагрузок и требований к производительности, которые помогут подобрать и донастроить специалисты ML-команды провайдера.

Источник изображения: Selectel

Платформа построена на базе GPU-кластеров Managed Kubernetes с использованием открытых инструментов NVIDIA Triton Inference Server, Ray Serve Cluster и Istio Ingress Controller. Решение полностью независимо от привязки к поставщику (vendor lock) и обеспечивает высокую производительность за счёт встроенных возможностей по повышению пропускной способности и максимальной утилизации ресурсов.

После долгого затишья обновилась серия графических ускорителей AMD Radeon PRO — Advanced Micro Devices представила Radeon PRO V710, созданный специально по заказу Microsoft для размещения в облаке Azure. Новинка характеризуется немалым для своего класса объёмом видеопамяти — она несёт на борту целых 28 Гбайт, то есть, больше, чем у всех сегодняшних игровых GPU, включая GeForce RTX 4090 и Radeon RX 7900 XTX.

При этом AMD Radeon PRO V710 не является вычислительным ускорителем в чистом виде, хотя и способен развивать 27,7 Тфлопс в режиме FP16 и 55,3 Топс в режиме INT8 на частоте 2 ГГц. В состав 5-нм новинки, состоящей из 28,1 млрд транзисторов, входят 3456 потоковых процессора, сгруппированных в 54 вычислительных блока RDNA 3. Реализована поддержка аппаратного ускорения трассировки лучей.

Источник здесь и далее: AMD

Памяти, как уже отмечалось, новинка получила 28 Гбайт. Это GDDR6 ECC с 224-битной шиной, обеспечивающей пропускную способность 448 Гбайт/с. При этом 4 Гбайт этой памяти всегда используются для системных нужд, так что пользовательским задачам доступно лишь 24 Гбайт. Графический процессор располагает также 54 Мбайт быстрого кеша AMD Infinity Cache.

Технически Radeon PRO V710 представляет собой полноразмерную плату расширения PCIe 4.0 x16 одинарной высоты с пассивным охлаждением. При теплопакете 158 Вт адаптер полностью полагается на систему охлаждения сервера. Поскольку это, по сути, заказное решение, приобрести отдельно данный ускоритель будет нельзя, а в условиях ЦОД проблем с охлаждением быть не должно, к тому же, частота GPU намеренно ограничена планкой 2 ГГц.

Главной сферой применения Radeon PRO V710 станет его применение в облачных сценариях класса Desktop-as-a-Service и Workstation-as-a-Service, то есть для запуска виртуальных рабочих сред. Набортный кодировщик видео поддерживает сжатие в форматах AV1, HEVC H.265 и AVC H.264. Также озвучены сценарии облачного гейминга и применения ускорителя в инференс-системах. В последнем случае будет актуальна совместимость с AMD ROCm и наличие блоков ускорения перемножения матриц.

Microsoft Azure уже анонсировала новые инстансы на основе нового ускорителя. Они поддерживают в качестве гостевых систем как Windows, так и Linux, в последнем случае обеспечена поддержка Azure Kubernetes Service. Количество виртуальных vCPU – от 4 до 28, объёмы пользовательской памяти начинаются с 16 Гбайт и достигают 160 Гбайт, а видеопамяти за счёт поддержки SR-IOV выделяется от 4 до 24 Гбайт. Минимальная ширина сетевого канала при этом составит 3,3 Гбит/с, а максимальная — 20 Гбит/с.

Компания D-Wave анонсировала соглашения об уровне обслуживания (SLA) для своего облачного квантового сервиса Leap, что косвенно говорит о желании компании заявить о высоком уровне доступности, надёжности и масштабируемости своих услуг и возможности предоставлять квантовые сервисы коммерческого уровня.

Точные условия SLA для Leap не разглашаются, но D-Wave говорит о работоспособности и доступности системы на уровне 99,9 %, при этом время решения задач не превышает 1 с даже в случае больших вычислительных нагрузок. Запущенный в 2018 году сервис Leap обеспечивает облачный доступ в режиме реального времени к квантовым компьютерам D-Wave, работающим в режиме реального времени и использующим технологию т.н. «квантового отжига». В D-Wave утверждают, что в последние два года сервис покзала доступность выше 99,9 % и Solver API, и кластера квантовых компьютеров компании.

Источник изображения: D-Wave

С момента запуска сервиса Leap клиенты выполнили около 200 млн задач без необходимости предварительного бронирования, ожидания в очереди или попадания в ситуацию недоступности оборудования. В том числе за последние 12 месяцев были поданы 60 млн задач. Как заявляют в компании, с ускорением перехода к коммерческому внедрению квантовых технологий обеспечение бесперебойного доступа к квантовому облаку как никогда важно. SLA разработано именно для того, чтобы поддерживать динамичный переход, способствующий процветанию бизнеса.

Большинство провайдеров квантовых вычислений предлагают доступ посредством облачных порталов — или собственных, или созданных в партнёрстве с крупными облаками. При этом уровень доступности таких сервисов пока что гораздо ниже, чем у практически любого другого облачного сервиса, отмечает DataCenter Dynamics. Квантовые системы весьма чувствительны к окружению, где они работают, а из-за своей технической сложности весьма медленно ремонтируются. Кроме того, число квантовых компьютеров ограничено, поэтому задачи клиентов часто приходится выстраивать в очередь.

Как заявляют эксперты IDC, интеграция квантовых вычислений в общую IT-инфраструктуру компаний требует использования систем, готовых обеспечить некоторые гарантии на работу в режиме реального времени, вроде SLA. Необходим такой же уровень обслуживания, который предоставляется сегодня, например, SaaS. Впрочем, у D-Wave пока немало проблем. На сегодня компании грозит делистинг с Нью-Йоркской фондовой биржи — акции компании котируются очень низко.

Стартап Inflection AI и корпорация Intel объявили о сотрудничестве с целью ускорения внедрения ИИ в корпоративном секторе. В рамках партнёрства состоялся анонс Inflection for Enterprise — первой в отрасли ИИ-системы корпоративного класса на базе ускорителей Intel Gaudi3 и облака Intel Tiber AI Cloud (AI Cloud).

Inflection AI основана в 2022 году Мустафой Сулейманом (Mustafa Suleyman), одним из основателей Google DeepMind, а также Ридом Хоффманом (Reid Hoffman), одним из учредителей LinkedIn. Стартап специализируется на технологиях генеративного ИИ. В середине 2023 года Inflection AI получила на развитие $1,3 млрд: в число инвесторов вошли Microsoft и NVIDIA.

Inflection for Enterprise объединяет Gaudi3 с большой языковой моделью (LLM) Inflection 3.0. Утверждается, что это ПО при использовании на аппаратной платформе Intel демонстрирует вдвое более высокую экономическую эффективность по сравнению с некоторыми конкурирующими изделиями. Заказчики получат LLM, настроенную в соответствии с их пожеланиями. Для удовлетворения потребностей каждого конкретного клиента применяется обучение с подкреплением на основе отзывов людей (RLHF). При этом используются данные, предоставленные самим заказчиком.

Источник изображения: Intel

Отмечается, что облако AI Cloud упрощает создание, тестирование и развёртывание ИИ-приложений в единой среде, ускоряя время выхода продуктов на рынок. Тонко настроенные ИИ-модели доступны исключительно клиенту и не передаются в третьи руки. На первом этапе системы Inflection for Enterprise будут предлагаться через облако AI Cloud. В I квартале 2025 года планируется организовать поставки программно-аппаратных комплексов.

В августе 2023 года Microsoft развернула в своём облаке Azure инстансы ND H100 v5 на базе NVIDIA H100 для HPC-вычислений и нагрузок ИИ. А теперь запущены машины ND H200 v5 с ускорителями NVIDIA H200, оптимизированные для инференса и обучения больших языковых моделей (LLM).

Новые инстансы объединяют восемь ускорителей NVIDIA H200, каждый из которых содержит 141 Гбайт памяти HBM3e с пропускной способностью 4,8 Тбайт/с. По сравнению с NVIDIA H100 объём памяти увеличился на 76 %, пропускная способность — на 43 %.

Для ND H200 v5 предусмотрена возможность масштабирования до тысяч ускорителей при помощи интерконнекта на базе NVIDIA Quantum-2 CX7 InfiniBand с пропускной способностью до 400 Гбит/с в расчёте на ускоритель (до 3,2 Тбит/с на виртуальную машину). В составе инстансов задействованы чипы Intel Xeon поколения Sapphire Rapids: каждая виртуальная машина насчитывает 96 vCPU. Объём памяти составляет 1850 Гбайт, вместимость локального хранилища — 28 000 Гбайт. Обеспечивается доступ к 16 облачным накопителям. Кроме того, используются восемь сетевых адаптеров (суммарно до 80 Гбит/c).

Источник изображения: Microsoft

Виртуальные машины ND H200 v5 имеют предварительную интеграцию с Azure Batch, Azure Kubernetes Service, Azure OpenAI Service и Azure Machine Learning. Говорится, что инстансы обеспечивают высокую производительность при решении различных задач, связанных с ИИ, машинным обучением и аналитикой данных.

Oracle намерена потратить $6,5 млрд на создание ЦОД и облачного региона в Малайзии. Как сообщает Bloomberg, компания станет последним крупным игроком, принявшим решение инвестировать в ИИ-инфраструктуру Юго-Восточной Азии. Пресс-служба самой компании объявила, что новый облачный регион даст возможность использовать инфраструктуру и сервисы ИИ, перенося критически важные нагрузки в Oracle Cloud Infrastructure (OCI).

Создаваемое публичное облако поможет малайзийским компаниям модернизировать свои приложения, перенести в облако все типы рабочих нагрузок и выполнять ряд других задач. Клиенты получат доступ к агентам OCI Generative AI, ускоренным вычислениям и сервисам на базе генеративного ИИ, позволяющим хранить и обрабатывать суверенные модели в границах страны, а также доступ к OCI Supercluster на базе новейших ускорителей NVIDIA GB200 NVL72. Место размещения региона не названо, но облачные мощности страны сосредоточены в Джохоре и Куала-Лумпуре.

Власти Малайзии приветствовали инициативу компании, работающей в стране уже в 36 лет. Только в этом году в облако OCI мигрировали две малайзийские компании — IHH Healthcare и Great Eastern. Ожидается, что инвестиции помогут развитию технологий для малого и среднего бизнеса, а также будут способствовать реализации национального план New Industrial Master Plan, предусматривающего создание в стране 3 тыс. «умных производств» к 2030 году.

Источник изображения: Jaanus Jagomägi/unsplash.com

Малайзия становится крупным рынком ЦОД в Азиатско-Тихоокеанском регионе и имеет большие амбиции по его дальнейшему расширению. Хотя Сингапур начал постепенно ослаблять ограничения, связанные с мораторием на строительство новых ЦОД, Малайзия рассчитывает переманить к себе значительное число новых проектов у соседа.

В начале октября 2024 года Google начала строительство дата-центра в Куала-Лумпуре, вскоре после анонса партнёрства с DNeX для предоставления в стране суверенных облачных сервисов и намерена вложить $2 млрд в ЦОД и облако в Малайзии. AWS запустила малайзийский облачный регион в августе, а Microsoft анонсировала планы создания в Куала-Лумпуре региона Azure ещё в апреле 2021 года. Общая сумма инвестиций должна составить $2,2 млрд. Oracle не называет точных временных рамок развёртывания инфраструктуры в Малайзии, но нет сомнений, что она готовится побыстрее получить часть ИИ-пирога в регионе.

Компания Microsoft пообещала инвестировать €4,3 млрд ($4,75 млрд) в расширение инфраструктуры облачных и ИИ ЦОД в Италии. Речь идёт о крупнейшей инвестиции компании в Италии на сегодняшний день. Компания расширит ЦОД на севере стране, а также обучит более 1 млн жителей страны работе с ИИ и цифровыми технологиями до конца 2025 года. После расширения бизнеса Microsoft Италия превратится в один из крупнейших хабов ЦОД в Европе, а местная инфраструктура станет ключевой не только для Италии, но и для стран Средиземноморья и Северной Африки.

По словам президента Microsoft Брэда Смита (Brad Smith), инвестиции подчёркивают приверженность компании цифровой трансформации страны — итальянские власти и бизнес получат инструменты для построения экономики на основе ИИ-технологий, создающих рабочие места и способствующих процветанию государства.

Компания также объявила, что инвестирует в обеспечение экоустойчивости ИИ в стране. Уже сегодня Microsoft заключила три PPA на поставку возобновляемой энергии в Италии, а в ближайшем будущем будут найдены дополнительные возможности в этой сфере. Подробности действующих PPA не разглашаются. Сообщается, что ЦОД также находятся в процессе перевода резервных генераторов на возобновляемое биотопливо, что позволит снизить углеродные выбросы.

Источник изображения: Anders Jildén/unspalsh.com

В Microsoft сообщают, что дата-центры в Италии используют технологии «прямого испарительного охлаждения», позволяющие сократить расход воды, причём большая часть используемой берётся из дождевых либо грунтовых вод. Облачный регион Microsoft в Италии расположен в Милане. Впервые компания сообщила о планах его строительства ещё в 2020 году, запуск состоялся в 2023 году на объекте Stack (бывшем SuperNAP Italita).

Компания стала последним из американских гиперскейлеров, запустивших в Италии облака. AWS ввела в эксплуатацию облачный регион в Милане в 2020 году и намерена тратить миллиарды дополнительно, Oracle — в 2021 году, а Google — в 2022 году, причём второй регион GCP компании уже запущен в Турине.

МТС Web Services сообщила о расширении портфолио облачных служб и запуске сервиса Glarus BI, предназначенного для работы с управленческой информацией посредством набора средств для анализа и визуального контроля данных.

Платформа Glarus BI относится к классу решений Business Intelligence и помогает организациям различного размера контролировать процессы, анализировать показатели эффективности бизнеса и формировать интерактивные отчёты. Продукт разработан российской компанией «Гларус Диджитал» и обеспечивает полный цикл работы с данными: от подключения к источникам до визуализации сложной аналитики. В системе также реализованы средства разграничения прав доступа пользователей к ресурсам BI-платформы, авторизация по LDAP, поддержка мобильных устройств, возможности экспортирования данных и прочие функции.

Источник изображения: «Первый Бит» / 1cbit.ru

До конца года МТС Web Services планирует включить в свою облачную инфраструктуру ещё две отечественные BI-системы: Modus BI и LuxMS BI. Первая ориентирована на малые и средние предприятия, вторая — на крупные организации сегмента Enterprise. Все три платформы соответствуют требованиям политики импортозамещения, зарегистрированы в реестре отечественного ПО, совместимы с российскими операционными системами, имеют документацию и техническую поддержку на русском языке.

«BI-решения помогут компаниям анализировать текущие бизнес-показатели и управлять эффективностью, выявляя в режиме реального времени барьеры и точки роста, для оперативной адаптации стратегии развития под потребности бизнеса. Все системы используют современный технологический стек, а их реализация в облаке гарантирует заказчикам быстрое внедрение, высокую скорость работы, гибкость и масштабируемость», — поясняют в МТС Web Services.