Российский провайдер сервисов IT-инфраструктуры Selectel приступил к бета-тестированию инференс-платформы собственной разработки, которая позволит упростить запуск ML-моделей в промышленную эксплуатацию и ускорить их работу. Как сообщается на сайте провайдера, с помощью нового сервиса можно всего за несколько минут развернуть готовую модель на вычислительных мощностях провайдера без привлечения разработчиков.

Решение нацелено на компании, использующие в работе ИИ-модели для обеспечения функционирования голосовых роботов в колл-центрах, чат-ботов для консультаций сотрудников и клиентов, сервисов распознавания изображений и других задач. С помощью платформы можно загружать модели в объектное хранилище Selectel, а на выходе получить готовые API. Также с её помощью можно регулярно обновлять версии моделей без прекращения обработки поступающих пользовательских запросов.

Selectel отметил, что благодаря инференс-платформе можно в несколько раз сократить время вывода ИИ-проектов на рынок, причём с учётом конкретных профилей нагрузок и требований к производительности, которые помогут подобрать и донастроить специалисты ML-команды провайдера.

Платформа построена на базе GPU-кластеров Managed Kubernetes с использованием открытых инструментов NVIDIA Triton Inference Server, Ray Serve Cluster и Istio Ingress Controller. Решение полностью независимо от привязки к поставщику (vendor lock) и обеспечивает высокую производительность за счёт встроенных возможностей по повышению пропускной способности и максимальной утилизации ресурсов.

После долгого затишья обновилась серия графических ускорителей AMD Radeon PRO — Advanced Micro Devices представила Radeon PRO V710, созданный специально по заказу Microsoft для размещения в облаке Azure. Новинка характеризуется немалым для своего класса объёмом видеопамяти — она несёт на борту целых 28 Гбайт, то есть, больше, чем у всех сегодняшних игровых GPU, включая GeForce RTX 4090 и Radeon RX 7900 XTX.

При этом AMD Radeon PRO V710 не является вычислительным ускорителем в чистом виде, хотя и способен развивать 27,7 Тфлопс в режиме FP16 и 55,3 Топс в режиме INT8 на частоте 2 ГГц. В состав 5-нм новинки, состоящей из 28,1 млрд транзисторов, входят 3456 потоковых процессора, сгруппированных в 54 вычислительных блока RDNA 3. Реализована поддержка аппаратного ускорения трассировки лучей.

Источник здесь и далее: AMD

Памяти, как уже отмечалось, новинка получила 28 Гбайт. Это GDDR6 ECC с 224-битной шиной, обеспечивающей пропускную способность 448 Гбайт/с. При этом 4 Гбайт этой памяти всегда используются для системных нужд, так что пользовательским задачам доступно лишь 24 Гбайт. Графический процессор располагает также 54 Мбайт быстрого кеша AMD Infinity Cache.

Технически Radeon PRO V710 представляет собой полноразмерную плату расширения PCIe 4.0 x16 одинарной высоты с пассивным охлаждением. При теплопакете 158 Вт адаптер полностью полагается на систему охлаждения сервера. Поскольку это, по сути, заказное решение, приобрести отдельно данный ускоритель будет нельзя, а в условиях ЦОД проблем с охлаждением быть не должно, к тому же, частота GPU намеренно ограничена планкой 2 ГГц.

Главной сферой применения Radeon PRO V710 станет его применение в облачных сценариях класса Desktop-as-a-Service и Workstation-as-a-Service, то есть для запуска виртуальных рабочих сред. Набортный кодировщик видео поддерживает сжатие в форматах AV1, HEVC H.265 и AVC H.264. Также озвучены сценарии облачного гейминга и применения ускорителя в инференс-системах. В последнем случае будет актуальна совместимость с AMD ROCm и наличие блоков ускорения перемножения матриц.

Microsoft Azure уже анонсировала новые инстансы на основе нового ускорителя. Они поддерживают в качестве гостевых систем как Windows, так и Linux, в последнем случае обеспечена поддержка Azure Kubernetes Service. Количество виртуальных vCPU – от 4 до 28, объёмы пользовательской памяти начинаются с 16 Гбайт и достигают 160 Гбайт, а видеопамяти за счёт поддержки SR-IOV выделяется от 4 до 24 Гбайт. Минимальная ширина сетевого канала при этом составит 3,3 Гбит/с, а максимальная — 20 Гбит/с.

Компания D-Wave анонсировала соглашения об уровне обслуживания (SLA) для своего облачного квантового сервиса Leap, что косвенно говорит о желании компании заявить о высоком уровне доступности, надёжности и масштабируемости своих услуг и возможности предоставлять квантовые сервисы коммерческого уровня.

Точные условия SLA для Leap не разглашаются, но D-Wave говорит о работоспособности и доступности системы на уровне 99,9 %, при этом время решения задач не превышает 1 с даже в случае больших вычислительных нагрузок. Запущенный в 2018 году сервис Leap обеспечивает облачный доступ в режиме реального времени к квантовым компьютерам D-Wave, работающим в режиме реального времени и использующим технологию т.н. «квантового отжига». В D-Wave утверждают, что в последние два года сервис покзала доступность выше 99,9 % и Solver API, и кластера квантовых компьютеров компании.

Источник изображения: D-Wave

С момента запуска сервиса Leap клиенты выполнили около 200 млн задач без необходимости предварительного бронирования, ожидания в очереди или попадания в ситуацию недоступности оборудования. В том числе за последние 12 месяцев были поданы 60 млн задач. Как заявляют в компании, с ускорением перехода к коммерческому внедрению квантовых технологий обеспечение бесперебойного доступа к квантовому облаку как никогда важно. SLA разработано именно для того, чтобы поддерживать динамичный переход, способствующий процветанию бизнеса.

Большинство провайдеров квантовых вычислений предлагают доступ посредством облачных порталов — или собственных, или созданных в партнёрстве с крупными облаками. При этом уровень доступности таких сервисов пока что гораздо ниже, чем у практически любого другого облачного сервиса, отмечает DataCenter Dynamics. Квантовые системы весьма чувствительны к окружению, где они работают, а из-за своей технической сложности весьма медленно ремонтируются. Кроме того, число квантовых компьютеров ограничено, поэтому задачи клиентов часто приходится выстраивать в очередь.

Как заявляют эксперты IDC, интеграция квантовых вычислений в общую IT-инфраструктуру компаний требует использования систем, готовых обеспечить некоторые гарантии на работу в режиме реального времени, вроде SLA. Необходим такой же уровень обслуживания, который предоставляется сегодня, например, SaaS. Впрочем, у D-Wave пока немало проблем. На сегодня компании грозит делистинг с Нью-Йоркской фондовой биржи — акции компании котируются очень низко.

Стартап Inflection AI и корпорация Intel объявили о сотрудничестве с целью ускорения внедрения ИИ в корпоративном секторе. В рамках партнёрства состоялся анонс Inflection for Enterprise — первой в отрасли ИИ-системы корпоративного класса на базе ускорителей Intel Gaudi3 и облака Intel Tiber AI Cloud (AI Cloud).

Inflection AI основана в 2022 году Мустафой Сулейманом (Mustafa Suleyman), одним из основателей Google DeepMind, а также Ридом Хоффманом (Reid Hoffman), одним из учредителей LinkedIn. Стартап специализируется на технологиях генеративного ИИ. В середине 2023 года Inflection AI получила на развитие $1,3 млрд: в число инвесторов вошли Microsoft и NVIDIA.

Inflection for Enterprise объединяет Gaudi3 с большой языковой моделью (LLM) Inflection 3.0. Утверждается, что это ПО при использовании на аппаратной платформе Intel демонстрирует вдвое более высокую экономическую эффективность по сравнению с некоторыми конкурирующими изделиями. Заказчики получат LLM, настроенную в соответствии с их пожеланиями. Для удовлетворения потребностей каждого конкретного клиента применяется обучение с подкреплением на основе отзывов людей (RLHF). При этом используются данные, предоставленные самим заказчиком.

Источник изображения: Intel

Отмечается, что облако AI Cloud упрощает создание, тестирование и развёртывание ИИ-приложений в единой среде, ускоряя время выхода продуктов на рынок. Тонко настроенные ИИ-модели доступны исключительно клиенту, и не передаются в третьи руки. На первом этапе системы Inflection for Enterprise будут предлагаться через облако AI Cloud. В I квартале 2025 года планируется организовать поставки программно-аппаратных комплексов.

В августе 2023 года Microsoft развернула в своём облаке Azure инстансы ND H100 v5 на базе NVIDIA H100 для HPC-вычислений и нагрузок ИИ. А теперь запущены машины ND H200 v5 с ускорителями NVIDIA H200, оптимизированные для инференса и обучения больших языковых моделей (LLM).

Новые инстансы объединяют восемь ускорителей NVIDIA H200, каждый из которых содержит 141 Гбайт памяти HBM3e с пропускной способностью 4,8 Тбайт/с. По сравнению с NVIDIA H100 объём памяти увеличился на 76 %, пропускная способность — на 43 %.

Для ND H200 v5 предусмотрена возможность масштабирования до тысяч ускорителей при помощи интерконнекта на базе NVIDIA Quantum-2 CX7 InfiniBand с пропускной способностью до 400 Гбит/с в расчёте на ускоритель (до 3,2 Тбит/с на виртуальную машину). В составе инстансов задействованы чипы Intel Xeon поколения Sapphire Rapids: каждая виртуальная машина насчитывает 96 vCPU. Объём памяти составляет 1850 Гбайт, вместимость локального хранилища — 28 000 Гбайт. Обеспечивается доступ к 16 облачным накопителям. Кроме того, используются восемь сетевых адаптеров (суммарно до 80 Гбит/c).

Источник изображения: Microsoft

Виртуальные машины ND H200 v5 имеют предварительную интеграцию с Azure Batch, Azure Kubernetes Service, Azure OpenAI Service и Azure Machine Learning. Говорится, что инстансы обеспечивают высокую производительность при решении различных задач, связанных с ИИ, машинным обучением и аналитикой данных.

Oracle намерена потратить $6,5 млрд на создание ЦОД и облачного региона в Малайзии. Как сообщает Bloomberg, компания станет последним крупным игроком, принявшим решение инвестировать в ИИ-инфраструктуру Юго-Восточной Азии. Пресс-служба самой компании объявила, что новый облачный регион даст возможность использовать инфраструктуру и сервисы ИИ, перенося критически важные нагрузки в Oracle Cloud Infrastructure (OCI).

Создаваемое публичное облако поможет малайзийским компаниям модернизировать свои приложения, перенести в облако все типы рабочих нагрузок и выполнять ряд других задач. Клиенты получат доступ к агентам OCI Generative AI, ускоренным вычислениям и сервисам на базе генеративного ИИ, позволяющим хранить и обрабатывать суверенные модели в границах страны, а также доступ к OCI Supercluster на базе новейших ускорителей NVIDIA GB200 NVL72. Место размещения региона не названо, но облачные мощности страны сосредоточены в Джохоре и Куала-Лумпуре.

Власти Малайзии приветствовали инициативу компании, работающей в стране уже в 36 лет. Только в этом году в облако OCI мигрировали две малайзийские компании — IHH Healthcare и Great Eastern. Ожидается, что инвестиции помогут развитию технологий для малого и среднего бизнеса, а также будут способствовать реализации национального план New Industrial Master Plan, предусматривающего создание в стране 3 тыс. «умных производств» к 2030 году.

Источник изображения: Jaanus Jagomägi/unsplash.com

Малайзия становится крупным рынком ЦОД в Азиатско-Тихоокеанском регионе и имеет большие амбиции по его дальнейшему расширению. Хотя Сингапур начал постепенно ослаблять ограничения, связанные с мораторием на строительство новых ЦОД, Малайзия рассчитывает переманить к себе значительное число новых проектов у соседа.

В начале октября 2024 года Google начала строительство дата-центра в Куала-Лумпуре, вскоре после анонса партнёрства с DNeX для предоставления в стране суверенных облачных сервисов и намерена вложить $2 млрд в ЦОД и облако в Малайзии. AWS запустила малайзийский облачный регион в августе, а Microsoft анонсировала планы создания в Куала-Лумпуре региона Azure ещё в апреле 2021 года. Общая сумма инвестиций должна составить $2,2 млрд. Oracle не называет точных временных рамок развёртывания инфраструктуры в Малайзии, но нет сомнений, что она готовится побыстрее получить часть ИИ-пирога в регионе.

Компания Microsoft пообещала инвестировать €4,3 млрд ($4,75 млрд) в расширение инфраструктуры облачных и ИИ ЦОД в Италии. Речь идёт о крупнейшей инвестиции компании в Италии на сегодняшний день. Компания расширит ЦОД на севере стране, а также обучит более 1 млн жителей страны работе с ИИ и цифровыми технологиями до конца 2025 года. После расширения бизнеса Microsoft Италия превратится в один из крупнейших хабов ЦОД в Европе, а местная инфраструктура станет ключевой не только для Италии, но и для стран Средиземноморья и Северной Африки.

По словам президента Microsoft Брэда Смита (Brad Smith), инвестиции подчёркивают приверженность компании цифровой трансформации страны — итальянские власти и бизнес получат инструменты для построения экономики на основе ИИ-технологий, создающих рабочие места и способствующих процветанию государства.

Компания также объявила, что инвестирует в обеспечение экоустойчивости ИИ в стране. Уже сегодня Microsoft заключила три PPA на поставку возобновляемой энергии в Италии, а в ближайшем будущем будут найдены дополнительные возможности в этой сфере. Подробности действующих PPA не разглашаются. Сообщается, что ЦОД также находятся в процессе перевода резервных генераторов на возобновляемое биотопливо, что позволит снизить углеродные выбросы.

Источник изображения: Anders Jildén/unspalsh.com

В Microsoft сообщают, что дата-центры в Италии используют технологии «прямого испарительного охлаждения», позволяющие сократить расход воды, причём большая часть используемой берётся из дождевых либо грунтовых вод. Облачный регион Microsoft в Италии расположен в Милане. Впервые компания сообщила о планах его строительства ещё в 2020 году, запуск состоялся в 2023 году на объекте Stack (бывшем SuperNAP Italita).

Компания стала последним из американских гиперскейлеров, запустивших в Италии облака. AWS ввела в эксплуатацию облачный регион в Милане в 2020 году и намерена тратить миллиарды дополнительно, Oracle — в 2021 году, а Google — в 2022 году, причём второй регион GCP компании уже запущен в Турине.

МТС Web Services сообщила о расширении портфолио облачных служб и запуске сервиса Glarus BI, предназначенного для работы с управленческой информацией посредством набора средств для анализа и визуального контроля данных.

Платформа Glarus BI относится к классу решений Business Intelligence и помогает организациям различного размера контролировать процессы, анализировать показатели эффективности бизнеса и формировать интерактивные отчёты. Продукт разработан российской компанией «Гларус Диджитал» и обеспечивает полный цикл работы с данными: от подключения к источникам до визуализации сложной аналитики. В системе также реализованы средства разграничения прав доступа пользователей к ресурсам BI-платформы, авторизация по LDAP, поддержка мобильных устройств, возможности экспортирования данных и прочие функции.

Источник изображения: «Первый Бит» / 1cbit.ru

До конца года МТС Web Services планирует включить в свою облачную инфраструктуру ещё две отечественные BI-системы: Modus BI и LuxMS BI. Первая ориентирована на малые и средние предприятия, вторая — на крупные организации сегмента Enterprise. Все три платформы соответствуют требованиям политики импортозамещения, зарегистрированы в реестре отечественного ПО, совместимы с российскими операционными системами, имеют документацию и техническую поддержку на русском языке.

«BI-решения помогут компаниям анализировать текущие бизнес-показатели и управлять эффективностью, выявляя в режиме реального времени барьеры и точки роста, для оперативной адаптации стратегии развития под потребности бизнеса. Все системы используют современный технологический стек, а их реализация в облаке гарантирует заказчикам быстрое внедрение, высокую скорость работы, гибкость и масштабируемость», — поясняют в МТС Web Services.

«Росатом» осуществил миграцию своей цифровой инфраструктуры на новую версию платформы виртуализации Private Cloud от VK Tech, для чего, как сообщается, использовалась разработанная специалистами VK Tech технология миграции, не имеющая аналогов на российском рынке.

Работа по миграции была выполнена объединённой командой специалистов АО «Гринатом» и VK Tech. Весь процесс занял 12 дней. Его успешному выполнению способствовал продуманный график работ, спланированный с учётом возможности непрерывной доступности информационных ресурсов, говорится в сообщении.

Переход на Private Cloud позволил «Росатому» увеличить количество информационных систем, развернутых в частном облаке, в пять раз. Как сообщается, масштабирование ИТ-инфраструктуры позволило оптимизировать процессы внутри компании, а также «обеспечить надёжное хранение и обработку больших объемов данных, что крайне важно для атомной отрасли, где безопасность и точность информации играют ключевую роль».

Защищенное корпоративное облако (ЗКО) Росатома объединило инфраструктурные и платформенные сервисы, обеспечивающие работу основных ИТ-систем, включая кадровые и финансовые, сервисы для внутренних коммуникаций и документооборота, решения 1С, а также решение по авторизации и идентификации АтомID.

Источник изображения: VK Cloud

Обновлённая платформа теперь включает магазин приложений, обеспечивающий удобное развертывание и управление системами. Также появилась возможность унификации технических решений, используемых в информационных системах, размещённых на мощностях ЗКО.

Как отмечает VK Tech, структура «Росатома» включает более 450 предприятий и 350 тысяч сотрудников, которые ежедневно пользуются корпоративными цифровыми сервисами для решения своих задач. Миграция ИТ-инфраструктуры госкорпорации в частное облако началась пять лет назад с переноса первых 50 систем, а последний переезд — «это первый проект комплексной миграции инфраструктуры такого масштаба в частное облако на российском рынке».

«Группа Астра» сообщила о выпуске нового продукта — облачной платформы Astra Infrastructure Cloud (AIC). Решение позволяет развернуть на локальных ресурсах заказчика среду облачных вычислений, предназначенную для работы во внутреннем контуре компании и обеспечить предоставление cloud-сервисов всем сотрудникам через портал самообслуживания.

Astra Infrastructure Cloud включает ряд компонентов, интегрированных между собой и представляющих единое решение. Фундаментом платформы является защищённая ОС Astra Linux Special Edition со встроенными средствами защиты информации. Другие не менее важные компоненты: портал самообслуживания и биллинга, подсистемы виртуализации, мониторинга, управления виртуальными машинами и службой каталогов. AIC может устанавливаться в различных режимах, включая гиперконвергентные и конвергентные конфигурации или подключение классических аппаратных хранилищ. Платформа поддерживает балансировку нагрузки внутри кластеров, а также перенос виртуальных машин и дисков между хостами при возникновении сбоев.

Варианты поставки Astra Infrastructure Cloud (источник изображения: astragroup.ru)

Облачная платформа Astra Infrastructure Cloud может использоваться предприятиями любого масштаба и готова к развёртыванию IaaS-ресурсов. В ближайшие месяцы «Группа Астра» планирует реализовать платформенные сервисы PaaS на основе компонентов/продуктов собственного производства, в 2025 году будет добавлена поддержка SaaS.

AIC поставляется в виде программного комплекса в двух редакциях: Base и Standard. Различия между ними проявляются в некоторых функциях планирования и распределения ресурсов, отказоустойчивости и управлении виртуальными машинами. Обе редакции уже доступны для заказчиков. В перспективе продукт будет поставляться в виде программно-аппаратных комплексов (ПАК) в предустановленном виде на серверном оборудовании «под ключ». Линейка ПАК AIC будет доступна в трёх версиях: Starter (3–10 хостов), PreCloud (11–30 хостов) и Multicloud (свыше 31 хоста). Также ожидается включение платформы в состав облачной инфраструктуры Astra Cloud.