Ведущий российский поставщик решений для облачной инфраструктуры Облако.ру предлагает различные специализированные интегрированные решения для обработки ресурсоёмких нагрузок, включая обучение и запуск ИИ-моделей. GPU-серверы, доступные в Облако.ру, отлично справляются со сложными задачами с использованием больших объёмов данных и вычислений. Использование услуг по аренде вычислительных мощностей позволяет избежать существенных капитальных затрат.

Главное отличие GPU от CPU заключается в его способности параллельно выполнять множество операций, распределяя задачи между своими ядрами, что предоставляет ему возможность выполнения громадных объёмов вычислений, лежащих в основе ИИ, в гораздо более короткие сроки и обеспечивает значительное преимущество в таких областях, как обработка изображений и видео, научное моделирование, машинное обучение, где используются большие наборы данных и сложные алгоритмы.

Изначально созданные для обработки изображений GPU стали крайне важными для ИИ-индустрии, позволяя обучать и развёртывать продвинутые ИИ модели, обеспечивающие широкие возможности в сфере ИИ — от распознавания изображений до обработки естественного языка. Благодаря ускорению процессов обучения и инференса использование серверных GPU позволяет разрабатывать и развёртывать модели ИИ быстрее и эффективнее, чего невозможно добиться, используя только классические CPU. А по мере роста сложности ИИ-моделей потребность в GPU будет только расти.

Источник изображения: Облако.ру

Так, для локального запуска компактной версии популярной ИИ-модели DeepSeek R1 8B, разработанной посредством дистилляции нейросеть Llama 3.2 и демонстрирующей высокую эффективность в задачах текстовой генерации, обработки естественного языка, создания программного кода и анализа данных, потребуется система с 4 Гбайт VRAM (видеопамяти) для инференса с низкой и целочисленной точностью вычислений (FP8/INT8), 8 Гбайт VRAM для инференса с половинной точностью (FP16) и 16 Гбайт VRAM для инференса с полной точностью (FP32). Точность вычислений влияет на качество и скорость ответов ИИ-модели.

Если же использовать DeepSeek R1 8B в качестве основы для собственных моделей, ориентированных на конкретные бизнес-задачи, то при обучении с низкой и целочисленной точностью (FP8/INT8) потребуется система с 8 Гбайт VRAM, при обучении с половинной точностью (FP16) — с 16 Гбайт VRAM, а и при обучении с полной точностью (FP32) — с 32 Гбайт VRAM. С увеличением количества параметров модели, определяющих её «эрудицию» и знания о мире или предметной области, одновременно растут и требования к доступной памяти и вычислительной мощности GPU. Кроме того, т.н. размышляющие модели, к которым относится и семейство DeepSeek R1, тем лучше и оперативнее отвечают на запросы, чем больше им доступно ресурсов.

Предлагаемые Облако.ру системы позволяют запускать не только базовые модели уровня DeepSeek R1 8B, которым требуется 8–12 Гбайт VRAM, но и более мощные ИИ-модели, такие как DeepSeek R1 14B, которая подходит для большинства профессиональных рабочих процессов. DeepSeek R1 14B, содержащая 14 млрд параметров и созданая с помощью метода дистилляции модели Qwen 2.5, предназначена для решения сложных задач, требующих высокой точности и производительности, таких, как написание сложных текстов, анализ больших объёмов данных, написание кода уровня Senior и т.д. Для инференса с использованием DeepSeek R1 14B с низкой и целочисленной точностью (FP8/INT8) потребуется система с 7 Гбайт VRAM, с полной точностью (FP32) — с 28 Гбайт VRAM. Для обучения с низкой и целочисленной точностью (FP8/INT8) требуется система с 14 Гбайт VRAM, с половинной точностью (FP16) — с 28 Гбайт VRAM, с полной точностью (FP32) — с 56 Гбайт VRAM.

Облако.ру предлагает различные системы с серверными GPU, которые способны удовлетворить нужды практически любого заказчика. Доступны системы с самыми простыми ускорителями NVIDIA T4, с ускорителями среднего класса 3 × RTX6000 (суммарно 72 Гбайт) и с ускорителями топового уровня. К последним относятся конфигурации сразу с восемью PCIe-ускорителями с суммарным объёмом памяти 640 Гбайт, 1 Тбайт системной памяти и парой 24-ядерных AMD EPYC 9224. А для самых требовательных заказчиков предлагается платформа с восемью ускорителями, объединёнными быстрой шиной (900 Гбайт/с) и 1128 Гбайт VRAM, которые работают как единое целое. Компанию им составляют два 48-ядерных Intel Xeon Platinum 8558 и 2 Тбайт RAM. При этом во всех случаях речь идёт именно о физических серверах, что гарантирует полную доступность всех вычислительных ресурсов.

В Yandex Cloud стал доступен сервис аренды выделенных физических серверов Yandex BareMetal. Посредством Cloud Interconnect их можно интегрировать с другими облачными сервисами и инфраструктурами, формируя единую вычислительную среду. Как сообщает пресс-служба компании, «в публичном превью с сервисом можно работать по API» — это упростит интеграцию Yandex BareMetal с бизнес-приложениями «Яндекса». Дополнительно сообщается, что права доступа к серверу можно гранулярно распределять между сотрудниками.

По словам представителя Yandex Cloud, у компании большая команда инженеров, годами поддерживающих серверную инфраструктуру. Этот опыт «инвестирован» в Yandex BareMetal, поэтому компании могут полностью доверить обслуживание железа провайдеру, сосредоточившись на развитии IT-продуктов. Кроме того, для Yandex BareMetal доступны облачные инструменты резервного копирования, миграции данных и мониторинга.

Источник изображений: Yandex Cloud

По статистике Yandex Cloud, 59 % компаний из России начали пользоваться сервисами BareMetal лишь в последние полтора года. Причина в том, что в этот период у бизнеса стало меньше ресурсов и возможностей для самостоятельной закупки оборудования и его обслуживания. Кроме того, вырос спрос на инфраструктуру для развития ИИ.

Наиболее распространённый сценарий применения BareMetal — для хранения и обработки данных. 70 % респондентов используют арендуемую инфраструктуру именно для этого, 66 % применяют выделенные серверы для собственных развёртываний OpenStack или VMware, 47 % — для хостинга бизнес-приложений и 44 % — для задач бэкофиса. В любом случае респонденты отмечали значимость возможной интеграции BareMetal с технологиями защиты от DDoS-атак (59%), резервного копирования (48 %) и 46 % — интеграции с т.н. «облачным роутером» — сетью между выделенными серверами и облаками провайдера.

В марте «Яндекс» впервыеотчиталась о результатах работы Yandex B2B Tech. Выручка Yandex Cloud увеличилась год к году в 1,5 раза, составив 19,8 млрд руб. 51 % суммы принесли контракты с крупными компаниями. Количество клиентов Yandex Cloud увеличилось год к году в 1,5 раза до 44 тыс., количество партнёров-интеграторов выросло в 1,3 раза — до 674.

Сервис-провайдер «РТК-ЦОД» (дочерняя компания «Ростелекома», предоставляющая услуги дата-центров и облачные услуги) объявил о запуске обновлённого сервиса BareMetal 2.0 с GPU-ускорителями.

Как сообщает «РТК-ЦОД», сервис BareMetal 2.0 обеспечивает максимально эффективное использование вычислительных ресурсов, в том числе, с помощью интеграции физических серверов в единую сеть с виртуальной облачной инфраструктурой. Это дает возможность выстраивать гибридные IaaS-решения для повышения производительности и масштабируемости. По словам компании, обновлённый сервис идеально подходит для задач, требующих максимальной производительности: от анализа данных и машинного обучения до научных исследований и обработки графики.

Согласно пресс-релизу, работу BareMetal 2.0 обеспечивают выделенные серверы без виртуализации, предоставляемые в составе «Публичного облака». Доступные конфигурации включают процессоры с частотой 2,6 и 3,0 ГГц, поддержку до 48 ядер и объём оперативной памяти до 1024 Гбайт с возможностью использования высокоскоростных сетевых SSD для хранения данных. В обновлённом сервисе для работы с графикой, 3D-моделированием, рендерингом, интенсивными вычислительными задачами можно выбрать сервер с ускорителями NVIDIA L4 (24 Гбайт), RTX A6000 (48 Гбайт) или A100 (80 Гбайт).

Источник изображения: «РТК-ЦОД»

Клиентам доступен выделенный менеджер и команда архитекторов, которые помогут адаптировать решение под индивидуальные задачи. BareMetal 2.0 и другие облачные сервисы РТК-ЦОД можно самостоятельно настроить через единый портал, а также использовать инструменты для удалённого управления.

Облачный провайдер Cloud.ru сообщил о запуске сервиса Evolution Bare Metal, с помощью которого пользователь может получить выделенный сервер из личного кабинета без обращения за помощью к службе техподдержки. Сервис позволит арендовать выделенные серверы для систем, которым требуется доступ к аппаратной части. Evolution Bare Metal интегрирован с кроссплатформенными сервисами Cloud.ru.

Пользователь может выбрать нужную из готовых конфигураций для разных типов задач, различающихся типом процессоров, объёмом памяти и характеристиками дисков. После заказа клиент получает доступ к серверу менее, чем за минуту без учёта времени на установку операционной системы. Для управления сервером доступны VNC и API.

Источник изображений: Cloud.ru

Сценарии использования сервиса Evolution Bare Metal:

• Размещение высоконагруженных приложений, баз данных и российских ЕRP-систем;
• Среда для разработки и тестирования: проведение нагрузочных тестов, требующих высокой производительности ресурсов, симуляции различных сценариев использования и проверку производительности ПО;
• Кластеры для работы с Big Data;
• Создание виртуализированных сред и контейнеров для рационального управления ресурсами и изолирования приложений и сервисов для их гибкости и безопасности.

Как указано в пресс-релизе, Evolution Bare Metal позволит использовать выделенные физические серверы с облачной инфраструктурой, гибкой конфигурацией и удобным управлением для аналитических задач, работы с высоконагруженными корпоративными приложениями и базами данных в цифровом банкинге, финтехе, e-commerce, онлайн-стриминге.

Впрочем, пока что на выбор предлагаются всего пять конфигураций готовых серверов серии Light на базе 12- и 22-ядерных CPU Intel Xeon поколения Haswell-EP/Broadwell-EP и Skylake-SP с 64 или 128 Гбайт RAM и SAS/SATA SSD/HDD. Для установки доступны ОС Ubuntu Linux и Oracle Linux.

Облачная платформа Yandex Cloud объявила о планах увеличить инвестиции в развитие существующих и создание новых сервисов и технологий. В течение двух лет, с 2025 по 2026 год, на эти цели будет выделено 42 млрд руб., что почти вдвое больше затрат в 2023–2024 гг., составивших 22 млрд руб.

Источник изображений: Yandex Cloud

Рост инвестиций связан с высокими темпами развития платформы, увеличением количества пользователей и расширением списка приоритетных направлений, в который вошли ИИ-сервисы, сервисы для управления информационной безопасностью и средства обеспечения полного цикла разработки.

Одно из новых направлений Yandex Cloud — сервисы для работы с ИИ-технологиями. Представленная сегодня в рамках Yandex Scale 2024 платформа AI Studio позволяет в рамках единого интерфейса создавать приложения на базе различных ИИ-технологий Яндекса: сетей YandexGPT и YandexART, технологий распознавания и синтеза речи и т.д. Платформа включает SDK с готовыми образцами кода, которые позволят клиентам ускорить процесс разработки.

Также в платформе доступен AI Playground — сервис для тестирования ML-моделей в режиме диалога, который позволяет подобрать оптимальные промпты и настройки моделей для своих проектов. В будущем AI Playground предложит и другие ML-технологии, в том числе модели для синтеза и распознавания речи Yandex SpeechKit. Платформа, уже доступная всем клиентам Yandex Cloud, в дальнейшем будет пополняться новыми возможностями. Компания также планирует делиться собственными практиками по внедрению ИИ, чтобы помочь заказчикам быстрее получать выгоду от его использования.

Второе направление инвестиций — укрепление информационной безопасности. Yandex Cloud будет развивать существующие решения в этой сфере, например сервисы для защиты от DDoS-атак, а также создавать новые. Так, была представлена единая «приборная панель» Security Deck, которая позволяет управлять безопасностью облачной инфраструктуры и наблюдать за ключевыми параметрами. С её помощью можно выявлять уязвимости, отслеживать чувствительные данные, а также управлять правами доступа сотрудников, чтобы снизить риск утечек из облака. Тестирование Security Desk бесплатное — достаточно подать заявку на сайте.

Security Deck объединяет несколько инструментов по управлению безопасностью. Например, модуль Data Security Posture Management (DSPM) предназначен для выявления персональных и других чувствительных данных в инфраструктуре. Он определяет места хранения различных типов конфиденциальной информации (например, ФИО или СНИЛС), что позволяет снизить риск их утечки. А с помощью модуля Cloud Infrastructure Entitlements Management (CIEM) можно проверять права доступа к облачным ресурсам.

Также имеется модуль контроля прозрачности доступа к облачным ресурсам Access Transparency. Он позволяет проверить, для каких целей был предоставлен доступ сотрудников облачной платформы к инфраструктуре — например, для выполнения дополнительной диагностики ИТ-систем инженерами службы поддержки или обновления ПО. Встроенная нейросеть YandexGPT обобщает собранную информацию и предоставляет её в удобном виде.

Ещё одно направление — платформа полного цикла для разработки и сопровождения IT-продуктов SourceCraft. На этой платформе можно будет создавать исходный код, управлять его версиями, тестировать, собирать, развёртывать и сопровождать ПО. Помимо инструментов хранения и ревью кода в SourceCraft будут добавлены функции для непрерывной интеграции и развёртывания ИТ-проектов, безопасной разработки, аудита, логгинга, мониторинга и трейсинга.

Первым компонентом платформы станет представленный ранее сервис Yandex Code Assistant — ИИ-помощник для работы с кодом. С его помощью можно будет по фрагменту кода сгенерировать наиболее вероятное его продолжение. Сервис уже доступен для тестирования на облачной платформе Yandex Cloud. Компания предоставит доступ к SourceCraft внешним пользователям в 2025 году, но уже сейчас можно записаться в лист ожидания.

Также на конференции было объявлено о запуске сервиса по аренде выделенных физических серверов Yandex BareMetal и сервиса Serverless Integrations для ускорения разработки продуктов в облаке. Yandex BareMetal позволит компаниям получить вычислительные мощности для размещения любого ПО, в том числе средств виртуализации. При этом обслуживание оборудования компания берёт на себя.

Yandex BareMetal можно использовать вместе с остальной облачной инфраструктурой Yandex Cloud. Клиенты смогут выбрать необходимую конфигурацию сервера в специальной консоли, а также использовать единый центр поддержки, биллинг и систему управления доступом провайдера. Заявки на бесплатное закрытое тестирование Yandex BareMetal, которое начнётся до конца 2024 года, можно подать уже сейчас.

В свою очередь сервис Serverless Integrations позволит ИТ-специалистам без написания кода автоматизировать рабочие процессы, например, обработку онлайн-заказов и мониторинг систем безопасности, что по данным компании, позволяет ускорить разработку приложений на 10–70 % в зависимости от задач и специфики компании. Serverless Integrations доступен пользователям Yandex Cloud по запросу.

Связать рабочие процессы между собой поможет инструмент Workflows. Достаточно пошагово описать последовательность операций с помощью разметки, и в нужный момент Workflows сам запустит эти процессы и проконтролирует их выполнение. В будущем в Workflows появится визуальный интерфейс, с помощью которого последовательность процессов можно будет составлять из блоков, как в конструкторе. Для автоматизации процессов также есть EventRouter — инструмент для обмена информации между внутренними сервисами о новых событиях в системе.

Французский облачный провайдер Scaleway, по сообщению ресурса CNX-Software, предлагает в аренду bare metal серверы Elastic Metal RV1. Это, как утверждается, первые в мире системы с процессорами на архитектуре RISC-V, доступные в облаке. Впрочем, китайская SOPHGO может не согласиться с данным утверждением.

В новинках, которые, судя по всему, являются кластерами одноплатных компьютеров (до 672 серверов на стойку), применяется SoC Alibaba T-Head TH1520. Её основной компонент — процессор XuanTie C910 (RV64GCV) с четырьмя вычислительными ядрами RISC-V, функционирующими на тактовой частоте 1,85 ГГц. Чип работает в тандеме с 16 Гбайт оперативной памяти LPDDR4.

Кроме того, в состав SoC входит NPU-блок с производительностью до 4 TOPS (INT8) и поддержкой TensorFlow, ONNX, Caffe. Обработкой графики занимается контроллер Imagination BXM-4-64 с поддержкой OpenCL 1.1/1.2/2.0, OpenGL ES 3.0/3.1/3.2, Vulkan 1.1/1.2, Android NN HAL. Есть также VPU-модуль для кодирования/декодирования видеоматериалов в форматах H.265/H.264/VP9.

Источник изображений: CNX-Software

Серверы оборудованы флеш-накопителем eMMC вместимостью 128 Гбайт и сетевым адаптером 100MbE (с публичными адресами IPv4 и IPv6). Заявленное энергопотребление составляет от 0,96 до 1,9 Вт на ядро при частоте на уровне 1,8 ГГц, тогда как средний показатель равен 1,3 Вт на ядро. Стоимость аренды установлена в €0,042/час или €15,99/мес.

Scaleway также поделилась результатами тестов, позволяющими оценить производительность системы Elastic Metal RV1 по сравнению с одноплатным компьютером StarFive VisionFive 2 на основе RISC-V и некоторыми устройствами с процессорами x86. В Geekbench 6 сервер Elastic Metal RV1 оказался быстрее, чем система на базе двухъядерного чипа Intel Atom C2350 (Dedibox Start-3-S), но значительно уступил восьмиядерному Dedibox Start-1-M на базе Intel Atom C2750.

Компания VMware объявила о том, что для платформы VMware Cloud on AWS реализована поддержка инстансов Amazon EC2 M7i bare-metal (m7i.metal-24xl) на базе кастомных Intel Xeon Sapphire Rapids. Конфигурация включает 96 vCPU и около 414 Гбайт памяти. Решение, как отмечается, поможет клиентам ускорить миграцию в облако и модернизацию корпоративных приложений.

VMware Cloud on AWS позволяет работать с ПО VMware для программно-определяемых центров обработки данных (SDDC) корпоративного класса в облаке AWS, используя оптимизированный доступ к собственным сервисам AWS. Платформа создана на основе VMware Cloud Foundation. Сервис совмещает решения для вычислений, хранения данных и виртуализации сети (VMware vSphere, VMware vSAN и VMware NSX), а также инструменты управления VMware vCenter Server, оптимизированные для работы в выделенной эластичной инфраструктуре AWS. VMware Cloud on AWS предоставляет однопользовательскую среду с поддержкой от 4 до 16 хостов на каждый кластер vSphere.

Источник изображения: AWS

Объединив M7i bare metal с томами Amazon FSx для NetApp ONTAP и VMware Cloud Flex Storage, клиенты могут расширять хранилище по мере необходимости независимо от вычислительных мощностей, чтобы максимизировать использование ресурсов. Для рабочих нагрузок с интенсивным вводом-выводом, требующих высокой производительности и низких задержек, заказчики могут продолжать использовать существующие экземпляры i3en и i4i с гиперконвергентной архитектурой.

В целом, благодаря M7i bare metal пользователи VMware Cloud on AWS смогут ускорить перенос нагрузок в облако, сократить время восстановления после сбоев и атак программ-вымогателей, а также повысить эффективность развёртывания приложений ИИ и машинного обучения при снижении совокупной стоимости владения, сообщает компания.

Несмотря на нехватку на рынке ускорителей NVIDIA H100 ещё один провайдер представил продукты на их основе. Облачная служба Oracle Cloud Infrastructure (OCI) объявила о доступности bare-metal инстансов OCI Compute на базе NVIDIA H100, предназначенных для крупномасштабных приложений искусственного интеллекта (ИИ) и высокопроизводительных вычислений (HPC).

Инстанс OCI Compute BM.GPU.H100.8 содержит восемь ускорителей H100, каждый из которых имеет 80 Гбайт памяти HBM2, 16 локальных накопителей NVMe ёмкостью 3,84 Тбайт каждый, два 56-ядерных процессора Intel Xeon Sapphire Rapids (2,0/3,8 ГГц), 2 Тбайт памяти DDR5, а также восемь 400G-адаптеров.

Также в этом году компании смогут воспользоваться OCI Supercluster для создания кластеров, включающих до 50 тыс. ускорителей H100. Эта опция поначалу будет доступна в регионах Лондона и Чикаго, а в будущем число регионов с её поддержкой будет увеличено. При этом в OCI доступен и сервис NVIDIA DGX Cloud, который также включает кластеры на базе H100.

Изображение: Oracle

Oracle также сообщила, что в начале 2024 года представит инстансы с новейшими ускорителями NVIDIA L40S. Например, инстанс BM.L40S.4 предложит четыре L40S с двумя 56-ядерными процессорами Intel Xeon, 1 Тбайт RAM, 15,36 Тбайт NVMe-хранилища и сетевое подключение 400 Гбит/с.

Компания Selectel, являющаяся специализированным поставщиком IT-решений на базе собственной сети дата-центров, готовит к запуску управляемый сервис по развёртыванию кластеров Kubernetes на базе выделенных серверов (Managed Kubernetes on Bare Metal). О реализации решения было объявлено на конференции Selectel Tech Day 2023.

В сообщении Selectel отмечается, что использование Managed Kubernetes на выделенных серверах позволит клиентам улучшить производительность своих микросервисных приложений, что обеспечивается за счёт отсутствия гипервизора, виртуализирующего ресурсы физических серверов.

Источник изображения: «Академия Selectel» / selectel.ru/blog/custom

Некоторые базы данных и приложения с постоянной нагрузкой могут быть требовательны к вычислительным ресурсам, в частности локальным дискам и сетям, поэтому возможность работы на «голом железе» позволит улучшить их производительность. При этом клиенты Selectel, как и раньше, могут использовать Managed Kubernetes в облаке для приложений с неравномерной нагрузкой, которым требуется автоматическое масштабирование.

Клиенты смогут использовать выделенные серверы для развёртывания воркер-нод Kubernetes, при этом мастер-ноды останутся в облаке. Сочетание выделенных и облачных серверов позволит одновременно обеспечить высокую производительность сервиса и снизить расходы на IT-инфраструктуру до 40 %. Решение гарантирует высокий уровень защиты данных, поскольку клиент получает выделенные и зарезервированные только под свой проект серверные мощности. Для реализации особо высоконагруженных вычислений (например, ML-проектов) возможна аренда кластеров Kubernetes на базе выделенных серверов с GPU.

Облачная платформа AWS сообщила о доступности инстансов Amazon EC2 M2 Pro Mac. В основу положены компьютеры небольшого формфактора Apple Mac mini, оснащённые фирменными процессорами M2 Pro.

В состав платформы включены устройства Mac mini с чипами M2 Pro, которые содержат 12 ядер CPU, 19-ядерный блок GPU и 32 Гбайт унифицированной памяти с малой задержкой и пропускной способностью в 200 Гбайт/с. Предусмотрен также движок Apple Neural Engine с 16 ядрами.

По заявлениям Amazon, новые инстансы обеспечивают увеличение производительности приблизительно на 35 % по сравнению с M1 Mac. Решение предназначено для компиляции, тестирования, сборки и подписывания Xcode-приложений для платформ Apple (macOS, iOS, iPadOS, tvOS, watchOS и Safari).

Источник изображения: Amazon

Как и другие экземпляры EC2 Mac, инстансы EC2 M2 Pro Mac поддерживают аренду выделенного хоста с минимальной продолжительностью 24 часа. Клиенты, применяющие инстансы на базе Mac mini, сообщают о сокращении времени сборки до четырёх раз, увеличении числа параллельных сборок до трёх раз и уменьшении количества сбоев, связанных с оборудованием, до 80 %.