NVIDIA приобрела стартап, помогающий ИИ-разработчикам найти среди предложений облачных провайдеров наиболее подходящий по соотношению цена/качество доступ к ускорителям. Как сообщает портал CRN, это уже четвёртая заметная покупка NVIDIA с начала года. Представитель NVIDIA подтвердил, что сделка по приобретению Brev.dev действительно состоялась, но сумму и условия сделки не сообщил.

Brev.dev предоставляет платформу для создания, обучения и внедрения ИИ-моделей в облаках. Целью Brev.dev, по словам самого стартапа, является поиск простейшего способа использования ускорителей для разработчиков систем ИИ и машинного обучения. Сотрудничество с NVIDIA обеспечит выполнение этой миссии, с комбинацией максимально возможно производительной аппаратной составляющей с самым передовым программным обеспечением.

На сайте Brev.dev официальными партнёрами стартапа названы NVIDIA, Intel и AWS. Там же говорится, что платформа служит единым интерфейсом для взаимодействия AWS, Google Cloud Platform, Fluidstack и прочими облаками с ИИ-ускорителями. Это позволяет разработчикам искать подходящие инстансы на основе их цены и доступности. Хотя NVIDIA поставляет GPU и ИИ-ускорители облачным провайдерам более десяти лет, в последние годы компания уделяет немало внимания расширению собственного бизнеса в сфере облачных инфраструктур.

Источник изображения: NVIDIA

В прошлом году компания запустила сервис DGX Cloud, который развёрнут в облачной инфраструктуре других провайдеров и на собственных мощностях и ИИ-суперкомпьютерах. Ранее в этом году NVIDIA купила ещё два стартапа для развития возможностей DGX Cloud. В конце апреля компания анонсировала покупку израильского стартапа Run:ai, занимающегося решениями для оркестрации ИИ-инфраструктур. Его планируется интегрировать в DGX Cloud, а также с DGX- и HGX-серверами. По имеющимся данным, покупка Run:ai обошлась в $700 млн.

Практически одновременно с Run:ai компания приобрела ещё один израильский стартап — Deci, предлагающий ПО, способное на любом железе ускорить инференс ИИ-моделей, сохраняя точность данных. Сделку, по слухам, оценили приблизительно в $300 млн. Наконец, месяц назад NVIDIA купила калифорнийский стартап Shoreline.io, основанный бывшим управленцем AWS — компания разрабатывает ПО для автоматического устранения проблем в инфраструктуре ЦОД. По некоторым данным, команда Shoreline присоединилась к DGX Cloud, а покупка обошлась в $100 млн.

В 2023 году треть российских компаний (33 %) увеличили ИТ-бюджет, большей частью инвестировав в найм IT-специалистов и обновление ПО и лицензий, указано в исследовании State of DevOps Russia, проведённом компанией «Экспресс 42» при участии Deckhouse, Yandex Cloud, Head Hunter, AvitoTech, Т-Банк, JUG Ru Group и OTUS.

В опросе приняли участие более 4 тыс. ИТ-специалистов из российских компаний, чья деятельность связана с разработкой, тестированием и эксплуатацией ПО. Почти половина участников опроса (44 %) сообщила, что их компании стали чаще применять технологии ИИ для оптимизации работы ПО и DevOps-процессов.

В частности, разработчики применяют алгоритмы машинного обучения для автоматизации тестирования кода, выявления аномалий в данных, управления конфигурациями систем и инцидентами. При этом 47 % участников опроса отметили, что использование ИИ-технологий позволило повысить эффективность работы.

Источник изображения: Yandex Cloud

Использование облачных платформ позволяет не только оптимизировать разработку с ПО, но и повысить соответствие требованиям регулятора в области информационной безопасности — так считает половина респондентов. Также 41 % опрошенных отметили повышение прозрачности работы с данными при использовании облачных платформ.

Alibaba Cloud раскрыла ряд сведений технического характера, касающихся сетевой инфраструктуры и устройства своих дата-центров, занятых обработкой ИИ-нагрузок, в частности, обслуживанием LLM. Один из ведущих инженеров компании, Эньнань Чжай (Ennan Zhai), опубликовал доклад «Alibaba HPN: A Data Center Network for Large Language Model Training», который будет представлен на конференции SIGCOMM в августе этого года.

В качестве основы для сетевой фабрики Alibaba Cloud выбрала Ethernet, а не, например, InfiniBand. Новая платформа используется при обучении масштабных LLM уже в течение восьми месяцев. Выбор обусловлен открытостью и универсальностью стека технологий Ethernet, что позволяет не привязываться к конкретному вендору. Кроме того, меньше шансы пострадать от очередных санкций США.

Отмечается, что традиционный облачный трафик состоит из множества относительно небыстрых потоков (к примеру, менее 10 Гбит/с), тогда как трафик при обучении LLM включает относительно немного потоков, имеющих периодический характер со всплесками скорости до очень высоких значений (400 Гбит/с). При такой картине требуются новые подходы к управлению трафиком, поскольку традиционные алгоритмы балансировки склонны к перегрузке отдельных участков сети.

Источник здесь и далее: Alibaba Cloud

Разработанная Alibaba Cloud альтернатива носит название High Performance Network (HPN). Она учитывает многие аспекты работы именно с LLM. Например, при обучении важна синхронизация работы многих ускорителей, что делает сетевую инфраструктуру уязвимой даже к единичным точкам отказа, особенно на уровне внутристоечных коммутаторов. Alibaba Cloud использует для решения этой проблемы парные коммутаторы, но не в стековой конфигурации, рекомендуемой производителями.

Характер трафика при обучении LLM

Каждый хост содержит восемь ИИ-ускорителей и девять сетевых адаптеров. Каждый из NIC имеет по паре портов 200GbE. Девятый адаптер нужен для служебной сети. Между собой внутри хоста ускорители общаются посредством NVLink на скорости 400–900 Гбайт/с, а для общения с внешним миром каждому из них полагается свой 400GbE-канал с поддержкой RDMA. При этом порты сетевых адаптеров подключены к разным коммутаторам из «стоечной пары», что серьёзно уменьшает вероятность отказа.

В докладе говорится, что Alibaba Cloud использует современные одночиповые коммутаторы с пропускной способностью 51,2 Тбит/с. Этим условиям отвечают либо устройства на базе Broadcom Tomahawk 5 (март 2023 года), либо Cisco Silicon One G200 (июнь того же года). Судя по использованию выражения «начало 2023 года», речь идёт именно об ASIC Broadcom.

Своё предпочтение именно одночиповых коммутаторов компания объясняет просто: хотя многочиповые решения с большей пропускной способностью существуют, в долгосрочной перспективе они менее надёжны и стабильны в работе. Статистика показывает, что аппаратные проблемы у подобных коммутаторов возникают в 3,77 раза чаще, нежели у одночиповых.

Одночиповые решения класса 51,2 Тбит/с выделяют много тепла, но ни один поставщик оборудования не смог предложить Alibaba Cloud готовые решения, способные удерживать температуру ASIC в пределах 105 °C. Выше этого порога срабатывает автоматическая защита. Поэтому для охлаждения коммутаторов Alibaba Cloud создала собственное решение на базе испарительных камер.

Сетевая фабрика позволяет создавать кластеры, каждый из которых содержит 15360 ускорителей и располагается в отдельном здании ЦОД. Такое высокоплотное размещение позволяет использовать оптические кабели длиной менее 100 м и более дешёвые многомодовые трансиверы, которые дешевле одномодовых примерно на 70 %. Ёмкость такого дата-центра составляет около 18 МВт.

Но есть у HPN и недостаток: использование топологии с двумя внутристоечными коммутаторами и другие особенности архитектуры усложняют кабельную подсистему, поэтому инженеры поначалу столкнулись с ростом ошибок при подключении сетевых интерфейсов. В настоящее время активно используются тесты, позволяющие проверить каждое подключение на соответствие идентификаторов портов и коммутаторов рабочим схемам.

Отмечается, что параметры Ethernet-коммутаторов удваиваются каждые два года, поэтому компания уже разрабатывает сетевую архитектуру следующего поколения, рассчитанную на применение будущих ASIC 102,4 Тбит/с. По словам Alibaba Cloud, обучение LLM с сотнями миллиардов параметров потребует огромного распределённого кластера, количество ускорителей в котором исчисляется миллионами. И ему требуется соответствующая сетевая инфраструктура.

Облачная платформа Alibaba Cloud, по сообщению ресурса Datacenter Dynamics, намерена закрыть ЦОД в Австралии и Индии. Речь идёт о площадках в Сиднее и Мумбаи, работа которых будет свёрнута до конца текущего года. Решение связано с изменением стратегии по развитию инфраструктуры дата-центров.

Alibaba Cloud запустила облачный регион в Сиднее в 2016 году: на сегодняшний день он имеет две зоны доступности. Регион в Мумбаи был открыт в 2018 году и также включает две зоны доступности. ЦОД в Индии прекратят работу уже 15 июля, а объекты в Австралии — 30 сентября 2024 года. Alibaba Cloud рекомендует всем клиентам этих дата-центров при первой возможности перенести свои рабочие нагрузки на площадки компании в Сингапуре или в других регионах.

После сворачивания деятельности в Австралии и Индии усилия компании будут направлены на развитие облачного бизнеса в Юго-Восточной Азии и Мексике. В частности, в мае Alibaba Cloud объявила о планах по формированию мексиканского региона, а также заявила, что в ближайшие три года создаст дополнительные ЦОД на некоторых рынках присутствия, включая Малайзию, Филиппины, Таиланд и Южную Корею.

Источник изображения: Alibaba

Индонезия, Малайзия и Таиланд в последнее время смогли привлечь миллиарды долларов инвестиций на развитие ЦОД как от американских, так и азиатских операторов и гиперскейлеров. Индийскому рынку дата-центров тоже предрекают стремительный рост, а вот Сингапур, похоже, вскоре может потерять статус не только регионального, но и международного лидера индустрии ЦОД.

Осенью прошлого года Alibaba объявила о намерении привлечь $3 млрд для развития облачного бизнеса. Компания рассчитывала провести масштабную реорганизацию, в ходе которой на базе облачных активов планировалось создать отдельную структуру. Однако впоследствии от этой инициативы пришлось отказаться в связи с американскими санкциями в отношении Китая. В целом, Alibaba Cloud управляет 89 зонами доступности в 30 регионах мира.

Облачная платформа VK Cloud сообщила об интеграции среды Dev Platform с инструментами безопасной разработки Positive Technologies и Swordfish Security.

Dev Platform предоставляет набор предустановленных, прединтегрированных и преднастроенных инструментов, с помощью которых можно создать единую среду разработки, сделать прозрачным и эффективным весь жизненный цикл продукта. Архитектуру решения можно гибко масштабировать, добавляя к базовым компонентам платформы внешние инструменты через систему плагинов. Бизнес может развернуть Dev Platform в своей IT-инфраструктуре, в том числе в рамках Private Cloud, или в публичном облаке VK Cloud.

Dev Platform совместима с инструментами для поиска уязвимостей в приложениях PT BlackBox и PT Application Inspector, а также с продуктом для защиты контейнерных сред PT Container Security, который выявляет и предотвращает атаки на системы компании, запущенные в контейнерах.

Архитектура Dev Platform (источник изображения: cloud.vk.com/dev-platform)

Кроме того, платформа интегрирована с решениями Swordfish Security — AppSec.Hub класса ASPM (Application Security Posture Management) и AppSec.Track класса OSA (Open Source Analysis) и SCA (Software Composition Analysis). AppSec.Hub — инструмент оркестрации сканеров уязвимостей, фильтрации ложных срабатываний на базе ИИ-технологий и отображения метрик качества построения процесса безопасной разработки. Инструмент AppSec.Track, позволяет не допустить попадания небезопасных внешних компонентов в контур разработки на самом начальном этапе и проверяет наличие ИБ-проблем в них на этапе сборки ПО.

Подразделение системного интегратора Telkom Group, компания BCX, объединила усилия с Alibaba для организации облачных сервисов Alibaba Cloud в Мозамбике. По данным Datacenter Dynamics, BCX обеспечит хостинг т.н. Africa Local Public (ALP) Cloud в дата-центре в Мапуту.

По словам главы BCX, сотрудничество с Alibaba Cloud позволяет предоставлять новейшие технологии при посредничестве местной компании, которая понимает сложности и особенности ведения бизнеса на африканском континенте. В BCX признают чрезвычайную важность цифрового суверенитета для мозамбикского бизнеса, поэтому BCX и запустила облако ALP Cloud в Мапуту. Говорится о нескольких зонах доступности, местной службе поддержки и возможности оплаты в местной валюте.

Источник изображения: Rohan Reddy/unsplash.com

Это уже вторая африканская страна, где появились облачные сервисы Africa Local Public Cloud компании Alibaba. Запуск в Южной Африке состоялся ещё в октябре 2023 года. Китайская компания разместила свои сервисы в двух южноафриканских ЦОД, создав две зоны доступности — в ЦОД BCX в Мидранде и принадлежащем Teraco Data Environment дата-центре в Исандо. Следующий этап внедрения ALP Cloud предусматривает создание зоны доступности в ЦОД в Кейптауне. Также в Южной Африке предлагают свои облачные сервисы Microsoft Azure, Amazon (AWS) и Google.

BCX, основанная в 1996 году как Business Connexion, считается одним из крупнейших системных интеграторов в Африке, Telkom Group купила бизнес в 2015 году. BCX анонсировала партнёрство с Alibaba в октябре 2022 года — африканскому контрагенту дали эксклюзивные права распространять продукты и сервисы Alibaba Cloud в Южной Африке. Сегодня Alibaba управляет 89 зонами доступности в 30 регионах по всему миру.

Компания «билайн» отрапортовала о работе в I квартале 2024 года. В обнародованном отчёте говорится, что бизнес в сегменте облачных продуктов и сервисов кибербезопасности beeline cloud показал значительный рост. Кроме того, наблюдается увеличение спроса на услуги в области больших данных и ИИ.

Общая выручка «билайна» в период с января по март включительно составила 75,4 млрд руб. Это на 7,2 % больше по сравнению с результатом за I четверть 2023-го, когда компания получила 70,4 млрд руб. Сервисная выручка поднялась в годовом исчислении на 6,8 % — с 64,8 млрд до 69,2 млрд руб.

Источник изображения: «билайн»

Выручка beeline cloud подскочила год к году на 39,8 %. Среди ключевых событий недавнего времени названы запуск облачной платформы хранения и обработки данных Data Platform и внедрение сервиса Cloud SD-WAN на базе решений «Лаборатории Касперского». Кроме того, представлен облачный межсетевой экран Cloud WAF Pro для защиты веб-приложений от внешних киберугроз. Запущена платформа BeeCloud Stack — гиперконвергентное решение для управления публичными и частными виртуальными ресурсами для замены иностранных продуктов в области виртуализации.

Квартальная выручка в сегменте сервисов на основе больших данных и ИИ поднялась в годовом исчислении на 58,3 %. В I квартале 2024 года компания продолжила расширение инфраструктуры сотовой связи. Количество базовых станций выросло год к году на 7,5 % и достигло 201,8 тыс., а количество площадок (сайтов) увеличилось на 3,4 % — до 55,3 тыс.

Отмечается также, что цифровые технологии играют для «билайна» всё более значимую роль в плане обслуживания и поддержки корпоративных клиентов. В частности, интерактивное голосовое меню (IVR) с использованием технологий распознавания речи и речевой аналитики улучшило качество сервиса, а по самым востребованным сценариям обслуживания клиенты решают до 80 % обращений без помощи сотрудников контактного центра.

Облачная платформа Alibaba Cloud, по сообщению ресурса The Register, раскрыла аппаратную конфигурацию сетевого оборудования, которое используется на периферии. Речь идёт об устройствах под названием LuoShen, которые рассматриваются в качестве «серверов-коммутаторов».

Источник изображения: Alibaba

Отмечается, что изделия LuoShen находятся в производстве приблизительно два года. На сегодняшний день они эксплуатируются на «сотнях периферийных площадок» в составе облачной инфраструктуры Alibaba Cloud.

LuoShen имеет форм-фактор 2U. Конструкция включает два CPU общего назначения, FPGA, а также чип Intel Tofino — интегральную схему специального назначения (ASIC) с возможностью программирования. Tofino представляет собой сетевой Ethernet-процессор, ориентированный на дата-центры.

Утверждается, что LuoShen обеспечивает пропускную способность до 1,2 Тбит/с. Чип Tofino отвечает за перераспределение 64 портов 100G под различные цели. Это, в частности, обработка трафика виртуальных машин, интернет-трафика и пр. В зависимости от выполняемых задач данные направляются к CPU и FPGA, а после обработки отправляются в конечную точку.

Отмечается, что устройствам LuoShen приходится обрабатывать трафик разных типов, а поэтому возможность программирования Tofino имела для Alibaba Cloud ключевое значение — облачная платформа смогла оптимизировать работу оборудования под собственные нужды. Благодаря переходу на LuoShen компания смогла сократить первоначальные затраты, занимаемое место и энергопотребление на 75 %, 87 % и 60 % соответственно по сравнению с ранее использовавшейся сетевой архитектурой.

Компания Huawei объявила об открытии облачного региона в Египте. В рамках данного проекта китайская корпорация сообщила о намерении в течение пяти лет инвестировать $300 млн в развитие сервисов и услуг, а также в обучение местных разработчиков и подготовку IT-специалистов.

О том, что Huawei планирует скорый запуск облачной площадки в Египте, стало известно в феврале нынешнего года. Отмечается, что новый Каирский регион послужит центром доступа для стран Северной Африки. Таким образом, Huawei стала первым облачным провайдером, развернувшим публичную облачную инфраструктуру на территории Египта.

Источник изображения: Huawei

Планируемые инвестиции будут направлены на создание более чем 200 облачных сервисов, включая системы ИИ, платформы больших данных и средства разработки. Huawei намерена поддерживать примерно 200 местных партнёров в области ПО, а также развивать сеть из 1,3 тыс. торговых партнёров. Конечная цель заключается в формировании развитой экосистемы софта и приложений в регионе. Кроме того, в течение следующих пяти лет Huawei обучит 10 тыс. местных разработчиков и 100 тыс. IT-специалистов, что поможет обеспечить цифровую трансформацию.

Huawei также сообщила о расширении своей программы поддержки стартапов. Инициатива Huawei Cloud Startup Program предусматривает формирование специальных команд для оказания помощи молодым компаниям при внедрении облачных технологий. Проект предполагает в том числе субсидирование: один стартап может подать заявку на облачные кредиты на сумму до $150 тыс.

Наконец, платформа Huawei Cloud представила новую большую языковую модель (LLM) для арабского рынка. Система автоматического распознавания речи (ASR) охватывает более 20 арабоязычных стран. При этом точность работы достигает 96%.

Отмечается, что на сегодняшний день инфраструктура Huawei Cloud состоит из 33 регионов и 93 зон доступности по всему миру. У компании есть облачные объекты в материковом Китае и Гонконге, Ирландии, Нидерландах, Франции, Таиланде, Сингапуре, Индонезии, Саудовской Аравии, Турции, Южной Африке, Бразилии, Аргентине, Перу, Чили и пр.

VK сообщила финансовые результаты I квартала 2024 года. Выручка компании выросла год к году на 24 %, составив 33,8 млрд руб. Наибольший рост по-прежнему демонстрирует сегмент «Технологии для бизнеса» (VK Tech), увеличивший выручку на 55,2 % до 1,8 млрд руб.

Основными драйверами роста выручки сегмента выступили облачные сервисы платформы VK Cloud (рост год к году на 60 %) и коммуникационные решения VK WorkSpace (рост — в 3,3 раза). Сообщается, что в I квартале 2024 года получила обновления Private Cloud, платформа для построения частного облака для бизнеса от VK Cloud. Также были расширены возможности аналитических инструментов платформы VK Cloud в Казахстане, а в Tarantool Column Store запустили решение для гибридной обработки данных в режиме реального времени.

Источник изображения: VK

За прошедший квартал средняя месячная аудитория сервиса «Облако Mail.ru», входящего в сегмент «Экосистемные сервисы и прочие направления», составила 22,5 млн пользователей, средняя дневная аудитория выросла на 10 % год к году до 2,7 млн человек. Всего за первые три месяца 2024 года пользователи загрузили в «Облако Mail.ru» около 7,6 млрд файлов.