Облачное подразделение Huawei Technologies рассматривает Азиатско-Тихоокеанский регион (АТР) как потенциально огромный рынок для своих ИИ-решений. Как сообщает SCMP, облачные сервисы компании в регионе за последние четыре года выросли в 20 раз несмотря на американские санкции.

По словам представителя Huawei Cloud Жаклин Ши (Jacqueline Shi), следующим шагом компании в регионе станет предоставление всеобъемлющих ИИ-решений. В их числе облачный сервис Ascend Cloud, платформа для ИИ-разработки ModelArts и разработанная самой Huawei большая языковая модель (LLM) Pangu. Компания уже сотрудничает со службой прогнозов погоды в Таиланде над внедрением Pangu, также работая с другими отраслями, например — финансовой.

Источник изображения: Jovan Vasiljević/unsplash.com

План экспансии в АТР демонстрирует намерения компании диверсифицировать денежные поступления и привлечь больше зарубежных клиентов на фоне роста интереса к генеративным ИИ-решениям во многих отраслях. По словам Ши, регион является для компании одним из крупнейших рынков облачных вычислений, именно здесь Huawei в первую очередь запускала некоторые облачные продукты, вроде DBaaS — до того, как предложить их по всему миру.

В мае 2024 года Huawei запустила первый в Египте публичный облачный сервис в Каире, одновременно запустив LLM для арабского языка. В сентябре прошлого года Huawei запустила ЦОД в столице Саудовской Аравии Эр-Рияде для обеспечения страны и других государств Ближнего Востока, Северной Африки и Центральной Азии публичными облачными сервисами.

По данным Canalys, сегодня компания считается вторым по величине провайдером облачных сервисов в материковом Китае, отставая только от облачного подразделения Alibaba Group. Согласно отчётам Huawei, облачные вычисления стали одним из сильнейших векторов роста компании в 2023 году, выручка год к году выросла на 21,9 % до ¥55,29 млрд ($7,6 млрд).

Облачная ИИ-платформа Ascend строится на разработанных самой компанией процессорах и фреймфорках, это позволяет преодолевать американские санкции, ограничивающие доступ КНР к полупроводникам и технологиям американского происхождения. В материковом Китае чипы семейства Huawei Ascend теперь служат альтернативой ускорителям NVIDIA, поставки которых в Китай ограничены.

Это не единственные инициативы Huawei, связанные с облачными решениями. Недавно компания представила сетевой монитор, способный быстро найти даже отдельный неисправный чип в целом дата-центре, а на днях появилась информация о том, что Huawei готовит к выпуску ИИ-ускоритель Ascend 910C способный конкурировать с NVIDIA H100.

В Huawei Cloud разработали собственный сверхточный инструмент сетевого мониторинга RD-Probe для обслуживания для своих облачных регионов. По данным The Register, он способен выявить проблемы, которые человек заметить не способен.

В докладе Huawei и представители Пекинского университета ссылаются на данные Amazon: лишь внутри одного облачного региона AWS имеется 10⁸⁷ возможных путей передачи данных и 10¹⁷⁶ — между регионами. В ЦОД Huawei Cloud используются более 100 тыс. коммутаторов и миллион серверов. Мониторинг всей этой инфраструктуры является чрезвычайно сложной задачей.

Источник изображения: Shivendu Shukla/unsplash.com

RD-Probe отслеживает состояние всех L2-портов во всей сетевой фабрике. Исследователи отмечают, что традиционно осуществляется именно мониторинг L3, что не даёт полной картины состояния сети. При этом инструмент Huawei воспринимает коммутаторы как «чёрные ящики» и не полагается исключительно на их внутреннюю телеметрию, благодаря чему легко интегрируется с уже существующей архитектурой системы мониторинга.

Инструмент сначала проводит зондирование случайным образом, потом — детерминированным. Подобная двухэтапная схема обеспечивает максимальное покрытие сети при проверках и вместе с тем не нагружает её. Для генерации трафика выделен кластер из 16 узлов, каждый из которых имеет неназванный восьмиядерный процессор с частотой 2,80 ГГц и 64 Гбайт оперативной памяти. Полученные данные в потоковом режиме обрабатывают 48 узлов (16-ядерный CPU и 32 Гбайт RAM).

Источник изображения: Huawei

Через месяц после начала использования RD-Probe в Huawei Cloud было найдено множество незамеченных ранее проблем. Конечно, большинство касалось небольших сбоев и эпизодических потерь пакетов, зато выявили их до того, как могли серьёзно пострадать пользователи. Например, инструмент помог определить сбойный чип в коммутаторе ядра сети, из-за которого периодически отбрасывался входящий трафик, но при этом отчёты об ошибках не генерировались. Также была выявлена ошибка в балансировке нагрузки, сбойное SerDes-подключение и проблема с некоторыми BGP-маршрутами.

Исследователи Huawei выразили удовлетворение тем, что RD-Probe улучшило покрытие мониторингом сети с 80,9 % до 99,5 %. В скором времени решение планируется применить в других облачных регионах Huawei. При этом авторы доклада подчёркивают, что RD-Probe оценивает только внутренний трафик и не может фильтровать сбои на серверной стороне. Отмечается, что ручной мониторинг не даёт таких хороших результатов.

VK объявила неаудированные финансовые результаты II квартала и I полугодия 2024 года. Выручка компании за II квартал увеличилась год к году на 21 % до 36,4 млрд руб., а за I полугодие — на 23 % до 70,2 млрд руб.

Основным источником роста VK в I полугодии была онлайн-реклама, выручка от которой увеличилась на 20 % год к году до 42,0 млрд руб. А самым быстрорастущим по-прежнему является сегмент «Технологии для бизнеса» (VK Tech), выручка которого в I полугодии увеличилась на 49,4 % год к году до 4,5 млрд руб.

Источник изображений: VK

Как и в I квартале 2024 года, в I полугодии основными драйверами роста выручки VK Tech были облачные сервисы платформы VK Cloud с ростом на 62,2 % год к году и коммуникационные решения VK Workspace, продемонстрировавшие рост выручки в 2,2 раза.

Как сообщает компания, в отчётном квартале VK Cloud запустила решение для построения платформ разработки ПО — Dev Platform и облачный сервис Cloud Desktop для создания виртуальных рабочих мест — Cloud Desktop. Также в платформе VK Cloud в Казахстане стали доступны CDN и решение для аварийного восстановления ИТ-инфраструктуры и данных Disaster Recovery. Кроме того, линейку решений Tarantool пополнила распределенная система очередей сообщений Tarantool Queue Enterprise и был открыт доступ к коробочной версии платформы VK People Hub Talent.

За I полугодие выручка сегмента «Экосистемные сервисы и прочие направления», включающего сервис «Облако Mail.ru», составила 11,2 млрд руб., увеличившись год к году на 13,9 %.

Средняя месячная аудитория «Облака Mail.ru» в России за II квартал составила 22 млн пользователей, средняя дневная аудитория — 2,6 млн. За три месяца пользователи загрузили в «Облако Mail.ru» более 7,8 млрд файлов. Компания сообщила, что всем пользователям сервиса стали доступны все функции генеративной нейросети без ограничений. Также была реализована функциональность с распознаванием лиц для крупных фестивалей и мероприятий: в рамках VK Fest 2024 сразу после мероприятия пользователи сервиса получили более 234 тыс. фотографий в свои персональные облачные пространства.

МКПАО «Яндекс» объявило неаудированные финансовые результаты за II квартал 2024 года, закончившийся 30 июня. Как сообщается, за отчётный период выручка компании выросла более чем на треть (37 %) до 249,3 млрд руб. с 182,1 млрд руб. годом ранее. При этом скорректированный показатель EBITDA вырос на 56 % до 47,6 млрд руб., составив 19,1 % от выручки.

Во II квартале «Яндекс» сработала с убытками, составившими 31,7 млрд руб., тогда как годом ранее у неё была чистая прибыль в размере 22,5 млрд руб. Вместе с тем показатель скорректированной прибыли компании составил 22,7 млрд руб. (рост год к году — 45 %).

Источник изображений: «Яндекс»

Численность основного персонала компании выросла на 16 % до 26 701 чел., что связано с увеличением темпов найма в «Поисковом портале», «Облачных сервисах», а также в «Плюсе и развлекательных сервисах».

В сегменте «Прочих бизнес-юнитов и инициатив», который включает облачную платформу Yandex Cloud, выручка компании увеличилась на 57 % до 21,9 млрд руб. Вместе с тем убыток по скорректированному показателю EBITDA вырос на 117 % до 14,1 млрд руб., а рентабельность скорректированного показателя EBITDA равна –64,1 % (–17,7 п.п. год к году).

В 2024 году «Яндекс» планирует увеличить выручку на 38–40 % год к году. Скорректированный показатель EBITDA за год должен составить в пределах 170–175 млрд руб. Также сообщается, что совет директоров рассмотрит вопрос о выплате первых дивидендов в размере 80 руб. на обыкновенную акцию.

VK Cloud объявила о запуске решения, которое автоматизирует развёртывание необходимой инфраструктуры для размещения привычных сервисов «1С», что позволит крупным и средним компаниям с сотнями и тысячами активных пользователей ускорить миграцию системы в облако.

VK Cloud предоставляет отказоустойчивую гибкую инфраструктуру, которая поддерживает высокую производительность систем «1С», обеспечивая быструю и стабильную работу высоконагруженных приложений «1С» даже при пиковых нагрузках во время сдачи бухгалтерской отчётности или сезона высоких продаж, говорится в пресс-релизе. При этом можно оперативно корректировать объём используемых вычислительных ресурсов, что позволяет снижать издержки на содержание и обслуживание собственного серверного оборудования и ПО, повышая эффективность владения.

Источник изображения: cloud.vk.com

При необходимости компании могут подключить на платформе VK Cloud решение для аудита производительности сервисов «1С» и своевременного реагирования на отклонения в их работе — ПО «Алькир» компании Digilabs. Сообщается, что инфраструктура VK Cloud соответствует требованиям 152-ФЗ по высшему уровню защищённости (УЗ-1), стандартам ГОСТ Р 57580, ISO и PCI DSS.

Директор по продукту VK Cloud и лидер бизнес-сегмента SaaS VK Tech отметил, что новый сервис VK Cloud упростил миграцию высоконагруженных систем «1С» в облако, а также сделал работу с ними более комфортной: «Специализированный кластер “1С” разворачивается в автоматизированном режиме и обеспечивает стабильную работу приложений. Облачная модель позволяет автоматически и в режиме реального времени масштабировать инфраструктуру, обеспечивая надёжную защиту информации. Кроме того, облако позволяет перевести капитальные затраты на поддержание IT-инфраструктуры в операционные и гибко ими управлять».

NVIDIA приобрела стартап, помогающий ИИ-разработчикам найти среди предложений облачных провайдеров наиболее подходящий по соотношению цена/качество доступ к ускорителям. Как сообщает портал CRN, это уже четвёртая заметная покупка NVIDIA с начала года. Представитель NVIDIA подтвердил, что сделка по приобретению Brev.dev действительно состоялась, но сумму и условия сделки не сообщил.

Brev.dev предоставляет платформу для создания, обучения и внедрения ИИ-моделей в облаках. Целью Brev.dev, по словам самого стартапа, является поиск простейшего способа использования ускорителей для разработчиков систем ИИ и машинного обучения. Сотрудничество с NVIDIA обеспечит выполнение этой миссии, с комбинацией максимально возможно производительной аппаратной составляющей с самым передовым программным обеспечением.

На сайте Brev.dev официальными партнёрами стартапа названы NVIDIA, Intel и AWS. Там же говорится, что платформа служит единым интерфейсом для взаимодействия AWS, Google Cloud Platform, Fluidstack и прочими облаками с ИИ-ускорителями. Это позволяет разработчикам искать подходящие инстансы на основе их цены и доступности. Хотя NVIDIA поставляет GPU и ИИ-ускорители облачным провайдерам более десяти лет, в последние годы компания уделяет немало внимания расширению собственного бизнеса в сфере облачных инфраструктур.

Источник изображения: NVIDIA

В прошлом году компания запустила сервис DGX Cloud, который развёрнут в облачной инфраструктуре других провайдеров и на собственных мощностях и ИИ-суперкомпьютерах. Ранее в этом году NVIDIA купила ещё два стартапа для развития возможностей DGX Cloud. В конце апреля компания анонсировала покупку израильского стартапа Run:ai, занимающегося решениями для оркестрации ИИ-инфраструктур. Его планируется интегрировать в DGX Cloud, а также с DGX- и HGX-серверами. По имеющимся данным, покупка Run:ai обошлась в $700 млн.

Практически одновременно с Run:ai компания приобрела ещё один израильский стартап — Deci, предлагающий ПО, способное на любом железе ускорить инференс ИИ-моделей, сохраняя точность данных. Сделку, по слухам, оценили приблизительно в $300 млн. Наконец, месяц назад NVIDIA купила калифорнийский стартап Shoreline.io, основанный бывшим управленцем AWS — компания разрабатывает ПО для автоматического устранения проблем в инфраструктуре ЦОД. По некоторым данным, команда Shoreline присоединилась к DGX Cloud, а покупка обошлась в $100 млн.

В 2023 году треть российских компаний (33 %) увеличили ИТ-бюджет, большей частью инвестировав в найм IT-специалистов и обновление ПО и лицензий, указано в исследовании State of DevOps Russia, проведённом компанией «Экспресс 42» при участии Deckhouse, Yandex Cloud, Head Hunter, AvitoTech, Т-Банк, JUG Ru Group и OTUS.

В опросе приняли участие более 4 тыс. ИТ-специалистов из российских компаний, чья деятельность связана с разработкой, тестированием и эксплуатацией ПО. Почти половина участников опроса (44 %) сообщила, что их компании стали чаще применять технологии ИИ для оптимизации работы ПО и DevOps-процессов.

В частности, разработчики применяют алгоритмы машинного обучения для автоматизации тестирования кода, выявления аномалий в данных, управления конфигурациями систем и инцидентами. При этом 47 % участников опроса отметили, что использование ИИ-технологий позволило повысить эффективность работы.

Источник изображения: Yandex Cloud

Использование облачных платформ позволяет не только оптимизировать разработку с ПО, но и повысить соответствие требованиям регулятора в области информационной безопасности — так считает половина респондентов. Также 41 % опрошенных отметили повышение прозрачности работы с данными при использовании облачных платформ.

Alibaba Cloud раскрыла ряд сведений технического характера, касающихся сетевой инфраструктуры и устройства своих дата-центров, занятых обработкой ИИ-нагрузок, в частности, обслуживанием LLM. Один из ведущих инженеров компании, Эньнань Чжай (Ennan Zhai), опубликовал доклад «Alibaba HPN: A Data Center Network for Large Language Model Training», который будет представлен на конференции SIGCOMM в августе этого года.

В качестве основы для сетевой фабрики Alibaba Cloud выбрала Ethernet, а не, например, InfiniBand. Новая платформа используется при обучении масштабных LLM уже в течение восьми месяцев. Выбор обусловлен открытостью и универсальностью стека технологий Ethernet, что позволяет не привязываться к конкретному вендору. Кроме того, меньше шансы пострадать от очередных санкций США.

Отмечается, что традиционный облачный трафик состоит из множества относительно небыстрых потоков (к примеру, менее 10 Гбит/с), тогда как трафик при обучении LLM включает относительно немного потоков, имеющих периодический характер со всплесками скорости до очень высоких значений (400 Гбит/с). При такой картине требуются новые подходы к управлению трафиком, поскольку традиционные алгоритмы балансировки склонны к перегрузке отдельных участков сети.

Источник здесь и далее: Alibaba Cloud

Разработанная Alibaba Cloud альтернатива носит название High Performance Network (HPN). Она учитывает многие аспекты работы именно с LLM. Например, при обучении важна синхронизация работы многих ускорителей, что делает сетевую инфраструктуру уязвимой даже к единичным точкам отказа, особенно на уровне внутристоечных коммутаторов. Alibaba Cloud использует для решения этой проблемы парные коммутаторы, но не в стековой конфигурации, рекомендуемой производителями.

Характер трафика при обучении LLM

Каждый хост содержит восемь ИИ-ускорителей и девять сетевых адаптеров. Каждый из NIC имеет по паре портов 200GbE. Девятый адаптер нужен для служебной сети. Между собой внутри хоста ускорители общаются посредством NVLink на скорости 400–900 Гбайт/с, а для общения с внешним миром каждому из них полагается свой 400GbE-канал с поддержкой RDMA. При этом порты сетевых адаптеров подключены к разным коммутаторам из «стоечной пары», что серьёзно уменьшает вероятность отказа.

В докладе говорится, что Alibaba Cloud использует современные одночиповые коммутаторы с пропускной способностью 51,2 Тбит/с. Этим условиям отвечают либо устройства на базе Broadcom Tomahawk 5 (март 2023 года), либо Cisco Silicon One G200 (июнь того же года). Судя по использованию выражения «начало 2023 года», речь идёт именно об ASIC Broadcom.

Своё предпочтение именно одночиповых коммутаторов компания объясняет просто: хотя многочиповые решения с большей пропускной способностью существуют, в долгосрочной перспективе они менее надёжны и стабильны в работе. Статистика показывает, что аппаратные проблемы у подобных коммутаторов возникают в 3,77 раза чаще, нежели у одночиповых.

Одночиповые решения класса 51,2 Тбит/с выделяют много тепла, но ни один поставщик оборудования не смог предложить Alibaba Cloud готовые решения, способные удерживать температуру ASIC в пределах 105 °C. Выше этого порога срабатывает автоматическая защита. Поэтому для охлаждения коммутаторов Alibaba Cloud создала собственное решение на базе испарительных камер.

Сетевая фабрика позволяет создавать кластеры, каждый из которых содержит 15360 ускорителей и располагается в отдельном здании ЦОД. Такое высокоплотное размещение позволяет использовать оптические кабели длиной менее 100 м и более дешёвые многомодовые трансиверы, которые дешевле одномодовых примерно на 70 %. Ёмкость такого дата-центра составляет около 18 МВт.

Но есть у HPN и недостаток: использование топологии с двумя внутристоечными коммутаторами и другие особенности архитектуры усложняют кабельную подсистему, поэтому инженеры поначалу столкнулись с ростом ошибок при подключении сетевых интерфейсов. В настоящее время активно используются тесты, позволяющие проверить каждое подключение на соответствие идентификаторов портов и коммутаторов рабочим схемам.

Отмечается, что параметры Ethernet-коммутаторов удваиваются каждые два года, поэтому компания уже разрабатывает сетевую архитектуру следующего поколения, рассчитанную на применение будущих ASIC 102,4 Тбит/с. По словам Alibaba Cloud, обучение LLM с сотнями миллиардов параметров потребует огромного распределённого кластера, количество ускорителей в котором исчисляется миллионами. И ему требуется соответствующая сетевая инфраструктура.

Облачная платформа Alibaba Cloud, по сообщению ресурса Datacenter Dynamics, намерена закрыть ЦОД в Австралии и Индии. Речь идёт о площадках в Сиднее и Мумбаи, работа которых будет свёрнута до конца текущего года. Решение связано с изменением стратегии по развитию инфраструктуры дата-центров.

Alibaba Cloud запустила облачный регион в Сиднее в 2016 году: на сегодняшний день он имеет две зоны доступности. Регион в Мумбаи был открыт в 2018 году и также включает две зоны доступности. ЦОД в Индии прекратят работу уже 15 июля, а объекты в Австралии — 30 сентября 2024 года. Alibaba Cloud рекомендует всем клиентам этих дата-центров при первой возможности перенести свои рабочие нагрузки на площадки компании в Сингапуре или в других регионах.

После сворачивания деятельности в Австралии и Индии усилия компании будут направлены на развитие облачного бизнеса в Юго-Восточной Азии и Мексике. В частности, в мае Alibaba Cloud объявила о планах по формированию мексиканского региона, а также заявила, что в ближайшие три года создаст дополнительные ЦОД на некоторых рынках присутствия, включая Малайзию, Филиппины, Таиланд и Южную Корею.

Источник изображения: Alibaba

Индонезия, Малайзия и Таиланд в последнее время смогли привлечь миллиарды долларов инвестиций на развитие ЦОД как от американских, так и азиатских операторов и гиперскейлеров. Индийскому рынку дата-центров тоже предрекают стремительный рост, а вот Сингапур, похоже, вскоре может потерять статус не только регионального, но и международного лидера индустрии ЦОД.

Осенью прошлого года Alibaba объявила о намерении привлечь $3 млрд для развития облачного бизнеса. Компания рассчитывала провести масштабную реорганизацию, в ходе которой на базе облачных активов планировалось создать отдельную структуру. Однако впоследствии от этой инициативы пришлось отказаться в связи с американскими санкциями в отношении Китая. В целом, Alibaba Cloud управляет 89 зонами доступности в 30 регионах мира.

Облачная платформа VK Cloud сообщила об интеграции среды Dev Platform с инструментами безопасной разработки Positive Technologies и Swordfish Security.

Dev Platform предоставляет набор предустановленных, прединтегрированных и преднастроенных инструментов, с помощью которых можно создать единую среду разработки, сделать прозрачным и эффективным весь жизненный цикл продукта. Архитектуру решения можно гибко масштабировать, добавляя к базовым компонентам платформы внешние инструменты через систему плагинов. Бизнес может развернуть Dev Platform в своей IT-инфраструктуре, в том числе в рамках Private Cloud, или в публичном облаке VK Cloud.

Dev Platform совместима с инструментами для поиска уязвимостей в приложениях PT BlackBox и PT Application Inspector, а также с продуктом для защиты контейнерных сред PT Container Security, который выявляет и предотвращает атаки на системы компании, запущенные в контейнерах.

Архитектура Dev Platform (источник изображения: cloud.vk.com/dev-platform)

Кроме того, платформа интегрирована с решениями Swordfish Security — AppSec.Hub класса ASPM (Application Security Posture Management) и AppSec.Track класса OSA (Open Source Analysis) и SCA (Software Composition Analysis). AppSec.Hub — инструмент оркестрации сканеров уязвимостей, фильтрации ложных срабатываний на базе ИИ-технологий и отображения метрик качества построения процесса безопасной разработки. Инструмент AppSec.Track, позволяет не допустить попадания небезопасных внешних компонентов в контур разработки на самом начальном этапе и проверяет наличие ИБ-проблем в них на этапе сборки ПО.