Blackstone продолжает пополнять портфолио своих дата-центров. По данным Datacenter Dynamics, сейчас она управляет активами ЦОД на $70 млрд, но уже готова увеличить их ещё на $100 млрд. Примечательно, как заметно планы и показатели компании изменились с прошлого квартала. В III календарном квартале 2024 года компания располагала ЦОД «всего» на $55 млрд и только-только намеревалась построить объекты на $70 млрд.

Впрочем, основной причиной роста в последние месяцы стало приобретение Blackstone компании AirTrunk за AU$24 млрд ($16 млрд). Как заявил покупатель, сегодня Blackstone является крупнейшим провайдером ЦОД в мире, с объектами в США, Европе, Индии и Японии. AirTrunk, по оценкам Blackstone, была крупнейшим оператором ЦОД в Азиатско-Тихоокеанском регионе.

Источник изображения: Tuân Nguyễn Minh/unsplash.com

В компании заявили, что оценили потенциал новой сферы и всего за три года масштабировали соответствующий бизнес до «крупнейшего в мире». Впрочем, много ещё предстоит сделать. В частности, компания займётся решение проблем с энергоснабжением ЦОД, что со временем откроет дополнительные возможности для инвестиций. По словам представителя компании, ЦОД остались крупнейшим драйвером роста в III квартале в инфраструктурных проектах, связанных с недвижимостью, а также для компании в целом.

Тот факт, что у компании оказались масштабные запасы капитала, стало огромным конкурентным преимуществом — на покупку и развитие соответствующих бизнесов требуется немало средств. По данным компании, с момента покупки QTS за $10 млрд в 2021 году, ёмкость арендуемых мощностей её ЦОД выросла в восемь раз. При этом Blacskstone располагает не только ЦОД, но и сопутствующей инфраструктурой, доступом к энергии и прочим активам. В Blackstone утверждают, что компания является ведущим поставщиком финансирования для приблизительно 15 % всех проектов возобновляемой энергетики в США за последние 12 месяцев.

Помимо QTS и AirTrunk, Blackstone неоднократно инвестировала и в другие проекты, связанные с ЦОД, включая Vnet, Lumina CloudInfra, Copeland, Park Place Technologies и Winthrop Technologies, а также имеет совместные инвестиционные проекты с COPT, Digital Realty и другими компаниями. Так, Blackstone вложит £10 млрд в создание крупнейшего ЦОД в Европе ЦОД в Великобритании.

Компания NVIDIA анонсировала инициативу Enterprise Reference Architectures (Enterprise RA), в рамках которой партнёры и заказчики смогут использовать эталонные архитектуры для построения собственных ИИ-платформ корпоративного уровня, рассчитанных на ресурсоёмкие нагрузки.

NVIDIA отмечает, что на фоне перехода от вычислений общего назначения к ускоренным вычислениям предприятия сталкиваются с различными трудностями при проектировании и развёртывании инфраструктуры ЦОД. Это затрудняет разработку долгосрочных стратегий и снижает эффективность инвестиций. Инициатива Enterprise RA призвана решить проблемы.

Источник изображения: NVIDIA

Эталонные архитектуры Enterprise RA помогут организациям минимизировать ошибки при проектировании так называемых фабрик ИИ (дата-центров для задач ИИ), предоставляя комплексные рекомендации по аппаратному и программному обеспечению, а также подробные указания по оптимальным конфигурациям серверов, кластеров и сетей. В результате клиенты смогут снизить затраты и сократить время, необходимое для построения вычислительной ИИ-инфраструктуры нового поколения.

Среди преимуществ предлагаемого подхода названы масштабируемость и управляемость, высокий уровень безопасности (применяется принцип нулевого доверия), оптимальная производительность, снижение сложности систем и ускоренный выход на рынок. Эталонные архитектуры спроектированы таким образом, чтобы их можно было легко модернизировать в будущем. Говорится о совместимости с различными сторонними аппаратными и программными компонентами, но в перечень рекомендаций входят прежде всего решения самой NVIDIA, включая:

• Сертифицированные серверы с ИИ-ускорителями на основе GPU разработки NVIDIA;
• Оптимизированная сетевая платформа на базе NVIDIA Spectrum-X AI Ethernet и NVIDIA BlueField-3 DPU;
• Программные компоненты NVIDIA AI Enterprise, в том числе микросервисы NVIDIA NeMo и NVIDIA NIM для быстрого создания и развёртывания приложений ИИ.

Решения на базе NVIDIA Enterprise RA будут предлагаться партнёрами NVIDIA, включая Dell, НРЕ, Lenovo и Supermicro.

Компания OpenAI, по информации Reuters, разрабатывает собственные чипы для обработки ИИ-задач. Партнёром в рамках данного проекта выступает Broadcom, а организовать производство изделий планируется на мощностях TSMC ориентировочно в 2026 году.

Слухи о том, что OpenAI обсуждает с Broadcom возможность создания собственного ИИ-ускорителя, появились минувшим летом. Тогда говорилось, что эта инициатива является частью более масштабной программы OpenAI по увеличению вычислительных мощностей компании для разработки ИИ, преодолению дефицита ускорителей и снижению зависимости от NVIDIA.

Как теперь стало известно, OpenAI уже несколько месяцев работает с Broadcom над своим первым чипом ИИ, ориентированным на задачи инференса. Соответствующая команда разработчиков насчитывает около 20 человек, включая специалистов, которые ранее принимали участие в проектировании ускорителей TPU в Google, в том числе Томаса Норри (Thomas Norrie) и Ричарда Хо (Richard Ho). Подробности о проекте не раскрываются.

Reuters, ссылаясь на собственные источники, также сообщает, что OpenAI в дополнение к ИИ-ускорителям NVIDIA намерена взять на вооружение решения AMD, что позволит диверсифицировать поставки оборудования. Речь идёт о применении изделий Instinct MI300X, ресурсы которых будут использоваться через облачную платформу Microsoft Azure.

Источник изображения: Unsplash

Это позволит увеличить вычислительные мощности: компания OpenAI только в 2024 году намерена потратить на обучение ИИ-моделей и задачи инференса около $7 млрд. Вместе с тем, как отмечается, OpenAI пока отказалась от амбициозных планов по созданию собственного производства ИИ-чипов. Связано это с большими финансовыми и временными затратами, необходимыми для строительства предприятий.

Поставщик средств виртуализации «Базис» и российский разработчик программных продуктов для высоконагруженных систем Angie (ООО «Веб-сервер») объявили о заключении соглашения по созданию первого в РФ коробочного решения для организации программно-определяемых сетей (SDN). Ожидается, что новая платформа станет альтернативой VMware NSX.

Ядром команды, формируемой в рамках новой инициативы, являются специалисты Angie. Проект Angie, напомним, был анонсирован в октябре 2022 года. Его развитием занимается компания «Веб-Сервер», которую учредили в России разработчики Nginx. При этом решение Angie является форком Nginx (принадлежит F5 Networks). Говорится, что отечественное SDN-решение разрабатывается эксклюзивно для «Базиса», все права на него будут принадлежать компании.

В общей сложности в создании продукта примут участие около 100 архитекторов, инженеров и разработчиков, некоторые из которых ранее занимали ведущие инженерные позиции в F5 Networks. Бета-версия нового продукта появится к концу 2024 года, а выход полноценной коммерческой платформы намечен на 2025-й. Ожидается, что заказчиками SDN-решения станут крупные компании с обширной IT-инфраструктурой — финансовые организации, телекоммуникационные компании, маркетплейсы и пр.

Источник изображения: «Базис»

Направление SDN, как отмечается, активно развивается в России: совокупный среднегодовой темп роста составляет 14 %. Прогнозируется, что к 2027 году такие продукты займут треть рынка инфраструктурных сервисов в стране, а объём соответствующего сегмента достигнет примерно 30 млрд. руб. Вместе с тем разработка полноценной SDN-системы — сложный процесс, и для этого требуется команда профессиональных специалистов.

Первоочередной задачей в рамках нового проекта станет качественная и стабильная реализация ключевых возможностей SDN с приоритетом на внедрение современных инструментов информационной безопасности. Продукт предоставит заказчикам возможность централизованно управлять корпоративной сетью на программном уровне. Для использования системы не потребуется значительная модернизация имеющегося оборудования. Планируется создание единой точки входа для получения полной технической поддержки. Кроме того, предусмотрены инструменты бесшовного внедрения, в том числе миграции бизнес-процессов с VMWare NSX.

«Давно назрела необходимость полноценного отечественного SDN-решения на замену недоступным на российском рынке зарубежным продуктам, таким как VMWare NSX, Juniper Contrail, Cisco ACI, HPE SDE Controller и др. И дело не только в импортозамещении, направление программно-определяемых сетей само по себе является одним из наиболее перспективных в мире. Потому для достижения главной цели «Базиса» — получения статуса национального чемпиона — нам нужно уже сейчас вкладывать значительные ресурсы в разработку полноценного отечественного SDN. Для этого нужна команда профессионалов, обладающая экспертизой в предметной области, и здесь нам повезло объединить наши усилия со специалистами Angie, у которых есть опыт создания мировых лидирующих решений. У такой именитой команды было множество предложений поучаствовать в перспективных проектах, в том числе международных, однако они выбрали «Базис» и ту амбициозную задачу, которая перед нами стоит», — говорит генеральный директор «Базис» Давид Мартиросов.

«Разработка полноценного SDN-решения — сложный процесс, выполнение которого под силу лишь профессиональной команде инженеров, сетевых архитекторов и разработчиков. В Angie мы собрали именно такую команду, одну из сильнейших в мире. Качество нашей работы можно увидеть на примере открытого кода нашего веб-сервера, кроме того, нас высоко оценивают другие компании, с которыми мы работали. Сотрудничество с «Базис» обеспечит Angie необходимые ресурсы и обогатит экспертизой в сфере виртуализации, мы уже выстроили обмен опытом на уровне архитектуры решений», — прокомментировал генеральный директор Angie Заур Абасмирзоев.

Портал ServeTheHome рассказал подробности об архитектуре вычислительного кластера xAI Colossus, предназначенного для обучения крупных ИИ-моделей. Эта система использует 100 тыс. NVIDIA H100, а в дальнейшем количество ускорителей планируется увеличить вдвое. Это самый крупный из известных ИИ-кластеров на текущий момент. Оборудование для него поставили компании Dell и Supermicro.

Стартап xAI, курируемый Илоном Маском (Elon Musk), объявил о запуске суперкомпьютера Colossus в начале сентября нынешнего года. Утверждается, что на создание системы потребовалось всего 122 дня. Причём с момента установки первой стойки с серверами до начала обучения ИИ-моделей прошло только 19 суток. Впрочем, как отмечают эксперты, поскольку машина является «однозадачной», т.е. в отличие от традиционных суперкомпьютеров предназначенной только для работы с ИИ, ускорить строительство было не так уж сложно, хотя результат всё равно впечатляющий.

Как сообщается, в составе Colossus применены серверы на платформе NVIDIA HGX H100, оборудованные системой жидкостного охлаждения. Каждый узел Supermicro серии TNHR2-LCC типоразмера 4U содержит восемь ускорителей NVIDIA H100 и два CPU. Узел разделён на две половинки, одна с CPU и PCIe-коммутаторами и одна с HGX-платой, которые могут извлекаться независимо для простоты обслуживания. CPU, коммутаторы и ускорители охлаждаются посредством СЖО.

Источник изображения: Supermicro

Вентиляторы в шасси тоже есть. Воздух от них попадает на теплообменники на задней двери, которые уносят остаточное тепло. Холодных и горячих коридоров в ЦОД нет, воздух имеет одинаковую температуру во всём зале. В нижней части стоек располагается ещё один 4U-блок Supermicro для CDU с резервированием и поддержкой горячей заменой насосов. Каждый сервер имеет четыре блока питания с резервированием и возможностью горячей замены, которые подключены к трёхфазным PDU.

Одна стойка объединяет восемь узлов NVIDIA HGX H100, между которыми располагаются коллекторы СЖО в формате 1U. Таким образом, каждая стойка насчитывает 64 экземпляра H100. Стойки организованы в группы по восемь штук, которые образуют малые кластеры из 512 ускорителей H100. Они в свою очередь объединены в т.н. «острова» по 25 тыс. ускорителей, каждому из которых полагается собственный машинный зал. Общее количество стоек в составе Colossus превышает 1500.

Помимо узлов с ускорителями также есть CPU-узлы и узлы хранения All-Flash (1U). Как отмечает NVIDIA, в кластере Colossus задействована сетевая платформа Spectrum-X Ethernet. Применены коммутаторы Spectrum-X SN5600 и сетевые карты на базе чипа BlueField-3. Компания говорит об использовании трёхуровневой Ethernet-сети с 400GbE-подключением, но точная топология не указана. Судя по всему, выделенной сети для работы с хранилищем не предусмотрено. Каждом ускорителю полагается один 400GbE-адаптер SuperNIC, который и объединяет их в RDMA-сеть. Кроме того, у каждого GPU-узла есть ещё один 400GbE DPU, а также подключение к сервисной сети. Сетевые карты находятся в собственных лотках, благодаря чему их можно заменять без демонтажа шасси. По словам NVIDIA, уровень утилизации сети достигает 95 %.

В качестве энергетического буфера между электросетью и суперкомпьютером используются аккумуляторные банки Tesla Megapack ёмкостью 3,9 МВт·ч каждый. Они необходимы для того, чтобы компенсировать всплески потребляемой мощности, когда нагрузка на ускорители резко возрастает в силу выполняемых ИИ-задач. Впрочем, вероятно, есть и ещё одна причина для такого решения — на первом этапе Colossus был лишён подключения к основной энергосети и в вопросе питания во многом полагался на генераторы.

Повышение ключевой ставки Центробанком РФ может привести к неблагоприятным последствиям для рынка дата-центров в России. «Коммерсантъ» сообщает, что рост ставки до 21 % грозит замедлением строительства ЦОД, в том числе из-за удорожания строительного оборудования, а уже через полтора года вероятен дефицит вычислительных мощностей. Возможным выходом для операторов является IPO — некоторые уже начали готовиться к размещению акций на бирже.

Как считают в компании ART Engineering, выпускающей решения для телеком-инфраструктуры, увеличение ключевой ставки Банком России стало причиной роста затрат на обслуживание займов для строительства дата-центров и обновление оборудования в ЦОД старше пяти лет.

В iKS-Consulting поддерживают подобную точку зрения, подчёркивая, что ЦОД на 70–80 % строятся на заёмные средства и лишь на 20–30 % — на собственные деньги операторов. При этом капитальные затраты на 1 МВт IT-ёмкости составляют 1,2 млрд руб., поэтому долговая нагрузка при строительстве будет расти, из-за чего будет падать привлекательность инвестиций в этот сектор. Не исключён дефицит мощностей, сопоставимый с кризисом 2022 года.

Источник изображения: Annie Spratt/unsplash.com

В ноябре 2023 года, когда ставка поднялась с 13 % до 15 %, многие проекты строительства ЦОД отменили. По словам Президента Ассоциации участников отрасли ЦОД, срок окупаемости проектов велик, поэтому повышением стоимости услуг финансовые проблемы не решить. При этом отдельных льгот для строителей ЦОД не предусмотрено, хотя находящийся на согласовании нацпроект «Экономика данных» пока включает получение строителями субсидий для компенсации высокой ставки по кредитам.

Важное значение имеет ключевая ставка для дистрибьюторов и локальных производителей вычислительной техники, поскольку они используют кредитные средства. По словам представителей отрасли, исчезает целесообразность получения средств от банков, из-за чего увеличиваются сроки оплаты и поставки компонентов конечной продукции.

По словам главы АНО «Координационный центр по ЦОД и облачным технологиям», дефицит коммерческих ЦОД может начаться приблизительно через полтора года. По мнению некоторых экспертов, средства компании могут привлечь в результате выхода на IPO и продажи акций. Например, в мае «Ростелеком» сообщал о намерении вывести на фондовый рынок дочернюю структуру «РТК-ЦОД». Однако конъюнктура для размещения акций пока неблагоприятная, а в 2025 году при отсутствии драйверов роста не исключена череда слияний и поглощений, отмечают собеседники «Коммерсанта».

Группа компаний «Солар» сообщила о завершении сделки по покупке 10 % доли разработчика решений контейнерной безопасности Luntry (ООО «Клаудран»). Сумма сделки не раскрывается. Как предположил один из опрошенных «Ведомостями» экспертов, стоимость Luntry исходя из публичной отчётности может составлять до 500 млн руб., а сумма сделки — порядка 50 млн руб.

В ГК «Солар» отметили, что это была первая сделка в рамках недавно созданного фонда Solar Ventures, который нацелен на стимулирование роста отрасли ИБ. Согласно пресс-релизу, сделка позволит «Солару» «усилить компетенции по защите микросервисных архитектур и контейнеризации и сформировать дополнительный пакет сервисов и услуг для защиты таких инфраструктур».

Luntry предлагает решение для комплексной защиты на всём жизненном цикле контейнерных приложений и средств оркестрации на базе Kubernetes. В числе клиентов компании, работающей на российском рынке с 2021 года, крупнейшие банки, страховые и ИТ-компании, ретейлеры федерального значения. Luntry обладает командой квалифицированных специалистов с более чем десятилетним опытом и широкой партнёрская сетью.

Решение Luntry cлужит источником данных для SOC о Kubernetes и работающих контейнерах, помогает в расследовании инцидентов, обнаружении первопричин инцидентов и сбоев, обеспечивает высокий уровень защищённости в рамках быстрого цикла разработки, эффективное взаимодействие между командами для принятия решений и осведомленность о всех запретах и ограничениях ИБ.

Источник изображения: Scott Graham / Unsplash

В Luntry отметили, что сделка с ГК «Солар» не изменит общей стратегии развития, но при этом позволит совместными усилиями обеспечивать защиту критичных государственных информационных систем, использующих контейнеризацию. В свою очередь, в ГК «Солар» сообщили, что данная сделка выполнена в рамках реализации инвестиционной стратегии, рассчитанной на период до конца 2025 года. Ранее ГК «Солар» приобрела доли в компаниях Digital Security, «Secure-T», «Элвис-Плюс» и «НТБ» и создала СП Солар-ТЗИ.

По оценке ГК «Солар», российский рынок безопасности контейнеров составил в 2023 году 1,1 млрд руб., в том числе за счёт функциональности, реализованной на платформах управления контейнерами. К 2027 году его объём может достичь 2,0–2,5 млрд руб. и Luntry может занять до 20 % рынка.

Министр промышленности Италии Адольфо Урсо (Adolfo Urso) объявил о желании неназванной компании реализовать в стране проект строительства ЦОД общей стоимостью €30 млрд ($33 млрд). По информации Reuters, проект предложен неназванной иностранной корпорацией.

По словам министра, представитель компании заявил, что выбор пал на Итали потому, что её можно назвать идеальным местом для дата-центров. Страна — участница «большой семёрки», находится в средиземноморском бассейне, на перекрёстке мировых информационных маршрутов.

Дополнительные подробности не раскрываются. Как предполагают эксперты, подобная инвестиция способна обеспечить строительство гигаваттных кампусов ЦОД — при этом Италия всегда считалась рынком вторичным рынком дата-центров. Для сравнения, в £10 млрд ($13,3 млрд) обойдётся 1,1-ГВт проект QTS (Blackstone) в Великобритании, отмечает DataCenter Dynamics.

Источник изображения: Jack Ward/unsplash.com

Немногие операторы ЦОД вообще имеют доступ к таким финансовым ресурсам. При этом каждый из облачных гиперскейлеров, включая Microsoft, Google, Oracle и AWS (Amazon) уже имеют дата-центры в стране. Так, облачный регион Microsoft расположен в Милане. Компания анонсировала регион Italian Azure в мае 2020 года, а запустила его в 2023 году. Недавно компания анонсировала намерение инвестировать в расширение местной облачной инфраструктуры ещё €4,3 млрд ($4,75 млрд).

Это был последний из американских гиперскейлеров, запустивший своё облако в Италии. AWS запустила регион в Милане в 2020 году и намерена инвестировать ещё. Oracle свой первый облачный регион тоже запустила в Милане в конце 2021 года. Ранее в этом году компания анонсировала планы создания второго региона в Турине при сотрудничестве с телеком-оператором Telecom Italia (TIM). Первый облачный регион Google открылся всё в том же Милане в 2022 году, с тех пор второй регион Google Cloud Platform (GCP) запустили в Турине.

Fujitsu объявила о доступности ПО (middleware), предназначенного для оптимизации использования ускорителей ИИ. Как указано в пресс-релизе, это решение позволяет повысить эффективность работы ускорителей, что особенно актуально в условиях дефицита вычислительных ресурсов такого типа.

ПО различает код, для запуска которого требуется GPU, и тот, что может работать и с использованием одного только CPU, оптимизируя распределение ресурсов и управление памятью на различных платформах и в приложениях ИИ. Кроме того, ПО управляет приоритетностью запуска вычислений, отдавая предпочтение более эффективным процессам. Интересно, что распределение не использует традиционный подход, когда выбор ресурсов основывается на задаче целиком.

Источник изображения: Fujitsu

Компания анонсировала решение (Adaptive GPU Allocator) в ноябре 2023 года. Тогда говорилось о необходимости использования фирменного фреймворка на базе TensorFlow и PyTorch. В нынешнем анонсе про это явно не говорится, но сообщается, что продукт объединяет технологию адаптивного распределения ресурсов каждого отдельного ускорителя с некой оптимизацией на базе ИИ. Более того, новинка позволяет эффективно обрабатывать даже те задачи, которые целиком в памяти ускорителя не помещаются. В ходе тестирования даже удалось наладить обработку 150 Гбайт ИИ-данных на GPU с приблизительно 30 Гбайт свободной RAM.

Fujitsu заявила, что решение позволило увеличить в 2,25 раза эффективность ИИ-вычислений в ходе тестирования на реальных задачах компаний AWL, Xtreme-D и Morgenrot. А два крупных заказчика, Tradom и Sakura Internet, уже начали внедрять новый инструмент. «Решая проблемы нехватки ускорителей и энергии, вызванные растущим мировым спросом на ИИ, Fujitsu стремится внести свой вклад в повышение производительности бизнеса и креативности для своих клиентов», — заявила компания.

Впрочем, пока решение способно ускорить только работу ускорителей в составе одного сервера, но компания работает над тем, чтобы она могла обслуживать множества GPU, установленных в нескольких серверах. Иными словам она не пока что позволит ускорить целый ИИ-кластер ускориться, но это всё равно удобный способ «выжать больше» из GPU-сервера, отметил ресурс The Register.

Компания IDC обнародовала свежий прогноз по европейскому рынку ИИ, включая генеративные сервисы. Аналитики говорят, что данная отрасль стремительно расширяется: по итогам 2024 года суммарные затраты ожидаются на уровне $47–$48 млрд.

По состоянию на середину 2024-го около 40 % европейских компаний вкладывают значительные средства в генеративный ИИ, планируя в течение следующих 18 месяцев инвестировать в обучение, ПО с улучшенными возможностями и консалтинговые услуги. Кроме того, 30 % компаний в Европе уже развернули приложения и услуги с функциями генеративного ИИ в своих операционных средах.

В 2024 году в общем объёме затрат на ИИ в Европе примерно 15,7 % пришлось на банковский сектор. Ещё 9,5 % обеспечил ретейл, 8,3 % — софт и информационные сервисы. На телекоммуникационный сегмент пришлось 5,5 % расходов, на сферу профессиональных и персональных услуг — 5,1 %.

Источник изображений: IDC

Если рассматривать отрасль по типу задач, которые выполняются с применением ИИ, то на расширенный анализ и расследование мошенничества в 2024 году пришлось 8,7 % всех расходов. Инструменты разведки и предотвращения угроз обеспечили 8,5 % выручки. Доля расходов на подготовку инфраструктуры ИИ равна 6,6 %. Платформы обслуживания клиентов и самообслуживания на базе ИИ принесли 5,9 %.

Аналитики IDC прогнозируют, что в перспективе показатель CAGR (среднегодовой темп роста в сложных процентах) на европейском рынке ИИ составит 30,3 %: в результате, к 2028-му объём отрасли достигнет $133 млрд. При этом в сегменте генеративного ИИ величина CAGR окажется ещё выше — приблизительно 55 %.

«Внедрение генеративного ИИ быстро переходит от раннего тестирования и экспериментов к более интегрированным бизнес-решениям. Ожидается, что среднегодовой темп роста в данном сегменте будет значительно выше, чем у более традиционных технологий ИИ», — говорит Карла Ла Кроче (Carla La Croce), менеджер по исследованиям IDC.