Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Как заявило Международное энергетическое агентство (IEA) в ежегодном отчёте «Перспективы мировой энергетики» (World Energy Outlook), глобальный спрос на электроэнергию стремительно растёт. По данным агентства, в следующие 10 лет ежегодный прирост будет сравним с энергопотреблением целой Японии. Это повлияет на показатели сокращения выбросов, а спрос в 2035 году будет на 6 % выше, чем прогнозировалось ранее.

Что касается ЦОД, потребление будет стремительно расти из-за роста рынка ИИ и цифровизации в целом, однако на этот сектор по-прежнему будет приходиться лишь небольшая часть от общемировых энергетических затрат. Впрочем, пока прогнозы носят очень приблизительный характер, с учётом непредсказуемости проблем в цепочках поставок, увеличения энергоэффективности, политических факторов и т.п.

Долгое время рост энергопотребления сдерживался переносом нагрузок со старых корпоративных площадок в гораздо более эффективные облака. Однако этот козырь уже использован, а рост ИИ-нагрузок приведёт к взлёту энергопотребления на невиданный ранее уровень. Так, по оценкам IEA, энергопотребление дата-центров в 2022 году составило 230–340 ТВт∙ч, т.е. около 1 %–1,3 % от общемирового без учёта расходов на сети передачи данных и майнинг.

Источник изображений: IEA

Впрочем, в любом случае на долю ЦОД не будет приходиться основная доля потребления. Например, базовый сценарий предполагает, что на ЦОД будет приходиться менее 10 %% от общего роста спроса. Примерно такой же рост покажет индустрия опреснения воды, а у электромобилей запросы будут минимум втрое выше. Агентство упомянуло об агрессивных инвестициях операторов ЦОД в возобновляемые источники энергии. Другими словами, устойчивое развитие сектора вполне осуществимо.

Однако ограниченные возможности генерации и лимиты энергосетей могут оказать более серьёзное влияние «на местах», поскольку подходящих площадок для ЦОД всё меньше. Как правило, дата-центры концентрируются в одном регионе. В результате в Вирджинии (США) или Ирландии энергии недостаточно, а в Сингапуре и Амстердаме даже введены временные моратории. Дальше будет сложнее, поскольку ЦОД ёмкостью от 1 ГВт скоро станут вполне распространённым явлением.

В случае с США, по оценкам IEA, ситуация с размещением ЦОД хуже, чем с заводами, электростанциями и складами. Чтобы корректно оценить перспективы роста спроса на ЦОД, политикам, бизнесу и другим структурам следует теснее сотрудничать. В частности, в IEA отмечают участившиеся случаи аномальной жары, которые негативно влияют на энергопотребление систем охлаждения и энергоэффективность объектов в целом. Всего, по оценкам IEA, в мире насчитывается около 11 тыс. дата-центров.

По данным пресс-службы Amazon (AWS), компания готовится к инвестициям в атомную энергетику. Она анонсировала три новых энергетических проекта, предполагающих постройку нескольких малых модульных реакторов (SMR). Компания уже заявила о переходе на 100 % возобновляемую электроэнергию — на семь лет раньше, чем планировалось. Атомные проекты — часть плана по переходу на полностью безуглеродную энергетику.

AWS объявила о подписании как минимум трёх соглашений для поддержки развития атомных проектов, включая помощь в строительстве новых SMR. Гиперскейлер утверждает, что такие решения помогут удовлетворить спрос клиентов и добиться нулевого выброса CO₂ в ходе всех операций к 2040 году. Кроме того, инвестиции помогут и в разработке новых атомных технологий, которые обеспечат генерацию энергии в ближайшие десятилетия.

AWS делает ставку на решения компании X-energy. IT-гигант является одним из ключевых инвесторов раунда финансирования серии C, в ходе которого планируется привлечь $500 млн. Благодаря поддержке AWS консорциумом Energy Northwest (шт. Вашингтон) получит четыре малых модульных реактора X-energy Xe-100 мощностью 80 МВт каждый, которые используют топливо TRISO-X, разработанное совместно с Министерством энергетики США (DoE). В дальнейшем мощность планируется довести до 960 МВт, но не факт, что вся она достанется AWS. Всего к 2039 году X-energy рассчитывает построить 5 ГВт мощностей.

Источник изображения: Amazon

В Вирджинии AWS подписала соглашение с Dominion Energy. Вместе компании изучат возможность строительства SMR рядом с принадлежащей Dominion атомной станцией North Anna, которые добавят не менее 300 МВт мощностей. Ранее AWS купила за $650 млн кампус Cumulus Data, запитанный напрямую от действующей АЭС Susquehanna. В рамках сделки будет обеспечен доступ к 480–960 МВт для питания 15 дата-центров. Инвестиции в атомные проекты, помимо сохранения прежних реакторов и создания новых, будут способствовать экономическому развитию местных сообществ, говорит AWS.

Источник изображения: Amazon

AWS не единственный гиперскейлер, желающий использовать атомную энергию. Microsoft наняла специалиста для контроля разработки SMR для своих ЦОД, до этого было подписано PPA с поддерживаемым Сэмом Альтманом (Sam Altman) энергетическим стартапом Helion. Дополнительно компания заключила PPA на 20 лет с Constellation Energy, которое позволит «оживить» реактор АЭС Three Mile Island, заглушенный в 2019 году из-за нехватки финансирования.

В сентябре Oracle анонсировала получение разрешений на строительство трёх SMR для питания ЦОД ёмкостью более 1 ГВт. Собственные амбиции в этой сфере имеются и у Google, которая объявила о намерении покупать энергию от SMR Kairos Power. Впрочем, рабочих реакторов у Kairos пока нет, а коммерческие модели, вероятно, не появятся до 2035 года.

ИИ-компания Nebius, сформированная из бывшей Yandex N.V., представила облачную платформу с современными ускорителями NVIDIA. Как уточняет Datacenter Dynamics, речь идёт о моделях NVIDIA H100 и H200, а также L40S. В скором будущем компания рассчитывает добавить и новейшие суперускорители GB200 NVL72.

Источник изображения: Nebius

Облачное хранилище обеспечивает агрегированную скорость чтения до 100 Гбайт/с и 1 млн IOPS. Платформа также предлагает управляемые Apache Spark и MLFlow, а ВМ по умолчанию включают ИИ-библиотеки и драйверы. По словам компании, она прислушалась к запросам клиентов, нуждавшихся в самостоятельном доступе и инфраструктуре, отлично от просто «базовой». Речь идёт о крупномасштабных кластерах с InfiniBand-подключением на базе эталонной архитектуры NVIDIA, но с кастомизированным оборудованием и проприетарной программной облачной платформой.

После введения антироссийских санкций Nebius дистанцировалась от «Яндекса», основная часть активов которого была продана группе российских инвесторов. У Nebius остался дата-центр в Финляндии, ёмкость которого она намерена утроить в обозримом будущем. Там разместятся более 60 тыс. ускорителей. В августе сообщалось, что компания увеличила облачную выручку на 60 % год к году во II квартале.

Компания Dell Technologies анонсировала интегрированные стоечные масштабируемые системы для экосистемы AI Factory, рассчитанные на задачи НРС и ресурсоёмкие приложения ИИ. В частности, дебютировали решения Integrated Rack 7000 (IR7000), PowerEdge M7725 и PowerEdge XE9712.

Источник изображений: Dell

IR7000 — это высокоплотная 21″ стойка Open Rack Version 3 (Orv3) с поддержкой жидкостного охлаждения. Говорится о совместимости с мощными CPU и GPU с высоким значением TDP. Модификации 44OU и 50OU оснащены салазками, которые шире и выше традиционных: это гарантирует совместимость с несколькими поколениями архитектур процессоров и ИИ-ускорителей. Полки питания в настоящее время поддерживают мощность от 33 кВт до 264 кВт на стойку с последующим увеличением до 480 кВт.

Система Dell PowerEdge M7725 специально спроектирована для вычислений высокой плотности. В основу положены процессоры AMD серии EPYC 9005 (Turin), насчитывающие до 192 вычислительных ядер. Одна стойка IR7000 может вместить 72 серверных узла M7725, каждый из которых оборудован двумя CPU. Таким образом, общее количество вычислительных ядер превышает 27 тыс. на стойку. Возможно развёртывание прямого жидкостного охлаждения (DLC) и воздушного охлаждения. Доступны два IO-слота (PCIe 5.0 x16) в расчёте на узел с поддержкой Ethernet и InfiniBand.

В свою очередь, система Dell PowerEdge XE9712 разработана для обучения больших языковых моделей (LLM) и инференса в реальном времени. Эта новинка использует архитектуру суперускорителя NVIDIA GB200 NVL72. В общей сложности задействованы 72 чипа B200 и 36 процессоров Grace. Утверждается, что такая конфигурация обеспечивает скорость инференса до 30 раз выше по сравнению с системами предыдущего поколения.

Компания Lenovo анонсировала сервер ThinkSystem SC777 V4 Neptune, спроектированный специально для НРС-нагрузок и задач ИИ. Новинка 100 % прямым жидкостным охлаждением, что, как утверждается, обеспечивает максимальную производительность и энергоэффективность без ущерба для удобства обслуживания.

По сравнению с аналогичной системой с воздушным охлаждением сервер ThinkSystem SC777 V4 Neptune обеспечивает увеличение общей производительности до 10 % благодаря постоянной работе в турбо-режиме; сокращение энергопотребления дата-центра до 40 %; снижение уровня шума от вентиляторов до 100 %.

Базовая система ThinkSystem SC777 V4 Neptune, заключённая в 21″ корпус с возможностью вертикального монтажа, несёт на борту два ускорителя NVIDIA GB200, что в сумме даёт четыре чипа B200 и два процессора Grace. Возможна установка до шести адаптеров NVIDIA NDR или трёх адаптеров XDR LP InfiniBand.

Источник изображений: Lenovo

Архитектура сервера допускает использование до десяти накопителей E3.S NVMe в расчёте на лоток. Говорится о поддержке массивов RAID на уровне ОС. В оснащение входят два сетевых порта 25GbE SFP28 LOM. На фронтальную панель выведены интерфейс USB Type-C / DisplayPort, диагностический порт, два разъёма USB 3.0, интерфейс D-Sub, гнездо RJ-45 и пр.

Восемь лотков ThinkSystem SC777 V4 Neptune могут быть размещены в шасси ThinkSystem N1380 Neptune типоразмера 13U, а три таких блока могут быть установлены в 19″ серверную стойку. Названное шасси допускает использование до четырёх узлов ThinkSystem Titanium Power Conversion Stations (PCS) мощностью 15 кВт каждый.

Испытывающая немалые проблемы с бизнесом компания Atos привлекла к руководству нового генерального директора. Datacenter Dynamics напоминает, что речь идёт о назначении уже седьмого главы бизнеса за последние три года. На пост Жана-Пьера Мюстье (Jean-Pierre Mustier) придёт новый CEO Филипп Салль (Philippe Salle), который приступит к работе 1 февраля 2025 года. А прямо сейчас он займёт пост президента компании. Мюстье стал CEO Atos в июле 2024 года, но к компании он присоединился ещё в прошлом октябре.

У Салля богатый опыт работы в сфере IT-консалтинга, в своё время бизнесмен был главой Altran Group (позже ставшей Capgemini). Его предшественник Мюстье стал генеральным директором Atos после Пола Салеха (Paul Saleh), работавшего в должности с января 2024 года. Тот, в свою очередь, сменил Ива Бернера (Yves Bernaert), проработавшего CEO чуть более года. Наконец, до него директорами были Нурдин Бихман (Nourdine Bihmane), Филипп Олива (Philippe Oliva) и Диана Гальб (Diane Galbe).

Источник изображения: Brooke Cagle/unsplash.com

Последняя вступила в должность, когда от руководства отстранили Родольфа Бельмера (Rodolphe Belmer), не сумевшего продержаться в должности и года. Примечательно, что в первые 20 лет деятельности у Atos было всего четыре генеральных директора. Мюстье сообщил, что решение о выборе нового CEO принято с учётом его «обширного послужного списка». Правда, не последнюю роль, вероятно, сыграл и тот факт, что Салль сам намерен инвестировать в Atos €9 млн ($9,8 млн).

Предлагающая локальную и облачную инфраструктуру, услуги консалитинга и IT-сервисы компания Atos годами стремилась справиться с долгами, но в итоге её акции значительно упали в цене на фоне массы иных финансовых проблем. Сейчас в Atos работают над планом реструктуризации, который, как ожидается, позволит контролировать задолженность бизнеса и решит вопрос с многолетней финансовой неопределённостью.

Компания предложила и утвердила с кредиторами ряд мер по выходу из кризиса — облигации и долг в объёме €3,1 млрд ($2,9 млрд) будут конвертированы в капитал. Также компании дадут в долг ещё €1,68 млрд ($1,81 млрд) и вольют €233 млн ($250,7 млн) новых инвестиций в капитал. Ранее французские власти намеревались выкупить часть бизнеса за €1 млрд ($1,09 млрд), чтобы сохранить критически важные для страны технологии, но теперь сделка, похоже, не состоится. В сентябре Atos опубликовала отчёт, в котором сообщалось о сокращении прогнозируемой выручки в ближайшие три года из-за не лучших результатов работы в I половине 2024 года.

Российский разработчик Deckhouse сообщил о получении сертификата Федеральной службы по техническому и экспортному контролю на платформу контейнеризации Deckhouse Kubernetes Platform (DKP).

Deckhouse Kubernetes Platform позволяет создавать идентичные кластеры и управлять ими в любой ИТ-инфраструктуре. Платформу можно разворачивать в публичных и приватных облаках, поверх любой виртуализации, на bare-metal-серверах, а также в гибридной модели. Платформа зарегистрирована в реестре отечественного ПО, в полной мере отвечает задачам импортозамещения и может использоваться организациями при реализации программ по переходу на отечественные продукты с решений зарубежных разработчиков.

Выданный ФСТЭК России документ подтверждает, что новая редакция платформы DKP — Certified Security Edition — является средством контейнеризации 4-го класса защиты и соответствует требованиям по безопасности информации, предъявляемым к 4-му уровню доверия. Это первый на российском рынке оркестратор контейнеров, прошедший сертификационные испытания регулятора.

DKP Certified Security Edition может применяться в организациях, в которых обязательно использование сертифицированных ФСТЭК России продуктов. В частности, это госкомпании, госкорпорации, банки, федеральные и региональные органы исполнительной власти, а также предприятия, работающие с критической информационной инфраструктурой. Сертифицированная редакция платформы включает все необходимые для полноценной оркестрации контейнеров инструменты. Среди них — управление сетью, автомасштабирование, балансировка входящего трафика, политики безопасности и операционные политики, сквозная авторизация и аутентификация, сбор и хранение журналов, мониторинг и алертинг.

Basis Digital Energy занял первое место в рейтинге CNews «Конвейеры разработки-2024». Решение набрало 275 баллов по 6 критериям, отражающим эффективность и безопасность отечественных систем управления DevOps-конвейерами. Это первое исследование данного класса решений в России.

При составлении рейтинга аналитики ориентировались на следующие параметры: кодовую базу решения, поддержку российских ОС, предлагаемую функциональность, варианты гибкой настройки узлов, возможность выбора различных инструментов контейнеризации и другие характеристики.

Источник изображения: «Базис» / CNews

Basis Digital Energy — DevOps-конвейер на базе динамической инфраструктуры. Решение охватывает полный цикл разработки, тестирования и сопровождения информационных систем как в классической монолитной, так и в микросервисной архитектуре: от этапа прототипирования до конечного внедрения. Пользователи продукта получают возможность выпускать код безопасными, небольшими и последовательными шагами в рамках быстрых и полных релизных циклов. Входит в реестр российского ПО.

Решение обеспечивает автоматическое развертывание сред для DevOps и DevSecOps, поддерживает лучшие практики и инструменты CI/CD, автоматически учитывает и перераспределяет ресурсы, а также управляется через полнофункциональный и интуитивно понятный REST API.

В новом релизе DevOps-конвейера версии 1.3.0, выпущенном в августе 2024 года, добавлено более 30 новых функций, которые расширяют возможности продукта. Среди них – обеспечение работы в закрытом контуре организации, проверка кластера на соответствие стандартам CIS Benchmark и расширенная совместимость с Basis Dynamix, платформой для управления виртуальными средами.

Компания Blackstone готова построить в муниципалитете Калаторао в Арагоне (Испания) кампус ЦОД ёмкостью 300 МВт. По данным Datacenter Dynamics, объектом будет управлять подконтрольный Blackstone оператор дата-центров QTS. Как заявляют представители властей Арагона, регион находится на пути к тому, чтобы стать Северной Вирджинией Южной Европы — именно в этом штате США сконцентрированы мощности ЦОД не только страны, но даже мира.

Blackstone намерена инвестировать €7,5 млрд ($8,2 млрд) в строительство в рамках инициативы Project Rodes — проект будет реализован на участке площадью 224 га. Сначала застроят около половины участка, позже на освоение второй половины потратят ещё €7,5 млрд.

Blackstone приобрела QTS в 2021 году за $10 млрд, в июле 2023 года компания взяла на себя обязательство потратить дополнительные $8 млрд на ЦОД в связи с бумом ИИ, поскольку события такого масштаба случаются «раз в поколение». При этом компания действует и на других европейских рынках. Так, Blackstone вложит £10 млрд в создание крупнейшего ЦОД в Европе ЦОД в Великобритании.

Источник изображения: Des Mc Carthy/unsplash.com

QTS активно ведёт бизнес в США, но также управляет европейским кампусом в Гронингене (Нидерланды). Ранее Blackstone и QTS также объявили о намерении построить кампус на 1,1 ГВт в Нортумберленде (Великобритания). Первые данные о том, что Blackstone и подконтрольная ей QTS оценивают целесообразность расширение парка дата-центров в Испании, появились ещё в 2022 году. В Арагоне активно строятся новые кампусы ЦОД. В частности, Microsoft вложит в дата-центры в регионе около €8,6 млрд, AWS — €15,7 млрд, а Oracle — €0,9 млрд.