Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Как заявило Международное энергетическое агентство (IEA) в ежегодном отчёте «Перспективы мировой энергетики» (World Energy Outlook), глобальный спрос на электроэнергию стремительно растёт. По данным агентства, в следующие 10 лет ежегодный прирост будет сравним с энергопотреблением целой Японии. Это повлияет на показатели сокращения выбросов, а спрос в 2035 году будет на 6 % выше, чем прогнозировалось ранее.

Что касается ЦОД, потребление будет стремительно расти из-за роста рынка ИИ и цифровизации в целом, однако на этот сектор по-прежнему будет приходиться лишь небольшая часть от общемировых энергетических затрат. Впрочем, пока прогнозы носят очень приблизительный характер, с учётом непредсказуемости проблем в цепочках поставок, увеличения энергоэффективности, политических факторов и т.п.

Долгое время рост энергопотребления сдерживался переносом нагрузок со старых корпоративных площадок в гораздо более эффективные облака. Однако этот козырь уже использован, а рост ИИ-нагрузок приведёт к взлёту энергопотребления на невиданный ранее уровень. Так, по оценкам IEA, энергопотребление дата-центров в 2022 году составило 230–340 ТВт∙ч, т.е. около 1 %–1,3 % от общемирового без учёта расходов на сети передачи данных и майнинг.

Источник изображений: IEA

Впрочем, в любом случае на долю ЦОД не будет приходиться основная доля потребления. Например, базовый сценарий предполагает, что на ЦОД будет приходиться менее 10 %% от общего роста спроса. Примерно такой же рост покажет индустрия опреснения воды, а у электромобилей запросы будут минимум втрое выше. Агентство упомянуло об агрессивных инвестициях операторов ЦОД в возобновляемые источники энергии. Другими словами, устойчивое развитие сектора вполне осуществимо.

Однако ограниченные возможности генерации и лимиты энергосетей могут оказать более серьёзное влияние «на местах», поскольку подходящих площадок для ЦОД всё меньше. Как правило, дата-центры концентрируются в одном регионе. В результате в Вирджинии (США) или Ирландии энергии недостаточно, а в Сингапуре и Амстердаме даже введены временные моратории. Дальше будет сложнее, поскольку ЦОД ёмкостью от 1 ГВт скоро станут вполне распространённым явлением.

В случае с США, по оценкам IEA, ситуация с размещением ЦОД хуже, чем с заводами, электростанциями и складами. Чтобы корректно оценить перспективы роста спроса на ЦОД, политикам, бизнесу и другим структурам следует теснее сотрудничать. В частности, в IEA отмечают участившиеся случаи аномальной жары, которые негативно влияют на энергопотребление систем охлаждения и энергоэффективность объектов в целом. Всего, по оценкам IEA, в мире насчитывается около 11 тыс. дата-центров.

Кластер дата-центров «Остаповский» пополнился новыми действующими мощностями. По данным пресс-службы «РТК-ЦОД» («Ростелеком — Центры обработки данных»), ввели в эксплуатацию четвёртую и пятую очереди проекта ЦОД «Москва V» общим объёмом 1024 стойки. Теперь дата-центр вмещает 2048 стоек.

Первый этап реализации проекта начался со строительства в 2020 году объекта с нуля. Позже к нему подключили основные инженерные коммуникации — это было необходимо для получения разрешения на эксплуатацию в марте 2022 года. В последующем объект получил дополнительную инженерную инфраструктуру, обеспечивающую работу жизненного цикла полноценного ЦОД.

Источник изображения: Nikolay Vorobyev/unsplash.com

Если на втором и третьем этапах центр эксплуатировал лишь 1024 стойки, то теперь мощности выросли вдвое. Особое внимание уделили и надёжности проекта — ЦОД соответствует уровню защищённости Tier III. Общая площадь составляет 12 150 м2, подведённая мощность — 17 МВт.

По словам директора по развитию компании, завершение строительства в кластере «Остаповский» стало важнейшим шагом для реализации стратегии развития сети ЦОД компании — «Москва V» достроен «несмотря на все технические сложности». Это лишь один из актуальных проектов «РТК-ЦОД». Например, в сентябре появилась информация о намерении компании построить дата-центр в Хабаровском крае. Предполагается, что он будет включать четыре машинных зала на 440 стоек.

По данным пресс-службы Amazon (AWS), компания готовится к инвестициям в атомную энергетику. Она анонсировала три новых энергетических проекта, предполагающих постройку нескольких малых модульных реакторов (SMR). Компания уже заявила о переходе на 100 % возобновляемую электроэнергию — на семь лет раньше, чем планировалось. Атомные проекты — часть плана по переходу на полностью безуглеродную энергетику.

AWS объявила о подписании как минимум трёх соглашений для поддержки развития атомных проектов, включая помощь в строительстве новых SMR. Гиперскейлер утверждает, что такие решения помогут удовлетворить спрос клиентов и добиться нулевого выброса CO₂ в ходе всех операций к 2040 году. Кроме того, инвестиции помогут и в разработке новых атомных технологий, которые обеспечат генерацию энергии в ближайшие десятилетия.

AWS делает ставку на решения компании X-energy. IT-гигант является одним из ключевых инвесторов раунда финансирования серии C, в ходе которого планируется привлечь $500 млн. Благодаря поддержке AWS консорциумом Energy Northwest (шт. Вашингтон) получит четыре малых модульных реактора X-energy Xe-100 мощностью 80 МВт каждый, которые используют топливо TRISO-X, разработанное совместно с Министерством энергетики США (DoE). В дальнейшем мощность планируется довести до 960 МВт, но не факт, что вся она достанется AWS. Всего к 2039 году X-energy рассчитывает построить 5 ГВт мощностей.

Источник изображения: Amazon

В Вирджинии AWS подписала соглашение с Dominion Energy. Вместе компании изучат возможность строительства SMR рядом с принадлежащей Dominion атомной станцией North Anna, которые добавят не менее 300 МВт мощностей. Ранее AWS купила за $650 млн кампус Cumulus Data, запитанный напрямую от действующей АЭС Susquehanna. В рамках сделки будет обеспечен доступ к 480–960 МВт для питания 15 дата-центров. Инвестиции в атомные проекты, помимо сохранения прежних реакторов и создания новых, будут способствовать экономическому развитию местных сообществ, говорит AWS.

Источник изображения: Amazon

AWS не единственный гиперскейлер, желающий использовать атомную энергию. Microsoft наняла специалиста для контроля разработки SMR для своих ЦОД, до этого было подписано PPA с поддерживаемым Сэмом Альтманом (Sam Altman) энергетическим стартапом Helion. Дополнительно компания заключила PPA на 20 лет с Constellation Energy, которое позволит «оживить» реактор АЭС Three Mile Island, заглушенный в 2019 году из-за нехватки финансирования.

В сентябре Oracle анонсировала получение разрешений на строительство трёх SMR для питания ЦОД ёмкостью более 1 ГВт. Собственные амбиции в этой сфере имеются и у Google, которая объявила о намерении покупать энергию от SMR Kairos Power. Впрочем, рабочих реакторов у Kairos пока нет, а коммерческие модели, вероятно, не появятся до 2035 года.

ИИ-компания Nebius, сформированная из бывшей Yandex N.V., представила облачную платформу с современными ускорителями NVIDIA. Как уточняет Datacenter Dynamics, речь идёт о моделях NVIDIA H100 и H200, а также L40S. В скором будущем компания рассчитывает добавить и новейшие суперускорители GB200 NVL72.

Источник изображения: Nebius

Облачное хранилище обеспечивает агрегированную скорость чтения до 100 Гбайт/с и 1 млн IOPS. Платформа также предлагает управляемые Apache Spark и MLFlow, а ВМ по умолчанию включают ИИ-библиотеки и драйверы. По словам компании, она прислушалась к запросам клиентов, нуждавшихся в самостоятельном доступе и инфраструктуре, отлично от просто «базовой». Речь идёт о крупномасштабных кластерах с InfiniBand-подключением на базе эталонной архитектуры NVIDIA, но с кастомизированным оборудованием и проприетарной программной облачной платформой.

После введения антироссийских санкций Nebius дистанцировалась от «Яндекса», основная часть активов которого была продана группе российских инвесторов. У Nebius остался дата-центр в Финляндии, ёмкость которого она намерена утроить в обозримом будущем. Там разместятся более 60 тыс. ускорителей. В августе сообщалось, что компания увеличила облачную выручку на 60 % год к году во II квартале.

Компания Dell Technologies анонсировала интегрированные стоечные масштабируемые системы для экосистемы AI Factory, рассчитанные на задачи НРС и ресурсоёмкие приложения ИИ. В частности, дебютировали решения Integrated Rack 7000 (IR7000), PowerEdge M7725 и PowerEdge XE9712.

Источник изображений: Dell

IR7000 — это высокоплотная 21″ стойка Open Rack Version 3 (Orv3) с поддержкой жидкостного охлаждения. Говорится о совместимости с мощными CPU и GPU с высоким значением TDP. Модификации 44OU и 50OU оснащены салазками, которые шире и выше традиционных: это гарантирует совместимость с несколькими поколениями архитектур процессоров и ИИ-ускорителей. Полки питания в настоящее время поддерживают мощность от 33 кВт до 264 кВт на стойку с последующим увеличением до 480 кВт.

Система Dell PowerEdge M7725 специально спроектирована для вычислений высокой плотности. В основу положены процессоры AMD серии EPYC 9005 (Turin), насчитывающие до 192 вычислительных ядер. Одна стойка IR7000 может вместить 72 серверных узла M7725, каждый из которых оборудован двумя CPU. Таким образом, общее количество вычислительных ядер превышает 27 тыс. на стойку. Возможно развёртывание прямого жидкостного охлаждения (DLC) и воздушного охлаждения. Доступны два IO-слота (PCIe 5.0 x16) в расчёте на узел с поддержкой Ethernet и InfiniBand.

В свою очередь, система Dell PowerEdge XE9712 разработана для обучения больших языковых моделей (LLM) и инференса в реальном времени. Эта новинка использует архитектуру суперускорителя NVIDIA GB200 NVL72. В общей сложности задействованы 72 чипа B200 и 36 процессоров Grace. Утверждается, что такая конфигурация обеспечивает скорость инференса до 30 раз выше по сравнению с системами предыдущего поколения.

Компания Lenovo анонсировала сервер ThinkSystem SC777 V4 Neptune, спроектированный специально для НРС-нагрузок и задач ИИ. Новинка 100 % прямым жидкостным охлаждением, что, как утверждается, обеспечивает максимальную производительность и энергоэффективность без ущерба для удобства обслуживания.

По сравнению с аналогичной системой с воздушным охлаждением сервер ThinkSystem SC777 V4 Neptune обеспечивает увеличение общей производительности до 10 % благодаря постоянной работе в турбо-режиме; сокращение энергопотребления дата-центра до 40 %; снижение уровня шума от вентиляторов до 100 %.

Базовая система ThinkSystem SC777 V4 Neptune, заключённая в 21″ корпус с возможностью вертикального монтажа, несёт на борту два ускорителя NVIDIA GB200, что в сумме даёт четыре чипа B200 и два процессора Grace. Возможна установка до шести адаптеров NVIDIA NDR или трёх адаптеров XDR LP InfiniBand.

Источник изображений: Lenovo

Архитектура сервера допускает использование до десяти накопителей E3.S NVMe в расчёте на лоток. Говорится о поддержке массивов RAID на уровне ОС. В оснащение входят два сетевых порта 25GbE SFP28 LOM. На фронтальную панель выведены интерфейс USB Type-C / DisplayPort, диагностический порт, два разъёма USB 3.0, интерфейс D-Sub, гнездо RJ-45 и пр.

Восемь лотков ThinkSystem SC777 V4 Neptune могут быть размещены в шасси ThinkSystem N1380 Neptune типоразмера 13U, а три таких блока могут быть установлены в 19″ серверную стойку. Названное шасси допускает использование до четырёх узлов ThinkSystem Titanium Power Conversion Stations (PCS) мощностью 15 кВт каждый.

ВТБ сообщил о покупке гибридных цифровых прав (ГЦП), обеспеченных поставкой планшетов KVADRA_T компании YADRO («ИКС Холдинг»). В рамках сделки банк приобрёл 40 ГЦП на сумму 1,6 млн рублей. Эмитентом ЦФА, выпуск которых прошёл на платформе «Мастерчейн» на кодовой базе блокчейн-сети Ethereum, выступила компания YADRO. Срок размещения ГЦП составляет 2 месяца. По его истечении банк получит 40 планшетов. Как сообщается в пресс-релизе, ВТБ стал первым российским банком, который использовал данную схему.

Заместитель главы правления ВТБ отметил, что крупный российский бизнес заинтересован в импортозамещении своей технологической базы и что банк видит своей стратегической целью поддержку бизнеса, а потому рассматривает различные варианты закупок. Сейчас наблюдается тренд на токенизацию активов реального мира (Real World Assets, RWA) и ГЦП — самый подходящий и выгодный инструмент для закупок, говорит банк. Производители при продаже ГЦП получают гарантированный аванс за товар, а инвесторы — гибкий финансовый актив, гарантирующий поставку товара и при этом защищённый от убытков, пояснил Кулик.

Источник изображения: ВТБ

Глава YADRO отметил, что при использовании технологии распределённого реестра операции прозрачны, контролируемы, устойчивы к несанкционированным изменениям. Как сообщает ВТБ, в 2024 году количество выпусков ЦФА в России превысило 700 шту. на общую сумму 450 млрд руб. При этом объём выпусков ЦФА группы ВТБ занимает около 20 % и составляет 80 млрд рублей.

Испытывающая немалые проблемы с бизнесом компания Atos привлекла к руководству нового генерального директора. Datacenter Dynamics напоминает, что речь идёт о назначении уже седьмого главы бизнеса за последние три года. На пост Жана-Пьера Мюстье (Jean-Pierre Mustier) придёт новый CEO Филипп Салль (Philippe Salle), который приступит к работе 1 февраля 2025 года. А прямо сейчас он займёт пост президента компании. Мюстье стал CEO Atos в июле 2024 года, но к компании он присоединился ещё в прошлом октябре.

У Салля богатый опыт работы в сфере IT-консалтинга, в своё время бизнесмен был главой Altran Group (позже ставшей Capgemini). Его предшественник Мюстье стал генеральным директором Atos после Пола Салеха (Paul Saleh), работавшего в должности с января 2024 года. Тот, в свою очередь, сменил Ива Бернера (Yves Bernaert), проработавшего CEO чуть более года. Наконец, до него директорами были Нурдин Бихман (Nourdine Bihmane), Филипп Олива (Philippe Oliva) и Диана Гальб (Diane Galbe).

Источник изображения: Brooke Cagle/unsplash.com

Последняя вступила в должность, когда от руководства отстранили Родольфа Бельмера (Rodolphe Belmer), не сумевшего продержаться в должности и года. Примечательно, что в первые 20 лет деятельности у Atos было всего четыре генеральных директора. Мюстье сообщил, что решение о выборе нового CEO принято с учётом его «обширного послужного списка». Правда, не последнюю роль, вероятно, сыграл и тот факт, что Салль сам намерен инвестировать в Atos €9 млн ($9,8 млн).

Предлагающая локальную и облачную инфраструктуру, услуги консалитинга и IT-сервисы компания Atos годами стремилась справиться с долгами, но в итоге её акции значительно упали в цене на фоне массы иных финансовых проблем. Сейчас в Atos работают над планом реструктуризации, который, как ожидается, позволит контролировать задолженность бизнеса и решит вопрос с многолетней финансовой неопределённостью.

Компания предложила и утвердила с кредиторами ряд мер по выходу из кризиса — облигации и долг в объёме €2,9 млрд ($3,1 млрд) будут конвертированы в капитал. Также компании дадут в долг ещё €1,68 млрд ($1,81 млрд) и вольют €233 млн ($250,7 млн) новых инвестиций в капитал. Ранее французские власти намеревались выкупить часть бизнеса за €1 млрд ($1,09 млрд), чтобы сохранить критически важные для страны технологии, но теперь сделка, похоже, не состоится. В сентябре Atos опубликовала отчёт, в котором сообщалось о сокращении прогнозируемой выручки в ближайшие три года из-за не лучших результатов работы в I половине 2024 года.

Российский разработчик Deckhouse сообщил о получении сертификата Федеральной службы по техническому и экспортному контролю на платформу контейнеризации Deckhouse Kubernetes Platform (DKP).

Deckhouse Kubernetes Platform позволяет создавать идентичные кластеры и управлять ими в любой ИТ-инфраструктуре. Платформу можно разворачивать в публичных и приватных облаках, поверх любой виртуализации, на bare-metal-серверах, а также в гибридной модели. Платформа зарегистрирована в реестре отечественного ПО, в полной мере отвечает задачам импортозамещения и может использоваться организациями при реализации программ по переходу на отечественные продукты с решений зарубежных разработчиков.

Выданный ФСТЭК России документ подтверждает, что новая редакция платформы DKP — Certified Security Edition — является средством контейнеризации 4-го класса защиты и соответствует требованиям по безопасности информации, предъявляемым к 4-му уровню доверия. Это первый на российском рынке оркестратор контейнеров, прошедший сертификационные испытания регулятора.

DKP Certified Security Edition может применяться в организациях, в которых обязательно использование сертифицированных ФСТЭК России продуктов. В частности, это госкомпании, госкорпорации, банки, федеральные и региональные органы исполнительной власти, а также предприятия, работающие с критической информационной инфраструктурой. Сертифицированная редакция платформы включает все необходимые для полноценной оркестрации контейнеров инструменты. Среди них — управление сетью, автомасштабирование, балансировка входящего трафика, политики безопасности и операционные политики, сквозная авторизация и аутентификация, сбор и хранение журналов, мониторинг и алертинг.