Юлихский исследовательский центр (Forschungszentrum Jülich) объявил о начале фактического создания модульного дата-центра для европейского экзафлопсного суперкомпьютера JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec.

В рамках партнёрства за создание модульного ЦОД отвечает Eviden. После завершения строительства комплекс, как ожидается, объединит около 125 стоек BullSequana XH3000. Общая площадь ЦОД составит примерно 2300 м². Он будет включать порядка 50 компактно расположенных контейнеров. Благодаря модульной конфигурации ускоряется монтаж систем, а также снижаются расходы на строительство объекта.

Суперкомпьютер JUPITER получит энергоэффективные высокопроизводительные европейские Arm-процессоры SiPearl Rhea. CPU-блок будет включать 1300 узлов и иметь производительность около 5 Пфлопс (FP64). Кроме того, в состав машины войдут порядка 6000 узлов с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Именно они и обеспечат FP64-производительность на уровне 1 Эфлопс. Узлы объединит интерконнект NVIDIA InfiniBand NDR (DragonFly+).

Источник изображений: Юлихский исследовательский центр

Хранилище системы будет включать два раздела: быстрый ExaFLASH и ёмкий ExaSTORE. ExaFLASH будет базироваться на сорока All-Flash СХД IBM Elastic Storage System 3500 с эффективной ёмкостью 21 Пбайт («сырая» 29 Пбайт), скоростью записи 2 Тбайт/с и скоростью чтения 3 Тбайт/с. ExaSTORE будет иметь «сырую» ёмкость 300 Пбайт, а для резервного копирования и архивов будет использоваться ленточная библиотека ёмкостью 700 Пбайт.

«Первые контейнеры для нового европейского экзафлопсного суперкомпьютера доставлены компанией Eviden и установлены на площадке ЦОД. Мы рады, что этот масштабный проект, возглавляемый EuroHPC, всё больше обретает форму», — говорится в сообщении Юлихского исследовательского центра.

Ожидаемое быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Стоимость системы оценивается в €273 млн, включая доставку, установку и обслуживание НРС-системы. Общий бюджет проекта составит около €500 млн, часть средств уйдёт на подготовку площадки, оплату электроэнергии и т.д.

Владельцы оператора дата-центров Switch рассматривают IPO компании в 2025 году, которое, вероятно, поднимет оценку компании до $40 млрд. По данным Reuters, пока обсуждение вопроса находится на ранней стадии и решение ещё не принято. Switch управляет крупными кампусами в Остине (Техас), Рино (Лас-Вегас), Гранд-Рапидс (Мичиган) и Атланте (Джорджия). В прошлом году поданы заявления о расширении бизнеса в Остине и Атланте.

Основанная в 2000 году компания вышла на IPO в 2017 году, сумев привлечь $513 млн при рыночной капитализации $4,2 млрд. В 2022 году Switch была выкуплена DigitalBridge и IFM Investors за $11 млрд и стала частной. В 2023 году миноритарную долю приобрёл австралийский пенсионный фонд Aware Super. По имеющимся данным, в последние недели Switch провела предварительные переговоры с инвестиционными банкирами. На такой шаг компании намерены пойти на фоне стремительного роста интереса инвесторов к генеративному ИИ, который вызвал взлёт спроса на инфраструктуру, в том числе на дата-центры и высокопроизводительные серверы.

Источник изображения: Jason Briscoe/unsplash.com

В последнее время отмечается и значительное увеличение числа сделок на рынке серверов и ЦОД. Например, в сентябре текущего года Blackstone заключила сделку, купив австралийского оператора ЦОД AirTrunk за сумму, превышающую AU$24 млрд ($16 млрд), в августе AMD согласилась купить производителя серверов ZT Systems за $4,9 млрд — компания намерена расширить свои продуктовые линейки в попытке угнаться за чрезвычайно успешной NVIDIA.

С последней сотрудничает и Switch. Также компания работает с Dell и FedEx. С января 2016 года дата-центры компании питаются за счёт возобновляемой энергии — это привлекает технологические компании, имеющие природоохранные обязательства и соответствующие заявленные цели. Согласно докладу Morgan Stanley, до конца десятилетия мировой бум индустрии ЦОД, вероятно, обеспечит выбросы, эквивалентные 2,5 млрд тонн углекислого газа.

Oracle и NVIDIA анонсировали самый крупный на сегодняшний день облачный ИИ-кластер, состоящий из 131 072 ускорителей NVIDIA B200 (Blackwell). По словам компаний, это первая в мире система производительностью 2,4 Зфлопс (FP8). Кластер заработает в I половине 2025 года, но заказы на bare-metal инстансы и OCI Superclaster компания готова принять уже сейчас. Заказчики также смогут выбрать тип подключения: RoCEv2 (ConnectX-7/8) или InfiniBand (Quantum-2).

По словам компании, новый ИИ-кластер вшестеро крупнее тех, что могут предложить AWS, Microsoft Azure и Google Cloud. Кроме того, компания предлагает и другие кластеры с ускорителями NVIDIA: 32 768 × A100, 16 384 × H100, 65 536 × H200 и 3840 × L40S. А в следующем году обещаны кластеры на основе GB200 NVL72, объединяющие более 100 тыс. ускорителей GB200. В скором времени также появятся и куда более скромные ВМ GPU.A100.1 и GPU.H100.1 с одним ускорителем A100/H100 (80 Гбайт).

Прямо сейчас для заказы доступны инстансы GPU.H200.8, включающие восемь ускорителей H200 (141 Гбайт), 30,7-Тбайт локальное NVMe-хранилище и 200G-подключение. Семейство инстансов на базе NVIDIA Blackwell пока включает лишь два варианта. GPU.B200.8 предлагает восемь ускорителей B200 (192 Гбайт), 30,7-Тбайт локальное NVMe-хранилище и 400G-подключение. Наконец, GPU.GB200 фактически представляет собой суперускоритель GB200 NVL72 и включает 72 ускорителя B200, 36 Arm-процессоров Grace и локальное NVMe-хранилище ёмкостью 533 Тбайт. Агрегированная скорость сетевого подключения составляет 7,2 Тбит/с.

Источник изображения: Oracle

Для всех новых инстансов Oracle подготовит управляемое Lustre-хранилище с производительностью до 8 Гбит/с на каждый Тбайт. Кроме того, компания предложит расширенные средства мониторинга и управления, помощь в настройке инфраструктуры для достижения желаемого уровня реальной производительности, а также набор оптимизированного ПО для работы с ИИ, в том числе для Arm.

Компания SambaNova Systems объявила о запуске облачного сервиса SambaNova Cloud: утверждается, что на сегодняшний день это самая быстрая в мире платформа для ИИ-инференса. Она ориентирована на работу с большими языковыми моделями Llama 3.1 405B и Llama 3.1 70B, насчитывающими соответственно 405 и 70 млрд параметров.

В основу сервиса положены ИИ-чипы собственной разработки SN40L. Эти изделия состоят из двух крупных чиплетов, оперирующих 520 Мбайт SRAM-кеша, 1,5 Тбайт DDR5 DRAM, а также 64 Гбайт высокоскоростной памяти HBM3. Утверждается, что восьмипроцессорная система на базе SN40L способна запускать и обслуживать ИИ-модели с 5 трлн параметров и глубиной запроса более 256к.

Источник изображения: SambaNova

Платформа SambaNova Cloud, по заявлениям разработчиков, демонстрирует производительность до 132 токенов в секунду при работе с Llama 3.1 405B и до 461 токена в секунду при использовании Llama 3.1 70B. Для сравнения, по оценкам Artificial Analysis, даже самые мощные системы на базе GPU могут обслуживать модель Llama 3.1 405B только со скоростью 72 токена в секунду, а большинство из них намного медленнее. Подчёркивается, что SambaNova Cloud демонстрирует рекордную скорость при сохранении полной 16-битной точности. Однако без компромиссов всё же не обошлось: модель работает не в полном контекстном окне в 128k, а при 8k.

Доступ к SambaNova Cloud предоставляется по трём схемам — Free, Developer и Enterprise. Первая предусматривает бесплатное базовое использование через API. Схема для разработчиков Developer (появится к концу 2024 года) позволяет работать с моделями Llama 3.1 8B, 70B и 405B с более высокими лимитами. Наконец, план Enterprise предлагает корпоративным клиентам возможность масштабирования для поддержки ресурсоёмких рабочих нагрузок.

Ранее Cerebras Systems тоже объявила о запуске «самой мощной в мире» ИИ-платформы для инференса, а Groq ещё в прошлом году говорила о преимуществах своих решений и тоже переключилась на создание облачных сервисов. Впрочем, в бенчмарках MLPerf Inference по-прежнему бессменно лидируют решения NVIDIA.

Amazon Web Services (AWS) объявила о планах инвестировать £8 млрд ($10,45 млрд) в 2024–2028 гг. в расширение своего облачного бизнеса в Великобритании. Компания отметила, что эти инвестиции являются частью её долгосрочных обязательств по поддержке роста и производительности в стране и, по оценкам, добавят £14 млрд в ВВП Великобритании до 2028 года, а также обеспечат в среднем более 14 тыс. рабочих мест на местных предприятиях из цепочки поставок ЦОД AWS.

Amazon запустила свой первый облачный регион AWS в Великобритании в декабре 2016 года. За последние несколько лет компания добавила три зоны доступности (AZ), две зоны WaveLength Zone, две периферийных локации и Regional Edge Cache. За период с 2020 по 2023 год компания инвестировала в страну £3 млрд, обеспечив работой 6 тыс. жителей.

Аналогичные долгосрочные инвестиционные проекты AWS запустила в Германии, Мексике, США, Саудовской Аравии и Сингапуре. AWS, крупнейший в мире поставщик услуг облачных вычислений и хранения данных, стремится с помощью инвестиций укрепить свои позиции на фоне растущей конкуренции со стороны Microsoft, которая наращивает собственную глобальную инфраструктуру.

Источник изображения: AWS

В пресс-релизе AWS отмечено, что инвестиции позволят Великобритании в полной мере воспользоваться растущими преимуществами облачных вычислений и ИИ. Согласно анализу Telecom Advisory Services, общее экономическое влияние облачных вычислений в Великобритании превысило £42 млрд в 2023 году. Это эквивалентно 1,6 % ВВП. И это больше, чем сектор автомобилестроения Великобритании.

Как утверждает компания, облачные вычисления позволили стартапам, малому бизнесу и государственным органам получить доступ к тем же технологиям, которыми пользуются крупнейшие предприятия, и это помогло им быстрее внедрять инновации, сокращать расходы и конкурировать на мировой арене.

Источник изображений: aboutamazon.co.uk

Также AWS приводит результаты исследования независимой консалтинговой компании Public First, в рамках котороо она опросила более 2000 руководителей бизнеса и построила новую экономическую модель связей между цифровыми технологиями и производительностью бизнеса. Согласно опросу Public First, 84 % респондентов, являющихся клиентами AWS, заявили, что в результате инвестирования в облачную инфраструктуру они сэкономили средства, при этом в среднем экономия составила 28 % по сравнению с использованием локальной инфраструктуры.

Респонденты также заявили, что использование AWS сокращает время развертывания нового ПО более чем на четверть (27 %). Кроме того, 82% клиентов AWS считают, что облачные вычисления позволили им вывести свой бизнес на глобальный уровень, а 85 % — облегчило конкуренцию с более крупными компаниями.

Источник изображения: AWS

В свою очередь, ресурс The Register отметил, что инвестиции облачного гиганта вовсе не бескорыстны. В прошлом году AWS увеличила доходы в Великобритании на 30,1 % до £3,78 млрд, а также получила на 76 % больше прямых доходов в государственном секторе от правительства Великобритании в течение предыдущего финансового года. В декабре прошлого года стало известно, что AWS получила контракт на услуги облачного хостинга для Министерства внутренних дел Великобритании на сумму почти полмиллиарда фунтов стерлингов (£450 281 369).

Вместе с тем Amazon подверглась критике за недостаточную прозрачность в отношении налоговых выплат, поскольку доходы AWS UK были представлены как часть бюджета Amazon Web Services EMEA SARL. Газета Guardian сообщила в прошлом году, что материнская компания облачного гиганта Amazon второй год подряд не платила корпоративный налог после получения налоговых льгот на свои инвестиции в инфраструктуру. Также известно, что в Великобритании сейчас проводится антимонопольное расследование по поводу возможного применения AWS антимонопольных практик.

Марк Буст (Mark Boost), генеральный директор британского оператора облачных вычислений Civo, подверг критике инвестиции AWS, заявив: «Дорогая инфраструктура ЦОД и оборудование ИИ <…> не производятся и не продаются британскими компаниями». «Британские новаторы в области ЦОД заслуживают справедливого шанса сыграть свою роль в цифровом будущем страны, без чрезмерной зависимости от гиперскейлеров исключительно из-за масштаба, который они могут предложить», — добавил он.

Компания Google выделит $10 млн стартапу Holocene на захват CO₂ из атмосферы по технологии Direct Air Capture (DAC) с последующей утилизацией. Сделка является рекордно выгодной в индустрии. За захват каждой тонны углекислого газа Google заплатит всего $100. Министерство энергетики США считает, что именно такой уровень цен позволит стать технологии массовой. Правда, как уточняет Datacenter Dynamics, непосредственная реализация проекта должна стартовать в начале 2030-х годов.

Впрочем, столь низкая цена в любом случае была бы невозможной без вмешательства американских властей. Они предоставляют налоговую льготу 45Q, благодаря которой компании, утилизирующие углекислый газ, могут рассчитывать ещё на $180/т.

Источник изображения: Marcin Jozwiak/unsplash.com

Google оплатит авансом, хотя в этом есть некоторый риск. Отсутствует гарантия, что Holocene вообще добьётся своих целей. Так, Running Tide, которой Microsoft заплатила за удаление из атмосферы 12 тыс. тонн CO₂ в 2023 году, в 2024-м прекратила своё существование. В Google заявляют, что немедленная уплата средств позволит добиться амбициозных масштабных целей уже в среднесрочной перспективе.

Источник изображения: Holocene

Holocene пропускает воздух сквозь специальный «водопад» с добавлением аминокислоты, которая связывает CO₂. Полученный состав смешивается с гуанидином для формирования твёрдой кристаллической массы. Потом аминокислота высвобождается и отправляется в начало цикла, а твёрдое вещество слегка нагревается, высвобождая чистый углекислый газ, который можно хранить или использовать по своему усмотрению. Гуанидин также отправляется в начало цикла. В начале 2030-х годов Holocene рассчитывает захватить и хранить 100 тыс. тонн CO₂.

Ранее в этом году Google обещала потратить $35 млн на проекты по захвату углекислоты. Кроме того, компания участвует в инициативе Frontier Climate, предусматривающей покупки «кредитов» на захват CO₂. Стартап 280earth, выросший из проекта Google X, намерен разрабатывать собственные мощности по захвату углекислого газа в Орегоне, вероятно, с использованием тепла дата-центров самой Google.

МТС Web Services планирует направить более 1 млрд руб. до конца 2025 года в развитие облачных сервисов для бизнеса, которые обеспечат работу с ИИ-приложениями, пишет «Коммерсантъ». В МТС сообщили, что эти средства пойдут на закупку оборудования, ПО и расширение команды, отметив, что «запасы GPU были сформированы ещё до 2022 года». Ранее MWS сообщила, что увеличила GPU-мощности для обучения ИИ на 40 %.

О новом направлении — ИИ-облаке — компания объявила на форуме Kazan Digital Week. В его основе будет находиться инфраструктура с ускорителями и соответствующим ПО, а также ряд сервисов для работы с ИИ. По словам МТС Web Services, это позволит заказчикам снизить капитальные вложения и ускорить запуск проектов.

Гендиректор MWS Игорь Зарубинский заявил, что ИИ-облако позволит компаниям получить в одном окне вычислительные мощности и все необходимые инструменты для внедрения ИИ в бизнес. «Мы сделали ИИ-облако максимально персонализированным, чтобы каждая компания могла получить сервис в той конфигурации, которая нужна под ее задачи. Наша цель — сделать так, чтобы клиенты, используя облако MWS, добились цифрового превосходства над конкурентами», — отметил он.

Источник изображений: MWS

По словам участников российского рынка, сейчас наблюдается рост спроса инфраструктуру для разработки ИИ. В Cloud.ru рассказали «Коммерсанту», что в этом году ожидают рост спроса «примерно в два раза». В VK сообщили о росте выручки от их облачных сервисов в I полугодии на 62,2 % год к году. В «Ростелекоме» отметили рост спроса как в сегментах среднего и крупного бизнеса, так и госзаказчиков.

Компания Zettlab, по сообщению ресурса NAS Compares, анонсировала сетевые хранилища AI NAS D4, D6, D6 Ultra и D8 Ultra с ИИ-возможностями. Устройства ориентированы на профессиональных пользователей и предприятия, которые работают с большими массивами данных или обширными библиотеками мультимедийных материалов.

Все решения выполнены в «настольном» форм-факторе. Они спроектированы с прицелом на интеграцию ИИ-функций, в том числе запуск больших языковых моделей (LLM), без необходимости подключения к интернету или применения сторонних сервисов. Системы Zettlab AI NAS предоставляют инструменты для интеллектуальной обработки данных и управления ими, поиска информации, запросов на естественном языке, и пр.

Модели D4 и D6 рассчитаны соответственно на четыре и шесть накопителей LFF с интерфейсом SATA-3 суммарной вместимостью до 100 и 148 Тбайт. Дополнительно имеется коннектор для M.2 SSD. В устройства установлен процессор Rockchip RK3588 (4 × Cortex-A76, 4 × Cortex-A55, Arm Mali-G610 MP4) с частотой до 2,4 ГГц. В состав чипа входит NPU производительностью до 6 TOPS. Объём оперативной памяти LPDDR4x составляет 16 Гбайт. Есть сетевые порты 2.5GbE и 1GbE, по одному разъёму USB 4 и USB 3.х, два порта USB 2.0.

Источник изображений: Zettlab

Хранилища D6 Ultra и D8 Ultra, в свою очередь, допускают установку шести и восьми накопителей LFF с интерфейсом SATA-3 суммарной ёмкостью до 152 и 200 Тбайт (плюс PCIe SSD). Применён процессор Intel Core Ultra 5 125H (14 ядер; 18 потоков; до 4,5 ГГц) с NPU-блоком (до 34 TOPS). Объём ОЗУ стандарта DDR5 равен 16 Гбайт с возможностью расширения до 96 Гбайт. Предусмотрены два сетевых порта 10GbE, два разъёма USB 4 и порт USB 3.х.

Все новинки располагают информационным дисплеем с диагональю 3,49″ и интерфейсом HDMI с поддержкой 4К-видео. В продажу NAS поступят в конце 2024-го или в начале 2025 года.

Компания SK hynix объявила о разработке высокопроизводительных SSD семейства PEB110, предназначенных для применения в дата-центрах. Утверждается, что эти накопители обеспечивают двукратный рост производительности и более чем 30-% улучшение энергоэффективности по сравнению с изделиями предыдущего поколения.

Новинки, выполненные в форм-факторе E1.S, оснащены интерфейсом PCIe 5.0. Вместимость составляет 2, 4 и 8 Тбайт. Накопители выполнены на основе 238-слойных чипов флеш-памяти 4D NAND. Говорится о поддержке спецификации OCP 2.5. Кроме того, упомянута технология SPDM (Security Protocol and Data Model): она отвечает за безопасную аутентификацию и мониторинг серверов. Прочие технические характеристики пока не раскрываются.

Источник изображения: SK hynix

SSD серии PEB110 ориентированы на работу с ресурсоёмкими ИИ-приложениями. В настоящее время устройства проходят квалификацию у потенциальных заказчиков из числа крупных операторов ЦОД. Массовое производство накопителей планируется организовать во II квартале 2025 года.

«Новый продукт создан на основе лучшей в своём классе памяти 4D NAND, которая может похвастаться самыми высокими в отрасли показателями производительности, качества и стоимости», — говорит Ан Хён (Ahn Hyun), глава подразделения N-S Committee в составе SK hynix.

Toshiba Electronic Devices & Storage Corporation анонсировала жёсткие диски семейства Mx11 с заполнением герметичной камеры гелием. Дебютировали устройства MG11 на основе технологии традиционной магнитной записи (CMR), а также решения MA11 с черепичной магнитной записью (SMR).

Все HDD выполнены в формате LFF и наделены десятью пластинами. Скорость вращения шпинделя составляет 7200 об/мин. Задействована технология FC-MAMR (Flux Control Microwave Assisted Magnetic Recording) — магнитная запись с микроволновой поддержкой с управляемым потоком.

Накопители MG11 ориентированы на облачные платформы, ЦОД и корпоративные СХД. В серию вошли модели вместимостью 14, 16, 18, 20, 22 и 24 Тбайт. Доступны модификации с интерфейсами SATA-3.3 и SAS-3. В набор опций входят функция безопасного удаления информации SIE (Sanitize Instant Erase) и средства шифрования SED (Self Encrypting Device). Объём буфера равен 1 ГиБ. Максимальная установившаяся скорость передачи данных составляет 295 Мбайт/с. Размеры устройств — 147,0 × 101,85 × 26,1 мм, масса — 730 г.

Источник изображения: Toshiba

В свою очередь, диски MA11 имеют более высокую плотность хранения информации, а их вместимость составляет 27 и 28 Тбайт. Вышли модели с интерфейсом SATA-3 и опциональной поддержкой SED.

Все накопители рассчитаны на эксплуатацию в круглосуточном режиме 24/7. Уровень нагрузки — 550 Тбайт/год. Показатель MTBF (средняя наработка на отказ), по заявлениям Toshiba, равен 2,5 млн часов. Значение AFR (Annualized Failure Rate) находится на отметке 0,35 %. Пробные поставки HDD серии MG11 начнутся в текущем месяце, MA11 — в IV квартале 2024 года.