Стартап Crusoe Energy Systems LLC, занимающийся строительством ИИ ЦОД, объявил об успешном привлечении $600 млн. Эти средства направят на ускоренное расширение физической инфраструктуры компании, сообщает The Information. Раунд финансирования серии D обеспечил рост стоимости компании до $2,8 млрд. Его возглавил фонд Founders Fund Питера Тиля (Peter Thiel), участие приняли NVIDIA, Fidelity, Long Journey Ventures, Mubadala, Ribbit Capital и Valor Equity Partners.

Основанная в 2018 году Crusoe изначально занималась строительством контейнерных ЦОД для нефтяных полей — такие объекты работают на попутном «факельном» газе. Компания использовала энергию для майнинга биткоинов, но позже переориентировалась на ИИ-проекты и HPC-решения в целом, а сейчас переключилась на строительство крупных дата-центров. Кроме того, был анонсироване сервис Crusoe Cloud. В компании заявляют, что могут обеспечить экономически эффективные масштабные ИИ-вычисления, предоставляя экологически безопасную инфраструктуру.

Источник изображения: Ruthson Zimmerman/unsplash.com

В октябре 2024 года Crusoe сформировала совместное предприятие с Blue Owl Capital и Primary Digital стоимостью $3,4 млрд для строительства кампуса ЦОД из двух зданий в Техасе. Кампус обеспечат около 93 тыс. м³ площадей и получит около 1,2 ГВт энергии. Объект будет вмещать до 100 тыс. современных ускорителей и станет одним из крупнейших в мире дата-центров, построенных специально для ИИ-нагрузок. По-видимому, вычислительные мощности именно этого кампуса при посредничестве Oracle и Microsoft достанутся OpenAI.

В прошлом году компания объявила о расширении сотрудничества с ведущими технологическими компаниями, включая NVIDIA, Vast Data Inc., Deloitte и Rescale Inc. Теперь Crusoe действует в девяти штатах США и трёх странах, включая Исландию. Новые инвестиции, по данным компании, позволят ей построить больше ЦОД, в изобилии обеспеченных чистой энергией. Уже сейчас ведётся реализация проектов дата-центров общей ёмкостью более 15 ГВт.

Транснациональный нефтегазовый гигант ExxonMobil обнародовал планы строительства новой электростанции мощностью 1,5 ГВт, работающей на природном газе. Предполагается, что новые проект будет снабжать электричеством только дата-центры, сообщает Datacenter Dynamics.

Пока проект находится на ранних стадиях реализации. Речь идёт о первой энергетической инициативе Exxon, предполагающей строительство электростанции, не обеспечивающей электричеством собственные операции компании. Компания начала изучать перспективы бизнеса электрогенерации в этом году, когда стало понятно, что спрос на электричество стремительно растёт благодаря массовому строительству ЦОД в США. В Exxon утверждают, что намерены внедрить технологию захвата углерода для нейтрализации более 90 % выбросов электростанции.

Местоположение электростанции Exxon пока не раскрывается, но известно, что компания уже зарезервировала землю и ведёт переговоры с потенциальными потребителями энергии из числа операторов ЦОД. В компании заявляют, что проект полностью соответствует рыночному спросу — он низкоуглеродный, лишён проблем с сетевыми подключениями и будет быстро реализован.

Источник изображения: Mick Truyts/unsplash.com

Новости Exxon отражают более широкие изменения на рынке энергетики — спрос на природный газ растёт на фоне роста спроса со стороны ИИ ЦОД. На прошлой неделе Meta✴ построит за $10 млрд ЦОД на северо-востоке Луизианы. Дата-центр будет получать 1,5 ГВт от газовых турбин Entergy Louisiana.

В S&P Global уже пришли к выводу, что спрос на природный газ для обеспечения энергией ЦОД может достичь минимум 85 млн м³ в день к 2030 году, максимум — он будет вдвое больше. В результате природный газ стал своеобразным «мостом» для перехода на «зелёные» источники энергии с низким углеродным выбросом. В прошлом месяце американский оператор электросетей Midcontinent Independent System Operator заявил, что ЦОД могли бы потенциально платить за «газовую» генерацию для получения энергии в краткосрочной перспективе.

Источник изображения: Wolfgang Weiser/unsplash.com

Впрочем, многие опасаются, что даже быстрого масштабирования газовых электростанций будет недостаточно для удовлетворения спроса дата-центров на электроэнергию, особенно в крупнейшем мировом хабе ЦОД в Вирджинии. В новом докладе властей штата предупреждается, что для соответствия росту ЦОД необходимо будет строить новую электростанцию на 1,5 ГВт на природном газе каждые два года в течение 15 лет.

Это первая попытка Exxon заняться генерацией энергии для ЦОД. Ранее компания инвестировала в технологии жидкостного охлаждения. Она сотрудничала с Intel над разработкой новых СЖО для дата-центров. В октябре 2023 года ExxonMobil объявила о намерении выйти на рынок охлаждающих жидкостей для ЦОД — синтетических и полусинтетических.

Cerebras Systems совместно с Сандийскими национальными лабораториями (SNL) Министерства энергетики США (DOE) провели успешный эксперимент по обучению ИИ-модели с 1 трлн параметров с использованием единственной системы CS-3 с царь-ускорителем WSE-3 и 55 Тбайт внешней памяти MemoryX.

Обучение моделей такого масштаба обычно требует тысяч ускорителей на базе GPU, потребляющих мегаватты энергии, участия десятков экспертов и недель на наладку аппаратного и программного обеспечения, говорит Cerebras. Однако учёным SNL удалось добиться обучения модели на единственной системе без внесения изменений как в модель, так и в инфраструктурное ПО. Более того, они смогли добиться и практически линейного масштабирования — 16 систем CS-3 показали 15,3-кратный прирост скорости обучения.

Источник изображения: Cerebras

Модель такого масштаба требует терабайты памяти, что в тысячи раз больше, чем доступно отдельному GPU. Другими словами, классические кластеры из тысяч ускорителей необходимо корректно подключить друг к другу ещё до начала обучения. Системы Cerebras для хранения весов используют внешнюю память MemoryX на базе 1U-узлов с самой обычной DDR5, благодаря чему модель на триллион параметров обучать так же легко, как и малую модель на единственном ускорителе, говорит компания.

Ранее SNL и Cerebras развернули кластер Kingfisher на базе систем CS-3, который будет использоваться в качестве испытательной платформы при разработке ИИ-технологий для обеспечения национальной безопасности.

Marvell Technology анонсировала новый подход к интеграции HBM (CHBM) в специализированные XPU, который предоставляет адаптированные интерфейсы для оптимизации производительности, мощности, размера кристалла и стоимости для конкретных конструкций ИИ-ускорителей. Как указано в пресс-релизе, этот подход учитывает вычислительный «кремний», стеки HBM и упаковку. Marvell сотрудничает с облачными клиентами и ведущими производителями HBM, такими, как Micron, Samsung и SK hynix.

CHBM повышает возможности XPU, ускоряя ввода-вывод между внутренними кристаллами самого ускорителя и базовыми кристаллами HBM. Это приводит к повышению производительности и снижению энергопотребления интерфейса памяти до 70 % по сравнению со стандартными интерфейсами HBM. Оптимизированные интерфейсы также уменьшают требуемую площадь кремния в каждом кристалле, позволяя интегрировать логику для поддержки HBM в базовый кристалл и сэкономить до 25 % площади.

Источник изображений: Marvell

Высвободившееся пространство может быть использовано для размещения дополнительных вычислительных или функциональных блоков и поддержки до 33 % большего количества стеков HBM. Всё это повышает производительность и энергоэффективность XPU, одновременно снижая совокупную стоимость владения для операторов облачных инфраструктур. Правда, это же означает и несоответствие стандартами JEDEC. Как отметил ресурс ServeTheHome, HBM4 требует более 2000 контактов, т.е. вдвое больше, чем HBM3. Для кастомного решения нет необходимости в таком количестве контактов, что также высвобождает место для размещения других компонентов.

«Ведущие операторы ЦОД масштабируются с помощью индивидуальной инфраструктуры. Улучшение XPU путем адаптации HBM к конкретной производительности, мощности и общей стоимости владения — это последний шаг в новой парадигме разработки и поставки ускорителей ИИ», — сказал Уилл Чу (Will Chu), старший вице-президент Marvell и генеральный менеджер группы Custom, Compute and Storage. В свою очередь, Гарри Юн (Harry Yoon), корпоративный исполнительный вице-президент Samsung Electronics, отметил, что оптимизация HBM для конкретных XPU и программных сред значительно повысит производительность облачной инфраструктуры операторов и её энергоэффективность.

Согласно данным ServeTheHome, в этом году гиперскейлеры увеличили капзатраты примерно на $100 млрд. Следующее поколение ИИ-кластеров будет в десять и более раз превосходить по мощности систему xAI Colossus на базе 100 тыс. NVIDIA H100. Отказ от стандартов JEDEC и появление возможности настройки памяти с учётом потребностей гиперскейлеров является монументальным шагом для отрасли. Также этого говорит о нацеленности архитектуры Marvell XPU на гиперскейлеров, поскольку в таком «тюнинге» памяти небольшие заказчики не нуждаются.

По неофициальным данным, Apple работает с Broadcom над разработкой серверного ИИ-ускорителя для обслуживания ИИ-сервисов в своих ОС. По словам трёх анонимных источников The Information, чип создаётся в рамках проекта Baltra и будет запущен в производство в 2026 году. Ранее компании уже работали над 5G-технологиями.

Деталей пока немного. На одной из конференций в этом году представитель Apple заявил, что ИИ-экосистема Apple Intelligence должна работать как на самих устройствах компании, так и в частном облаке Apple Private Cloud Compute на базе чипов M2 Ultra. Они используются для инференса, тогда как для обучения ИИ-моделей Apple использует ускорители Google TPU. Первые слухи о том, что компания разрабатывает серверные ускорители, появились в мае 2024 года.

Источник изображения: Apple

У компании богатый опыт разработки Arm-чипов, а Broadcom, помимо прочего, продаёт лицензии на различные IP-блоки и уже не раз помогала гиперскейлерам в создании кастомных чипов. Не так давно Broadcom анонсировала новую технологию упаковки 3.5D eXtreme Dimension System in Package (3.5D XDSiP), которая как раз ориентирована на создание высокопроизводительных кастомных чипов. Она позволяет объединить два 3D-стека, пару I/O чиплетов и до 12 модулей памяти HBM3 в одной упаковке, занимающей более 6000 мм². Производство первых чипов по этой технологии ожидается в 2026 году.

Созданием собственных ИИ-ускорителей заняты практически все крупные гиперскейлеры. Google первой занялась созданием собственных ускорителей и теперь в её портфолио есть уже шесть поколений TPU, Meta✴ трудится над MTIA, AWS предлагает Trainium2 и Inferentia2, Microsoft анонсировала Maia 100, Alibaba разработала Hanguang 800, а ByteDance и OpenAI пока ещё только создают будущие ускорители, причём при помощи всё той же Broadcom. Впрочем, для многих из них это попытка снизить зависимость от NVIDIA, выручка которой бьёт все рекорды.

Облачная платформа AWS анонсировала инстансы второго поколения с FPGA на борту. Экземпляры EC2 F2 ориентированы на решение задач в области геномики, обработки мультимедийных материалов, больших данных, спутниковой связи, компьютерных сетей, моделирования кремниевых чипов и видеотрансляций в реальном времени.

В новых инстансах применяются FPGA AMD Virtex UltraScale+ HBM VU47P. Эти изделия содержат 2,852 млн логических ячеек и 9024 DSP. Заявленная ИИ-производительность достигает 28 TOPS при вычислениях INT8. Кроме того, в состав EC2 F2 входят процессоры AMD EPYC поколения Milan.

Новые инстансы доступны в вариантах f2.12xlarge и f2.48xlarge — с 48 и 192 vCPU и 2 и 8 FPGA соответственно. Каждая ПЛИС оперирует 16 ГиБ памяти HBM и 64 ГиБ памяти DDR4. Таким образом, в случае f2.12xlarge используется в сумме 32 ГиБ HBM и 128 ГиБ DDR4, а в случае f2.48xlarge — 128 ГиБ и 512 ГиБ соответственно.

Источник изображения: AWS

Конфигурация f2.12xlarge включает 512 ГиБ системной памяти и два накопителям NVMe SSD суммарной вместимостью 1900 ГиБ. Пропускная способность сетевого подключения составляет 25 Гбит/с, пропускная способность EBS-томов — 15 Гбит/с. У экземпляра f2.48xlarge объём памяти составляет 2048 ГиБ, общая вместимость NVMe SSD — 7600 ГиБ. Пропускная способность сетевого подключения и EBS-томов достигает 100 Гбит/с и 60 Гбит/с соответственно. Для этого экземпляра предусмотрена поддержка AWS Cloud Digital Interface (CDI) для надёжной передачи несжатого видео (задержка между инстансами заявлена на уровне 8 мс).

Мировой рынок SSD корпоративного класса значительно вырос в III квартале 2024 года, а основным драйвером роста стал огромный спрос на связанные с ИИ задачи. По данным TrendForce, значительную роль сыграл и рост цен, поскольку поставщики с трудом справлялись со спросом.

В целом выручка индустрии выросла на впечатляющие 28,6 % квартал к кварталу. Спрос на накопители высокой ёмкости подогревался появлением ускорителей NVIDIA H100/H200 и устойчивыми заказами на серверы для обучения ИИ-моделей. В результате общий объём закупок SSD вырос в сравнении с предыдущим кварталом на 15 %. В IV квартале TrendForce прогнозирует замедление роста выручки, поскольку спрос начинает «охлаждаться». Общие объёмы закупок упадут, поскольку пик, похоже, позади, а OEM-производители серверов пересматривают заказы в меньшую сторону.

Ранее сообщалось, что поставки SSD во II квартале упали на 18,4 %, при этом суммарная ёмкость выросла благодаря серверным NVMe-накопителям. Примечательно, что год назад расстановка сил на рынке отличалась. Несмотря на сильный рост рынка в III квартале, позиции поставщиков по доходам остались без изменений. Но изменения в структуре заказов на SSD высокой ёмкости, которые дороже других, привели к тому, что темпы роста у вендоров отличались.

Источник изображения: Samsung

Samsung сохранила позицию главного поставщика корпоративных SSD, выручка в III квартале достигла $3,2 млрд. Рост показателей компании превысил ожидания благодаря повышенному спросу на модели высокой ёмкости, хотя некоторые поставки пришлось отменить из-за оптимизации производства. Доля серверных SSD в выручке компании продолжает расти. Ожидается, что компания сохранит рост выручки и в IV квартале на фоне больших объёмов поставок SSD ёмкостью до 8 Тбайт.

SK Group (SK hynix и Solidigm) сохранила позицию второго по величине поставщика твердотельных накопителей корпоративного уровня, выручка в III квартале выросла до $2,058 млрд. Компания добилась рекордных поставок решений для ИИ. В IV квартале выручка SK Group, как ожидается, останется стабильной и будет подкрепляться массовым производством SSD следующего поколения с интерфейсом PCIe 5.0 и 176-слойной памяти TLC NAND. Новые продукты, наряду с уже имеющимися SSD Solidigm на базе PCIe 4.0 и 144-слойной TLC- и QLC-памяти, и должны, как ожидается, сохранить выручку на прежнем уровне.

Третье место заняла Micron с $1,153 млрд выручки, полученной благодаря стабильному росту поставок SSD высокой ёмкости. Увеличенные поставки таких продуктов привели к росту показателей компании. Впрочем, в следующем квартале Micron может столкнуться с проблемами из-за роста спроса на SSD ёмкостью 60 Тбайт — этот продукт Micron всё ещё в процессе валидации многими партнёрами, что может повлиять на выручку в IV квартале.

Истчоник изображения: TrendForce

Выручка Kioxia выросла до $636 млн, компания заняла четвёртое место среди поставщиков. Хотя в целом поставки выросли, по росту продаж продуктов высокой ёмкости компания отстаёт от конкурентов. Для того, чтобы сбалансировать ситуацию, компания сделала ставку на ограничение поставок SSD объёмом до 8 Тбайт. Теперь она усиливает сотрудничество с ключевыми североамериканскими клиентами и старается нарастить поставки SSD большой ёмкости.

Western Digital и SanDisk теперь отвечают за HDD и NAND/SSD соответственно, поэтому структура отчётности меняется. Разделение бизнеса направлено на увеличение операционной гибкости и углубление сотрудничества с ключевыми североамериканскими клиентами. В III квартале бизнес Western Digital, связанный с корпоративными SSD, зарегистрировал рост выручки на 100 % квартал к кварталу до $332 млн благодаря повышению спроса со стороны североамериканских клиентов.

Корпорация Fujitsu, по сообщению ресурса Tom's Hardware, продемонстрировала прототип серверного процессора Monaka для дата-центров. Это изделие проектируется с прицелом на НРС-платформы, а также на ЦОД, ориентированные на решение ресурсоёмких задач в области ИИ.

О проекте Monaka стало известно в начале 2023 года. Тогда говорилось, что разработка изделия является частью программы, курируемой японской Организацией по развитию новых энергетических и промышленных технологий (NEDO). Процессор основан на архитектуре Arm с набором инструкций Armv9-A и поддержкой масштабируемых векторных расширений SVE2.

Как теперь сообщается, для чипа Monaka предусмотрено использование технологии Broadcom 3.5D eXtreme Dimension System in Package (SiP). Конструкция процессора включает четыре 36-ядерных вычислительных чиплета, изготовленных по 2-нм технологии TSMC. Таким образом, суммарное количество ядер достигает 144. Эти чиплеты монтируются поверх «плиток» SRAM с использованием гибридного медного соединения (HCB). Блоки SRAM, выполняющие функции кеш-памяти, производятся по 5-нм техпроцессу TSMC. Кроме того, имеется крупный чиплет ввода-вывода, в состав которого входят контроллеры DDR5 (12 каналов) и PCI Express 6.0/CXL 3.0.

Источник изображения: Satoshi Matsuoka (X/@ProfMatsuoka)

Процессор Monaka нацелен на широкий спектр рабочих нагрузок в дата-центрах. Для чипа не предусмотрено использование памяти HBM — вместо этого будет применяться DDR5, возможно, в реализациях MR-DIMM и MCR-DIMM. Упомянуты расширенные функции безопасности, включая Confidential Computing Architecture (CCA).

Monaka предстоит конкурировать с процессорами AMD EPYC и Intel Xeon. Одним из главных преимуществ нового изделия перед этими чипами, по всей видимости, станет более высокая энергетическая эффективность. Fujitsu намерена начать продажи Monaka в течение 2027 финансового года, который у компании продлится с 1 апреля 2026-го до 31 марта 2027-го.

В России полностью решена проблема с импортозамещением мощных вычислительных ресурсов, заявил глава «Ростелекома» Михаил Осеевский, выступая на пленарном заседании Совета Федерации, пишет ТАСС.

«Хочу доложить, что сегодня страна чувствует себя достаточно уверенно. У нас полностью решена проблема импортозамещения мощных вычислительных ресурсов, серверов, систем хранения [данных]», — цитирует ТАСС заявление руководителя «Ростелекома». Напомним, что ещё в мае замглавы Минпромторга Василий Шпак сообщил, что в ведомстве обсуждают предложение участников отрасли об исключении из списка товаров, разрешённых к параллельному импорту в Россию, серверов и СХД.

Рынок серверов в России активно развивается. В конце 2023 года на территории индустриального парка «Рязанский» неподалёку от Рязани был введён в эксплуатацию завод «Центра открытых разработок» (бренд OpenYard) по производству серверного оборудования, мощность которого позволяет изготавливать свыше 60 тыс. единиц техники ежегодно. В июле «Гравитон» и OpenYard договорились о технологическом партнёрстве, в рамках которого на площадке OpenYard было налажено контрактное производство плат для серверов и клиентских устройств.

Источник изображения: «Гравитон»

В феврале текущего года «Сбербанк» запустил производство серверов, адаптированных для применения в собственных ЦОД, что позволило ему полностью отказаться от проприетарных ПАК сторонних поставщиков. А в декабре на бывшем заводе Samsung в Калуге, по данным СМИ, организовали сборку серверов под брендом «Гравитон». Кроме того, производства есть и у ряда других российских брендов, например, у «Аквариус» и F-Plus.

Исследователи Лёвенского католического университета (Бельгия), Любекского университета (Германия) и Бирмингемского университета (Великобритания) обнаружили, что система защиты виртуальных машин от атак с использованием вредоносного гипервизора AMD SEV-SNP (Secure Nested Paging), не так безопасна, как утверждает разработчик, пишет The Register.

Технологии Secure Encrypted Virtualization (SEV) предоставляют доверенную среду исполнения (TEE), призванную обеспечить защиту виртуальных машин от незаконных попыток вмешательства со стороны тех, кто имеет доступ к оборудованию ЦОД. Механизм SEV-SNP реализован в процессорах AMD EPYC, начиная с 7003 (Milan). Аналогичные механизмы есть и у конкурентов: Intel Software Guard Extensions (SGX) и Trusted Domain Extensions (TDX), а также Arm Confidential Compute Architecture (CCA). Все эти технологии отвечают за шифрование памяти и изоляцию ресурсов.

Исследователи разработали способ обхода SEV-SNP, который они назвали BadRAM (CVE-2024-21944 и AMD-SB-3015). Для атаки требуется оборудование стоимостью около $10, включая Raspberry Pi Pico, разъём DDR и батарею на 9 В. Атака BadRAM требует наличие физического доступа к оборудованию. Она основана на манипуляциях с чипом SPD (Serial Presence Detect), который передаёт данные о модуле DDR4/DDR5 во время загрузки системы. Манипулируя SPD, злоумышленники создают адреса-фантомы для физической памяти, благодаря которым можно незаметно получить доступ к данным в виртуальной машине.

Источник изображения: badram.eu

«Мы удваиваем видимый в системе объём DIMM, чтобы обмануть контроллер памяти CPU и заставить его использовать дополнительные «фантомные» биты адресации, — объясняют авторы исследования. — Два разных физических адреса теперь ссылаются на одно и то же местоположение DRAM». С помощью таких фантомов злоумышленники могут обойти защиту памяти, раскрывая конфиденциальные данные или вызывя сбои. BadRAM позволяет подделать критически важные отчёты удалённой аттестации и вставлять необнаруживаемые бэкдоры в любую виртуальную машину, защищённую SEV-SNP.

Атака может быть реализована и без физического доступа к оборудованию, поскольку некоторые поставщики DRAM оставляют чип SPD разблокированным, что противоречит спецификациям JEDEC. Авторы исследования обнаружили по крайней мере два DDR4-модуля Corsair без должной защиты SPD. Память DDR3 тоже может быть взломана путём замены чипа SPD.

Источник изображения: badram.eu

«BadRAM полностью подрывает доверие к технологии защищённой зашифрованной виртуализации AMD (SEV-SNP), которая широко используется крупными поставщиками облачных услуг, включая Amazon AWS, Google Cloud и Microsoft Azure», — сообщил The Register Джо Ван Балк (Jo Van Bulck), профессор лаборатории DistriNet на кафедре компьютерных наук KU Leuven.

Исследователи отметили, что решения SGX и TDX Intel не имеют такой уязвимости, поскольку в них реализованы контрмеры против создания псевдонимов (alias) памяти. Arm CCA, судя по спецификации, тоже не имеет проблем, но для проверки этого у исследователей не было коммерческих чипов. Полный доклад об атаке исследователи планируют представить в мае 2025 года на конференции IEEE Symposium on Security and Privacy.

Источник изображения: AMD

Исследователи уведомили AMD о найденных проблемах в феврале 2024 года. «AMD рекомендует использовать модули памяти, которые блокируют SPD, а также следовать передовым практикам в области физической безопасности систем. AMD также выпустила обновления прошивок защиты от уязвимости», — сообщили в AMD ресурсу The Register в ответ на просьбу прокомментировать публикацию исследователей.