Основанная выходцами из DigitalBridge, Equinix и Vantage компания Doma Infrastructure Group (DIG) совместно с тайским оператором технопарков Silicon Tech Park (STP) намерены построить три готовых к работе с ИИ-задачами кампуса ЦОД в Таиланде. Строительство организуют в «Восточном экономическом коридоре» (Eastern Economic Corridor, EEC), сообщает Datacenter Dynamics. Совместное предприятие намерено приобрести более 120 га земли в провинциях Чаченгсау, Чонбури и Районг. Общая запланированная ёмкость дата-центров составит 1,5 ГВт.

Будущие объекты предназначены для операторов ЦОД, гиперскейлеров и провайдеров GPUaaS (GaaS). Детали пока не разглашаются, но уже известно, что первые объекты будут готовы к обслуживанию клиентов к III кварталу 2026 года. Более того, заявлено, что электричество, вода и другие ресурсы уже зарезервированы и будут доступны «с первого дня». Помимо поставок солнечной энергии, предполагается использование и гидроэнергетики. Сейчас об этом ведутся переговоры с операторами ГЭС из соседнего Лаоса.

Источник изображения: Florian Wehde/unsplash.com

В DIG заявили, что Таиланд является ключевым рынком в азиатско-тихоокеанской стратегии компании, и новый план отражает готовность стать драйвером проектов, преображающих регион. Сотрудничество с STP, распоряжающейся местными ресурсами, только укрепляет уверенность компании в намерении построить устойчивую цифровую инфраструктурную экосистему. В STP отметили, что Восточный экономический коридор находится на переднем крае модернизации Таиланда и компания поможет заложить основы превращения страны в технологического лидера всей Юго-Восточной Азии.

В качестве потенциальных регионов для дальнейшего строительства дата-центров рассматриваются Юго-Восточная Азия в целом, Австралия и, возможно, север Азии. По имеющимся данным, уже ведутся переговоры в Австралии, а DIG поддерживается фондом недвижимости из США, который рассматривает компанию в качестве плацдарма в Азии.

Развитию в Таиланде ИИ и ЦОД пообещал помочь Дженсен Хуанг (Jensen Huang). Однако отмечается, что это будет не очень просто из-за высоких налогов на импорт, немалых расходов на передачу данных и дорогой электроэнергии. Из-за этого страна может оказаться не особенно привлекательной для крупных ЦОД. Впрочем, отдельные игроки готовые рискнуть. Так, Google намерена потратить на создание облачной инфраструктуры в стране $1 млрд.

Суперкомпьютерный центр имени Лейбница (LRZ) в Германии, управляемый Баварской академией наук в Мюнхене (BADW), объявил о подписании соглашения с HPE на строительство HPC-комплекса нового поколения. Проект получил название Blue Lion.

LRZ, входящий в состав Суперкомпьютерный центр имени Гаусса (GCS), намерен запустить систему Blue Lion в 2027 году. Предполагается, что комплекс не только ускорит выполнение задач в области классического моделирования, но и откроет новые возможности для достижений в сфере ИИ.

В основу Blue Lion ляжет платформа HPE Cray нового поколения с ускорителями NVIDIA. Говорится о применении интерконнекта HPE Slingshot с пропускной способностью до 400 Гбит/с. По производительности Blue Lion примерно в 30 раз превзойдёт предшественника — систему SuperMUC-NG, которая обеспечивает теоретическое пиковое быстродействие в 26,9 Пфлопс.

Источник изображения: GCS

Blue Lion будет использовать на 100 % прямое жидкостное охлаждение тёплой водой температурой до +40 °C, протекающей по медным трубкам. Нагретую воду планируется повторно использовать для отопления помещений самого LRZ, а также соседних учреждений в Гархинге. Утверждается, что такая СЖО расходует примерно на 94 % меньше энергии в процессе работы, чем сопоставимая по классу система воздушного охлаждения. Blue Lion также потребует значительно меньше места для размещения благодаря более высокой плотности монтажа.

Проект Blue Lion в равных долях финансируется Министерством науки и искусства Баварии (StMWK) и Федеральным министерством образования и исследований (BMBF). Затраты на создание суперкомпьютера оцениваются в €250 млн с учётом эксплуатационных расходов до 2032 года.

Компания «Тантор Лабс», входящая в «Группу Астра», анонсировала программно-аппаратный комплекс (ПАК) Tantor XData 2.0 для поддержания работы СУБД Tantor. По сравнению с платформой предыдущего поколения новинка, как утверждается, демонстрирует более высокую производительность, а также обладает улучшенным интерфейсом.

Оригинальная версия Tantor XData дебютировала в феврале нынешнего года: в разработке решения приняли участие специалисты группы компаний «Аквариус». Говорилось о применении серверов на процессорах Intel Xeon Cascade Lake-SP, AMD EPYC, Baikal-S или Kunpeng 920, а также ОС Astra Linux Special Edition. А в апреле 2024-го «Группа Астра» создала компанию «Иксдата» по выпуску ПАК для высоконагруженных СУБД.

Говорится, что в Tantor XData 2.0 применяется аппаратно-программное RAID-решение собственной разработки, которое обеспечивает трёхкратное сжатие данных и увеличивает производительность подсистемы хранения до 102 тыс. TPS (транзакций в секунду) в тестах pgbench (операции чтения/записи). Это на 25 % больше по сравнению с ПАК предыдущей версии.

Источник изображения: «Тантор Лабс»

В состав комплекса включено S3-совместимое хранилище, позволяющее гибко масштабировать ресурсы. При этом обеспечивается высокая доступность данных благодаря возможности дублирования и распределения между разными узлами. Реализована новая встроенная система резервного копирования на основе WAL-G: благодаря использованию объектного хранилища S3 упрощается восстановление информации из резервных копий. Кроме того, возможна миграция резервных копий баз данных между различными площадками или регионами.

Применяется СУБД Tantor 16.6. Усовершенствованный графический интерфейс с модулем управления и мониторинга аппаратных ресурсов DCImanager позволяет централизованно взаимодействовать как с программной, так и с аппаратной частью ПАК в режиме «одного окна»: это повышает удобство и прозрачность административных операций. В Tantor XData 2.0 улучшены возможности работы с кластерами баз данных: остановка и запуск для планового обслуживания, ведение реестра задействованных ресурсов, автоматизированное выделение сетевых и дисковых ресурсов при формировании кластера, усиленный механизм работы с секретами для повышения уровня безопасности.

Интерфейс для проведения полного цикла инсталляции/обновления и конфигурирования ПАК XData 2.0 обеспечивает автоматизацию ключевых этапов: монтажа, коммутации и первичной настройки аппаратного комплекса, установки и конфигурации операционной системы на управляющие и вычислительные серверы, на серверы хранения данных, установку, настройку, диагностику и обновление компонентов ПАК, предварительную проверку перед вводом в промышленную эксплуатацию.

Стартап Crusoe Energy Systems LLC, занимающийся строительством ИИ ЦОД, объявил об успешном привлечении $600 млн. Эти средства направят на ускоренное расширение физической инфраструктуры компании, сообщает The Information. Раунд финансирования серии D обеспечил рост стоимости компании до $2,8 млрд. Его возглавил фонд Founders Fund Питера Тиля (Peter Thiel), участие приняли NVIDIA, Fidelity, Long Journey Ventures, Mubadala, Ribbit Capital и Valor Equity Partners.

Основанная в 2018 году Crusoe изначально занималась строительством контейнерных ЦОД для нефтяных полей — такие объекты работают на попутном «факельном» газе. Компания использовала энергию для майнинга биткоинов, но позже переориентировалась на ИИ-проекты и HPC-решения в целом, а сейчас переключилась на строительство крупных дата-центров. Кроме того, был анонсироване сервис Crusoe Cloud. В компании заявляют, что могут обеспечить экономически эффективные масштабные ИИ-вычисления, предоставляя экологически безопасную инфраструктуру.

Источник изображения: Ruthson Zimmerman/unsplash.com

В октябре 2024 года Crusoe сформировала совместное предприятие с Blue Owl Capital и Primary Digital стоимостью $3,4 млрд для строительства кампуса ЦОД из двух зданий в Техасе. Кампус обеспечат около 93 тыс. м³ площадей и получит около 1,2 ГВт энергии. Объект будет вмещать до 100 тыс. современных ускорителей и станет одним из крупнейших в мире дата-центров, построенных специально для ИИ-нагрузок. По-видимому, вычислительные мощности именно этого кампуса при посредничестве Oracle и Microsoft достанутся OpenAI.

В прошлом году компания объявила о расширении сотрудничества с ведущими технологическими компаниями, включая NVIDIA, Vast Data Inc., Deloitte и Rescale Inc. Теперь Crusoe действует в девяти штатах США и трёх странах, включая Исландию. Новые инвестиции, по данным компании, позволят ей построить больше ЦОД, в изобилии обеспеченных чистой энергией. Уже сейчас ведётся реализация проектов дата-центров общей ёмкостью более 15 ГВт.

Транснациональный нефтегазовый гигант ExxonMobil обнародовал планы строительства новой электростанции мощностью 1,5 ГВт, работающей на природном газе. Предполагается, что новые проект будет снабжать электричеством только дата-центры, сообщает Datacenter Dynamics.

Пока проект находится на ранних стадиях реализации. Речь идёт о первой энергетической инициативе Exxon, предполагающей строительство электростанции, не обеспечивающей электричеством собственные операции компании. Компания начала изучать перспективы бизнеса электрогенерации в этом году, когда стало понятно, что спрос на электричество стремительно растёт благодаря массовому строительству ЦОД в США. В Exxon утверждают, что намерены внедрить технологию захвата углерода для нейтрализации более 90 % выбросов электростанции.

Местоположение электростанции Exxon пока не раскрывается, но известно, что компания уже зарезервировала землю и ведёт переговоры с потенциальными потребителями энергии из числа операторов ЦОД. В компании заявляют, что проект полностью соответствует рыночному спросу — он низкоуглеродный, лишён проблем с сетевыми подключениями и будет быстро реализован.

Источник изображения: Mick Truyts/unsplash.com

Новости Exxon отражают более широкие изменения на рынке энергетики — спрос на природный газ растёт на фоне роста спроса со стороны ИИ ЦОД. На прошлой неделе Meta✴ построит за $10 млрд ЦОД на северо-востоке Луизианы. Дата-центр будет получать 1,5 ГВт от газовых турбин Entergy Louisiana.

В S&P Global уже пришли к выводу, что спрос на природный газ для обеспечения энергией ЦОД может достичь минимум 85 млн м³ в день к 2030 году, максимум — он будет вдвое больше. В результате природный газ стал своеобразным «мостом» для перехода на «зелёные» источники энергии с низким углеродным выбросом. В прошлом месяце американский оператор электросетей Midcontinent Independent System Operator заявил, что ЦОД могли бы потенциально платить за «газовую» генерацию для получения энергии в краткосрочной перспективе.

Источник изображения: Wolfgang Weiser/unsplash.com

Впрочем, многие опасаются, что даже быстрого масштабирования газовых электростанций будет недостаточно для удовлетворения спроса дата-центров на электроэнергию, особенно в крупнейшем мировом хабе ЦОД в Вирджинии. В новом докладе властей штата предупреждается, что для соответствия росту ЦОД необходимо будет строить новую электростанцию на 1,5 ГВт на природном газе каждые два года в течение 15 лет.

Это первая попытка Exxon заняться генерацией энергии для ЦОД. Ранее компания инвестировала в технологии жидкостного охлаждения. Она сотрудничала с Intel над разработкой новых СЖО для дата-центров. В октябре 2023 года ExxonMobil объявила о намерении выйти на рынок охлаждающих жидкостей для ЦОД — синтетических и полусинтетических.

Cerebras Systems совместно с Сандийскими национальными лабораториями (SNL) Министерства энергетики США (DOE) провели успешный эксперимент по обучению ИИ-модели с 1 трлн параметров с использованием единственной системы CS-3 с царь-ускорителем WSE-3 и 55 Тбайт внешней памяти MemoryX.

Обучение моделей такого масштаба обычно требует тысяч ускорителей на базе GPU, потребляющих мегаватты энергии, участия десятков экспертов и недель на наладку аппаратного и программного обеспечения, говорит Cerebras. Однако учёным SNL удалось добиться обучения модели на единственной системе без внесения изменений как в модель, так и в инфраструктурное ПО. Более того, они смогли добиться и практически линейного масштабирования — 16 систем CS-3 показали 15,3-кратный прирост скорости обучения.

Источник изображения: Cerebras

Модель такого масштаба требует терабайты памяти, что в тысячи раз больше, чем доступно отдельному GPU. Другими словами, классические кластеры из тысяч ускорителей необходимо корректно подключить друг к другу ещё до начала обучения. Системы Cerebras для хранения весов используют внешнюю память MemoryX на базе 1U-узлов с самой обычной DDR5, благодаря чему модель на триллион параметров обучать так же легко, как и малую модель на единственном ускорителе, говорит компания.

Ранее SNL и Cerebras развернули кластер Kingfisher на базе систем CS-3, который будет использоваться в качестве испытательной платформы при разработке ИИ-технологий для обеспечения национальной безопасности.

Marvell Technology анонсировала новый подход к интеграции HBM (CHBM) в специализированные XPU, который предоставляет адаптированные интерфейсы для оптимизации производительности, мощности, размера кристалла и стоимости для конкретных конструкций ИИ-ускорителей. Как указано в пресс-релизе, этот подход учитывает вычислительный «кремний», стеки HBM и упаковку. Marvell сотрудничает с облачными клиентами и ведущими производителями HBM, такими, как Micron, Samsung и SK hynix.

CHBM повышает возможности XPU, ускоряя ввода-вывод между внутренними кристаллами самого ускорителя и базовыми кристаллами HBM. Это приводит к повышению производительности и снижению энергопотребления интерфейса памяти до 70 % по сравнению со стандартными интерфейсами HBM. Оптимизированные интерфейсы также уменьшают требуемую площадь кремния в каждом кристалле, позволяя интегрировать логику для поддержки HBM в базовый кристалл и сэкономить до 25 % площади.

Источник изображений: Marvell

Высвободившееся пространство может быть использовано для размещения дополнительных вычислительных или функциональных блоков и поддержки до 33 % большего количества стеков HBM. Всё это повышает производительность и энергоэффективность XPU, одновременно снижая совокупную стоимость владения для операторов облачных инфраструктур. Правда, это же означает и несоответствие стандартами JEDEC. Как отметил ресурс ServeTheHome, HBM4 требует более 2000 контактов, т.е. вдвое больше, чем HBM3. Для кастомного решения нет необходимости в таком количестве контактов, что также высвобождает место для размещения других компонентов.

«Ведущие операторы ЦОД масштабируются с помощью индивидуальной инфраструктуры. Улучшение XPU путем адаптации HBM к конкретной производительности, мощности и общей стоимости владения — это последний шаг в новой парадигме разработки и поставки ускорителей ИИ», — сказал Уилл Чу (Will Chu), старший вице-президент Marvell и генеральный менеджер группы Custom, Compute and Storage. В свою очередь, Гарри Юн (Harry Yoon), корпоративный исполнительный вице-президент Samsung Electronics, отметил, что оптимизация HBM для конкретных XPU и программных сред значительно повысит производительность облачной инфраструктуры операторов и её энергоэффективность.

Согласно данным ServeTheHome, в этом году гиперскейлеры увеличили капзатраты примерно на $100 млрд. Следующее поколение ИИ-кластеров будет в десять и более раз превосходить по мощности систему xAI Colossus на базе 100 тыс. NVIDIA H100. Отказ от стандартов JEDEC и появление возможности настройки памяти с учётом потребностей гиперскейлеров является монументальным шагом для отрасли. Также этого говорит о нацеленности архитектуры Marvell XPU на гиперскейлеров, поскольку в таком «тюнинге» памяти небольшие заказчики не нуждаются.

По неофициальным данным, Apple работает с Broadcom над разработкой серверного ИИ-ускорителя для обслуживания ИИ-сервисов в своих ОС. По словам трёх анонимных источников The Information, чип создаётся в рамках проекта Baltra и будет запущен в производство в 2026 году. Ранее компании уже работали над 5G-технологиями.

Деталей пока немного. На одной из конференций в этом году представитель Apple заявил, что ИИ-экосистема Apple Intelligence должна работать как на самих устройствах компании, так и в частном облаке Apple Private Cloud Compute на базе чипов M2 Ultra. Они используются для инференса, тогда как для обучения ИИ-моделей Apple использует ускорители Google TPU. Первые слухи о том, что компания разрабатывает серверные ускорители, появились в мае 2024 года.

Источник изображения: Apple

У компании богатый опыт разработки Arm-чипов, а Broadcom, помимо прочего, продаёт лицензии на различные IP-блоки и уже не раз помогала гиперскейлерам в создании кастомных чипов. Не так давно Broadcom анонсировала новую технологию упаковки 3.5D eXtreme Dimension System in Package (3.5D XDSiP), которая как раз ориентирована на создание высокопроизводительных кастомных чипов. Она позволяет объединить два 3D-стека, пару I/O чиплетов и до 12 модулей памяти HBM3 в одной упаковке, занимающей более 6000 мм². Производство первых чипов по этой технологии ожидается в 2026 году.

Созданием собственных ИИ-ускорителей заняты практически все крупные гиперскейлеры. Google первой занялась созданием собственных ускорителей и теперь в её портфолио есть уже шесть поколений TPU, Meta✴ трудится над MTIA, AWS предлагает Trainium2 и Inferentia2, Microsoft анонсировала Maia 100, Alibaba разработала Hanguang 800, а ByteDance и OpenAI пока ещё только создают будущие ускорители, причём при помощи всё той же Broadcom. Впрочем, для многих из них это попытка снизить зависимость от NVIDIA, выручка которой бьёт все рекорды.

Облачная платформа AWS анонсировала инстансы второго поколения с FPGA на борту. Экземпляры EC2 F2 ориентированы на решение задач в области геномики, обработки мультимедийных материалов, больших данных, спутниковой связи, компьютерных сетей, моделирования кремниевых чипов и видеотрансляций в реальном времени.

В новых инстансах применяются FPGA AMD Virtex UltraScale+ HBM VU47P. Эти изделия содержат 2,852 млн логических ячеек и 9024 DSP. Заявленная ИИ-производительность достигает 28 TOPS при вычислениях INT8. Кроме того, в состав EC2 F2 входят процессоры AMD EPYC поколения Milan.

Новые инстансы доступны в вариантах f2.12xlarge и f2.48xlarge — с 48 и 192 vCPU и 2 и 8 FPGA соответственно. Каждая ПЛИС оперирует 16 ГиБ памяти HBM и 64 ГиБ памяти DDR4. Таким образом, в случае f2.12xlarge используется в сумме 32 ГиБ HBM и 128 ГиБ DDR4, а в случае f2.48xlarge — 128 ГиБ и 512 ГиБ соответственно.

Источник изображения: AWS

Конфигурация f2.12xlarge включает 512 ГиБ системной памяти и два накопителям NVMe SSD суммарной вместимостью 1900 ГиБ. Пропускная способность сетевого подключения составляет 25 Гбит/с, пропускная способность EBS-томов — 15 Гбит/с. У экземпляра f2.48xlarge объём памяти составляет 2048 ГиБ, общая вместимость NVMe SSD — 7600 ГиБ. Пропускная способность сетевого подключения и EBS-томов достигает 100 Гбит/с и 60 Гбит/с соответственно. Для этого экземпляра предусмотрена поддержка AWS Cloud Digital Interface (CDI) для надёжной передачи несжатого видео (задержка между инстансами заявлена на уровне 8 мс).

Мировой рынок SSD корпоративного класса значительно вырос в III квартале 2024 года, а основным драйвером роста стал огромный спрос на связанные с ИИ задачи. По данным TrendForce, значительную роль сыграл и рост цен, поскольку поставщики с трудом справлялись со спросом.

В целом выручка индустрии выросла на впечатляющие 28,6 % квартал к кварталу. Спрос на накопители высокой ёмкости подогревался появлением ускорителей NVIDIA H100/H200 и устойчивыми заказами на серверы для обучения ИИ-моделей. В результате общий объём закупок SSD вырос в сравнении с предыдущим кварталом на 15 %. В IV квартале TrendForce прогнозирует замедление роста выручки, поскольку спрос начинает «охлаждаться». Общие объёмы закупок упадут, поскольку пик, похоже, позади, а OEM-производители серверов пересматривают заказы в меньшую сторону.

Ранее сообщалось, что поставки SSD во II квартале упали на 18,4 %, при этом суммарная ёмкость выросла благодаря серверным NVMe-накопителям. Примечательно, что год назад расстановка сил на рынке отличалась. Несмотря на сильный рост рынка в III квартале, позиции поставщиков по доходам остались без изменений. Но изменения в структуре заказов на SSD высокой ёмкости, которые дороже других, привели к тому, что темпы роста у вендоров отличались.

Источник изображения: Samsung

Samsung сохранила позицию главного поставщика корпоративных SSD, выручка в III квартале достигла $3,2 млрд. Рост показателей компании превысил ожидания благодаря повышенному спросу на модели высокой ёмкости, хотя некоторые поставки пришлось отменить из-за оптимизации производства. Доля серверных SSD в выручке компании продолжает расти. Ожидается, что компания сохранит рост выручки и в IV квартале на фоне больших объёмов поставок SSD ёмкостью до 8 Тбайт.

SK Group (SK hynix и Solidigm) сохранила позицию второго по величине поставщика твердотельных накопителей корпоративного уровня, выручка в III квартале выросла до $2,058 млрд. Компания добилась рекордных поставок решений для ИИ. В IV квартале выручка SK Group, как ожидается, останется стабильной и будет подкрепляться массовым производством SSD следующего поколения с интерфейсом PCIe 5.0 и 176-слойной памяти TLC NAND. Новые продукты, наряду с уже имеющимися SSD Solidigm на базе PCIe 4.0 и 144-слойной TLC- и QLC-памяти, и должны, как ожидается, сохранить выручку на прежнем уровне.

Третье место заняла Micron с $1,153 млрд выручки, полученной благодаря стабильному росту поставок SSD высокой ёмкости. Увеличенные поставки таких продуктов привели к росту показателей компании. Впрочем, в следующем квартале Micron может столкнуться с проблемами из-за роста спроса на SSD ёмкостью 60 Тбайт — этот продукт Micron всё ещё в процессе валидации многими партнёрами, что может повлиять на выручку в IV квартале.

Источник изображения: Samsung

Выручка Kioxia выросла до $636 млн, компания заняла четвёртое место среди поставщиков. Хотя в целом поставки выросли, по росту продаж продуктов высокой ёмкости компания отстаёт от конкурентов. Для того, чтобы сбалансировать ситуацию, компания сделала ставку на ограничение поставок SSD объёмом до 8 Тбайт. Теперь она усиливает сотрудничество с ключевыми североамериканскими клиентами и старается нарастить поставки SSD большой ёмкости.

Western Digital и SanDisk теперь отвечают за HDD и NAND/SSD соответственно, поэтому структура отчётности меняется. Разделение бизнеса направлено на увеличение операционной гибкости и углубление сотрудничества с ключевыми североамериканскими клиентами. В III квартале бизнес Western Digital, связанный с корпоративными SSD, зарегистрировал рост выручки на 100 % квартал к кварталу до $332 млн благодаря повышению спроса со стороны североамериканских клиентов.