План компании Meta✴ по строительству дата-центра с питанием от АЭС столкнулся с неожиданным препятствием. По данным The Register, его реализации помешали насекомые, точнее — редкий вид пчёл, обосновавшийся на «спорной» территории.

По словам главы компании Марка Цукерберга (Mark Zuckerberg), обнаружение редкого вида насекомых на участке будущей стройки оказало влияние на решение регуляторов, в конце концов отклонивших проект ЦОД, сообщает Financial Times. Meta✴ вела переговоры об энергоснабжении нового ИИ ЦОД с оператором действующей электростанции, рассчитывая получать безуглеродную энергию в больших объёмах.

Неизвестно, где именно должны были построить ЦОД. В 2018 году Electric Power Research Institute (EPRI), занимающаяся исследованиями чистой энергетики, выступил с инициативой Power-In-Pollinators, в рамках которой энергокомпании должны были поддержать насекомых-опылителей вроде пчёл и бабочек. В частности, речь шла о восстановлении их популяций на территории бывших АЭС. Сегодня EPRI Pollinator Stewardship Dashboard включает 19 компаний-участников.

Источник изображения: Sandy Millar/unsplash.com

ИИ-вычисления требуют немало энергии, поэтому гиперскейлеры в США заинтересованы в атомных проектах для удовлетворения спроса на электричество без использования ископаемого топлива. В сентябре Microsoft заключила сделку сроком на 20 лет, связанную с возобновлением работы АЭС Three Mile Island (Crane Clean Energy Center). В прошлом месяце Google объявила о сделке с Kairos Power о покупке энергии, полученной от малых модульных реакторов (SMR). Oracle заявила, что получила разрешения на строительство трёх SMR для питания ИИ ЦОД ёмкостью более 1 ГВт.

В недавнем отчёте о финансах Meta✴ подняла нижний порог капитальных затрат в 2024 году с $37 млрд до $38 млрд, верхний порог сохранился на уровне $40 млрд. Значительная часть этих расходов предназначена для строительства и обслуживания ИИ ЦОД. Впрочем, с препятствиями в попытке получить атомную энергию для своих ЦОД столкнулась и Amazon — регулятор отказал в увеличении поставок энергии кампусу AWS от АЭС Susquehanna.

Председатель правления и генеральный директор Meta✴ Марк Цукерберг (Mark Zuckerberg), по сообщению ресурса Tom's Hardware, раскрыл масштабы кластера, который используется для обучения ИИ-модели нового поколения Llama-4. По его словам, для этих целей задействованы более 100 тыс. ускорителей NVIDIA H100.

Напомним, в начале сентября нынешнего года стартап xAI, курируемый Илоном Маском (Elon Musk), объявил о запуске ИИ-суперкомпьютера Colossus, в основу которого положены 100 тыс. штук H100. В дальнейшем количество ускорителей в составе Colossus планируется увеличить вдвое. Теперь об эксплуатации кластера схожего масштаба рассказал Цукерберг.

Глава Meta✴ не стал вдаваться в подробности о характеристиках Llama-4, ограничившись лишь фразами вроде «новые модальности», «более сильные рассуждения» и «повышенное быстродействие». Ранее Meta✴ заявляла о намерении потратить в 2024-м от $30 млрд до $37 млрд на развитие своей инфраструктуры — прежде всего для задач ИИ. Кроме того, говорилось, что к концу текущего года компания рассчитывает оперировать мощностями, эквивалентными более чем 500 тыс. ускорителей NVIDIA H100.

Источник изображения: Meta✴

Вместе с тем, как отмечается, возникают сложности при обеспечении питанием столь масштабных ИИ-кластеров. Дело в том, что один современный GPU может потреблять до 3,7 МВт·ч электроэнергии в год. Это означает, что массив из 100 тыс. таких ускорителей потребует не менее 370 ГВт·ч в год, чего достаточно для обеспечения энергией более 34 млн среднестатистических американских домохозяйств. Цукерберг признаёт, что трудности, связанные с доступностью энергоресурсов, в перспективе могут ограничить темпы роста отрасли ИИ.

Как добавляет ComputerWeekly, Meta✴ также отказалась от практики увеличения срока службы серверов с целью сокращения расходов. Ранее компания сообщила о продлении периода эксплуатации оборудования до пяти лет вместо прежних четырёх с половиной: это, как ожидалось, даст экономию в $1,5 млрд. Однако теперь финансовый директор Meta✴ Сьюзан Ли (Susan Li) заявила, что компания в свете стремительного развития ИИ намерена применять серверы последнего поколения, чтобы максимально эффективно использовать доступную ёмкость существующих дата-центров.

Компания Meta✴ Platforms объявила результаты III квартала 2024 года, завершившегося 30 сентября. Выручка и прибыль компании, чья структура включает соцсети Facebook✴ и Instagram✴, превысили ожидания аналитиков Уолл-стрит. Тем не менее, акции компании упали после публикации результатов на 3 %, что объясняется более низким, чем ожидалось, количеством пользователей и планами по увеличению расходов на инфраструктуру в 2025 финансовом году.

Выручка Meta✴ выросла на 19 % до $40,59 млрд, что выше консенсус-оценки аналитиков, опрошенных LSEG, в размере $40,29 млрд. Чистая прибыль компании составила $15,7 млрд или $6,03 на акцию, что на 35 % больше год к году, а также выше консенсус-прогноза аналитиков, ожидавших $5,25 прибыли на акцию. Несмотря на впечатляющее увеличение прибыли за квартал, это самый низкий показатель роста со II квартала 2023 финансового года.

Источник изображения: NVIDIA

Meta✴ повысила прогноз капитальных затрат на 2024 финансовый год до $38–$40 млрд с предыдущего прогноза в размере с $37–$40 млрд. Также компания заявила, что ожидает значительного роста капитальных затрат в 2025 году из-за ускорения расходов на инфраструктуру. «Наши инвестиции в ИИ по-прежнему требуют серьезной инфраструктуры, и я ожидаю, что продолжу вкладывать в неё значительные средства», — сообщил гендиректор Meta✴ Марк Цукерберг (Mark Zuckerberg) в ходе телефонной конференции с аналитиками.

Цукерберг сообщил об огромных инвестициях компании в ИИ, которые включают строительство ЦОД и приобретение ускорителей NVIDIA для реализации стратегии в области ИИ и улучшения основного бизнеса компании в сфере онлайн-рекламы. По словам Цукерберга, более миллиона рекламодателей использовали рекламные инструменты на базе генеративного ИИ.

Meta✴ также обновила прогноз общих расходов на 2024 финансовый год, которые будут находиться в диапазоне от $96 до $98 млрд, что ниже предыдущего прогноза в $96–$99 млрд. Что касается текущего квартала, то Meta✴ ожидает получить выручку в диапазоне от $45 млрд до $48 млрд со средней точкой выше консенсус-прогноза аналитиков в $46,3 млрд.

По последним данным, Meta✴ планирует построить новый «кругосветный» подводный кабель, который свяжет два побережья Соединённых Штатов. Datacenter Dynamics сообщает, что новая цифровая магистраль пройдёт по дну Атлантического, Индийского и Тихого океанов.

В блоге Subseacables появилась информация о том, что кабель протяжённостью порядка 40 тыс. км или более потребует инвестиций в объёме $2 млрд. Эксперты допускают прокладку по двум вероятным маршрутам — от восточного побережья США к Индии с «остановкой» в Южной Африке, а потом от Индии к западному побережью страны с ещё одной посадочной станцией в Дарвине (Австралия). Есть и другая версия, согласно которой кабель получит ветку от Мумбая к Сингапуру и, возможно, протянется к Австралии и Японии. В этом случае не исключается и строительство посадочной станции в Лиссабоне — откуда магистраль уйдёт к побережью Западной Африки.

Источник изображения: Submarine Cable Map

Прогнозируемая ёмкость кабеля из 16 оптоволоконных пар — 320 Тбит/сек. Кабель минует проблемные маршруты, включая Красное море, Южно-Китайское море и прибрежные воды Египта. Предполагается, что кабель будет на 100 % принадлежать Meta✴. В самой Meta✴ новость комментировать отказались. Сегодня компания уже вовлечена в несколько проектов прокладки интернет-кабелей, включая Echo, Bifrost, Havhingsten, Amite и Anjana. Она же является ключевым владельцем и самой протяжённой на данный момент кабельной системы 2Africa.

Компания Solid State Storage Technology Corporation (SSSTC), дочерняя структура Kioxia, представила SSD корпоративного класса EJ5, подходящие для НРС-нагрузок, приложений ИИ и других ресурсоёмких задач. Изделия будут предлагаться в исполнениях U.2 (толщиной 15 мм) и EDSFF E3.S.

В основу накопителей положены флеш-чипы 3D eTLC. Для подключения служит интерфейс PCIe 5.0 х4. Заявленная скорость передачи данных в режиме чтения достигает 14 000 Мбайт/с, в режиме записи — 7500 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) при произвольных чтении и записи блоками по 4 Кбайт составляет до 2,5 млн и 360 тыс. соответственно.

В семейство EJ5 вошли модели вместимостью 3,2, 6,4 и 12,8 Тбайт, которые могут выдерживать до трёх полных перезаписей в сутки (3 DWPD) на протяжении пяти лет. Кроме того, дебютировали варианты ёмкостью 3,84, 7,68 и 15,36 Тбайт с 1 DWPD на протяжении пяти лет. У всех устройств величина MTBF (средняя наработка на отказ) превышает 3 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C.

Источник изображения: SSSTC

В накопителях реализована фирменная технология TrueLog 360, которая отвечает за сбор и запись важной информации о состоянии SSD: данные сохраняются каждый час на протяжении всего жизненного цикла. Это обеспечивает возможность непрерывного мониторинга и глубокого анализа, что позволяет корпоративным пользователям отслеживать работоспособность устройств, температурные аномалии, производительность и другие параметры в любое время.

Кроме того, упомянута защита от потери питания TruePLP (Power Loss Protection). В оснащение входят высоконадёжные конденсаторы для резервной подачи энергии. В случае сбоя TruePLP предоставляет SSD возможность записать любые данные из памяти DRAM во флеш-память NAND, предотвратив тем самым потерю информации. Говорится также о поддержке TCG Opal.

Компания Supermicro анонсировала высокопроизводительные системы хранения Storage SuperServer типа JBOF All-Flash, оптимизированные для HPC-задач, обучения ИИ-моделей и инференса. Устройства, рассчитанные на монтаж в стойку, выполнены в форм-факторе 2U.

Новинки построены на основе DPU NVIDIA BlueField-3. Эти изделия содержат 16 ядер Cortex-A78, поддерживают интерфейс PCIe 5.0 и обеспечивают скорость в 400 Гбит/с. Системы Supermicro JBOF могут использовать до четырёх ускорителей BlueField-3.

В число представленных устройств вошли модели SSG-229J-5BU24JBF и SSG-229J-5BE36JBF. Первая рассчитана на 24 накопителя SFF U.2 NVMe, вторая — на 36 накопителей E3.S. Отсеки для SSD расположены во фронтальной части; допускается горячая замена. В обоих случаях имеются два коннектора M.2 для SSD формата 2280/22110 с интерфейсом PCIe 5.0 x4. Предусмотрены три слота для карт PCIe 5.0 x16 FHFL.

Источник изображения: Supermicro

Системы оснащены двумя портами 1GbE и дополнительным портом 1GbE на основе контроллера Realtek. Габариты составляют 762 × 449,4 × 88 мм. Питание обеспечивают два блока с сертификатом 80 Plus Titanium мощностью 1600 Вт у SSG-229J-5BU24JBF и 2000 Вт у SSG-229J-5BE36JBF. Установлены шесть вентиляторов охлаждения диаметром 60 мм. Диапазон рабочих температур — от +10 до +35 °C.

Supermicro отмечает, что при использовании SSD вместимостью 30,71 Тбайт можно сформировать хранилище суммарной ёмкостью 1,1 Пбайт. Архитектура контроллеров «активный — активный» гарантирует высокую доступность.

Некоммерческая организация Open Compute Project Foundation (OCP), специализирующаяся на создании открытых спецификаций оборудования для ЦОД, сообщила о том, что для её инициативы Open Systems for AI собственные разработки предоставят NVIDIA и Meta✴.

Проект Open Systems for AI был анонсирован в январе 2024 года при участии Intel, Microsoft, Google, Meta✴, NVIDIA, AMD, Arm, Ampere, Samsung, Seagate, SuperMicro, Dell и Broadcom. Цель инициативы заключается в разработке открытых стандартов для кластеров ИИ и дата-центров, в которых размещаются такие системы. Предполагается, что Open Systems for AI поможет повысить эффективность и устойчивость ИИ-платформ, а также обеспечит возможность формирования цепочек поставок оборудования от нескольких производителей.

В рамках инициативы NVIDIA предоставит OCP спецификации элементы электромеханической конструкции суперускорителей GB200 NVL72, включая архитектуры стойки и жидкостного охлаждения, механические части вычислительного и коммутационного лотков.

Источник изображения: NVIDIA

Кроме того, NVIDIA расширит поддержку стандартов OCP в своей сетевой инфраструктуре Spectrum-X. Речь идёт об обеспечении совместимости со стандартами OCP Switch Abstraction Interface (SAI) и Software for Open Networking in the Cloud (SONiC). Это позволит клиентам использовать адаптивную маршрутизацию Spectrum-X и управление перегрузками на основе телеметрии для повышения производительности Ethernet-соединений в составе масштабируемой инфраструктуры ИИ. Адаптеры ConnectX-8 SuperNIC с поддержкой OCP 3.0 появятся в 2025 году.

В свою очередь, Meta✴ передаст проекту Open Systems for AI свою архитектуру Catalina AI Rack, которая специально предназначена для создания ИИ-систем высокой плотности с поддержкой GB200. Это, как ожидается, позволит организации OCP «внедрять инновации, необходимые для создания более устойчивой экосистемы ИИ».

Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Представленное сегодня семейство SSD Kioxia XD8 с интерфейсом PCIe 5.0 является уже третьим по счёту в ряду решений компании, выпускаемых в быстро набирающем популярность компактном форм-факторе EDSFF E1.S. Главная отличительная черта новинок — соответствие стандартам NVMe 2.0 и спецификациям OCP 2.5.

Позиционируются XD8 в качестве решений для облачных сред и гиперскейлеров и характеризуются, в первую очередь, высокой скоростью чтения. Этот показатель у новых SSD Kioxia достигает 12,5 Гбайт/с, что на 73% выше, чем у моделей предыдущего поколения XD7P. Скорость линейной записи также подросла, правда всего на 20%. Она достигает 5,8 Гбайт/с. Для операций случайного чтения 4K-блоками заявлено до 2,3 млн IOPS, при случайной записи накопители обеспечивают до 250 тыс IOPS. Это на 48% и 25% быстрее, нежели у семейства XD7P в том же форм-факторе.

Источник: Kioxia via HotHardware

Базируются описываемые SSD на памяти BiCS 3D TLC собственной разработки Kioxia. XD8 имеют ёмкость 1,92 Тбайт, 3,84 Тбайт или 7,68 Тбайт. Для них заявлена надёжность на уровне 1 полной перезаписи в день на протяжении пятилетнего гарантийного срока (1 DWPD), а наработка на отказ составляет 2 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C. Накопители поддерживают шифрование данных, в том числе стандарт TCG Opal 2.0, а также интерфейс управления NVMe-MI 1.2c. Имеется защита от сбоев по питанию.

Поскольку для высокоскоростных SSD с поддержкой PCIe 5.0 важен вопрос теплоотвода, Kioxia предусмотрела три опции корпусов-радиаторов высотой 9,5 мм, 15 мм и 25 мм. От этого показателя зависит наличие и высота оребрения. В настоящее время компания уже поставляет клиентам ознакомительные образцы новых SSD.

Meta✴ совместно с CarbonBuilt ускорят производство «низкоуглеродного» бетона. По информации Datacenter Dynamics, при выпуске нового продукта углеродные выбросы снижены приблизительно на 70 % в сравнении с базовыми отраслевыми показателями.

Основанная в 2020 году CarbonBuilt специализируется на производстве низкоуглеродных бетонных продуктов. Соглашение позволит ей модернизировать и масштабировать производство альтернативного цемента, получившего название Reversa. Материал призван заменить т.н. портландцемент, при производстве которого углеродные выбросы довольно высоки — при этом это одна из самых распространённых марок в строительстве. В компании утверждают, что Reversa вступает в химическую реакцию с углекислым газом во время выдерживания бетона, при этом навсегда задерживая CO₂ в материале.

Источник изображения: CarbonBuilt

Все значимые решения, связанные с цементом и бетоном, требуют изменения инфраструктуры в той или иной степени. Быстрое изменение требует, чтобы участники отрасли видели привлекательную финансовую отдачу в ответ на свои инвестиции. Сотрудничество с Meta✴ поможет ускорить и масштабировать реализацию подобных проектов. В Meta✴ добавили, что компания ставит в приоритет многовекторный подход к ускорению декарбонизации в сложных секторах индустрии вроде производства строительных материалов бетона. Сотрудничество с CarbonBuilt позволит снизить выбросы и масштабировать бизнес.

В августе 2024 года сообщалось об испытаниях Open Compute Project Foundation (OCP) «низкоуглеродного» бетона производства CarbonCure. Кроме того, Microsoft ведёт эксперименты с использованием в строительстве ЦОД в штате Вашингтон низкоуглеродных бетонных смесей. В 2022 году сообщалось о строительстве ЦОД Meta✴ из «зелёного» бетона, созданного с помощью ИИ. Впрочем, Meta✴ работает и в других направлениях. Так, в сентябре техногигант заключил сделку, связанную с восстановлением лесов в Латинской Америке. Также Meta✴ разрабатывает и собственную технологию захвата углекислого газа для своих дата-центров.