Гендиректор Meta✴ Марк Цукерберг (Mark Zuckerberg) назвал главным препятствием в строительстве более крупных ЦОД для ИИ-нагрузок ограничения по поставкам электроэнергии, пишет ресурс DatacenterDynamics. Об этом глава компании сообщил в подкасте Dwarkesh, согласившись с мнением представителей отрасли.

Цукерберг отметил, что ПО регулируется лишь «отчасти», в то время как энергетическая отрасль является строго регулируемым сектором. И если вести речь о строительстве новых крупных электростанций или о значительном укрупнении существующих, а также о строительстве линий электропередачи, пересекающих государственные или частные земли, то этот процесс может затянуться на долгие годы. В частности, два года назад Meta✴ была вынуждена отказаться от гигантского 1,38-ГВт кампуса ЦОД в Нидерландах, где назрел энергетический кризис.

Источник изображения: Shane Rounce / Unsplash

Возведение крупного объекта для ИИ-вычислений, а также его ввод в эксплуатацию Цукерберг назвал «очень долгосрочным проектом». Эти ограничения сдерживают развитие собственных дата-центров ЦОД Meta✴. В конце 2022 года компания отказалась от планов по строительству ряда ЦОД, объявив о намерении кардинально изменить подход к их созданию и сейчас разрабатывает ряд модернизированных объектов. «Полагаю, что мы бы создали более крупные кластеры, чем можем сейчас, если бы у нас была энергия для этого», — сообщил Цукерберг.

«Никто ещё не построил ЦОД мощностью 1 ГВт. Я думаю, что это произойдёт, но не в следующем году. Это лишь вопрос времени», — добавил он, отметив, что для питания такого кампуса может понадобиться уже АЭС. Напомним, что по данным ресурса The Information, Microsoft и OpenAI обсуждают проект строительства к 2030 году объектов для решения задач в области ИИ мощностью 5 ГВт.

В 2024 году компания Meta✴, по сообщению The Register, после многих лет разработки может начать массовое внедрение собственных ИИ-чипов. Они станут альтернативой ускорителям NVIDIA и AMD, что поможет снизить зависимость от продукции сторонних поставщиков. В 2024 году компания намерена потратить до $37 млрд на развитие своей инфраструктуры.

В настоящее время для поддержания ИИ-нагрузок Meta✴ применяет такие решения, как NVIDIA H100. Ожидается, что к концу 2024 года компания будет иметь в своём распоряжении 350 тыс. этих ускорителей. Вместе с тем Meta✴ проявляет интерес и к изделиям AMD Instinct MI300. Ранее компания высоко оценила возможности Qualcomm Cloud AI 100, но отказалась от них из-за несовершенства ПО. Не приглянулись Meta✴ и чипы Esperanto. Сейчас Meta✴ ведёт разработку собственных ИИ-ускорителей.

Источник изображения: Meta✴

Весной 2023 года стало известно, что компания создала свой первый ИИ-процессор. Чип под названием MTIA (Meta✴✴ Training and Inference Accelerator; на изображении) представляет собой ASIC в виде набора блоков, функционирующих в параллельном режиме. Задействованы 64 вычислительных элемента в виде матрицы 8 × 8, каждый из которых объединяет два ядра с архитектурой RISC-V. Конструкция включает 128 Мбайт памяти SRAM, а также до 64/128 Гбайт памяти LPDDR5. Показатель TDP равен 25 Вт. Заявленная производительность на операциях INT8 достигает 102,4 TOPS, на операциях FP16 — 51,2 Тфлопс. Процессор производится по 7-нм технологии TSMC.

Источник изображения: Meta✴

Как теперь сообщается, в 2024-м Meta✴ намерена начать активное использование собственных ИИ-ускорителей с кодовым именем Artemis. В их основу лягут компоненты MTIA первого поколения. Чип Artemis, оптимизированный для инференса, будет применяться наряду с ускорителями сторонних поставщиков. При этом, как отметили представители компании, изделия Artemis обеспечат «оптимальное сочетание производительности и эффективности при рабочих нагрузках, специфичных для Meta✴».

Источник изображения: Meta✴

Компания пока не раскрывает ни архитектуру Artemis, ни конкретные рабочие нагрузки, которые будет поддерживать чип. Участники рынка полагают, что Meta✴ будет запускать готовые ИИ-модели на собственных специализированных ASIC, чтобы высвободить ресурсы ускорителей для развивающихся приложений. По данным SemiAnalysis, Artemis получит улучшенные ядра, а компоненты LPDDR5 уступят место более быстрой памяти, использующей технологию TSMC CoWoS.

Нужно добавить, что Amazon и Google уже несколько лет используют собственные чипы для ИИ-задач. Например, Amazon недавно ИИ-ускорители Trainium2 и Inferenetia2, тогда как Google в 2023 году представила сразу два новых ускорителя: Cloud TPU v5p и TPU v5e. А Microsoft сообщила о создании ИИ-ускорителя Maia 100.

Робот Meta✴ Bombyx — это специальное устройство, способное прокладывать оптоволоконные кабели, передвигаясь по линиям электропередач. Bombyx переводится с латыни как «мотылёк шелкопряда». Разработка робота была начата Facebook✴ и ULC Robotics ещё в 2018 году. Теперь Meta✴ сделала ставку на сторонний бизнес, который готов взять реализацию проекта на себя — робота лицензируют для дальнейшей разработки японской IT-компанией.

Лицензию получит японская Hibot, обладающая десятилетиями опыта в разработке роботов различного назначения. В компании уже заявили, что считают большой честью получение лицензии и намерены работать над проектом уже существующими партнёрами и теми, кто пожелает присоединиться к разработке. Робот Bombyx поддержит прокладку оптических линий в труднодоступных местностях, где проникновение интернета оставляет желать лучшего.

Источник изображения: Meta✴

В дополнение к возможности прокладки кабеля, Hibot будет использовать инновационные технологии Meta✴ для создания машины, пригодной для проверки уже существующей инфраструктуры и, возможно, для модернизации электросетей. Хотя оптоволоконные кабели являются недорогими и эффективным решением для создания информационных сетей, сама прокладка обычно обходится значительно дороже самого кабеля и представляет собой относительно сложный процесс.

Источник изображения: Meta✴

В случае Bombyx кабель обвивается вокруг проводов на линиях электропередач. При этом снятие напряжения не требуется, а протяжённость кабеля может быть весьма велика. Правда, речь идёт о специальном кабеле в кевларовой рубашке, который значительно легче традиционных вариантов (менее 13 кг/км). Bombyx может преодолевать препятствия, используя механизмы машинного зрения и сенсоры для ориентации в пространстве.

Meta✴ анонсировала свой первый кастомизированный процессор, разработанный специально для ИИ-нагрузок. Изделие получило название MTIA v1, или Meta✴ Training and Inference Accelerator: оно оптимизировано для обработки рекомендательных моделей глубокого обучения.

Проект MTIA является частью инициативы Meta✴ по модернизации архитектуры дата-центров в свете стремительного развития ИИ-платформ. Утверждается, что чип MTIA v1 был создан ещё в 2020 году. Это интегральная схема специального назначения (ASIC), состоящая из набора блоков, функционирующих в параллельном режиме.

Источник изображений: Meta✴

Известно, что при производстве MTIA v1 используется 7-нм технология. Конструкция включает 128 Мбайт памяти SRAM. Чип может использовать до 64/128 Гбайт памяти LPDDR5. Задействован фреймворк машинного обучения Meta✴ PyTorch с открытым исходным кодом, который может применяться для решения различных задач в области компьютерного зрения, обработки естественного языка и пр.

Процессор MTIA v1 имеет размеры 19,34 × 19,1 мм. Он содержит 64 вычислительных элемента в виде матрицы 8 × 8, каждый из которых объединяет два ядра с архитектурой RISC-V. Тактовая частота достигает 800 МГц, заявленный показатель TDP — 25 Вт.

Meta✴ признаёт, что у MTIA v1 присутствуют «узкие места» при работе с ИИ-моделями большой сложности: требуется оптимизация подсистем памяти и сетевых соединений. Однако в случае приложений низкой и средней сложности платформа, как утверждается, обеспечивает более высокую эффективность по сравнению с GPU.

В дальнейшем в семействе MTIA появятся более производительные изделия, но подробности о них не раскрываются. Ранее говорилось, что Meta✴ создаёт некий секретный чип, который подойдёт и для обучения ИИ-моделей, и для инференса: это решение может увидеть свет в 2025 году.

Компания Meta✴ прибегла к необычному экспериментальному способу утилизации строительного мусора. Совместно с биоинженерами Mycocycle она занялась превращением остатков гипсокартона, сохранившихся после строительства ЦОД Meta✴ в Галлатине (США), в ценное сырьё. Как сообщает DataCenter Dynamics, мусор буквально пожирают грибы. Ранее Meta✴ c партнёрами уже разработали с помощью ИИ «зелёный» экобетон для своих новых дата-центров.

Только в США ежегодно «генерируется» 660 млн тонн строительных отходов, как от самой стройки, так и в результате предварительного сноса зданий и очистки строительных площадок. Одним из наиболее распространённых и при этом проблемных материалов является гипсокартон, простые методы переработки которого пока отсутствуют — гипсокартон может вступать в реакции с другими материалами, в результате чего выделяются опасные вещества, в том числе сероводород и аммиак. Meta✴ же является одним из крупных «поставщиков» таких отходов на мусорные полигоны.

Источник изображения: Meta✴

В результате сотрудничества Meta✴ с Mycocycle с 2022 года разрабатывается метод, позволяющий буквально «скармливать» гипсокартон грибам, в результате чего создаётся перспективный побочный продукт, который тоже можно использовать в качестве строительного материала. Он, например, может применяться в составе термо- или шумоизоляционных панеле. В Meta✴ уже сообщили о сотрудничестве с крупными строительными компаниями для расширения экспериментов по созданию многократно перерабатываемого сырья.

Вырастая на гипсокартоне, грибы распространяют грибницу, которая буквально «взламывает» сам материал, питаясь мелкими остатками. Новый композит на основе остатков гипсокартона и грибницы может служить для формирования огнеупорного, крепкого и водонепроницаемого сырья, в перспективе способного заменить пластик. Известно, что Mycocycle уже участвовала в исследовании на эту же тему, профинансированным Microsoft.

Источник изображения: Meta✴

По мнению представителей строительной компании DPR, тоже участвующей в проекте Meta✴, инициатива имеет критически важное значение, поскольку отходы гипсокартона являются огромной проблемой для строительной отрасли. Как сообщает DataCenter Dynamics, Mycocycle уже «тренировала» грибы для переработки других типов материалов — например, битумной черепицы. Пока не уточняется, какие меры безопасности принимаются и как грибы смогут отличить «полезный» гипсокартон от строительного мусора.

Компания Meta✴, по сообщению Reuters, была вынуждена пересмотреть конфигурацию своих дата-центров из-за отставания от конкурентов в плане развития ИИ-платформ. Компания, в частности, решила отказаться от дальнейшего внедрения инференс-чипов собственной разработки.

Отмечается, что до прошлого года Meta✴ применяла архитектуру, в которой традиционные CPU соседствуют с кастомизированными решениями. Однако выяснилось, что такой подход менее эффективен по сравнению с применением ускорителей (GPU). При этом ранее компания отказалась от ИИ-ускорителей Qualcomm, указав на недоработки ПО, которые, судя по всему, были устранены только недавно. А с Esperanto, вероятно, отношения у Meta✴ пока не сложились. Впрочем, теперь компании интересен генеративный ИИ, а не только рекомендательные системы, что накладывает иные требования к оборудованию.

Источник изображения: Meta✴

В течение почти всего 2022 года Meta✴ активно инвестировала в развите инфраструктуры, однако в конце года стало известно, что она приостановила строительство целого ряда ЦОД, а затем пересмотрела расходы на дата-центры. Компания решила кардинально переосмыслить архитектуру своих ЦОД, сделав ставку на СЖО. Как теперь выясняется, связано это с тем, что Meta✴ отказалась от собственных ИИ-чипов в пользу ускорителей NVIDIA: объём заказов последних исчисляется «миллиардами долларов». Соответствующую платформу Grand Teton компания показала в конце прошлого года.

Источник изображения: Meta✴

Но ускорители потребляют больше энергии и выделяют больше тепла, нежели CPU или узкоспециализированные ASIC. Кроме того, ускорители должны физически находиться довольно близко друг к другу, хотя с интерконнектом компания тоже уже экспериментирует. Всё это влияет на архитектуру ЦОД. Тем не менее, Meta✴ всё же разрабатывает некий секретный чип, который сгодится и для обучения ИИ-моделей, и для инференса. Ожидается, что это решение увидит свет в 2025 году. Пока что для обучения ИИ компания намерена использовать собственный ИИ-суперкомпьютер RSC и облачные кластеры Microsoft Azure.

Похожий путь избрала Microsoft, решившая создать свой ИИ-чип, не отказываясь пока от ускорителей NVIDIA. The Information добавляет, что вице-президент Microsoft по разработке «кремния» Жан Буфархат (Jean Boufarhat) присоединится к Meta✴. Он возглавит команду Facebook✴ Agile Silicon Team (FAST), чтобы помочь компании в реализации проектов по созданию чипов. Ранее Meta✴ переманила из Intel руководителя разработки сетевых решений для дата-центров. У Google и Amazon уже есть свои ИИ-чипы для обучения и инференса.

Технологии искусственного интеллекта (ИИ) сегодня бурно развиваются и требуют всё более серьёзных вычислительных мощностей. Но наряду с наращиванием этих мощностей растут требования и к сетевой подсистеме, поэтому крупные компании и исследовательские организации ищут всё новые способы оптимизации инфраструктуры.

Компания Meta✴ в сотрудничестве с Массачусетским технологическим институтом (MIT) и рядом прочих исследовательских организаций опубликовала данные любопытного эксперимента, в котором ИИ-кластер мог менять топологию своего интерконнекта с помощью механической «роборуки».

Система получила название TopoOpt, поскольку вычислительные узлы в ней использовали полностью оптическую сеть с оптической же патч-панелью. Эта сеть объединяла 12 вычислительных узлов ASUS ESC4000A-E10, каждый из которых был оснащён ускорителем NVIDIA A100, сетевыми адаптерами HPE и Mellanox ConnectX-5 (100 Гбит/с) с оптическими трансиверами.

Источник здесь и далее: USENIX

Наиболее интересное устройство в эксперименте — оптическая патч-панель Telescent, оснащённая механическим манипулятором, способным производить перекоммутацию на лету. Эта «роборука» работала под управлением специализированного ПО, целью которого ставилось нахождение оптимальной сетевой топологии и сегментации сети применительно к различным задачам машинного обучения.

Система с перекоммутируемой оптической сетью не требует энергоёмких высокоскоростных коммутаторов и обеспечивает ряд других преимуществ

Такая роботизированная патч-панель не столь расторопна, как оптические коммутаторы Google с микрозеркальной механикой, но стоит впятеро дешевле и имеет больше портов. Опубликованные экспериментальные данные уверенно свидетельствуют о том, что топология «толстого дерева» (fat tree), использующая несколько слоёв коммутаторов, не оптимальна и даже избыточна для ряда нейросетевых задач.

К тому же перекоммутируемая оптическая сеть без традиционных высокоскоростных коммутаторов требует меньше оборудования, а значит, может быть не только быстрее сети fat tree в ряде ИИ-задач, но и существенно дешевле в развёртывании и поддержании в рабочем состоянии — как минимум за счёт отсутствия затрат на питание множества коммутаторов.

Компании Iceotope и Meta✴ продемонстрировали возможность иммерсионного (погружного) охлаждения систем хранения данных (СХД) на основе HDD. В ходе эксперимента было показано, что такой подход обеспечивает ряд преимуществ перед традиционным воздушным охлаждением.

В тесте использовалась стандартная коммерческая СХД высокой плотности формата 4OU, содержащая 72 жёстких диска, два односокетных серверных узла, две платы расширения SAS, сетевую карту, модуль распределения питания и другие компоненты. При этом система охлаждения была модифицирована путём добавления специального диэлектрического контура, теплообменника и насоса. Накопители были погружены в непроводящую жидкость.

✴/Iceotope/ASME " height="441" width="709" />

Источник изображения: Meta✴/Iceotope/ASME

Говорится, что применение иммерсионного охлаждения для HDD возможно благодаря тому, что современные диски с заполнением гелием имеют герметичную конструкцию. Результаты эксперимента показали, что в случае погружного охлаждения разница температур между всеми 72 накопителями составила всего 3 °C — независимо от расположения HDD в шасси. Накопители способны надёжно функционировать при температуре жидкости на входе в стойку до +40 °C.

Нажмите для увеличения / Источник изображения: Iceotope

Другим преимуществом иммерсионного подхода является то, что он позволяет сократить уровень вибрации, которая может приводить к некорректной работе накопителей или даже провоцировать их выход из строя. В целом, для работы системы погружного охлаждения требуется менее 5 % мощности, потребляемой самой СХД.

В отличие от широко известного протокола сетевой координации времени NTP, разработанный изначально для локальных сетей, PTP (Precision Time Protocol, IEEE 1588) способен обеспечивать точность синхронизации в пределах десятков наносекунд, тогда как у NTP это значение находится в диапазоне единиц или десятков миллисекунд.

С точки зрения владельцев крупных ЦОД возможность повысить точность синхронизации может представлять существенный интерес, поскольку позволяет точнее привести серверы к единому времени. И такой возможностью заинтересовалась компания Meta✴, которая в течение некоторого времени тестировала PTP локально, а в настоящее время заявила о переводе всех серверов на новый стандарт синхронизации.

Поскольку масштабы сети серверов Meta✴ действительно велики, влияние неточностей при использовании NTP может накапливаться и приводить к задержкам, сбоям или даже сетевым отказам. Тем более сверхточная синхронизация важна для проекта метавселенной, в котором огромная виртуальная вселенная должна функционировать как единое целое.

Однако внедрение PTP требует поддержки со стороны не только программного, но и аппаратного обеспечения, поэтому компания разработала в рамках OCP систему Open Time Server, в основе которой лежит плата точного времени Facebook✴ Time Card с приёмником сигналов GNSS. Требований со стороны сервера немного: использование сетевых интерфейсов с поддержкой PPS и Hardware Timestamps и процессоров с VT-d.

Facebook✴ Time Card

Программная часть состоит из ОС Linux с драйвером ocp_ptp и демонов Chrony/NTPd и ptp4u/ptp4l, работающих с устройствами dev/ptpX карты времени и сетевого адаптера. В официальном репозитории Open Time Server приведена подробная информация на этот счёт. На уровне ЦОД это означает появление выделенных стоек PTP, оснащённых соответствующим оборудованием.

Подчёркивается также важность наличия качественной антенны для приёма GNSS-сигналов, гарантирующей точность позиционирования менее 10 м — лишь при такой точности можно вести речь о наносекундном уровне синхронизации. Каждая стойка PTP также содержит устройство Calnex Sentinel 2.0, ответственное за мониторинг состояния системы: расхождение между Time Card и сетевым адаптером должно укладываться в окно размером не более 50 нс.

На мероприятии 7×24 Exchange Fall Conference Meta✴ поделилась секретами сбережения воды при эксплуатации дата-центров. Компания повысила температуру в серверных до +32,2 °C, а влажность, наоборот, снизила — до 13 %. Ожидается, что это позволит сэкономить миллиарды литров воды ежегодно. Попутно компания также внедряет передовую систему обработки и фильтрации воды, а в перспективе Meta✴ намерена «восстанавливать» больше воды для окружающей среды, чем потребляет.

Для оптимизации работы собственных площадок Meta✴ прибегла к эксперименту — на половине территории некоторых ЦОД задавались различные значения температуры и влажности, после чего оценивались и сравнивались различные показатели, включая, например, процент отказов оборудования. Делается это всё ради уменьшение затрат энергии и воды на охлаждение. Поскольку у Meta✴ площадь ЦОД составляет более 3,7 млн м², даже небольшие улучшения ведут к большой экономии.

Источник изображения: Erda Estremera/unsplash.com

Это не первое повышение температуры и понижение влажности в дата-центрах компании. Ранее Meta✴ увеличила температуру до +29,4 °C, а влажность вообще планировалось поддерживать на уровне 20–30 %. Однако практические испытания показали, что оборудованию достаточно комфортно в новых условиях, и нет проблем, например, со статическими разрядами. Изначально все эти меры были предприняты для снижения энергопотребления, но они заодно помогают экономить и воду.

Также в компании обновили процессы промышленной обработки воды, используемой в ЦОД — от фильтрации до «смягчения». Одним из важных изменений стал процесс оптимизации т.н. «обратной промывки» загрязнённых фильтров — в Meta✴ смогли организовать его таким образом, что фильтрационные системы стали использовать намного меньше воды. Помогла и оптимизация процесса смягчения воды в некоторых ЦОД.

Источник изображения: Stephen Dawson/unsplash.com

Всего компания использовала 2,57 млрд литров воды в 2021 году, но водные затраты на электроэнергию составили ещё 3,31 млрд литров. Проекты по восстановлению воды позволили «компенсировать» 2,33 млрд литров, а новые технологии, как ожидается, в перспективе обеспечат «возврат» более 3,2 млрд литров воды ежегодно, так что в Meta✴ рассчитывают стать «водно-положительной» к 2030 году — заявление сделали после критики нового ЦОД в одном из засушливых штатов США.