Компания Meta✴ представила специализированный чип MSVP, или Meta✴ Scalable Video Processor, спроектированный для ускорения выполнения операций, связанных с обработкой видеоматериалов. Это могут быть задачи по транскодированию роликов или потоковая передача контента.

По данным Meta✴, пользователи соцсети Facebook✴ тратят 50 % своего времени на просмотр в общей сложности примерно 4 млрд видеороликов ежедневно. Эти материалы сжимаются после загрузки, а затем преобразовываются в другие форматы и передаются пользователям. Сложность заключается в том, чтобы быстро уменьшить размер файла, сохранить его на серверах Facebook✴ и передать в потоковом режиме с максимально возможным качеством для того или иного устройства, например, смартфона, планшета или ПК.

Источник изображения: Meta✴

Эти задачи берёт на себя процессор MSVP. Он представляет собой интегральную схему специального назначения (ASIC). Чип предназначен для высококачественного транскодирования материалов для сервисов «видео по запросу», а также для оптимизации потоковых трансляций.

В перспективе подобные процессоры, как ожидается, помогут организовать работу с видеороликами, созданными посредством генеративного ИИ. Кроме того, такие чипы будут использоваться в составе платформ AR/VR. Решение MSVP обеспечивает производительность транскодирования на уровне 4K@15в максимальном качестве в режиме «один поток на входе и пять на выходе». В стандартном качестве возможна работа в формате 4K@60.

Компания Micron Technology анонсировала SSD семейств 6500 ION и XTR, предназначенные для применения в ЦОД. Изделия используют для обмена данными интерфейс PCIe 4.0 x4 (спецификация NVMe 2.0), благодаря чему достигаются высокие скоростные показатели. При этом решения серии XTR отличаются улучшенной долговечностью.

Накопители Micron 6500 ION выполнены на основе чипов памяти TLC NAND (Micron 232L Performance TLC). Разработчик утверждает, что по стоимости эти устройства сравнимы с SSD на базе QLC NAND. Вместимость составляет 30,72 Тбайт. Таким образом, операторы дата-центров получат эффективное решение для построения массивов хранения большой ёмкости.

Заявленная скорость последовательного чтения данных достигает 6,8 Гбайт/с, скорость последовательной записи — 5,0 Гбайт/с. Показатель IOPS при произвольных чтении и записи информации блоками по 4 Кбайт — до 1 млн и 200 тыс. соответственно. Накопители могут выдерживать до одной полной перезаписи в сутки (показатель DWPD). Предусмотрены два варианта исполнения: SFF U.3 толщиной 15 мм и E1.L толщиной 9,5 мм.

Источник изображений: Micron

Решения Micron XTR, в свою очередь, используют чипы памяти Micron 176L SLC. SSD доступны в формате SFF U.3 толщиной 15 мм. Вместимость составляет 960 Гбайт и 1,92 Тбайт. Скорость последовательного чтения в обоих случаях достигает 6,8 Гбайт/с, скорость последовательной записи — 5,3 и 5,6 Гбайт/с соответственно. Величина IOPS при чтении — до 900 тыс., при записи — до 250 тыс. и 350 тыс. Эти накопители обеспечивают высочайшую надёжность: значение DWPD равно 60 при последовательной записи и 35 при произвольной записи.

Хотя в генеративных ИИ-моделях вроде GPT-4 или Midjourney отдельные эксперты усматривают много угроз человечеству, далеко не все обращают внимание на важный фактор — не исключено, что скоро ИИ и люди будут конкурировать за обычную пресную воду. Как сообщает The Register, по прогнозам учёных, её будет всё больше требоваться для охлаждения ЦОД.

Проблема привлекла внимание учёных Калифорнийского университета в Риверсайде и Техасского университета в Арлингтоне. По оценкам исследователей, обучение языковой модели уровня GPT-3 требует использования около 700 тыс. литров воды — столько тратится на выпуск 320 электромобилей Tesla. Более того, на простой диалог из 20-50 вопросов ChatGPT требуется около 500 мл воды, а с развитием ИИ потребление воды такими системами достигнет огромных масштабов — если заранее не принять меры по оптимизации охлаждения ЦОД.

Источник изображения: Drew Dizzy Graham/unsplash.com

При этом эксперты обещают, что к середине века огромные территории в США будут страдать от засухи. Уже сейчас ЦОД крайне неохотно делятся информацией о потреблении воды, при этом используя разные системы подсчёта и, как Google, пытаясь скрыть следы в судебном порядке. В результате учёным приходится при расчётах пользоваться преимущественно косвенными данными. Впрочем, утверждается, что можно повсеместно использовать модель, разработанную SPX Cooling Technologies, и это позволит определить, сколько воды уходить на обучение и эксплуатацию языковых моделей.

Но, как считают в Dell'Oro Group, проблема на деле не в ИИ — он не испытывает настоящей жажды. В первую очередь речь идёт о рационализации систем терморегулирования. Даже от того, где находится ЦОД с ИИ, может значительно меняться потребление воды. Многие ЦОД используют не жидкостное охлаждение, а другие варианты. Например, в прошлом месяце Microsoft говорит об использовании систем с нулевым водопотреблением в ЦОД Аризоны — но они потребляют больше энергии.

Предлагается немало вариантов — от воздушного до водяного или погружного охлаждения, каждый из которых имеют свои преимущества и недостатки. Впрочем, вендоры вроде Submer и LiquidStack предлагают системы иммерсионного охлаждения, обеспечивающие PUE на уровне менее 1,05, тогда как системы воздушного охлаждения обычно обеспечивают лишь 1,4–1,5.

Источник изображения: redcharlie | @redcharlie1/unsplash.com

В научной работе приводятся не только возможные пути оптимизации систем охлаждения, но и рекомендации для того, чтобы ЦОД в принципе выделяли меньше тепла. В частности, речь идёт о том, что дата-центры стоит строить в местах с прохладным климатом вместо жарких азиатских стран, а некоторые задачи можно выполнять во второй половине дня, когда становится прохладнее. Хотя это ограничивает использование солнечных элементов питания, сам собой напрашивается вывод о применении резервных аккумуляторных источников вместо генераторов для накопления энергии днём.

Учёные считают, что залогом эффективного использования энергетических систем и охлаждения является большая прозрачность деятельности ЦОД. В Европе, например, пересматривают поправки к Директиве об энергоэффективности, которые заставят отчитываться по многим параметрам всё ЦОД кроме самых мелких. Как заявил один из учёных, «индустрия ЦОД столь скрытна, что иногда трудно получить подходящие данные для построения моделей». Впрочем, учёные опасаются, что у гиперскейлеров может не хватить времени на внедрение качественной отчётности — индустрия ИИ развивается чересчур быстро.

Центр развития передовых вычислений (C-DAC) Департамента электроники и информационных технологий Министерства коммуникаций и информационных технологий Индии представил первый в стране процессор для серверов и НРС-систем. Изделие под названием AUM выйдет на коммерческий рынок в текущем или следующем году.

Решение имеет чиплетную компоновку на базе двух модулей A48Z, каждый из которых насчитывает 48 вычислительных ядер Zeus с архитектурой Arm. Таким образом, суммарное количество ядер достигает 96. Тактовая частота составляет 3,0 ГГц (до 3,5 ГГц в турбо-режиме); показатель TDP варьируется от 280 до 320 Вт.

Источник изображений: C-DACC-DAC

Новинка будет изготавливаться на предприятии TSMC по 5-нм технологии. Чип содержит 96 Мбайт кеша L2 и 96 Мбайт системного кеша. Изделие получило 96 Гбайт памяти HBM3 и 8-канальный контроллер DDR5-5200; кроме того, имеется доступ к 64 Гбайт памяти HBM3-5600. Таким образом, задействована трёхуровневая подсистема памяти. Упомянуты до 128 линий PCIe 5.0 с поддержкой CXL.

Процессор AUM может применяться в двухсокетных серверах. Заявленная производительность превышает 4,6 Тфлопс в расчёте на разъём. Реализованы различные средства обеспечения безопасности, в том числе функция Secure Boot и криптографические алгоритмы.

Некоторые эксперты считают, что жизненный цикл жёстких накопителей подходит к концу. В их числе Шон Розмарин (Shawn Rosemarin), вице-президент по исследованиям и разработкам в подразделении по работе с клиентами (Customer Engineering) компании Pure Storage, заявивший, что после 2028 года жёсткие диски больше продаваться не будут из-за их плохой энергоэффективности и ограниченности применения, а также снижения стоимости флеш-накопителей.

Розмарин подчеркнул, что главным фактором падения конкурентоспособности жёстких дисков по сравнению с SSD станет высокий расход электроэнергии, а не снижение стоимости SSD или появление DFM ёмкостью 300 Тбайт собственной разработки Pure. Он отметил, что даже новейшие технологии магнитной записи с энергетической поддержкой, позволяющие значительно увеличить плотность записи, не спасут ситуацию.

Фото: Pixabay/FilipFilipovic

Производители HDD придерживаются другого мнения. Ещё в 2021 году Seagate заявила, что SSD не станут убийцами жёстких дисков. Мнения VAST и Infinidat по этому поводу заметно отличаются. Если VAST считает, что низкий уровень IOPS приведёт к ограничению использования ёмких HDD в хранилищах данных петабайтного масштаба, то Infidat отвечает, что это «должно быть шутка». Согласно оценкам Gartner, к 2026 году на долю SSD придётся 35 % от общего объёма поставок накопителей корпоративного класса (в Эбайт), что это делает маловероятным прогноз Розмарина.

«3 % мирового энергопотребления приходится на ЦОД, — приводит слова гендиректора Pure Розмарин. — Примерно треть от этого приходится на хранение. Почти всё это — HDD. Если отказаться от HDD и перейти на флеш-память, мы сможем, по сути, снизить энергопотребление на 80–90 %, увеличив плотность [хранения] на порядок в условиях, когда цены на NAND продолжают падать. Становится очевидным, что HDD уходят в прошлое».

Изображение: Pure Storage

Розмарин также отметил проблемы с поставками электроэнергии, доступность которой придётся учитывать при создании или расширении ЦОД — компаниям придётся выбирать между энергоэффективными SSD или ёмкими HDD. Скачок в развитии ИИ-технологий увеличил потребность в хранилищах, добавил Розмарин, что, по его словам, усугубляет проблему с точки зрения того, сколько данных смогут хранить провайдеры в связи с грядущим повышением спроса на электроэнергию.

Следует отметить, что Pure Storage является конкурентом производителей жёстких дисков, поэтому заявление её топ-менеджера необходимо оценивать с учётом этого факта. На данный момент массового перехода на флеш-память не наблюдается — ни один из гиперскейлеров пока не объявил о таком шаге. «Если же кто-то из них это сделает, то это будет сигналом того, что Pure Storage не одинока в своём убеждении », — пишет Blocks & Files.

Глобальная инвестиционная компания KKR сообщила о заключении соглашения по приобретению фирмы CoolIT Systems (CoolIT) — известного канадского разработчика систем прямого жидкостного охлаждения DLC (Direct Liquid Cooling). Финансовые условия договора не раскрываются.

CoolIT была основана в 2001 году. Компания занимается проектированием и производством решений жидкостного охлаждения для ЦОД и ПК. В частности, как сообщается, запатентованная DLC-технология Split-Flow повышает надёжность и срок службы оборудования, снижает эксплуатационные расходы, сокращает энергопотребление и выбросы углерода. При этом достигается возможность повышения плотности монтажа серверных компонентов по сравнению с традиционными методами воздушного охлаждения.

Источник изображения: CoolIT

Ожидается, что, получив доступ к ресурсам и капиталу KKR, компания CoolIT сможет ускорить развитие своих технологий и вывод инновационных решений на коммерческий рынок. Речь идёт о поставках продуктов для дата-центров, облачных платформ, систем НРС и пр. KKR в рамках сделки рассчитывает на дальнейшее масштабирование одного из лучших в своём классе решений DLC.

Отмечается также, что KKR инвестирует в CoolIT в рамках своей стратегии Global Impact. Эта инициатива, в частности, направлена на поддержку компаний, которые вносят ощутимый вклад в достижение одной или нескольких Целей устойчивого развития ООН. Ожидается, что сделка будет закрыта во втором квартале 2023 года при условии получения необходимых разрешений со стороны регулирующих органов.

Сбой в работе насоса охлаждающей системы, похоже, стал причиной утечки воды в парижском дата-центре компании Global Switch, которая, судя по всему, и привела к пожару в аккумуляторном отсеке. Как сообщает DataCenter Dynamics, в результате этого пострадали ресурсы ряда европейских органов власти и сервисы Google Cloud Platform.

Как сообщили представители Global Switch, инцидент произошёл в помещении одного из двух ЦОД на территории парижского кампуса компании, протечка воды случилась в аккумуляторном отсеке, что и спровоцировало возгорание. Помимо сервисов Google Cloud региона europe-west9-a, сбои работы в котором привели к отключению облачных сервисов во многих регионах. Заодно пострадали онлайн-ресурсы властей многих французских городов и муниципалитетов, а также посольств, консульств и других структур.

Известно, что после прибытия пожарных возгорание локализовали. Пострадавших нет, но некоторое количество клиентов временно лишено доступа к собственным ресурсам. Пострадал местный хостинг-провайдер Ecritel, часть сервисов которого недоступны, есть данные о проблемах у мобильного оператора Orange и студии Ubisoft, хотя неизвестно, связаны ли проблемы последних именно с данным пожаром. Пока пострадавшим рекомендуют переключиться на использование других облачных регионов. Ущерб ещё предстоит оценить.

Источник изображения: Google

Всего месяц назад во Франции горел ЦОД Maxnod, а пожар в страсбургском дата-центре OVHcloud в 2021 году привёл к тотальному уничтожению данных некоторых компаний и многомиллионным убыткам — компания до сих пор не справилась с последствиями инцидента. Причём в этом случае проблема тоже была связана с, как сообщалось, аномальным уровнем влажности в энергоотсеках. Не так давно возгорание Li-Ion аккумуляторов привело к сбоям в работе южнокорейского мессенджера KakaoTalk — компания стала жертвой крупнейшего в мире инцидента в мире ЦОД. Ещё один небольшой инцидент произошёл в ЦОД Cyxtera.

Компания Meta✴ прибегла к необычному экспериментальному способу утилизации строительного мусора. Совместно с биоинженерами Mycocycle она занялась превращением остатков гипсокартона, сохранившихся после строительства ЦОД Meta✴ в Галлатине (США), в ценное сырьё. Как сообщает DataCenter Dynamics, мусор буквально пожирают грибы. Ранее Meta✴ c партнёрами уже разработали с помощью ИИ «зелёный» экобетон для своих новых дата-центров.

Только в США ежегодно «генерируется» 660 млн тонн строительных отходов, как от самой стройки, так и в результате предварительного сноса зданий и очистки строительных площадок. Одним из наиболее распространённых и при этом проблемных материалов является гипсокартон, простые методы переработки которого пока отсутствуют — гипсокартон может вступать в реакции с другими материалами, в результате чего выделяются опасные вещества, в том числе сероводород и аммиак. Meta✴ же является одним из крупных «поставщиков» таких отходов на мусорные полигоны.

Источник изображения: Meta✴

В результате сотрудничества Meta✴ с Mycocycle с 2022 года разрабатывается метод, позволяющий буквально «скармливать» гипсокартон грибам, в результате чего создаётся перспективный побочный продукт, который тоже можно использовать в качестве строительного материала. Он, например, может применяться в составе термо- или шумоизоляционных панеле. В Meta✴ уже сообщили о сотрудничестве с крупными строительными компаниями для расширения экспериментов по созданию многократно перерабатываемого сырья.

Вырастая на гипсокартоне, грибы распространяют грибницу, которая буквально «взламывает» сам материал, питаясь мелкими остатками. Новый композит на основе остатков гипсокартона и грибницы может служить для формирования огнеупорного, крепкого и водонепроницаемого сырья, в перспективе способного заменить пластик. Известно, что Mycocycle уже участвовала в исследовании на эту же тему, профинансированным Microsoft.

Источник изображения: Meta✴

По мнению представителей строительной компании DPR, тоже участвующей в проекте Meta✴, инициатива имеет критически важное значение, поскольку отходы гипсокартона являются огромной проблемой для строительной отрасли. Как сообщает DataCenter Dynamics, Mycocycle уже «тренировала» грибы для переработки других типов материалов — например, битумной черепицы. Пока не уточняется, какие меры безопасности принимаются и как грибы смогут отличить «полезный» гипсокартон от строительного мусора.

Компания Meta✴, по сообщению Reuters, была вынуждена пересмотреть конфигурацию своих дата-центров из-за отставания от конкурентов в плане развития ИИ-платформ. Компания, в частности, решила отказаться от дальнейшего внедрения инференс-чипов собственной разработки.

Отмечается, что до прошлого года Meta✴ применяла архитектуру, в которой традиционные CPU соседствуют с кастомизированными решениями. Однако выяснилось, что такой подход менее эффективен по сравнению с применением ускорителей (GPU). При этом ранее компания отказалась от ИИ-ускорителей Qualcomm, указав на недоработки ПО, которые, судя по всему, были устранены только недавно. А с Esperanto, вероятно, отношения у Meta✴ пока не сложились. Впрочем, теперь компании интересен генеративный ИИ, а не только рекомендательные системы, что накладывает иные требования к оборудованию.

Источник изображения: Meta✴

В течение почти всего 2022 года Meta✴ активно инвестировала в развите инфраструктуры, однако в конце года стало известно, что она приостановила строительство целого ряда ЦОД, а затем пересмотрела расходы на дата-центры. Компания решила кардинально переосмыслить архитектуру своих ЦОД, сделав ставку на СЖО. Как теперь выясняется, связано это с тем, что Meta✴ отказалась от собственных ИИ-чипов в пользу ускорителей NVIDIA: объём заказов последних исчисляется «миллиардами долларов». Соответствующую платформу Grand Teton компания показала в конце прошлого года.

Источник изображения: Meta✴

Но ускорители потребляют больше энергии и выделяют больше тепла, нежели CPU или узкоспециализированные ASIC. Кроме того, ускорители должны физически находиться довольно близко друг к другу, хотя с интерконнектом компания тоже уже экспериментирует. Всё это влияет на архитектуру ЦОД. Тем не менее, Meta✴ всё же разрабатывает некий секретный чип, который сгодится и для обучения ИИ-моделей, и для инференса. Ожидается, что это решение увидит свет в 2025 году. Пока что для обучения ИИ компания намерена использовать собственный ИИ-суперкомпьютер RSC и облачные кластеры Microsoft Azure.

Похожий путь избрала Microsoft, решившая создать свой ИИ-чип, не отказываясь пока от ускорителей NVIDIA. The Information добавляет, что вице-президент Microsoft по разработке «кремния» Жан Буфархат (Jean Boufarhat) присоединится к Meta✴. Он возглавит команду Facebook✴ Agile Silicon Team (FAST), чтобы помочь компании в реализации проектов по созданию чипов. Ранее Meta✴ переманила из Intel руководителя разработки сетевых решений для дата-центров. У Google и Amazon уже есть свои ИИ-чипы для обучения и инференса.

Принадлежащая шведскому фонду Areim компания EcoDataCentr, занимающаяся строительством и эксплуатацией экобезопасных ЦОД, намерена возвести в шведском Эстерсунде экоустойчивый дата-центр EcoDataCenter 2. Как сообщает HPC Wire, новый кампус предусматривает внедрение «циркулярной» экосистемы, и в числе прочего, обеспечит «симбиоз» с производителями еды.

Известно, что оператор уже реализовал проект EcoDataCenter 1, в рамках которого возведён «первый в мире» ЦОД, построенный полностью из дерева и при участии местной рабочей силы — его избыточное тепло используется при выпуске древесных гранул. Впрочем, теперь речь идёт о значительно более сложном «зелёном» проекте.

EcoDataCenter 2 расположится в муниципалитете Эстерсунд (Östersund) — известно, что в местных энергосетях циркулирует только электричество из возобновляемых источников. Проект позволит создать 800–1000 рабочих мест, а «зелёная» энергия, помимо прочего, позволит выращивать в этой местности нехарактерные для местного холодного климата продукты питания.

Источник изображения: EcoDataCenter

В расчёт принимается и то, какие материалы используются или применяются повторно, как организованы трудовые отношения, какая именно энергия потребляется и другие важные аспекты. Ключевым участником процесса стала компания Wa3rm, на основе идей которой будет строиться «циркулярный» бизнес, именно она будет заниматься производством продуктов питания. В компании заявляют, что проект изначально проектируется с прицелом на реализацию «циркулярной» концепции.

По словам оператора ЦОД, поскольку большая часть HPC-вычислений мало зависит от временных задержек, размещение ЦОД для таких проектов можно проектировать именно там, где будет обеспечен наиболее высокий уровень экологической эффективности систем. К 2026 году планируется ввести в эксплуатацию первую очередь проекта мощностью 20 МВт, к 2033 году он должен «разрастись» до 150 МВт. Известно, что похожие проекты, предусматривающие выращивание рыб и омаров, уже реализованы в Японии и Норвегии.