Компания Amazon намерена расширять инфраструктуры «ответственного использования» электроники, применяемой в центрах обработки данных. Как сообщает портал компании, её дочернее предприятие re:Cycle Reverse Logistics откроет в Пенсильвании (США) фабрику по оценке, ремонту и переработке электронных отходов. Объект площадью 51 тыс. м2 заработает в апреле 2024 года. Ожидается, что в переработке оборудования будут заняты от 300 до 500 человек.

Само здание фабрики в некотором роде тоже относится к объектам, «бывшим в употреблении» — в компании приняли решение использовать пустующее промышленное здание для создания собственного центра переработки отходов и ремонта той электроники, которая может быть восстановлена. По данным СМИ, Пенсильванию выбрали из-за близости к объектам Amazon на восточном побережье США. А конкретное здание — потому, что оно уже зонировано для промышленных целей, поэтому бюрократические процедуры серьёзно упрощаются.

Источник изображения: Amazon

Программа работы со списанным оборудованием состоит из восьми этапов:

1. Отправка стоек в специальные хабы, где стираются данные, хранящиеся на списанных серверах;
2. Отправка стоек и другие компонентов в центры переработки для оценки и ремонта оборудования в случаях, когда это возможно;
3. Разбор стоек на индивидуальные компоненты;
4. Отправка компонентов в лаборатории для тестирования, поиска физических дефектов и мелкого ремонта;
5. Оценка общей работоспособности оборудования при нагрузках;
6. Оценка модулей AWS Nitro Card;
7. Сбор статистики для отправки инженерным командам, которые могут использовать информацию для улучшения будущих ЦОД;
8. Отправка работоспособных компонентов на склады для повторного использования в будущем, прочие же компоненты отправляются на переработку.

Источник изображения: Amazon

Так называемая «обратная логистика» — это весьма распространённая практика разборки изношенного оборудования для восстановления тех комплектующих, которые ещё можно использовать, и добычи из оставшегося мусора ценного сырья. Известно, что у Amazon уже имеются соответствующие хабы, а теперь компания намерена прибегать к подобной практике более широко. Аналогичные проекты есть у Microsoft. Кроме того, б/у-оборудование гиперскейлеров нередко перепродаётся, а сами они увеличивают сроки эксплуатации «железа».

Корпорация Microsoft, по сообщениям ресурсов Datacenter Dynamics и Motley Fool, создаёт специализированный инструментарий, который позволит автоматически планировать выполнение рабочих нагрузок в ЦОД в зависимости от их срочности и воздействия на окружающую среду.

Идея заключается в том, чтобы выполнять определённые задачи в определённое время, что позволит минимизировать выбросы вредных газов в атмосферу. Например, те ресурсоёмкие задачи, выполнение которых не является срочным, могут быть отложены до момента, когда станет доступно необходимое количество энергии из возобновляемых источников.

Источник изображения: Microsoft

Microsoft патентует систему управления поведением оборудованием, «ориентированную на устойчивое развитие». Данный комплекс учитывает состояние энергосистемы в целом, а также другие факторы. На начальном этапе собирается информация о текущей нагрузке на сеть, о погодных условиях и температурах и т.д. После этого специальные алгоритмы делают прогноз использования ресурсов и распределяют выполнение задач так, чтобы они оказало «сравнительно меньшее воздействие на окружающую среду».

По заявлениям Microsoft, подобный подход позволит снизить нагрузку на энергосеть в часы-пик, а также увеличить срок службы оборудования. Кроме того, станет возможным более эффективное использование «зелёной» энергии. В частности, Microsoft может использовать систему для приостановки и возобновления некоторых операций в ЦОД для балансировки энергопотребления.

Нужно отметить, что Google ещё два года назад начала динамически и прозрачно для конечных потребителей перемещать нагрузки между различными дата-центрами, опираясь на уровень доступности для них «зелёной» энергии. При этом речь идёт только о задачах, для которых не критичны задержки или требования о суверенитете данных. Для этого Google составляет прогнозы доступности энергии на день вперёд.

Провайдер облачной ИИ-инфраструктуры CoreWeave объявил о привлечении $2,3 млрд долгового финансирования под залог ускорителей NVIDIA. По данным Silicon Angle, компания намерена полностью потратить вырученные средства на закупку аппаратного обеспечения от всё той же NVIDIA.

Это уже не первый раунд финансирования, суммарно компания привлекла $571 млн, причём от NVIDIA она получила около $100 млн и приоритет в отгрузке новейших ускорителей. Текущая ситуация уникальна тем, что CoreWeave взяла деньги в долг, оставив в качестве залога используемые ею ускорители NVIDIA.

Со взрывным ростом интереса к генеративным ИИ-системам, гонка по созданию всё более масштабных и совершенных ИИ-моделей и инфраструктуры для их обучения потребовала огромного количества дополнительных вычислительных мощностей. Обладая большим числом ускорителей NVIDIA ещё со времён своего «увлечения» криптовалютами, CoreWeave способна превзойти конкурирующих облачных провайдеров.

Источник изображения: CoreWeave

Компания обеспечивает облачный доступ к самым передовым технологиям NVIDIA, включая ускорители H100. Также доступны A100, A40 и RTX A6000. Эти решения можно использовать для систем ИИ и машинного обучения, работы с графикой и других ресурсоёмких задач. В компании утверждают, что уже обладают одним из крупнейших HGX-кластеров в мире и поддерживает более 3500 ускорителей NVIDIA H100 в своей суперкомпьютерной инфраструктуре.

В прошлом месяце компания объявила о строительстве крупного ЦОД в Техасе за $1,6 млрд. Ожидается, что он будет полностью готов к работе в конце текущего года и будет использован для создания ИИ-супероблака.

Компания Thames Water, являющаяся крупнейшей коммунальной службой в Великобритании и занимающаяся водоснабжением и водоотведением для 15 млн человек, выдвинула ультиматум операторам некоторых ЦОД. Как сообщает The Register, им предложено сократить расход воды самостоятельно, или это будет сделано в принудительном порядке. Также не исключается повышение цен в периоды пиковых нагрузок.

В прошлом году Thames Water оценила использование воды дата-центрами в зоне обслуживания компании, включающей как большую часть британской столицы, так и долину Темзы на юге Англии. В дальнейшем планировалось снизить использование воды, координируя действия с ЦОД — страна как раз переживала необычайную жару, из-за которой пострадали и сами дата-центры.

Фото: Kevin Grieve / Unsplash

Теперь, похоже, компания готова прибегнуть и к мерам принуждения, в частности, ограничивать в случае необходимости подачу воды тем, кто расходует её слишком много, или взимать больше в периоды пикового спроса. В июле прошлого года сложилась критическая ситуация — из-за рекордной жары внешние модули систем кондиционирования британских ЦОД буквально приходилось обрызгивать водой из шлангов во избежание перегрева.

По имеющимся данным, рассматривается ограничение подачи воды как минимум одному лондонскому оператору ЦОД в периоды пикового потребления — подобные меры необходимы во время летней жары уже нынешнего года на фоне роста потребностей в воде со стороны бизнесов и граждан. Пока неизвестно, рассматривается ли подобная политика в качестве временной меры или ограничения могут ввести навсегда. Также не сообщается, будут ли ограничения тотальными или станут применяться только в районах компактного размещения кластеров ЦОД.

Фото: Benjamin Davies / Unsplash

Конечно, в Thames Water утверждают, что предпочли бы добровольное ограничение потребления операторами прежде чем вводить репрессивные меры. ЦОД, например, могли бы изучить возможность переработки и использования сточных вод непосредственно по месту потребления. В Thames Water заявили, что компания также поощряет использование дата-центрами альтернативных источников воды. К счастью, не все ЦОД полагаются на пресную воду, но те, что прибегают к ней, часто тратят порядка 4–19 тыс. м³ ежедневно.

Впрочем, это не единственная проблема коммунальных компаний в Англии. В этом году их активно критикуют за сброс неочищенных сточных вод в реки и даже прибрежные морские воды. Кроме того, службы не успевают ремонтировать стареющую инфраструктуру. Из-за этого Thames Water теряет больше любой компании такого профиля в Великобритании — по данным BBC, ежедневно она допускает утечку более 600 тыс. м³, что уже привело к смене её руководства в прошлом месяце.

Uptime Institute опубликовал данные ежегодного, 13-го по счёту, опроса операторов ЦОД Global DataCenter Survey 2023, который показал, что из-за недостаточного сбора данных об использовании электроэнергии и воды им будет сложно соответствовать новым требованиям и нормативным актам по отчётности в области экологически устойчивого развития.

На фоне ужесточения контроля со стороны регулирующих органов за деятельностью отрасли с целью уменьшения вредного воздействия ЦОД на окружающую среду результаты исследования показывают, какую работу необходимо выполнить в данном секторе для улучшения отслеживания объёмов потребляемых ресурсов и генерируемых выбросов.

«В нескольких исследованиях, проведённых за последние годы, Uptime Institute отмечал, что сбор и представление данных, связанных с устойчивостью, а также расчёт соответствующих показателей в лучшем случае носят фрагментарный характер. Опрос ещё раз подтверждает это мнение», — говорится в сопроводительной записке.

Источник: Uptime Institute

«Многим операторам будет сложно соответствовать новым требованиям к отчётности в области устойчивого развития или требованиям некоторых клиентов и даже общественности». В отчёте указано, что операторы, как правило, фокусируются на мониторинге использования электроэнергии и воды на своих объектах, а не на учёте количества выделяемых ими парниковых газов, по соображениям экономии средств.

«Потребление электроэнергии, PUE и расход воды легко отслеживать, и любое улучшение в этих областях часто позволяет сэкономить средства, — говорится в отчёте. — Сокращения выбросов CO₂, которое, конечно, может быть частично достигнуто за счёт добросовестного управления энергопотреблением, гораздо сложнее добиться и это приносит меньше непосредственной выгоды». 88 % участников опроса заявили, что следят за потреблением электроэнергии, а 71 % — что контролируют PUE, но менее половины респондентов сообщили о том, что докладывают о потреблении воды или что следят за утилизацией своих серверов.

«Отчётность о показателях, связанных с фактическими выбросами CO₂, остаётся очень слабой, что говорит о том, что в предстоящие годы потребуются некоторые быстрые восстановительные работы», — указано в отчёте. Впервые за 13 лет участникам также был задан вопрос о ключевых проблемах в управлении, вызывающих у них обеспокоенность. В ответ многие в качестве главной проблемы назвали кадровый вопрос, который со временем многие надеются решить с помощью ИИ, а также необходимость повышения энергоэффективности своих дата-центров.

Источник: Uptime Institute

В частности, было отмечено, что по показателю энергоэффективности прогресс застопорился. В течение четырёх–пяти лет среднегодовой показатель PUE остаётся на отметке 1,58–1,59. Это говорит о том, что простые способы улучшения PUE уже исчерпали себя. Для повышения энергоэффективности многих существующих объектов необходимы капитальные работы, дорогостоящие и потенциально опасные. Естественно, более современные объекты имеют лучшие показатели: 16 % респондентов в этом году сообщили о среднегодовом показателе PUE ниже 1,3, в основном в Европе, США и Канаде.

В опросе Uptime Institute участвовали более 850 владельцев и операторов центров обработки данных, а также 700 поставщиков и консультантов, которым были заданы вопросы о состоянии отрасли с точки зрения устойчивости, результативности, укомплектования персоналом и регулирования.

Компания Microsoft получила разрешение на строительство газовой электростанции на 170 МВт для своего кампуса Grange Castle в пригороде Дублина. Как сообщает DataCenter Dynamics, объект стоимостью €100 млн будет использоваться для повседневного питания ЦОД, а в случае отключения от национальной энергосети станция и 21 дизель-генератор станут единственным источником питания всего кампуса. По данным Business Post, суммарно планируется установить 150 генераторов.

Экоактивисты уже выступили против проекта, обвинив IT-гиганта в попытке обойти запрет оператора EirGrid на новые подключения ЦОД к электросетям в Дублине и его окрестностях до 2028 года. Защитники природы подчёркивают, что хотя благодаря собственной электростанции Microsoft ограничит нагрузку на местные энергосети, электростанция будет только способствовать росту углеродного выброса. При этом власти Ирландии всё ещё намерены добиться того, чтобы к 2030 году 80 % энергии в стране должно поступать из возобновляемых источников.

Источник изображения: Microsoft

Хотя в Ирландии в целом строительство дата-центров не запрещено и даже приветствуется, в Дублине и окрестностях оно ограничено, поскольку здесь и без того уже действует немало ЦОД. Из-за введённых ограничений некоторые крупные компании уже приостановили реализацию ряда проектов. Экоактивисты призывают вообще заблокировать строительство новых ЦОД, утверждая, что это помешает декарбонизации страны. Строительство газовых электростанций может стать временным ответом на ограничения, позволив сделать ЦОД вообще автономными.

При этом власти Ирландии ещё в конце 2022 года предостерегли оператора Gas Networks Ireland от заключения новых контрактов с операторами ЦОД, предполагающими обеспечивать свои объекты преимущественно за счёт газовых генераторов для обхода существующих норм. Известно, что Microsoft, для соблюдения существующих в Ирландии правил, не станет эксплуатировать станцию круглосуточно — она будет работать всего по 8 часов в день. Вместе с тем это вряд ли поможет планам компании по полном переводу её ирландских ЦОД на «зелёную» энергию.

CDN-провайдер Akamai Technologies Inc. объявил об открытии трёх новых облачных ЦОД Connected Cloud в Париже, Вашингтоне (округ Колумбия) и Чикаго, а также о предстоящем запуске в этом квартале аналогичных объектов в Сиэтле и Ченнаи (Индия). По словам компании, стратегически выбранное расположение новых ЦОД позволит предоставлять клиентам высокопроизводительные, масштабируемые облачные ресурсы.

Новый объект в Вашингтоне находится невдалеке от Северной Вирджинии с крупнейшим в мире кластером ЦОД. Новый объект в Чикаго позволит получать доступ к облачным услугам на пятом по величине рынке ЦОД в мире, а объект в Сиэтле будет актуален для Тихоокеанского Северо-Запада. ЦОД в Париже позволит европейским компаниям работать в соответствии с местным законами по обеспечению суверенитета данных, в то время как объект в Ченнаи обеспечит доступ к одному из крупнейших ИТ-центров Индии.

Источник изображения: Akamai

Сообщается, что новые ЦОД отличаются современными архитектурой и оборудованием. Компания отметила, что их запуск знаменует важный шаг в стремлении интегрировать облачные ресурсы с её глобальной сетью, охватывающей более 4 тыс. точек присутствия в 135 странах. Сервис Akamai Connected Cloud изначально был задуман как более распределённая альтернатива AWS и Azure, которая позволяет «сделать приложения и сервисы ближе, а угрозы — дальше».

Попутно Akamai расширяет возможности своего облака. Компания запустила инстансы премиум-класса, а ёмкость хранилища увеличила до 1 Пбайт и 1 млрд объектов. Этим летом станет доступен глобальный балансировщик Akamai Global Load Balancer, который позволит избежать единой точки отказа и направлять запросы в наиболее оптимальный ЦОД для минимизации задержек. Наконец, компания создала партнёрскую программу, в рамках которой квалифицированные технологические партнёры будут обучаться развёртыванию приложений на её платформе.

Служба безопасности SAP начала расследование, связанное с появлением на eBay одного из накопителей, пропавших в одном из ЦОД компании. Как сообщает издание The Register, инцидент произошёл ещё в ноябре прошлого года в немецком городе Вальдорф земли Баден-Вюртмеберг. Известно, что из дата-центра компании пропали сразу четыре SSD. Это уже пятый инцидент с исчезновением накопителей из европейских ЦОД SAP за последние два года, передаёт издание.

В результате расследования выяснилось, что охрана была организована очень плохо, поскольку никто не проверял людей, покидавших считавшийся защищённым ЦОД. В результате диски переместили в «небезопасное» здание в комплексе строений штаб-квартиры, откуда они и были украдены без особых проблем. В компании отметили, что на дисках не хранилось какой-либо личной информации, но, как оказалось, эти данные не вполне соответствовали действительности.

В своё время в SAP утверждали, что подходят к безопасности данных очень серьёзно, и, хотя служебная информация не подлежит разглашению, представители разработчика ПО заверили, что свидетельства утраты данных клиентов или сотрудников отсутствуют. Однако один из четырёх SSD, оказавшийся на eBay, приобрёл сотрудник самой SAP, после чего выяснилось, что накопитель содержал персональные записи о сотне сотрудников компании. Местонахождение трёх оставшихся дисков неизвестно до сих пор.

Источник изображения: Samu Lopez / Unsplash

Хотя свою роль сыграла человеческая ошибка и несоблюдение протоколов безопасности, основной причиной утери всё-таки назвали кражу. Инцидент не может не вызывать беспокойства как у самих разработчиков, так и у их клиентов, поскольку в последние годы SAP активно продвигает собственные облачные решения и продажу ПО по модели услуг, предоставляемых как на базе собственных ЦОД, так и дата-центров партнёров.

Инцидент в IT-индустрии не первый и, вероятнее всего, не последний. В 2019 году финская компания Blancco, занимающаяся безопасной очисткой накопителей, обнаружила, что из 159 случайным образом выбранных на eBay накопителях из США и Европы 42 % несли данные, оставшиеся от прежних владельцев. Доступ к ним могли получить даже люди, имеющие базовую компьютерную грамотность. Более того, в 15 % случаев накопители хранили и персональные сведения.

Впрочем, даже неправильный вывод из экплуатации может привести к проблемам. Так, банк Morgan Stanley, сэкономив $100 тыс. на утилизации HDD, в итоге потерял $120 млн. Но это касается и другого оборудования. Недавний анализ, проведённый ESET, показал, что выставляемые на продажу сетевые устройства зачастую содержат массу информации, позволяющей как минимум скомпрометировать сети крупных компаний.

Хотя в генеративных ИИ-моделях вроде GPT-4 или Midjourney отдельные эксперты усматривают много угроз человечеству, далеко не все обращают внимание на важный фактор — не исключено, что скоро ИИ и люди будут конкурировать за обычную пресную воду. Как сообщает The Register, по прогнозам учёных, её будет всё больше требоваться для охлаждения ЦОД.

Проблема привлекла внимание учёных Калифорнийского университета в Риверсайде и Техасского университета в Арлингтоне. По оценкам исследователей, обучение языковой модели уровня GPT-3 требует использования около 700 тыс. литров воды — столько тратится на выпуск 320 электромобилей Tesla. Более того, на простой диалог из 20-50 вопросов ChatGPT требуется около 500 мл воды, а с развитием ИИ потребление воды такими системами достигнет огромных масштабов — если заранее не принять меры по оптимизации охлаждения ЦОД.

Источник изображения: Drew Dizzy Graham/unsplash.com

При этом эксперты обещают, что к середине века огромные территории в США будут страдать от засухи. Уже сейчас ЦОД крайне неохотно делятся информацией о потреблении воды, при этом используя разные системы подсчёта и, как Google, пытаясь скрыть следы в судебном порядке. В результате учёным приходится при расчётах пользоваться преимущественно косвенными данными. Впрочем, утверждается, что можно повсеместно использовать модель, разработанную SPX Cooling Technologies, и это позволит определить, сколько воды уходить на обучение и эксплуатацию языковых моделей.

Но, как считают в Dell'Oro Group, проблема на деле не в ИИ — он не испытывает настоящей жажды. В первую очередь речь идёт о рационализации систем терморегулирования. Даже от того, где находится ЦОД с ИИ, может значительно меняться потребление воды. Многие ЦОД используют не жидкостное охлаждение, а другие варианты. Например, в прошлом месяце Microsoft говорит об использовании систем с нулевым водопотреблением в ЦОД Аризоны — но они потребляют больше энергии.

Предлагается немало вариантов — от воздушного до водяного или погружного охлаждения, каждый из которых имеют свои преимущества и недостатки. Впрочем, вендоры вроде Submer и LiquidStack предлагают системы иммерсионного охлаждения, обеспечивающие PUE на уровне менее 1,05, тогда как системы воздушного охлаждения обычно обеспечивают лишь 1,4–1,5.

Источник изображения: redcharlie | @redcharlie1/unsplash.com

В научной работе приводятся не только возможные пути оптимизации систем охлаждения, но и рекомендации для того, чтобы ЦОД в принципе выделяли меньше тепла. В частности, речь идёт о том, что дата-центры стоит строить в местах с прохладным климатом вместо жарких азиатских стран, а некоторые задачи можно выполнять во второй половине дня, когда становится прохладнее. Хотя это ограничивает использование солнечных элементов питания, сам собой напрашивается вывод о применении резервных аккумуляторных источников вместо генераторов для накопления энергии днём.

Учёные считают, что залогом эффективного использования энергетических систем и охлаждения является большая прозрачность деятельности ЦОД. В Европе, например, пересматривают поправки к Директиве об энергоэффективности, которые заставят отчитываться по многим параметрам всё ЦОД кроме самых мелких. Как заявил один из учёных, «индустрия ЦОД столь скрытна, что иногда трудно получить подходящие данные для построения моделей». Впрочем, учёные опасаются, что у гиперскейлеров может не хватить времени на внедрение качественной отчётности — индустрия ИИ развивается чересчур быстро.

Сбой в работе насоса охлаждающей системы, похоже, стал причиной утечки воды в парижском дата-центре компании Global Switch, которая, судя по всему, и привела к пожару в аккумуляторном отсеке. Как сообщает DataCenter Dynamics, в результате этого пострадали ресурсы ряда европейских органов власти и сервисы Google Cloud Platform.

Как сообщили представители Global Switch, инцидент произошёл в помещении одного из двух ЦОД на территории парижского кампуса компании, протечка воды случилась в аккумуляторном отсеке, что и спровоцировало возгорание. Помимо сервисов Google Cloud региона europe-west9-a, сбои работы в котором привели к отключению облачных сервисов во многих регионах. Заодно пострадали онлайн-ресурсы властей многих французских городов и муниципалитетов, а также посольств, консульств и других структур.

Известно, что после прибытия пожарных возгорание локализовали. Пострадавших нет, но некоторое количество клиентов временно лишено доступа к собственным ресурсам. Пострадал местный хостинг-провайдер Ecritel, часть сервисов которого недоступны, есть данные о проблемах у мобильного оператора Orange и студии Ubisoft, хотя неизвестно, связаны ли проблемы последних именно с данным пожаром. Пока пострадавшим рекомендуют переключиться на использование других облачных регионов. Ущерб ещё предстоит оценить.

Источник изображения: Google

Всего месяц назад во Франции горел ЦОД Maxnod, а пожар в страсбургском дата-центре OVHcloud в 2021 году привёл к тотальному уничтожению данных некоторых компаний и многомиллионным убыткам — компания до сих пор не справилась с последствиями инцидента. Причём в этом случае проблема тоже была связана с, как сообщалось, аномальным уровнем влажности в энергоотсеках. Не так давно возгорание Li-Ion аккумуляторов привело к сбоям в работе южнокорейского мессенджера KakaoTalk — компания стала жертвой крупнейшего в мире инцидента в мире ЦОД. Ещё один небольшой инцидент произошёл в ЦОД Cyxtera.