Компания NVIDIA, по сообщению ресурса The Information, ведёт переговоры об аренде площадей у одного из операторов ЦОД, но о ком именно идёт речь, не сообщается. Предполагается, что площадка будет использоваться для поддержания работы собственного облачного сервиса DGX Cloud, предназначенного для обучения передовых моделей для генеративного ИИ.

О доступности облака DGX Cloud компания NVIDIA объявила в июле нынешнего года. Тогда сообщалось, что соответствующая вычислительная инфраструктура достанется в первую очередь США и Великобритании. Стоимость доступа к DGX Cloud начинается с $36 999 в месяц. Говорилось, что NVIDIA намерена продвигать DGX Cloud в партнёрстве с ведущими гиперскейлерами. Первым сервис появился в облаке Oracle Cloud Infrastructure (OCI), на очереди Microsoft Azure, Google Cloud Platform и другие. Большая часть выручки в этом случае достаётся именно NVIDIA, а не облакам.

Источник изображения: NVIDIA

Теперь же, судя по всему, NVIDIA решила частично отказаться от услуг облачных провайдеров и развернуть DGX Cloud на арендованных ЦОД-площадях. Впрочем, как отмечается, переговоры всё ещё находятся на начальной стадии, а поэтому говорить о том, что NVIDIA сама превратится в гиперскейлера, преждевременно. При этом компания неоднократно упрекали в том, что в последнее время она более благосклонна к небольшим и специализированным облачным провайдерам, которые не пытаются создавать собственные ИИ-ускорители, могущие составить прямую конкуренцию продуктам NVIDIA.

Китайская социальная сеть TikTok завершила строительство первого из двух дата-центров, возводимых в Ирландии. Как сообщает Computer Weekly, три года назад в TikTok впервые сообщили о намерении построить ЦОД в Дублине, а теперь подтвердили ввод объекта в эксплуатацию и начало переноса в него информации. В компании подчеркнули, что создадут специальную защищённую среду для данных европейских пользователей.

Новый ЦОД был создан в рамках проекта Project Clover, вынужденно реализуемого TikTok из-за опасности запрета социальной сети в Евросоюзе (ЕС) по соображениям безопасности. Фактически речь идёт о локализации данных европейцев на территории ЕС без доступа к ним китайских органов. В рамках проекта предполагается строительство ещё двух ЦОД в Евросоюзе: ещё одного в Дублине, и одного — в Норвегии. Аналогичный шаг компания уже сделала в США в рамках проекта Project Texas.

По данным компании, она сотрудничает с независимыми европейскими аудиторами из NCC Group, которые и проверяют, как именно TikTok обращается с информацией о жителях Евросоюза, отслеживают утечки информации, верифицируют процесс защиты данных и др. Это служит гарантией того, что сотрудники TikTok получают только ограниченный доступ к информации о гражданах ЕС. Утверждается, что NCC Group будет не только оценивать выстраиваемые системы безопасности, но и обеспечивать мониторинг возможной аномальной активности и гарантии целостности и контроля безопасности данных.

Источник изображения: TikTok

В самой NCC Group заявили, что гордятся, что выбор TikTok пал на них, и утверждают, что пользователи в Европе и Великобритании могут быть уверены в новых стандартах безопасности, задаваемых TikTok, более жёстких, чем те, что требуют Европейские регуляторы.

Особый интерес в рамках Project Clover представляет норвежский ЦОД. Одним из его дополнительных преимуществ станет использование 100 % возобновляемой энергии, в основном — от ГЭС. Охлаждение будет осуществляться «естественным» путём благодаря прохладному климату Норвегии, а избыточное тепло этого ЦОД будет поставляться локальным компаниям. Правда, для этого пришлось лишить возможности расширения местное оборонное предприятие.

Компания Amazon намерена расширять инфраструктуры «ответственного использования» электроники, применяемой в центрах обработки данных. Как сообщает портал компании, её дочернее предприятие re:Cycle Reverse Logistics откроет в Пенсильвании (США) фабрику по оценке, ремонту и переработке электронных отходов. Объект площадью 51 тыс. м2 заработает в апреле 2024 года. Ожидается, что в переработке оборудования будут заняты от 300 до 500 человек.

Само здание фабрики в некотором роде тоже относится к объектам, «бывшим в употреблении» — в компании приняли решение использовать пустующее промышленное здание для создания собственного центра переработки отходов и ремонта той электроники, которая может быть восстановлена. По данным СМИ, Пенсильванию выбрали из-за близости к объектам Amazon на восточном побережье США. А конкретное здание — потому, что оно уже зонировано для промышленных целей, поэтому бюрократические процедуры серьёзно упрощаются.

Источник изображения: Amazon

Программа работы со списанным оборудованием состоит из восьми этапов:

1. Отправка стоек в специальные хабы, где стираются данные, хранящиеся на списанных серверах;
2. Отправка стоек и другие компонентов в центры переработки для оценки и ремонта оборудования в случаях, когда это возможно;
3. Разбор стоек на индивидуальные компоненты;
4. Отправка компонентов в лаборатории для тестирования, поиска физических дефектов и мелкого ремонта;
5. Оценка общей работоспособности оборудования при нагрузках;
6. Оценка модулей AWS Nitro Card;
7. Сбор статистики для отправки инженерным командам, которые могут использовать информацию для улучшения будущих ЦОД;
8. Отправка работоспособных компонентов на склады для повторного использования в будущем, прочие же компоненты отправляются на переработку.

Источник изображения: Amazon

Так называемая «обратная логистика» — это весьма распространённая практика разборки изношенного оборудования для восстановления тех комплектующих, которые ещё можно использовать, и добычи из оставшегося мусора ценного сырья. Известно, что у Amazon уже имеются соответствующие хабы, а теперь компания намерена прибегать к подобной практике более широко. Аналогичные проекты есть у Microsoft. Кроме того, б/у-оборудование гиперскейлеров нередко перепродаётся, а сами они увеличивают сроки эксплуатации «железа».

Корпорация Microsoft, по сообщениям ресурсов Datacenter Dynamics и Motley Fool, создаёт специализированный инструментарий, который позволит автоматически планировать выполнение рабочих нагрузок в ЦОД в зависимости от их срочности и воздействия на окружающую среду.

Идея заключается в том, чтобы выполнять определённые задачи в определённое время, что позволит минимизировать выбросы вредных газов в атмосферу. Например, те ресурсоёмкие задачи, выполнение которых не является срочным, могут быть отложены до момента, когда станет доступно необходимое количество энергии из возобновляемых источников.

Источник изображения: Microsoft

Microsoft патентует систему управления поведением оборудованием, «ориентированную на устойчивое развитие». Данный комплекс учитывает состояние энергосистемы в целом, а также другие факторы. На начальном этапе собирается информация о текущей нагрузке на сеть, о погодных условиях и температурах и т.д. После этого специальные алгоритмы делают прогноз использования ресурсов и распределяют выполнение задач так, чтобы они оказало «сравнительно меньшее воздействие на окружающую среду».

По заявлениям Microsoft, подобный подход позволит снизить нагрузку на энергосеть в часы-пик, а также увеличить срок службы оборудования. Кроме того, станет возможным более эффективное использование «зелёной» энергии. В частности, Microsoft может использовать систему для приостановки и возобновления некоторых операций в ЦОД для балансировки энергопотребления.

Нужно отметить, что Google ещё два года назад начала динамически и прозрачно для конечных потребителей перемещать нагрузки между различными дата-центрами, опираясь на уровень доступности для них «зелёной» энергии. При этом речь идёт только о задачах, для которых не критичны задержки или требования о суверенитете данных. Для этого Google составляет прогнозы доступности энергии на день вперёд.

Провайдер облачной ИИ-инфраструктуры CoreWeave объявил о привлечении $2,3 млрд долгового финансирования под залог ускорителей NVIDIA. По данным Silicon Angle, компания намерена полностью потратить вырученные средства на закупку аппаратного обеспечения от всё той же NVIDIA.

Это уже не первый раунд финансирования, суммарно компания привлекла $571 млн, причём от NVIDIA она получила около $100 млн и приоритет в отгрузке новейших ускорителей. Текущая ситуация уникальна тем, что CoreWeave взяла деньги в долг, оставив в качестве залога используемые ею ускорители NVIDIA.

Со взрывным ростом интереса к генеративным ИИ-системам, гонка по созданию всё более масштабных и совершенных ИИ-моделей и инфраструктуры для их обучения потребовала огромного количества дополнительных вычислительных мощностей. Обладая большим числом ускорителей NVIDIA ещё со времён своего «увлечения» криптовалютами, CoreWeave способна превзойти конкурирующих облачных провайдеров.

Источник изображения: CoreWeave

Компания обеспечивает облачный доступ к самым передовым технологиям NVIDIA, включая ускорители H100. Также доступны A100, A40 и RTX A6000. Эти решения можно использовать для систем ИИ и машинного обучения, работы с графикой и других ресурсоёмких задач. В компании утверждают, что уже обладают одним из крупнейших HGX-кластеров в мире и поддерживает более 3500 ускорителей NVIDIA H100 в своей суперкомпьютерной инфраструктуре.

В прошлом месяце компания объявила о строительстве крупного ЦОД в Техасе за $1,6 млрд. Ожидается, что он будет полностью готов к работе в конце текущего года и будет использован для создания ИИ-супероблака.

Компания Thames Water, являющаяся крупнейшей коммунальной службой в Великобритании и занимающаяся водоснабжением и водоотведением для 15 млн человек, выдвинула ультиматум операторам некоторых ЦОД. Как сообщает The Register, им предложено сократить расход воды самостоятельно, или это будет сделано в принудительном порядке. Также не исключается повышение цен в периоды пиковых нагрузок.

В прошлом году Thames Water оценила использование воды дата-центрами в зоне обслуживания компании, включающей как большую часть британской столицы, так и долину Темзы на юге Англии. В дальнейшем планировалось снизить использование воды, координируя действия с ЦОД — страна как раз переживала необычайную жару, из-за которой пострадали и сами дата-центры.

Фото: Kevin Grieve / Unsplash

Теперь, похоже, компания готова прибегнуть и к мерам принуждения, в частности, ограничивать в случае необходимости подачу воды тем, кто расходует её слишком много, или взимать больше в периоды пикового спроса. В июле прошлого года сложилась критическая ситуация — из-за рекордной жары внешние модули систем кондиционирования британских ЦОД буквально приходилось обрызгивать водой из шлангов во избежание перегрева.

По имеющимся данным, рассматривается ограничение подачи воды как минимум одному лондонскому оператору ЦОД в периоды пикового потребления — подобные меры необходимы во время летней жары уже нынешнего года на фоне роста потребностей в воде со стороны бизнесов и граждан. Пока неизвестно, рассматривается ли подобная политика в качестве временной меры или ограничения могут ввести навсегда. Также не сообщается, будут ли ограничения тотальными или станут применяться только в районах компактного размещения кластеров ЦОД.

Фото: Benjamin Davies / Unsplash

Конечно, в Thames Water утверждают, что предпочли бы добровольное ограничение потребления операторами прежде чем вводить репрессивные меры. ЦОД, например, могли бы изучить возможность переработки и использования сточных вод непосредственно по месту потребления. В Thames Water заявили, что компания также поощряет использование дата-центрами альтернативных источников воды. К счастью, не все ЦОД полагаются на пресную воду, но те, что прибегают к ней, часто тратят порядка 4–19 тыс. м³ ежедневно.

Впрочем, это не единственная проблема коммунальных компаний в Англии. В этом году их активно критикуют за сброс неочищенных сточных вод в реки и даже прибрежные морские воды. Кроме того, службы не успевают ремонтировать стареющую инфраструктуру. Из-за этого Thames Water теряет больше любой компании такого профиля в Великобритании — по данным BBC, ежедневно она допускает утечку более 600 тыс. м³, что уже привело к смене её руководства в прошлом месяце.

Uptime Institute опубликовал данные ежегодного, 13-го по счёту, опроса операторов ЦОД Global DataCenter Survey 2023, который показал, что из-за недостаточного сбора данных об использовании электроэнергии и воды им будет сложно соответствовать новым требованиям и нормативным актам по отчётности в области экологически устойчивого развития.

На фоне ужесточения контроля со стороны регулирующих органов за деятельностью отрасли с целью уменьшения вредного воздействия ЦОД на окружающую среду результаты исследования показывают, какую работу необходимо выполнить в данном секторе для улучшения отслеживания объёмов потребляемых ресурсов и генерируемых выбросов.

«В нескольких исследованиях, проведённых за последние годы, Uptime Institute отмечал, что сбор и представление данных, связанных с устойчивостью, а также расчёт соответствующих показателей в лучшем случае носят фрагментарный характер. Опрос ещё раз подтверждает это мнение», — говорится в сопроводительной записке.

Источник: Uptime Institute

«Многим операторам будет сложно соответствовать новым требованиям к отчётности в области устойчивого развития или требованиям некоторых клиентов и даже общественности». В отчёте указано, что операторы, как правило, фокусируются на мониторинге использования электроэнергии и воды на своих объектах, а не на учёте количества выделяемых ими парниковых газов, по соображениям экономии средств.

«Потребление электроэнергии, PUE и расход воды легко отслеживать, и любое улучшение в этих областях часто позволяет сэкономить средства, — говорится в отчёте. — Сокращения выбросов CO₂, которое, конечно, может быть частично достигнуто за счёт добросовестного управления энергопотреблением, гораздо сложнее добиться и это приносит меньше непосредственной выгоды». 88 % участников опроса заявили, что следят за потреблением электроэнергии, а 71 % — что контролируют PUE, но менее половины респондентов сообщили о том, что докладывают о потреблении воды или что следят за утилизацией своих серверов.

«Отчётность о показателях, связанных с фактическими выбросами CO₂, остаётся очень слабой, что говорит о том, что в предстоящие годы потребуются некоторые быстрые восстановительные работы», — указано в отчёте. Впервые за 13 лет участникам также был задан вопрос о ключевых проблемах в управлении, вызывающих у них обеспокоенность. В ответ многие в качестве главной проблемы назвали кадровый вопрос, который со временем многие надеются решить с помощью ИИ, а также необходимость повышения энергоэффективности своих дата-центров.

Источник: Uptime Institute

В частности, было отмечено, что по показателю энергоэффективности прогресс застопорился. В течение четырёх–пяти лет среднегодовой показатель PUE остаётся на отметке 1,58–1,59. Это говорит о том, что простые способы улучшения PUE уже исчерпали себя. Для повышения энергоэффективности многих существующих объектов необходимы капитальные работы, дорогостоящие и потенциально опасные. Естественно, более современные объекты имеют лучшие показатели: 16 % респондентов в этом году сообщили о среднегодовом показателе PUE ниже 1,3, в основном в Европе, США и Канаде.

В опросе Uptime Institute участвовали более 850 владельцев и операторов центров обработки данных, а также 700 поставщиков и консультантов, которым были заданы вопросы о состоянии отрасли с точки зрения устойчивости, результативности, укомплектования персоналом и регулирования.

Компания Microsoft получила разрешение на строительство газовой электростанции на 170 МВт для своего кампуса Grange Castle в пригороде Дублина. Как сообщает DataCenter Dynamics, объект стоимостью €100 млн будет использоваться для повседневного питания ЦОД, а в случае отключения от национальной энергосети станция и 21 дизель-генератор станут единственным источником питания всего кампуса. По данным Business Post, суммарно планируется установить 150 генераторов.

Экоактивисты уже выступили против проекта, обвинив IT-гиганта в попытке обойти запрет оператора EirGrid на новые подключения ЦОД к электросетям в Дублине и его окрестностях до 2028 года. Защитники природы подчёркивают, что хотя благодаря собственной электростанции Microsoft ограничит нагрузку на местные энергосети, электростанция будет только способствовать росту углеродного выброса. При этом власти Ирландии всё ещё намерены добиться того, чтобы к 2030 году 80 % энергии в стране должно поступать из возобновляемых источников.

Источник изображения: Microsoft

Хотя в Ирландии в целом строительство дата-центров не запрещено и даже приветствуется, в Дублине и окрестностях оно ограничено, поскольку здесь и без того уже действует немало ЦОД. Из-за введённых ограничений некоторые крупные компании уже приостановили реализацию ряда проектов. Экоактивисты призывают вообще заблокировать строительство новых ЦОД, утверждая, что это помешает декарбонизации страны. Строительство газовых электростанций может стать временным ответом на ограничения, позволив сделать ЦОД вообще автономными.

При этом власти Ирландии ещё в конце 2022 года предостерегли оператора Gas Networks Ireland от заключения новых контрактов с операторами ЦОД, предполагающими обеспечивать свои объекты преимущественно за счёт газовых генераторов для обхода существующих норм. Известно, что Microsoft, для соблюдения существующих в Ирландии правил, не станет эксплуатировать станцию круглосуточно — она будет работать всего по 8 часов в день. Вместе с тем это вряд ли поможет планам компании по полном переводу её ирландских ЦОД на «зелёную» энергию.

CDN-провайдер Akamai Technologies Inc. объявил об открытии трёх новых облачных ЦОД Connected Cloud в Париже, Вашингтоне (округ Колумбия) и Чикаго, а также о предстоящем запуске в этом квартале аналогичных объектов в Сиэтле и Ченнаи (Индия). По словам компании, стратегически выбранное расположение новых ЦОД позволит предоставлять клиентам высокопроизводительные, масштабируемые облачные ресурсы.

Новый объект в Вашингтоне находится невдалеке от Северной Вирджинии с крупнейшим в мире кластером ЦОД. Новый объект в Чикаго позволит получать доступ к облачным услугам на пятом по величине рынке ЦОД в мире, а объект в Сиэтле будет актуален для Тихоокеанского Северо-Запада. ЦОД в Париже позволит европейским компаниям работать в соответствии с местным законами по обеспечению суверенитета данных, в то время как объект в Ченнаи обеспечит доступ к одному из крупнейших ИТ-центров Индии.

Источник изображения: Akamai

Сообщается, что новые ЦОД отличаются современными архитектурой и оборудованием. Компания отметила, что их запуск знаменует важный шаг в стремлении интегрировать облачные ресурсы с её глобальной сетью, охватывающей более 4 тыс. точек присутствия в 135 странах. Сервис Akamai Connected Cloud изначально был задуман как более распределённая альтернатива AWS и Azure, которая позволяет «сделать приложения и сервисы ближе, а угрозы — дальше».

Попутно Akamai расширяет возможности своего облака. Компания запустила инстансы премиум-класса, а ёмкость хранилища увеличила до 1 Пбайт и 1 млрд объектов. Этим летом станет доступен глобальный балансировщик Akamai Global Load Balancer, который позволит избежать единой точки отказа и направлять запросы в наиболее оптимальный ЦОД для минимизации задержек. Наконец, компания создала партнёрскую программу, в рамках которой квалифицированные технологические партнёры будут обучаться развёртыванию приложений на её платформе.

Хотя в генеративных ИИ-моделях вроде GPT-4 или Midjourney отдельные эксперты усматривают много угроз человечеству, далеко не все обращают внимание на важный фактор — не исключено, что скоро ИИ и люди будут конкурировать за обычную пресную воду. Как сообщает The Register, по прогнозам учёных, её будет всё больше требоваться для охлаждения ЦОД.

Проблема привлекла внимание учёных Калифорнийского университета в Риверсайде и Техасского университета в Арлингтоне. По оценкам исследователей, обучение языковой модели уровня GPT-3 требует использования около 700 тыс. литров воды — столько тратится на выпуск 320 электромобилей Tesla. Более того, на простой диалог из 20-50 вопросов ChatGPT требуется около 500 мл воды, а с развитием ИИ потребление воды такими системами достигнет огромных масштабов — если заранее не принять меры по оптимизации охлаждения ЦОД.

Источник изображения: Drew Dizzy Graham/unsplash.com

При этом эксперты обещают, что к середине века огромные территории в США будут страдать от засухи. Уже сейчас ЦОД крайне неохотно делятся информацией о потреблении воды, при этом используя разные системы подсчёта и, как Google, пытаясь скрыть следы в судебном порядке. В результате учёным приходится при расчётах пользоваться преимущественно косвенными данными. Впрочем, утверждается, что можно повсеместно использовать модель, разработанную SPX Cooling Technologies, и это позволит определить, сколько воды уходить на обучение и эксплуатацию языковых моделей.

Но, как считают в Dell'Oro Group, проблема на деле не в ИИ — он не испытывает настоящей жажды. В первую очередь речь идёт о рационализации систем терморегулирования. Даже от того, где находится ЦОД с ИИ, может значительно меняться потребление воды. Многие ЦОД используют не жидкостное охлаждение, а другие варианты. Например, в прошлом месяце Microsoft говорит об использовании систем с нулевым водопотреблением в ЦОД Аризоны — но они потребляют больше энергии.

Предлагается немало вариантов — от воздушного до водяного или погружного охлаждения, каждый из которых имеют свои преимущества и недостатки. Впрочем, вендоры вроде Submer и LiquidStack предлагают системы иммерсионного охлаждения, обеспечивающие PUE на уровне менее 1,05, тогда как системы воздушного охлаждения обычно обеспечивают лишь 1,4–1,5.

Источник изображения: redcharlie | @redcharlie1/unsplash.com

В научной работе приводятся не только возможные пути оптимизации систем охлаждения, но и рекомендации для того, чтобы ЦОД в принципе выделяли меньше тепла. В частности, речь идёт о том, что дата-центры стоит строить в местах с прохладным климатом вместо жарких азиатских стран, а некоторые задачи можно выполнять во второй половине дня, когда становится прохладнее. Хотя это ограничивает использование солнечных элементов питания, сам собой напрашивается вывод о применении резервных аккумуляторных источников вместо генераторов для накопления энергии днём.

Учёные считают, что залогом эффективного использования энергетических систем и охлаждения является большая прозрачность деятельности ЦОД. В Европе, например, пересматривают поправки к Директиве об энергоэффективности, которые заставят отчитываться по многим параметрам всё ЦОД кроме самых мелких. Как заявил один из учёных, «индустрия ЦОД столь скрытна, что иногда трудно получить подходящие данные для построения моделей». Впрочем, учёные опасаются, что у гиперскейлеров может не хватить времени на внедрение качественной отчётности — индустрия ИИ развивается чересчур быстро.