Глава Supermicro Чарльз Лян (Charles Liang) ожидает, что 30 % стоек, которые компания поставит в следующем году, будут оснащены СЖО. Как передаёт The Register, компания теперь способна выпускать до 1 тыс. стоек с СЖО ежемесячно и готова отправлять их клиентам всего через 2–4 недели после получения заказа, хотя ранее сроки поставок такого оборудования могли составлять от четырёх месяцев до одного года.

Уже в этом году 15 % отгруженных компанией стоек будут оснащены СЖО, а в 2025 году этот показатель удвоится. По словам Ляна, настал звёздный час СЖО, хотя за предыдущие 30 лет эта технология смогла завоевать только 1 % рынка. Естественно, взрывной рост связан активным освоением генеративного ИИ, который требует всё большего количества всё более плотно упакованных ускорителей, для которых TDP на уровне 1 кВт становится нормой.

Источник изображения: Supermicro

DLC-системы Supermicro позволяют добиться плотности 80–100 кВт на стойку. При этом Лян снова повторяет всё те же тезисы, что звучали уже не раз. Так, СЖО позволят частично избавиться от не слишком подходящего при таких TDP воздушного охлаждения, сэкономить место в стойках, повысить общую «продуктивность» и энергоэффективность ЦОД, а значит — ещё больше приблизиться к идеалам устойчивого развития и экологичности индустрии в целом.

Компания готовит 4U-платформы с СЖО для HGX B200, но предложит и 10U-вариант с воздушным охлаждением. Также стоит ожидать «воздушную» систему на базе HGX B100 и собственную реализацию GB200 NVL72. А чтобы удовлетворить растущий спрос на свои серверы, компания к концу году откроет в Малайзии новый завод, способный выпускать до 5 тыс. полностью укомплектованных стоек каждый месяц.

По сообщению Datacenter Dynamics, первый дата-центр EdgeCloudLink (ECL) емкостью 1 МВт развернут для поставщика облачных услуг Cato Digital в Маунтин-Вью, Калифорния. Строительство объекта финансировалось Molex и Hyperwise, общая сумма инвестиций составила $7 млн. В ECL заявили, что ее модульные ЦОД спроектированы с нуля для высокоплотного размещения ускорителей, спрос на которые стимулирует рост генеративных ИИ-нагрузок. При этом дата-центры ECL имеют нулевой выброс CO₂.

Для снижения стоимости и сроков развертывания модульные дата-центры могут быть построены с использованием 3D-принтеров. По словам CEO и основателя компании Юваля Бачара (Yuval Bachar), компания намерена печатать модульные конструкции на 3D-принтере за пределами площадки для размещения, поскольку это наиболее экологичный способ. Для более крупных проектов ECL может развернуть множество модульных ЦОД суммарной ёмкостью до 100 МВт, причём в течение всего 12 месяцев. Кроме того, компания предлагает свои решения по модели ЦОД-как-услуга, в этом случае она управляет построенным дата-центром от имени клиента.

Источник изображения: ECL

Энергия поступает от водородных топливных элементов, расположенных в каждом ЦОД. Вода, получающаяся в результате их работы, направляется на охлаждение оборудования. Используются теплообменники на задних дверях стоек (RDHx). Нагретая вода может использоваться для других нужд. Каждая стойка имеет мощность от 5 до 75 кВт, а в будущем при использовании прямого жидкостного охлаждения мощность можно довести до 125 кВт. ECL утверждает, что ее дата-центры имеют PUE 1,05 и могут быть развернуты практически в любом месте. ВОЛС-подключение при необходимости компания берёт на себя. Также отмечается, что ЦОД ECL имеют низкий уровень шума.

Источник изображения: ECL

Критики дата-центров, работающих на водороде, говорят, что они не так уж эффективны, поскольку сейчас добывать водород экономически выгоднее с использованием ископаемого топлива, так что итоговая экологичность подобных проектов находится под вопросом. Тем не менее, ECL намерена в течение года с небольшим развернуть 100–150 МВт для своих заказчиков, уточняет Fierce Network. По словам компании, её решения могут быть на треть и более дешевле в сравнении с традиционными дата-центрами.

Облачный провайдер CoreWeave предложил $1 млрд компании Core Scientific, предоставляющей хостинг для HPC-систем и параллельно занимающейся криптомайнингом. Datacenter Dynamics сообщает, что предложение поступило всего через несколько дней после подписания соглашения на аренду 200 МВт в течение 12 лет за $3,5 млрд.

Как сообщают отраслевые источники, речь идёт о покупке компании из расчёта $5,75 за акцию — это несколько меньше биржевой стоимости Core Scientific на момент предложения. Компании сотрудничают уже несколько лет — в Core Scientific говорят об аренде «тысяч ускорителей» с 2019 по 2022 гг. Если соглашение об аренде 200 МВт останется в силе, то последней придётся модифицировать многочисленные площадки для размещения ускорителей NVIDIA, принадлежащих CoreWeave.

Модернизация должна начаться летом 2024 года, а закончить её планируется в первой половине 2025-го. На это потребуется около $300 млн, которые будут получены от платежей CoreWeave за хостинг, но инвестировать можно будет не более половины от ежемесячной платы. Договор с CoreWeave позволяет дважды продлить аренду мощностей сроком на пять лет, в том числе на других площадках Core Scientific.

Предполагается, что сделка с CoreWeave позволит диверсифицировать бизнес и сбалансировать майнинг и хостинг для ИИ-проектов для максимизации прибыли и минимизации рисков. В Core Scientific заявили, что из доступных ей почти 1,2 ГВт мощностей она может выделить до 500 МВТ для HPC/ИИ-хостинга. Часть майнинговых проектов перенесут с одних площадок на другие, компактно высвобождая место для HPC-кластеров.

Источник изображения: Towfiqu barbhuiya/unsplash.com

CoreWeave, основанная в 2017 году, в своё время и сама занималась криптовалютами и блокчейн-технологиями, но впоследствии переключилась на облачные ИИ-платформы. Компания привлекла миллиарды долларов в качестве инвестиций и просто в долг. На сегодня она предлагает сервисы в трёх регионах: US East (Нью-Джерси), US West (Невада) и US Central (Иллинойс). Компания активно арендует мощности и к концу 2023 года намеревалась управлять 14 дата-центрами, а к концу 2024 — 28 ЦОД.

CoreWeave заявила, что потратит $1,6 млрд на постройку ЦОД для ИИ-супероблака, перенесёт часть мощностей в ЦОД Chirisa, арендует дата-центры Flexential и TierPoint в США. В марте этого года CoreWeave арендовала 16 МВт в ЦОД Core Scientific в Остине (Техас). Компания считается крупным клиентом Digital Realty, арендующим стойки для «десятков тысяч» ускорителей в одном из ЦОД на западном побережье США. Недавно компания анонсировала строительство двух ЦОД в Великобритании и присматривается к ЦОД EdgeConneX в Барселоне. Прямым конкурентом компании считается Lambda Labs, масштабы бизнеса которой гораздо скромнее.

Core Scientific тоже основана в 2017 году, но управляет криптомайнинговыми кампусами ЦОД в США. Всего компания располагает 745 МВт доступной энергии и ещё 372 МВт зарезервированной ёмкости. У неё имеется собственное майнинговое оборудование и, конечно, на её мощностях расположено оборудование клиентов. Впрочем, дела Core Scientific идут довольно плохо — в декабре 2022 года она подала заявление о банкротстве, после чего цена её акций упала на 98 %.

UPD 06.06.2024: руководство Core Scientific отказалось от предложения CoreWeave о покупке, отметив, что ведёт переговоры с другими клиентами по поводу предоставления ёмкостей для хостинга HPC- и ИИ-проектов. Компания считает, что для неё это пока более прибыльно, чем продажа. На фоне последних новостей акции компании выросли.

UPD 26.06.2024: CoreWeave подписала с Core Scientific ещё одно соглашение об аренде, на этот раз на 12 лет и 70 МВт.

Компания Google объявила о завершении расширения кампуса ЦОД и облачного региона в Сингапуре. По данным Datacenter Dynamics, она вложила $5 млрд в цифровую инфраструктуру города-государства. Для сравнения — в 2018 году заявленный объём инвестиций составлял всего $850 млн.

Глава подразделения Google, занятого «чистой» энергетикой в Азиатско-Тихоокеанском регионе, Джорджио Фортунато (Giorgio Fortunato) заявил, что инвестиции компании будут способствовать экономическому росту Сингапура. К 2030 году местные бизнесы смогут заработать на внедрении ИИ $147,6 млрд. Он подчеркнул, что ЦОД в Сингапуре созданы с использованием передовых технологий вроде эффективных систем охлаждения и управления водными ресурсами.

По данным компании, сегодня в дата-центрах Google в Сингапуре работает 500 человек. Расширение инфраструктуры поможет удовлетворить растущий местный и глобальный спрос на облачные сервисы и станет дополнением к стратегическим ИИ-инициативам, связанным с проектами Google и сингапурских властей. В самой компании заявляют, что расширение ЦОД в Сингапуре подтверждает стремление Google помочь организациям Юго-Восточной Азии инвестировать в цифровые возможности, в то же время гарантируя экобезопасный рост.

Источник изображения: Joshua Ang/unsplash.com

Дата-центры Google работают при относительно высокой средней температуре 27 °C, которая комфортна и для сотрудников, и для оборудования. Утверждается, что местные ЦОД используют системы охлаждения, специально созданные для многократного использования переработанной воды.

Строительство первого ЦОД Google в Сингапуре началось в 2011 году, а эксплуатацию его ввели в конце 2013-го. Над вторым объектом работы начались в 2015 году, а в строй он вступил в конце 2018-го. Первый облачный регион Google запустила в Сингапуре в 2017 году. В 2018 году началось строительство третьего дата-центра, в 2022 году его ввели в эксплуатацию, т.е. на два года позже, чем планировалось, зато теперь это крупнейший дата-центр компании в Сингапуре.

На днях сообщалось, что Сингапур «разблокирует» ещё 300 МВт для новых дата-центров благодаря «зелёным» инициативам. Развиваются и другие проекты в Юго-Восточной Азии. На прошлой неделе Google анонсировала инвестиции $2 млрд в строительство первого ЦОД и облачного региона в соседствующей с Сингапуром Малайзии.

Японский производитель электроники Sharp совместно с телеком-компанией KDDI готовятся построить «крупнейший в Азии» дата-центр для ИИ-вычислений на базе завода Sakai Plant по выпуску LCD-дисплеев в Осаке. По данным Datacenter Dynamics, партнёры привлекли к проекту и другие компании.

В частности, подписано соглашение с Supermicro и Datasection. Вместе они переделают завод Sakai в современный дата-центр для ИИ-задач на базе аппаратных решений NVIDIA. Ранее сообщалось, что «материнская» компания данного предприятия — тайваньская Foxconn — планирует закрыть завод осенью этого года и превратить его в ЦОД из-за растущих убытков на рынке LCD.

В заявлении KDDI указывается, что дата-центр будет использовать новейшие суперускорители NVIDIA GB200 NVL72, на которых возложат задачи обучения и запуска LLM. Более подробных официальных спецификаций ЦОД пока нет, но издание Nikkei Asian Rewiew сообщает, что ЦОД получит минимум 1 тыс. узлов. Говорится, что инфраструктура бывшего завода Sharp Sakai Plant отлично подойдёт для дата-центра, поскольку имеет достаточно подходящих площадей и достаточно энергии для питания мощных серверов.

Источник изображения: NVIDIA

Datasection будет поддерживать функционирование ЦОД, KDDI возьмёт на себя строительство, в том числе сетевой инфраструктуры — компания является «родительскоим» бизнесом для Telehouse, уже управляющей ЦОД по всему миру, в том числе в Азии. Supermicro обеспечит передовые комплексные системы жидкостного охлаждения (СЖО) с системами мониторинга их работы. По словам Supermicro, сотрудничество участвующих в проекте ЦОД компаний стали хорошим примером приверженности индустрии к «зелёным» вычислениям и готовности к глобальному внедрению ИИ-систем.

«Росатом» ввёл в эксплуатацию первую очередь ЦОД в Иннополисе (Республика Татарстан). Вычислительный комплекс позиционируется государственным концерном как крупнейший в Приволжском федеральном округе.

Первая очередь дата-центра включает четыре машинных зала на 250 стойко-мест каждый, после запуска второй очереди количество серверных стоек достигнет 2 тыс., а общая мощность объекта составит 16 МВт, площадь — 23 тыс. м². По словам авторов проекта, в отличие от других ЦОД «Росатома» комплекс в Иннополисе построен с нуля, при этом основное технологическое оборудование спроектировано и изготовлено в России с учётом стратегии импортозамещения, а сама площадка соответствует стандартам Uptime Institute уровня Tier III.

Фото: vk.com/innopolis

«Это знаковое событие для всей страны. Мы открываем центр обработки и хранения данных. Огромный проект, реализованный госкорпорацией «Росатом». Это крупнейший дата-центр в Приволжском федеральном округе. Важно, что технологические решения для нового ЦОД разработаны с учётом стратегии импортозамещения и соответствуют самым современным стандартам надёжности и безопасности», — заявил глава Республики Татарстан на церемонии запуска объекта.

По данным издания «РБК Татарстан», строительство дата-центра в Иннополисе велось с сентября 2020 года. Объём инвестиций в проект на тот момент оценивался в 3 млрд рублей, затраты на оборудование — в 1 млрд руб. ЦОД будет предоставлять услуги хранения и обработки данных для различных отраслей экономики, включая государственный сектор, бизнес и науку. Ожидается, что открытие такого объекта существенно снизит дефицит серверных мощностей в Татарстане, Приволжском округе и на федеральном уровне.

Microsoft планирует инвестировать $3,2 млрд в ИИ-системы и облачную инфраструктуру в Швеции. По данным Reuters, это крупнейшее вложение в соответствующие проекты в странах Северной Европы, богатых «зелёной» энергией. Компания закрепит присутствие в стране, добавив 20 тыс. ускорителей в свои три дата-центра. Компания намерена использовать новые ускорители NVIDIA и AMD и, возможно, чипы собственной разработки.

По словам президента IT-гиганта Брэда Смита (Brad Smith), подобная инициатива наглядно демонстрирует веру компании в то, что Швеция способна извлечь выгоду от внедрения ИИ. Microsoft обещает обучить 250 тыс. человек «основным ИИ-навыкам» в школах, организациях, государственном и других секторах в ближайшие три года. Смит также подчеркнул, что Швеция может считаться одной из самых инновационных стран.

Северная Европа стала приоритетной площадкой для крупных потребителей энергии благодаря наличию больших резервов для добычи «чистого» электричества. Дата-центры потребляют много энергии и конкурируют за неё с прочими отраслями экономики, желающими использовать преимущества региона, тарифы на электроэнергию в котором считаются одними из самых низких в мире. Ожидается, что в ближайшие десять лет новые проекты более чем вдвое увеличат спрос на электроэнергию здесь.

Источник изображения: Raphael Andres/unsplash.com

Когда речь заходит о возможном энергетическом кризисе, в Microsoft заявляют, что компания не просто инвестирует в шведские ЦОД, но и сделает крупные вложения в возобновляемую энергию. В частности, компания приобрела уже подписала контракт на поставку около 1 ГВт такой энергии в Швеции и подписала контракт с местной госкомпаний Vattenfall AB. При это в Европе это далеко на самые крупные инвестиции компании. Так, во Франции она потратит $4,31 млрд, в Германии — $3,4 млрд, в Испании — $2,1 млрд. А Лондон компания вообще назвала европейской столицей ИИ, здесь она инвестирует $3,15 млрд.

Минцифры РФ, по сообщению ТАСС, выступает с предложением распространить льготное кредитование на строительство дата-центров с целью ускорения развития отрасли. Об этом в ходе конференции «Телеком: перезагрузка» заявил руководитель ведомства Максут Шадаев.

В России стремительно растёт спрос на услуги ЦОД. В 2023 году объём соответствующего рынка достиг 42,8 млрд руб., что на 21,2 % больше по сравнению с предыдущим годом. Фактически спрос превышает предложение. Вместе с тем строительство новых дата-центров осложнено из-за нехватки оборудования.

Источник изображения: Ростелеком-ЦОД

По словам Шадаева, с учётом текущей ставки операторы не смогут поддерживать высокие темпы расширения ЦОД-инфраструктуры без льготных кредитов. Поэтому соответствующие меры поддержки предлагается распространить на строительство дата-центров. Министр также напомнил, что указом о национальных целях развития предусмотрено увеличение средней скорости доступа в интернет, что подразумевает модернизацию сетей связи.

«Мы все понимаем, что в городских агломерациях трафик растёт очень быстро и необходимо модернизировать и сети фиксированной связи, сети мобильной связи — нужно наращивать плотность покрытия LTE, нужно запускать сети 5G. И всё это нужно делать на отечественном оборудовании», — отметил Шадаев.

Ранее Минцифры предложило включить в национальный проект «Экономика данных» механизм поддержки российских операторов ЦОД. Тогда говорилось о льготном кредитовании компаний, закупающих для строительства дата-центров отечественное инженерное оборудование — системы противопожарной защиты, климатическую технику, источники бесперебойного питания (ИБП) и пр.

Государственный архив Российской Федерации (Госархив) обнародовал тендер на строительство центра хранения и обработки данных (ЦХОД) в городе Обнинске (Калужская область). Начальная цена контракта составляет 1,033 млрд руб., а заявки на выполнение работ принимаются до 7 июня 2024 года.

ЦОД в числе прочего призван обеспечить безопасное и долгосрочное хранение документов в электронном виде. При создании площадки планируется использовать отечественные оборудование и ПО.

В конкурсной документации, в частности, говорится о закупке 2U-серверов Depo Storm 3470A2R. Они могут комплектоваться двумя процессорами Intel Xeon Ice Lake-SP (до 40C/80T). Доступны 32 слота для модулей DDR4-3200. Подсистема хранения включает 12 фронтальных отсеков для накопителей LFF/SFF с интерфейсом SATA/SAS/NVMe с горячей заменой, выделенный опциональный отсек для двух SSD без горячей замены и два слота M.2 2280/22110 (PCIe 3.0 x4). Возможна установка двух блоков питания мощностью 1200 или 1600 Вт. Присутствуют два порта 1GbE RJ-45 и выделенный сетевой порт управления.

Источник изображения: Госархив

Кроме того, будут приобретены СХД Depo Storage 3536G3 в формате 4U. Конфигурация включает два контроллера, которые функционируют в режиме «активный — активный». Каждый из них наделён двумя процессорами и поддерживает до 256 Гбайт памяти DDR4. Доступны отсеки для 24 накопителей LFF/SFF SAS. Возможно формирование массивов RAID 0/5/6/7.3/10/N+M. Поддерживаются протоколы SMB/CIFS, NFS, FTP, AFP, FC, iSCSI. Задействованы два блока питания на 1200 Вт.

Контрактом также предусмотрена поставка рабочих станций, коммутаторов и прочего оборудования. Плюс к этому закупается офисная мебель. В качестве даты окончания работ значится 20 ноября 2024 года.

Сингапур рассчитывает дать операторам дата-центров ещё 300 МВт электроэнергии. Хотя в стране фактически действует мораторий на возведение новых ЦОД, ёмкость, по данным The Register, всё-таки будет выделена благодаря оптимизации уже действующих объектов. Ещё 200 МВт добавят за счёт новых «зелёных» энергопроектов. Сегодня в Сингапуре находятся более 70 ЦОД общей ёмкостью более 1,4 ГВт.

С 2019 года здесь фактически действует мораторий на строительство новых дата-центров, хотя уже одобренные проекты разрешено завершить, что, например, удалось сделать Singtel и Keppel. Запрет несколько ослабили в 2022 году — некоторым компаниям позволили подавать заявки на получение новых разрешений, хотя условия получения лицензий значительно ужесточили. Equinix, GDS, Microsoft и консорциум AirTrunk и ByteDance смогли получить одобрение на ввод 80 МВт новых мощностей, а недавно AWS анонсировала планы инвестировать $9 млрд в свои сингапурские ЦОД.

Источник изображения: Jisun Han/unsplash.com

Местный орган Infocomm Media Development Authority (IMDA) представил план по оптимизации энергопотребления ЦОД Green Data Centre Roadmap путём внедрения новых аппаратных и программных решений. Целью заявлено соблюдение климатических обязательств и получение «лишних» 300 МВт в краткосрочной перспективе. Операторы ЦОД должны будут совместно с клиентами увеличить энергоэффективность своих объектов. При этом освобождающиеся ёмкости будут распределять между теми, для кого приоритетными являются «зелёные» проекты, хотя экономическая целесообразность тоже будет учтена.

Речь идёт о более широком внедрении СЖО, отказе от воздушного охлаждения, повышении допустимых температур в машинных залах, использовании различных типов «зелёного» ПО и более современного оборудования. К концу года IMDA обновит стандарт BCA-IMDA Green Mark, ужесточив критерии энергоэффективности дата-центров в целом. К 2025 году будут представлены отдельные стандарты оценки энергоэффективности IT-оборудования и СЖО. В течение ближайших 10 лет PUE всех дата-центров Сингапура должен стать не выше 1,3 при 100 % загрузке, а WUE — быть не хуже 2 м³/МВт∙ч.