Правительство Таиланда одобрило несколько новых проектов строительства дата-центров. Datacenter Dynamics сообщает, что местный Совет по инвестициям (BOI) дал добро на крупные вложения в соответствующую индустрию — помимо ЦОД, средства будут тратиться на электростанции, биохимическую отрасль, а также медицину.

Общий объём составит ฿56,95 млрд ($1,55 млрд). Из них в индустрию ЦОД будет вложено только $291 млн. Новые меры также одобрены для переработки выработавших свой ресурс аккумуляторов электромобилей и организации хостинга данных. В BOI уверены, что принимаемые меры соответствуют росту спроса на размещение данных в Таиланде и дополнят уже активные инвестиционные инициативы, направленные на развитие цифровой индустрии.

Источник изображения: Mathew Schwartz/unsplash.com

Два крупных проекта ЦОД уже одобрены советом. Неназванная международная компания получила разрешение на инвестиции ฿7,19 млрд ($196 млн) в дата-центр в провинции Самутпракан недалеко от Бангкока. Кроме того, одобрены инвестиции ฿3,35 млрд бат ($91 млн) на расширение кампуса East Bangna в той же провинции, оператором кампуса выступает местная телекоммуникационная компания True Internet Data Center (True IDC).

Последняя запустила ЦОД в 2003 году, ещё будучи Ascend Group, объекты компании в Таиланде расположены во многих городах страны. В 2015 году компания открыла ЦОД Mynamar в Янгоне, а в 2021 году начала строительство второго из четырёх запланированных зданий в бангкокском кампусе.

В прошлом году сообщалось, что AWS, Microsoft и Google намерены инвестировать в таиландские ЦОД в общей сложности $8,5 млрд. Microsoft подтвердила планы в прошлом месяце, а Google и AWS обещали расширить присутствие в стране ещё пару лет назад. На Таиланд обращают внимание не только игроки из США. Китайская Tencent располагает двумя зонами доступности в Бангкоке, Alibaba открыла там же дата-центр в мае 2022 года, а ранее в этом году строительство 12-МВт ЦОД в столице Таиланда начала японская NTT.

Компания «Ростелеком», по сообщению газеты «Коммерсантъ», намерена приобрести у девелопера PNK Group дата-центр, расположенный в Медведково на северо-востоке Москвы. Речь идёт о площадке на 4 тыс. стоек, стоимость которой оценивается в 19 млрд руб.

Отмечается, что в активе PNK Group значатся два ЦОД общей мощностью 72 МВт — они были открыты в 2023 году. Один из этих объектов, рассчитанный на 2,5 тыс. стоек, уже передан «Ростелекому». Второй дата-центр находится в управлении 3data, но договор предполагает возможность расторжения в случае продажи. Именно этот ЦОД и планирует приобрести «Ростелеком».

По имеющейся информации, сделка с PNK Group находится «в высокой степени готовности», при этом «Ростелеком» провел аудит инфраструктуры. Дата-центр соответствует уровню Tier III, имеет два энерговвода, а активное оборудование резервируется по схеме N+1. Общая площадь объекта составляет приблизительно 25 тыс. м².

Источник изображения: «Ростелеком»

Участники рынка полагают, что приобретение нового дата-центра позволит «Ростелекому» увеличить стоимость дочерней компании «РТК-ЦОД» перед IPO. Кроме того, покупка готового объекта «в текущих условиях будет дешевле, чем строительство нового».

В России на фоне сложившейся геополитической обстановки и западных санкций стремительно растёт спрос на услуги ЦОД. В 2023 году объём соответствующего рынка достиг 42,8 млрд руб., поднявшись на 21,2 % по отношению к 2022-му. Фактически спрос превышает предложение. Вместе с тем строительство новых дата-центров осложнено из-за нехватки оборудования.

По оценке iKS-Consilting, «РТК-ЦОД» лидирует на рынке дата-центров РФ с 21,4 тыс. стойко-мест на конец 2023 года. Эта компания контролирует 33 % российского рынка аренды стоек и размещения оборудования и 24 % облачных услуг IaaS и PaaS, темпы роста которых составляют 25 % и 34 % соответственно.

Корпорация Toshiba Electronics Europe GmbH анонсировала HDD семейства MG10-D, ориентированные на корпоративный сектор. Накопители выполнены по технологии традиционной магнитной записи (CMR) и заполнены воздухом. Поставки начнутся в III квартале текущего года.

Устройства имеют типоразмер LFF, а конструкция включает пять пластин. Частота вращения шпинделя — 7200 об/мин. В серию входят варианты с интерфейсом SATA-3 и SAS-3. Вместимость составляет 2, 4, 6, 8 и 10 Тбайт, а для SATA-модификации также доступна модель на 1 Тбайт.

Источник изображения: Toshiba

Диски рассчитаны на работу в круглосуточном режиме. По сравнению с изделиями предыдущего поколения достигается увеличение скорости передачи данных на 13 % — до 268 МиБ/с. При этом энергопотребление в режиме простоя снижено на 21 % — до 5,74 Вт. Объём буфера составляет 512 МиБ. Показатель AFR (Annualized Failure Rate) заявлен на отметке 0,44 %, а MTTF/MTBF (средняя наработка на отказ) достигает 2 млн часов.

Для устройств доступна опциональная поддержка шифрования SED (Self-Encrypting Device) и функция безопасного удаления информации SIE (Sanitize Instant Erase). Эксплуатационная нагрузка — до 550 Тбайт. Накопители подходят для таких задач, как аналитика данных, видеонаблюдение, бизнес-приложения (например, корпоративные сервисы электронной почты) и пр.

В эпоху ИИ данные рассматриваются как «валюта». Поэтому спрос на инструменты для интеграции, хранения и обработки данных становится растущим приоритетом среди предприятий, пишет IEEE ComSoc. Ожидается, что к 2025 году объём генерируемых в мире данных достигнет 180 Збайт по сравнению со 120 Збайт в 2023 году. И всё это потребует немало оборудования.

Согласно оценкам BofA Global Research, средний размер наборов данных, необходимых для обучения моделей ИИ, увеличился с 5,9 млн записей в 2010 году до 750 млрд в 2023 году. В опросе BofA 150 IT-профессионалов в качестве ключевых вариантов использования ИИ были указаны потоковая обработка данных (44 %) и машинное обучение (37 %). Кроме того, ИИ подталкивает к переносу данных в облака. По оценкам Gartner, к 2027 году 74 % платформ управления данными будет развёрнуто в облаках по сравнению с 60 % в 2023 году.

Затраты на инфраструктурное ПО для работы с данными представляют собой главную статью расходов ИТ-отделов. По оценкам участников опроса, на такое ПО приходится 35 % от общих расходов на ИТ. При этом ожидается, что бюджеты вырастут на 9 % в течение следующих 12 месяцев. Публичные облака вошли в тройку лидеров среди поставщиков таких решений. Они же получают и немало выручки. Согласно подсчётам BofA, оборот индустрии инфраструктурного ПО (хранилища и озёра, работа с неструктурированными данными и т. д.) в настоящее время составляет около $96 млрд, и он может вырасти до $153 млрд в 2028 году.

Источник изображения: BofA Global Research

Что касается «железа», то BofA прогнозирует стремительное увеличение капитальных затрат у Amazon, Alphabet/Google и Meta/Facebook — в 2024 году они вырастут на 43 % в годовом исчислении до $145 млрд. Большая часть увеличения придётся на серверы и оборудование:

• Капитальные затраты Alphabet на ИТ-активы увеличатся на $12 млрд в годовом исчислении до $28 млрд.
• Мета✴, после резкого роста в 2023 году останавливаться не будет и снова увеличит расходы на серверы, сетевое и прочее оборудование на $7 млрд в годовом исчислении до $22 млрд.
• Расходы на оборудование Amazon увеличатся на $8 млрд в годовом исчислении до $41 млрд (за счёт AWS, затраты ретейл-сегмента не поменяются).

Также исследователи отметили, что Meta✴ лидирует по соотношению капвложений и выручки (% от выручки), и с 2022 года компания постоянно наращивает капитальные затраты на ИИ (собственный суперкомпьютер, LLM и т. д.). Расходы Meta✴ по объёму сравнимы с расходами более крупных гиперскейлеров. Одним из возможных результатов может быть появления нового облачного решения для рекламодателей.

Стартап Etched, основанный в 2022 году выпускниками Гарварда, анонсировал самый быстрый, по его словам, ИИ-ускоритель Sohu. Секрет высокой производительности очень прост — Sohu представляет собой узкоспециализированный 4-нм ASIC, который умеет работать только с моделями-трансформерами. При этом в длинном анонсе новинки обещана чуть ли не революция в мире ИИ.

Etched прямо говорит, что делает ставку на трансформеры, и надеется, что не прогадает. Данная архитектура ИИ-моделей была создана в недрах Google в 2017 году, но сама Google распознать её потенциал, по-видимому, вовремя не смогла. Сейчас же, по словам Etched, практически все массовые ИИ-модели являются именно трансформерами, а стремительно набирать популярность этот подход начал всего полтора года назад с выходом ChatGPT, хотя в Etched «предугадали» важность трансформеров ещё до выхода детища OpenAI.

Источник изображений: Etched

Etched в целом справедливо отмечает, что подавляющее большинство ИИ-ускорителей умышленно создаётся так, чтобы быть достаточно универсальными и уметь работать с различными типами и архитектурами ИИ-моделей. Это ведёт к взрывному росту транзисторного бюджета и уменьшению общей эффективности. Так, по словам Etched, загрузка ускорителя на базе GPU работой на практике составляет около 30 %, а у Sohu она будет на уровне 90 %.

Тут есть некоторое лукавство, потому что Etched в основном говорит о «больших» ускорителях, ориентированных и на обучение тоже, тогда как Sohu предназначен исключительно для инференса. На практике же бывают и гибридные подходы. Например, у AWS есть не только Trainium, но Inferentia. Meta✴ использует чипы NVIDIA для обучения, но для инференса разрабатывает собственные ускорители MTIA. Cerebras практически отказалась от инференса, а Groq — от обучения моделей. Корректнее было бы сравнить именно инференс-ускорители, пусть даже никто из упомянутых Etched конкурентов не ориентирован исключительно на трансформеры.

Также стартап критикует громоздкую программную экосистему для современного генеративного ИИ, к тому же не всегда открытую. Важность оптимизации ПО хороша видна на примере NVIDIA TensorRT-LLM. Но крупным компаниям этого мало, они готовы вкладывать немало средств в глубокую оптимизацию, чтобы ещё чуть-чуть повысить производительность. Дело доходит до выяснения того, у какого регистра задержка меньше при работе с каким тензорным ядром, говорит Etched. Стартап обещает, что его заказчикам не придётся заниматься такими изысканиями — весь программный стек будет open source. Впрочем, на примере AMD ROCm видно, что открытость ещё не означает мгновенный успех у пользователей.

Технические характеристики Sohu не раскрываются. Явно говорится лишь о наличии 144 Гбайт HBM3e. Обещанная производительность сервера с восемью ускорителями Sohu составляет 500 тыс. токенов в секунду для Llama 70B: FP8 без разреженности, параллелизм на уровне модели, 2048 токенов на входе и 128 токенов на выходе. Иными словами, один такой сервер Sohu заменяет сразу 160 ускорителей NVIDA H100, говорит Etched. А вот про масштабируемость своих платформ компания пока ничего не говорит. Зато хвастается, что первые заказчики уже зарезервировали Sohu на десятки миллионов долларов.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило о подписании соглашения с французским национальным агентством высокопроизводительных вычислений (GENCI) о размещении второго в Европе суперкомпьютера экзафлопсного класса.

Напомним, первым европейским HPC-комплексом с производительностью более 1 Эфлопс станет Jupiter, который расположится в Юлихском исследовательском центре (FZJ) в Германии. В создании системы участвуют NVIDIA, ParTec, Eviden и SiPearl. В состав суперкомпьютера войдут модули NVIDIA Quad GH200, а также энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea. Машина будет развёрнута на базе модульного ЦОД. Ввод в эксплуатацию запланирован в 2024 году.

Второй в Европе экзафлопсный суперкомпьютер получил имя Alice Recoque) — в честь французского учёного, компьютерного инженера и специалиста по компьютерной архитектуре. Она работала над созданием мини-компьютеров в 1970-х годах и руководила исследованиями, связанными с ИИ.

Мини-компьютер Mitra-15, разработанный под руководством Алисы Рекок (Фото: Damien.b / Wikipedia)

Стоимость создания машины оценивается в €544 млн. Управление суперкомпьютером возьмёт на себя Французская комиссия по альтернативным источникам энергии и атомной энергии (CEA). Комплекс будет смонтирован на территории Брюйер-ле-Шатель, к юго-западу от Парижа. Для размещения и эксплуатации машины выбран французско-нидерландский консорциум Жюля Верна.

Известно, что в основу суперкомпьютера ляжет модульная энергоэффективная архитектура. По мере необходимости в состав системы могут добавляться дополнительные узлы на базе GPU или квантовых процессоров. Комплекс, в частности, будет построен на Arm-чипах SiPearl Rhea2, которые в настоящее время находятся в разработке. Не исключается также применения высокопроизводительных RISC-V процессоров EPI EPAC.

Запуск Alice Recoque предварительно намечен на 2026 год, но может затянуться до 2027–2028 гг. Система будет доступна академическим организациям, государственным структурам и промышленным предприятиям. Использовать её планируется для выполнения ресурсоёмких задач в области ИИ и НРС.

Американская энергетическая Pacific Gas and Electric Company (PG&E) в последнем отчёте для инвесторов отметила, что в Калифорнии, особенно в северной и центральной частях, в ближайшие годы построят много дата-центров. Datacenter Dynamics сообщает, что речь идёт строительстве ЦОД ёмкостью 3,5 ГВт до 2029 года, причём треть приходится на единственного клиента.

В Сан-Хосе от 11 клиентов поступил запрос на строительство ЦОД общей ёмкостью 1,6 ГВт в 2025–2029 гг., отдельные объекты требуют подвод от 10 МВт до 600 МВт. В Хейварде речь идёт о вводе к 2028 году 975 МВт для четырёх клиентов, причём 800 МВт приходится лишь на одного из них. В остальных городах запросы скромнее. Так, во во Фримонте нужно 230 МВт, в Гилрое и Милпитасе — 210 МВт, в Сан-Франциско — 70 МВт, в Саннивейле и Санта-Кларе — по 100 МВт, а в Ричмонде — всего лишь 35 МВт.

Источник изображения: Lala Miklós/unsplash.com

Подавшие заявки компании не называются и указываются в отчёте под номерами. Например, первый клиент запросил суммарно более 1,3 ГВт в пяти локациях, все должны заработать в 2028 году. Клиент №3 (второй по значимости) запросил 500 МВт в одном месте, объекты должны ввести в эксплуатацию между 2025 и 2029 гг.

В среднем нагрузка PG&E должна вырасти на 2–4 % с 2023 по 2040 гг. (эквивалент 144 ТВт∙ч), на дата-центры из них придётся 0,5–1,5 %, а на электромобили — 1,25–2 % роста. На обеспечение роста потребностей ЦОД потребуется $0,5–$1,6 млрд. Однако аналитики CBRE предупреждают, что многие подстанции в районе Кремниевой долины не получат энергии до 2028–2029 гг., причём их сдача в эксплуатацию может быть отложена из-за превышения возможностей электросетей в Санта-Кларе.

Digital Core (Digital Realty) уже отмечала проблемы с энергоснабжением в Калифорнии. Ещё в I квартале 2023 года местный поставщик энергии на севере штата предупреждал о приостановке выделения дополнительных мощностей для ЦОД до 2028 года. Один из ключевых поставщиков энергии, Silicon Valley Power, сообщает, что многие проекты получают максимум 2 МВт, что сильно ограничивает их возможный будущий рост.

В прошлом году Silicon Valley Power объявила, что нагрузка на электросети из-за ЦОД почти удвоится к 2035 году, а дата-центры и без того являются крупнейшим потребителем калифорнийских энергорезервов. В PG&E тоже отметили, что компания медлит с новыми поставками энергии из-за нехватки резервов и роста её потребления. Ожидается, что новые мощности будут массово введены лишь к 2028 году. Пока же пытаются реализовать необычные зелёные проекты. например, ЦОД Microsoft в Сан-Хосе запитают от биогаза, получаемого из пищевых отходов.

NVIDIA, по сообщению Reuters, подписала соглашение с катарской телекоммуникационной компанией Ooredoo Group о поставках ИИ-оборудования в дата-центры на Ближнем Востоке. Это первый крупномасштабный проект NVIDIA в данном регионе. Финансовые условия сделки не раскрываются. Какие именно продукты NVIDIA будет поставлять, не уточняется, но, например, упоминаются ИИ-ускорители на основе GPU.

Соглашение распространяется на дата-центры Ooredoo в Катаре, Алжире, Тунисе, Омане, Кувейте и на Мальдивах. Старший вице-президент NVIDIA по телеком-бизнесу Ронни Васишта (Ronnie Vasishta) подчёркивает, что закупаемое оборудование позволит Ooredoo предоставлять заказчикам услуги по развёртыванию приложений на основе генеративного ИИ.

Источник изображения: NVIDIA

«Благодаря этому соглашению наши B2B-клиенты получат доступ к сервисам, которые конкуренты, вероятно, не смогут предложить в течение следующих 18–24 месяцев», — заявил глава Ooredoo Азиз Алутман Фахру (Aziz Aluthman Fakhroo). Ooredoo инвестирует $1 млрд в наращивание мощностей региональных ЦОД. К имеющимся 40 МВт добавятся ещё 20–25 МВт, а к концу текущего десятилетия этот показатель, как ожидается, будет утроен. В настоящее время Ooredoo Group имеет 26 действующих дата-центров в Катаре, Кувейте, Омане, Ираке и Тунисе.

Нужно отметить, что Вашингтон разрешает экспорт некоторых решений NVIDIA на Ближний Восток, но накладывает ограничения на поставки наиболее передовых чипов компании. Связано это с «углублением взаимоотношений» Китая с некоторыми странами региона. Между тем многие облачные компании и ЦОД-операторы намерены реализовать или уже реализуют проекты на Ближнем Востоке. Так, в ОАЭ и Саудовской Аравии активно наращивают присутствие и американские, и китайские гиперскейлеры.

Агентству Reuters стало известно о совместной работе китайской компании ByteDance, владеющей популярным видеосервисом TikTok, и американского производителя чипов Broadcom над созданием усовершенствованного ИИ-ускорителя. По словам источников Reuters, это 5-нм ASIC, на который не будут распространяться экспортные ограничения США.

Также сообщается, что производством чипа будет заниматься TSMC. Вероятно, его выпуск начнётся в следующем году. Как сообщил источник, работа над чипом идёт полным ходом, но проектирование ещё не завершено. ByteDance и Broadcom являются партнёрами как минимум с 2022 года. ByteDance покупала у американской компании 5-нм чипы Tomahawk, а также коммутаторы Bailly для ИИ-кластеров, указано в публичных заявлениях Broadcom.

Сотрудничество с Broadcom в деле разработки ИИ-ускорителя позволит ByteDance сократить затраты и обеспечить стабильные поставки высокопроизводительных чипов, утверждают источники Reuters. Для ByteDance, владеющей также китайской версией TikTok под названием Douyin, и ещё рядом популярных приложений, включая сервис чат-ботов, похожий на ChatGPT, под названием Doubao с 26 млн пользователей, крайне важно иметь достаточный запас ИИ-ускорителей.

Источник изображения: Broadcom

По словам источника, ByteDance выделила в прошлом году $2 млрд на закупку ИИ-ускорителей. В частности, она успела приобрести неназванные объёмы NVIDIA A100 и H100, которые были доступны до вступления в силу первого раунда санкций США, а также чипы A800 и H800, которые со временем также попали под ограничения. ByteDance также приобретала в прошлом году чипы Huawei Ascend 910B, утверждают информированные источники.

Особое внимание Bytedance уделяет набору квалифицированных кадров в сфере ИИ. На веб-сайте компании в настоящее время размещены сотни вакансий, связанных с полупроводниками, в том числе 15 для разработчиков микросхем ASIC. Кроме того, по словам одного из источников, Bytedance переманивает высокопоставленных специалистов у китайских производителей ИИ-чипов.

Компания Xerox организовала миграцию из собственных ЦОД в облако Microsoft Azure. По данным Datacenter Dynamics, переход осуществляется с помощью компании Tata Consultancy Services (TCS), которая будет способствовать переносу нагрузок со старых дата-центров в публичное облако. По состоянию на 2016 год Xerox имела восемь дата-центров: два в Канаде, четыре в Европе и два в США.

О текущем состоянии инфраструктуры ЦОД Xerox сегодня известно очень мало, как и о том, намерена ли она окончательно отказаться от собственных ЦОД. При этом говорится, что после миграции Xerox получит облачную ERP-платформу и начнёт использовать технологии вроде генеративного ИИ в своей деятельности. TCS разработает новую операционную модель для компании с акцентом на работу в облачной инфраструктуре, в числе прочего речь идёт о создании корпоративной ИИ-платформы.

Источник изображения: Claude Laprise / Unsplash

По словам Xerox, инициатива, связанная с цифровой трансформацией — важный этап для пересмотра модели работы компании, призванный упростить как ключевые процессы, так и улучшить клиентский опыт. Впервые Xerox объявила о намерении отдать приоритет облакам ещё в 2023 году. Как сообщают в TCS, инициатива позволит организации со столетней историей быстро трансформироваться в более гибкую и высокотехнологичную компанию. Катализатором этого, по словам компании, стали технологии генеративного ИИ.