В мире ожидается рост энергопотребления системами, связанными с генеративным ИИ. По данным HPC Wire, в следующие пять лет расход электричества на такие системы составит 1,5 % от общемирового — это весьма значимая доля, говорят эксперты.

Соответствующее предположение выдвинули аналитики TechInsights. За основу взяты прогнозы Управления энергетической информации США (US Energy Information Administration, EIA) на 2025–2029 гг., в которых глобальное энергопотребление за этот период, по оценкам, составит 153 тыс. ТВт∙ч. Исследователи предполагают, что за то же время на ИИ-ускорители придётся 2318 ТВт∙ч.

Расчёты исходят из того, что каждый ускоритель требует 700 Вт, а потребление флагманских NVIDIA Blackwell и вовсе составляет 1200 Вт, хотя новинки намного производительнее решений прошлых поколений. При составлении прогнозов учитывается лишь энергопотребление самих ускорителей — без модулей памяти, сетевого оборудования и прочих компонентов ИИ-систем. По мнению экспертов, «придётся попотеть», чтобы оправдать такие расходы.

Источник изображения: Pixabay/pexels.com

Согласно опросам McKinsey, 65 % респондентов намерены использовать генеративный ИИ. Для того, чтобы удовлетворить спрос, вкладываются огромные деньги в соответствующую отрасль. Если Microsoft полагается в основном на решения NVIDIA, то Meta✴ реализует и собственный проект, а её вычислительная экосистема будет эквивалентна около 600 тыс. H100. По данным TechInsights, в 2023 году NVIDIA поставила порядка 3,76 млн ускорителей — в сравнении с 2,6 млн в 2022 году.

В прошлом году Gartner выступила даже с более смелым прогнозом — по её мнению, ИИ, возможно, будет потреблять и 3,5 % мирового электричества. Впрочем, методика компании не вполне ясна и, возможно, включает энергозатраты на сопутствующую экосистему помимо ускорителей. При этом расходы на электроэнергию в любом случае будут расти, а в случае дефицита поставщики энергии будут просто поднимать цены, а не пытаться разделить доступные мощности между потребителями.

Поэтому сейчас всё острее становится вопрос разумного использования энергии. Так, на криптомайнинг в США, по данным EIA, приходится 2,3 % всего энергопотребления в стране, но эксперты сходятся во мнении, что использовать ресурсы для работы ИИ-систем намного рациональнее. Впрочем, и сами майнеры активно переключаются на ИИ-проекты. Кроме того, переход на СЖО и утилизация «мусорного» повышают общую энергоэффективность ЦОД.

Но есть и другой путь. Так, Microsoft совместно с производителями «железа» довольно агрессивно продвигает т.н. ИИ ПК (AI PC), оснащённые NPU или иными ускорителями для локальных ИИ-вычислений. Это фактически позволяет перенести часть нагрузок на клиентские устройства, а в облаке обсчитываются те задачи, которые устройствам не под силу. Apple использует похожий подход.

Аппаратную составляющую ИТ-инфраструктуры предприятия или организации можно сравнить с оркестром, где каждому исполнителю отведена своя роль. Однако любому оркестру для успешной работы требуется дирижёр. В данном случае его роль играет система централизованного развёртывания, управления, мониторинга и инвентаризации ресурсов — YADRO СУПРИМ.

Совсем недавно этот программный комплекс был обновлён до версии 3.0. Он получил целый ряд важных нововведений и стал дальнейшим шагом на пути к построению единой ИТ-экосреды, целиком построенной на решениях, разработанных и производимых силами компании.

Источник изображений здесь и далее: YADRO

В новой версии комплекс YADRO СУПРИМ может управлять не только серверами YADRO, но и СХД YADRO.TATLIN.UNIFIED и Ethernet-коммутаторами Kornfeld. Достигнуто это благодаря интеграции с встроенным ПО хранилищ и коммутаторов, при этом спектр поддерживаемых устройств будет постоянно расширяться. Для управления используется протокол Redfish, ставший в индустрии стандартом де-факто.

Поскольку в достаточно крупных ИТ-средах количество устройств может доходить до сотен или даже тысяч единиц, автоматизированная инвентаризация ресурсов посредством YADRO СУПРИМ способна сэкономить немало сил, средств и времени. Поддержка интеграции с CMDB-системой заказчика позволяет выстроить целостную и непротиворечивую картину ИТ-ландшафта.

В новой версии YADRO СУПРИМ также реализован ряд механик, ускоряющих ввод новых устройств в эксплуатацию, а значит, позволяющих сократить промежуток времени между получением оборудования и запуском на нём требуемых ИТ-служб. В частности, в третьей версии реализована возможность массового автоматического обновления системного ПО, такого, как прошивки BIOS и BMC для серверов YADRO VEGMAN. Управление серверами может осуществляться как посредством протокола IPMI, так и через SSH-подключение.

Есть нововведения и в системе мониторинга, упрощающие жизнь администратору, в том числе реализована функция сбора журналов событий с каждого сервера. Это упрощает работу со службами технической поддержки, поскольку информация, собранная в одном месте, позволяет быстрее идентифицировать возникшую проблему и опять-таки минимизировать время простоя оборудования.

Эффективность систем, подобных YADRO СУПРИМ, во многом зависит не только от их программных возможностей, но и от удобства использования. И здесь разработка YADRO на высоте: СУПРИМ не требует установки клиентского ПО — весь спектр возможностей доступен посредством понятного, логичного и полностью русифицированного веб-интерфейса, выполненного в едином для всех продуктов YADRO стиле.

Само ПО устанавливается с помощью ВМ-шаблона менее чем за минуту, а возможность кластеризации гарантирует безотказное функционирование системы. Отказавший узел достаточно удалить и развернуть новый. При этом YADRO гибко относится к требованиям потенциального заказчика и готова пойти ему навстречу, если требуются какие-либо специфические изменения для достижения оптимальной производительности оборудования.

Таким образом, система управления и мониторинга YADRO СУПРИМ логически дополняет линейку аппаратных продуктов компании, образуя единую, активно развивающуюся отечественную ИТ-экосистему, в которой учитываются пожелания клиентов. Продукт включен в Единый реестр российского программного обеспечения для электронных вычислительных машин и баз данных (ЕРРП) Минцифры Российской Федерации.

Принадлежащий компании KKR оператор ЦОД CyrusOne получил в этом году кредитов на сумму порядка $8 млрд. Datacenter Dynamics сообщает, что новая кредитная линия Warehouse Credit Facility на $7,9 млрд дополнит уже имеющуюся линию Revolving Credit Facility на $1,8 млрд, открытую в мае 2024 года.

Warehouse Credit Facility в первую очередь предназначена для финансирования существующих и будущих проектов строительства ЦОД в США, а Revolving Credit Facility — на обеспечение оборотного капитала и общекорпоративные цели.

Источник изображения: CyrusOne

По словам главы по инвестициям CyrusOne Фрэн Федерман (Fran Federman), интерес со стороны заёмщиков — подтверждение прочности бизнеса компании и уверенности в её возможности продолжать развитие. По её словам, обе программы финансирования рассчитаны на устойчивое развитие. Условия кредитования будут меняться в зависимости от достижения компанией целевых показателей по выбросам парниковых газов.

Morgan Stanley, TD Securities и KKR Capital Markets выступили ведущими организаторами, стоящими за кредитной линией Warehouse Credit Facility, а Wells Fargo — за линией Revolving Credit Facility. В рамках сделок с компанией тесно сотрудничала и Global Infrastructure Partners (GIP), которая частично владеет CyrusOne и которая вскоре будет выкуплена BlackRock.

CyrusOne владеет десятками ЦОД на 13 региональных рынках США. Только в 2024 году она подала заявки на строительство кампусов в Чикаго (Иллинойс), Нью-Олбани (Огайо), а также начала строительство новых объектов в Сан-Антонио (Техас). В Аризоне власти города Меса рассмотрят предложение о строительстве компанией нового кампуса на 5 дата-центров в окрестностях Финикса. В 2018 году CyrusOne приобрела участок земли у Sunbelt Investment Holdings Inc. за $19,3 млн, а в прошлом году подала заявку на возведение кампуса.

Венчурная инвестиционная компания Andreessen Horowitz (a16z) получила тысячи современных ускорителей, включая большое количество NVIDIA H100. The Information сообщает, что компания создаёт собственные запасы для привлечения к сотрудничеству ИИ-стартапов. Компания явно не согласна с позицией венчурного фонда Sequoia Capital и аналитиков Goldman Sachs, которые опасаются, что нынешний бум ИИ — лишь пузырь.

Инвестор имеет в управлении активы на $42 млрд. Как сообщают СМИ со ссылкой на источники, знакомыми с делами компании, своим подопечным компания сдаёт в аренду запасённые ускорители. Пока нет сведений, идёт ли речь о наполнении складов или компания только арендует их для передачи в субаренду. В будущем Andreessen Horowitz намерена получить более 20 тыс. ускорителей. Компания рассматривает оборудование как критически важный актив для дальнейшего развития бизнеса.

Источник изображения: NVIDIA

На запросы журналистов Andreessen Horowitz и NVIDIA пока не отвечают. Уже не в первый раз ИИ-ускорители используются не вполне традиционным способом по мере того, как нарастает ажиотаж на рынке ресурсоёмких вычислений, связанных с искусственным интеллектом. Например, в прошлом августе облачный стартап CoreWeave, поддерживаемый NVIDIA, получил в долг $2,3 млрд под залог крупной партии NVIDIA H100 для покупки ещё большего количества ускорителей.

В условиях дефицита ускорителей стартапам предлагаются различные варианты решения проблемы. Так, Alibaba Cloud предлагает ИИ-стартапам GPU-мощности в обмен на долю в компании, а AWS готова выделить им миллионы долларов, но в виде кредитов для оплаты ресурсов в своём же облаке. Некоторые стартапы сами готовы поделиться интеллектуальной собственностью в обмен на доступ к ускорителям.

ИИ-стартап Илона Маска (Elon Musk) xAI отказался от планов по расширению сотрудничества с Oracle. Как пишет The Wall Street Journal, во вторник миллиардер сообщил в соцсети X, что xAI прекратил переговоры с облачным провайдером о сделке на $10 млрд по поводу расширения аренды вычислительных мощностей, поскольку стартап сам построит «самый мощный кластер для обучения [ИИ-моделей] в мире с большим запасом».

Сообщивший ранее о срыве сделки ресурс The Information рассказал, что многолетнее соглашение об аренде у Oracle запланированного к строительству суперкомпьютера на чипах NVIDIA уже было на стадии подписания, но переговоры зашли в тупик из-за того, что Маска не устроили сроки строительства, предложенные Oracle. Oracle же заявила об отсутствии доступа к адекватному источнику энергии для работы ИИ-суперкомпьютера в выбранном xAI регионе.

Источник изображения: xAI

В итоге Маск заявил, что «самый мощный суперкомпьютер в мире» будет построен стартапом в Мемфисе (штат Теннесси, США) и начнёт работу осенью 2025 года. Ранее Маск сообщил, что в течение следующих нескольких месяцев xAI развернёт кластер из 100 тыс. ускорителей NVIDIA H100 с жидкостным охлаждением, а летом следующего года запустит ещё один кластер из 300 тыс. ускорителей NVIDIA B200.

Как отметил ресурс Data Center Dynamics, xAI уже арендует у Oracle около 16 тыс. ускорителей NVIDIA, что делает его одним из крупнейших клиентов провайдера облачных услуг. Стартап также использует для работы сервисы AWS и резервные мощности в ЦОД соцсети X (Twitter). Oracle также предоставляет свою ИИ-инфраструктуру Microsoft и OpenAI.

Компания International Data Corporation (IDC) опубликовала результаты исследования мирового рынка облачных инфраструктур за I квартал 2024 года. Согласно оценкам IDC, за квартал, завершившийся в марте, на вычислительные мощности и хранилища по всему миру было израсходовано $54,4 млрд, что на 46 % больше показателя годичной давности.

Часть суммы была потрачена на выделенную (dedicated) инфраструктуру, которая размещается в собственных ЦОД или колокейшн-объектах, а часть на общедоступную (shared) облачную инфраструктуру. Следует отметить, что речь в данном случае идёт о продажах конечным потребителям или партнёрам по сбыту. Как полагает ресурс The Next Platform, порядка 40 % этой суммы было потрачено на ИИ-системы, большей частью на их аренду, причём в основном эти системы используют ускорители NVIDIA.

По данным IDC, из общей суммы компании потратили в I квартале 2024 года $26,3 млрд на общедоступную облачную инфраструктуру, что на 43,9 % больше, чем в прошлом году. Как отметили аналитики, на неё по-прежнему приходится наибольшая доля расходов по сравнению с выделенной инфраструктурой и необлачными расходами. В I квартале 2024 года на долю общедоступного облака пришлось 56,1 % всех расходов на инфраструктуру.

Расходы на выделенную облачную инфраструктуру выросли не столь сильно — на 15,3 % до $6,7 млрд, что ниже среднего показателя за последние 24 месяца в $7,4 млрд в квартал. В сумме расходы на всю облачную инфраструктуру, как общедоступную, так и выделенную, составили $33,0 млрд, что больше год к году на 36 %. На традиционную (необлачную) инфраструктуру было израсходовано $13,9 млрд (рост — 5,7 %).

Источник изображений: IDC

Если оценивать динамику затрат по регионам, то в основном она была положительной, за исключением Латинской Америки, продемонстрировавшей снижение на 2,8 %. Почти во всех регионах рост затрат исчисляется двузначными цифрами, за исключением Западной Европы, а также Ближнего Востока и Африки, где он составил 4,0 % и 5,3 % соответственно.

В число регионов, показавших уверенный двузначный рост расходов, вошли Азиатско-Тихоокеанский регион (исключая Японию и Китай), Япония, Центральная и Восточная Европа, США, Китай и Канада, где расходы на облачные технологии выросли год к году на 85,4 %, 53,1 %, 42,6 %, 37,0 %, 33,7 % и 16,1 % соответственно. Большая часть роста связана с крупными HPC- и ИИ-проектами, некоторые из которых в прошлом были отложены из-за проблем с поставками.

IDC также значительно повысила прогноз по затратам на 2024 год. Согласно оценкам, в этом году затраты на облачную инфраструктуру вырастут год к году на 26,1 % до $138,3 млрд. Расходы на необлачную инфраструктуру вырастут на 8,4 % до $64,8 млрд. Общедоступная облачная инфраструктура, как ожидают в IDC, покажет рост 30,4 % год к году до $108,3 млрд (предыдущий прогноз — $95,3 млрд). Затраты на выделенную облачную инфраструктуру увеличатся на 12,8 % до $30,0 млрд (ранее ожидалось $34,6 млрд).

Комментируя аналитические выкладки IDC, ресурс The Next Platform отметил, что облачная инфраструктура продолжит увеличивать долю в общих затратах на вычислительных ресурсы и СХД. Два года назад на неё приходилось 63,8 % все расходов, в прошлом году — 64,7 %, в этом году ожидается 68,1 %, а в 2028 году — 73,6 %.

Corning повысила прогноз продаж во II квартале 2024 года на $200 млн. Datacenter Knowledge сообщает, что во многом это обусловлено недооценённым ранее спросом на оптоволоконные соединения в дата-центрах для ИИ-задача. Теперь квартальные продажи должны достичь $3,6 млрд, тогда как ранее ожидалось, что они не превысят $3,4 млрд. Также компания прогнозирует возвращение роста выручки год к году.

Как заявили в компании, рост во многом связан с большой востребованностью новых оптоволоконных решений для генеративного ИИ. В следующие три года ожидается увеличение годовых продаж более чем на $3 млрд под влиянием «циклических факторов и долговременных трендов». Итоговые финансовые результаты II квартала будут объявлены 30 июля. На фоне этих заявлений акции Corning выросли в цене.

В компании связывают более оптимистичные прогнозы с рядом факторов, в первую очередь — успешными продажами оптоволокна для интерконнекта. Так, по данным Corning, параллельные ИИ-вычисления с помощью современных ускорителей требуют в 10 раз больше оптоволокна, чем традиционные облачные сети. Согласен расчётам компании, NVIDIA GB200 NVL72 требуется 576 волокон, то есть в 18 раз больше, чем в стойке с классическими серверными CPU.

Источник изображения: John Adams/unsplash.com

Corning является стратегическим активом для США, поскольку выпускает значительную часть оптоволокна для американских ВОЛС. Оптоволокно также является и важнейшим компонентом в самих ЦОД. А гиперскейлеры сейчас активно вкладываются в развитие инфраструктуры. Одна только Microsoft ежемесячно развёртывает по пять ИИ-суперкомпьютеров и рассчитывает до конца года иметь до 1,8 млн ускорителей на базе GPU, практически каждому из которых требуется собственное сетевое подключение.

По данным Synergy Research Group, количество крупных ЦОД, управляемых гиперскейлерами, достигло 992 шт. ещё в конце 2023 года. Ожидается, что ежегодно они будут вводить в строй ещё 120–130 дата-центров, а генеративный ИИ называют первоочередной причиной такого взрывного роста. Рост инвестиций в ЦОД совпадает со значительным падением трат телеком-операторов по всему миру — это отчасти сказалась на показателях вендоров от Ericsson до Crown Castle и Corning.

В результате многие вендоры стали искать новые возможности для роста. Так, Nokia назвала желание укрепиться на рынке ЦОД первоочередной причиной покупки Infinera за $2,3 млрд — это увеличит влияние компании на рынке ЦОД. Большие планы, связанные с развитием ИИ, вынашивают и в Cisco.

Тем не менее, поставщики уверены, что телеком-операторы со временем возобновят закупки оптоволокна. Пока они используют избыточные запасы, накопленные во время пандемии COVID-19, но скоро эти резервы истощатся. Кроме того, в последние месяцы ведутся переговоры о развёртывании новых широкополосных телеком-магистралей. Corning подтвердила эти ожидания, во многом связанные с масштабной государственной программой США Broadband Equity Access and Deployment (BEAD).

Бум спроса на дата-центры, работающие с ИИ-приложениями, сулит большие выгоды энергетическим компаниям, поставляющим природный газ. По данным Datacenter Dynamics, с соответствующим прогнозом выступили эксперты Wells Fargo.

Специалисты Инвестиционного института банка (Investment Institute, WFII) уверены, что сегодня такие энергоснабжающие структуры находятся в сильной позиции, позволяющей им снабжать новые ИИ ЦОД, активно строящиеся на территории Соединённых Штатов. В марте уже сообщалось, что проект нового газопровода Mountain Valley Pipeline, реализуемого Equitrans Midstream Corp., будет способствовать буму ИИ-технологий.

Хотя большинство операторов хотели бы получать энергию для новых объектов из возобновляемых источников и всеми силами стремятся к этому, природный газ в США всё ещё удовлетворяет 43 % спроса на энергию, о чём свидетельствует статистика Управления энергетической информации страны (Energy Information Administration, EIA). Согласно докладу WFII, компании, поставляющие природный газ, поспособствуют процветанию многих современных ЦОД.

Источник изображения: American Public Power Association/unsplash.com

В WFII заявляют, что возможности добычи природного газа в США и имеющиеся резервы достаточны для удовлетворения растущего спроса. Ключевым ограничением для роста пока является сопутствующая инфраструктура. Ожидается, что бенефициарами в сложившейся ситуации в первую очередь станут компании среднего уровня, им представляется возможность роста и более активного использования доступных активов, а ценность существующей газовой инфраструктуры со временем будет только расти. Эксперты ожидают, что доля природного газа в энергоснабжении США в ближайшем будущем останется стабильной, несмотря на то что в эксплуатацию вводятся всё новые источники возобновляемой энергии.

Получаемое с помощью природного газа электричество — более экобезопасная альтернатива прочим углеводородам из ископаемого топлива. По статистике EIA, при сжигании газа выбрасывается 430 г CO₂ на каждый кВт∙ч. В случае с углём речь идёт об 1 кг CO2, а для нефти — уже об 1,1 кг. Впрочем, по данным Всемирной ядерной ассоциации (World Nuclear Association), это несопоставимо с выбросами, связанными с эксплуатацией солнечных элементов питания (48 г/кВт∙ч) или АЭС (12 г/кВт∙ч).

В прошлом месяце появилась информация о том, что Amazon (AWS) отправила в долгий ящик планы по перекачке природного газа в Орегон для питания своих ЦОД — это увеличило бы углеродный выброс действующих объектах, поскольку сегодня те запитаны преимущественно от ГЭС (фактического разделения нет, электричество поставляется из электрических магистралей штата).

В ходе недавнего мероприятия Global Digital Economy Conference 2024 КНР не только раскрыла некоторые факты о национальной вычислительной инфраструктуре, но и обнародовала планы нарастить их только за 2024 год на 30 %, передаёт The Register.

Как заявил представитель Китайской академии информационных и коммуникационных технологий (China Academy of Information and Communications Technology) Ван Сяоли (Wang Xiaoli), Китай располагает более 8,1 млн стоек, а общая вычислительная мощность составила 230 Эфлопс (точность не указывается). Но уже к 2025 году она должна вырасти до 300 Эфлопс. Впервые соответствующие планы были обнародованы ещё в конце 2023 года.

Как именно Китай намерен добавить 70 Эфлопс, не уточнялось. Вопрос весьма актуальный, с учётом того, что Китаю удалось нарастить мощности со 180 Эфлопс в 2022 году лишь до 197 Эфлопс к августу 2023. Даже с учётом того, что сегодня этот показатель поднялся до 230 Эфлопс, Китаю придётся приложить немалые усилия, особенно с учётом санкций, ограничивающих поставки современных полупроводников в страну.

Источник изображения: 尧智 林/unsplash.com

В развитии современной инфраструктуры ЦОД сыграет роль даже Tesla. По данным СМИ, шанхайский оператор ЦОД Yovole Network использует водородную энергетику, энергохранилища, подключённые к солнечным электростанциям, непрямое испарительное охлаждение и СЖО для обеспечения работы своих дата-центров. В апреле компания начала сотрудничать с Tesla для внедрения энергохранилищ Tesla Megapack в одном из ЦОД.

Информация появилась в тот же день, когда китайские СМИ сообщили, что электротранспорт Tesla официально одобрен для закупок и использования в государственном секторе. В частности, Tesla Model Y приобрели некоторые принадлежащие государству шанхайские компании. При этом недавно тарифы на импорт китайских электромобилей подняли как в США, так и в Европе. На этом фоне китайские власти демонстративно подчёркивают, что в КНР одинаково относятся к местным и зарубежным предпринимателям, создавая им равные условия для развития бизнеса.

Конечно, на фоне санкций далеко не все иностранные компании смогут принять участие в наращивании китайских вычислительных мощностей. Каким бы образом в Китае не собирались добавить 70 Эфлопс за несколько месяцев, Пекин рассчитывает, что это поможет трансформировать экономику, позволив шире внедрять ИИ и потенциально обеспечит развитие и дополнительные доходы сельским районам, которые смогут заработать на цифровом буме.

Группа компаний Key Point (ГК «Кей Поинт») построит в Ростовской области центр обработки данных (ЦОД) ёмкостью до 1 тыс. IТ-стоек, сообщил «Интерфакс» со ссылкой на заместителя губернатора региона. Соглашение об этом было подписано в понедельник на международной промышленной выставке «Иннопром-2024».

Сообщается, что новый ЦОД предназначен для развития собственных и клиентских IТ-сервисов на промышленных и топливно-энергетических предприятиях, а также в государственных и частных учреждениях. При строительстве объекта будет использоваться более 90 % отечественного оборудования. ЦОД вместит 800–1000 стоек. Объём инвестиций в проект составит порядка 4 млрд руб.

Источник изображения: ГК «Кей Поинт»

ГК «Кей Поинт» представляет собой региональную сеть ЦОД. Компания построила дата-центр Key Point во Владивостоке общей ёмкостью 880 ИТ-стоек, первая очередь которого была запущена в феврале 2023 года. В феврале этого года компания запустила первую очередь дата-центра Key Point в Новосибирске на 440 ИТ-стоек. Проектная ёмкость ЦОД — 880 коммерческих ИТ-стоек.

Все ЦОД ГК «Кей Поинт» проходят двухступенчатую процедуру сертификации Uptime Institute: на соответствие проектной документации ЦОД уровню Tier III Design Documentation и на соответствие введённого в эксплуатацию объекта уровню Tier III Constructed Facility. Также все ЦОД проходят сертификацию по стандартам PCI DSS и ФСТЭК.

В планах компании строительство ЦОД ёмкостью 100–1200 стоек в Екатеринбурге, Ставрополе, Ростове-на-Дону, Махачкале, Санкт-Петербурге, Нижнем Новгороде, Южно-Сахалинске и Владивостоке.