Корпорация Microsoft, по сообщению ресурса Business Insider, в течение 2024 года намерена утроить количество ускорителей на базе GPU в составе своей вычислительной ИИ-инфраструктуры. В результате, как ожидается, к декабрю общее количество таких изделий, находящихся в распоряжении редмондского гиганта, может достичь 1,8 млн. Два года назад у Microsoft было несколько сотен тысяч ускорителей, в том числе FPGA и ASIC.

Microsoft в партнёрстве с OpenAI реализует комплексную программу по развитию ИИ-систем. В частности, планируется строительство масштабного кампуса ЦОД под названием Stargate стоимостью $100 млрд. Средства, как уточняет Business Insider, пойдут в том числе на закупку GPU-ускорителей. Аналитики DA Davidson подсчитали, что в прошлом году Microsoft потратила приблизительно $4,5 млрд на приобретение ИИ-ускорителей NVIDIA. Один из руководителей Microsoft подтвердил, что эта цифра близка к фактическим расходам корпорации в рассматриваемом сегменте.

Источник изображения: Microsoft

Microsoft также проектирует собственные ИИ-чипы, которые помогут снизить зависимость от сторонних поставщиков. Так, она уже представила свой первый ИИ-ускоритель Maia 100, который спроектирован под задачи облачного обучения и инференса в сценариях с использованием моделей OpenAI, Bing, GitHub Copilot и ChatGPT в инфраструктуре Azure. Однако некоторые специалисты относятся скептически к этим усилиям Microsoft, поскольку корпорация на годы отстаёт от NVIDIA в плане создания мощных ИИ-решений. Business Insider со ссылкой на документацию Microsoft сообщает, что во II половине 2023-го корпорация развернула «рекордные мощности GPU». Однако конкретные цифры и тип ускорителей не раскрываются.

Другие крупные IT-компании и облачные провайдеры также продолжают наращивать ИИ-ресурсы. Например, Meta✴, как ожидается, к концу 2024 года будет иметь в своём распоряжении около 350 тыс. NVIDIA H100 и неназванное количество ускорителей собственной разработки MTIA v1 и MTIA v2. Некоторые игроки рынка присматриваются к конкурирующим решениям. Так, Dell намерена использовать ИИ-ускорители Intel Gaudi3, а стартап TensorWave разворачивает ИИ-облако из 20 тыс. ускорителей AMD Instinct MI300X.

Всё новые линии электропередач тянутся к Северной Вирджинии, крупнейшему в мире скоплению гигантских дата-центров. На хаб приходится до 70 % мирового интернет-трафика, поэтому власти считают, что устойчивость энергосетей будет сохраняться только при прокладке новых энергомагистралей из соседних штатов. А необходимый объём энергии пока может дать только уголь.

The Washington Post сообщает, что целей по переходу на чистую энергию вряд ли удастся достичь в обозримом будущем, а ТЭС, которые планировалось закрыть, останутся. Новые линии электропередач будут построены в четырёх штатах в рамках проекта стоимостью $5,2 млрд и сойдутся к 2030 году в Северной Вирджинии. Но угольные станции, как теперь считается, нельзя отключать на фоне стремительно растущего спроса на электроэнергию со стороны дата-центров, в том числе из-за генеративного ИИ.

Источник изображения: American Public Power Association/unsplash.com

Количество ЦОД в Северной Вирджинии растёт с 1990-х годов. Они в основном сосредоточены в округах Лаудон (Laudon) и Принс-Уильям (Prince William), но недавно «перекинулись» и в соседний Мэриленд. Сегодня в Вирджинии насчитывается около 300 ЦОД. Во многом это заслуга AWS, которая уже потратила $35 млрд на строительство ЦОД и намерена потратить ещё столько же. Только Лаудон ежегодно собирает $600 млн налогов с ЦОД, ещё $100 млн — Принс-Уильям.

Источник изображения: Ginger Jordan/unsplash.com

Спрос на электричество так высок, что местная энергетическая компания Dominion Energy ранее заявила, что может не справиться с ним. По её прогнозам, новые ЦЛД в Вирджинии потребуют 11 ГВт, примерно вчетверо больше, чем было нужно в 2022 году. Причём «зелёные» ветряные и солнечные проекты, похоже, не будут готовы вовремя. Так что хотя угольные электростанции в соседних штатах серьёзно вредят экологии, их операторы пересматривают планы по сокращению генерации для сохранения надёжности энергоснабжения. Некоторые эксперты добавляют, что это сохранит и рабочие места шахтёрам.

Есть и ещё один аспект — массивные ЛЭП должны протянуться и над сельхозугодьями, и над жилыми массивами. Многие фермеры жалуются на то, что прокладка новых линий лишит их части земель и собственности. Энергетики обещают компенсации, хотя в крайнем случае допускают и принудительное отчуждение частной собственности государством. Заодно это ударит по многомиллиардной туристической индустрии. Недовольство местных жителей политикой властей продолжает нарастать.

Компания Meta✴ и Alphabet X работают над технологиями Direct Air Capture (DAC) для извлечения углекислого газа с последующей его утилизацией. По данным Datacenter Dynamics, для высвобождения углекислоты из сорбентов будет применяться тепло, выделяемое оборудованием дата-центров.

Meta✴ ведёт соответствующие работы над DAC как минимум с 2021 года. Похоже, история началась с лабораторного прототипа технологии удаления углекислоты, интегрированной в системы охлаждения ЦОД. С тех пор проект претерпел некоторые изменения, но исследования по-прежнему продолжаются, как с жидкими сорбентами, так и с твёрдыми. Для регенерации поглощающих элементов действительно предполагается использовать «мусорное» тепло ЦОД.

Источник изображения: Ella Ivanescu/unsplash.com

После захвата CO₂ из воздуха сорбент способен при нагревании высвобождать его для хранения где угодно, например, в подземных полостях. По последним данным, Meta✴ работает над новой системой DAC, использующей для высвобождения углекислоты нагрев до невысокой температуры — это значительно снизит издержки.

О проекте Alphabet X Development известно мало. Компания в 2021 году подала патентную заявку, описывающую методы и системы для высвобождения из DAC-сорбентов CO₂ с использованием тепла от производственных процессов. Сам был опубликован в 2023 году. Судя по описанию, «промышленное» тепло используется в комбинации с одним и более тепловым насосом для отделения CO₂ от твёрдого или жидкого сорбента. Некоторые из участников проекта с тех пор перешли в Amazon. Похожую патентную заявку, посвящённую системе захвата углерода с помощью тепла дата-центров, подавала и Microsoft.

Тепло ЦОД пытаются использовать повсеместно — от подогрева ферм по выращиванию угрей до нагрева воды в плавательных бассейнах. Нет ничего удивительного, что со временем возникла идея использования его для захвата углерода. Одной из проблем была необходимость нагревать сорбенты до высоких температур, что само по себе приводит к углеродным выбросам. К счастью, в прошлом году компания Spiritus представила сорбент, который можно нагревать до температур ниже 100℃. Как заявляют в Meta✴, ключевыми покупателями нового материал являются именно ЦОД.

Источник изображения: Spiritus

По данным Spiritus, целесообразно устанавливать DAC в дата-центрах, способных отдавать 20–50 МВт избыточного тепла, а кампусы, способные генерировать 300 МВт тепла способны захватывать три мегатонны углекислоты ежегодно в сравнении с мегатонной, доступной более ранним DAC-технологиям, целесообразность которых тоже была под вопросом. Так, в рамках не связанного с ЦОД проекта Orchard One компания будет удалять из атмосферы по две мегатонны CO₂ каждый год.

При этом в Spiritus отказались сообщать, участвует ли она в проектах Meta✴ или X. Впрочем, будущее всех подобных проектов пока под вопросом, поскольку природные или искусственные полости для закачки туда углекислоты есть далеко не везде, а транспортировка CO₂, возможно, не получит одобрения регуляторов. Другими словами, ЦОД с системами подобной очистки можно будет строить лишь в некоторых местах.

Alphabet и Meta✴ входят в проект Frontier Climate, в рамках которого осуществляется покупка «углеродных кредитов» у компаний, использующих самые разные технологии захвата углекислоты из атмосферы, включая DAC. Frontier Climate является инвестором в другие проекты вроде Lithos, CarbonCapture Inc., Airhive, Inplanet, Living Carbon и Heirloom. Google, инвестировавшая $35 млн в проект по захвату углерода, заявила, что недавно покупала углеродные кредиты у Frontier, но деталей сделки не раскрыла.

Компания Gartner обнародовала скорректированный прогноз по глобальному рынку IT-технологий на 2024 год. Аналитики полагают, что отрасль покажет рост приблизительно на 8,0 %. Если в 2023-м затраты составили $4,69 трлн, то в нынешнем году они достигнут $5,06 трлн.

Аналитики учитывают расходы на дата-центры, электронные устройства, ПО корпоративного класса, IT-сервисы и телекоммуникационные сервисы. В 2023 году суммарный рост затрат в обозначенных сегментах оказался на отметке 3,8 % по отношению к предыдущему году. В 2024-м темпы роста увеличатся, что объясняется, в частности, стремительным внедрением генеративного ИИ.

По направлению ЦОД специалисты Gartner прогнозируют увеличение расходов с $236,18 млрд в 2023 году до $259,68 млрд в 2024-м. Таким образом, ожидается рост примерно на 10,0 %. Говорится, что в 2024 году на системы для задач ИИ придётся около 60 % всех расходов гиперскейлеров на закупку серверов. Ещё $1,04 трлн принесёт ПО корпоративного класса. Годом ранее на этот сектор пришлось $914,69 млрд. Рост в годовом исчислении ожидается на уровне 13,9 %.

Источник изображения: Gartner

По направлению IT-сервисов затраты, по мнению экспертов Gartner, поднимутся на 9,7 % — с 1,39 трлн до $1,52 трлн. Телекоммуникационные сервисы покажут прибавку на уровне 4,3 % — с $1,49 трлн до $1,55 трлн. В сфере электронных устройств затраты достигнут $687,94 млрд против $664,03 млрд в 2023 году, что соответствует росту на 3,6 %.

Автономная некоммерческая организация «Вычислительная техника» (АНО ВТ), по сообщению газеты «Ведомости», направила в Минпромторг предложения по упрощению механизма признания электроники российской. Речь идёт, в частности, о серверах и мониторах.

Поправки предлагается внести в постановление правительства №719 «О подтверждении производства промышленной продукции на территории РФ». Этот документ предполагает, что для включения электроники в реестр Минпромторга и получения преференций на госзакупках продуктам необходимо набрать определённое количество баллов. Они начисляются за использование отечественных компонентов, таких как платы и процессоры.

АНО ВТ, в которую входят «Аквариус»», Yadro, Fplus и другие компании, предлагает начислять баллы для признания серверов отечественными за наличие исключительных прав на конструкторскую и технологическую документацию. Ещё одним критерием может стать применение отечественной системы автоматизированного проектирования работ (САПР) в процессе создания электронных компонентов. Кроме того, для начисления баллов предлагается ввести дополнительные позиции, среди которых называются российские SSD с интерфейсом SAS, печатные платы управления питанием, ридеры бесконтактных карт (RFID) и пр.

Источник изображения: АНО ВТ

Дополнительно АНО ВТ считает целесообразным определить первый и второй уровни признания продукции российской для периферийных устройств, в которых отсутствует отечественный процессор, но используется центральный микроконтроллер. Это могут быть, например, мониторы. Новая классификация, по мнению авторов инициативы, позволит «стимулировать применение российской компонентной базы и даст преференции такой продукции». В настоящее время к первому уровню относятся ПК и серверы, оснащённые российским процессором. Второй уровень — это техника, в составе которой отсутствует отечественный чип.

Участники рынка также предлагают Минпромторгу «зафиксировать проходные баллы на 2025–2026 гг., которые не предполагают резких скачков, а направлены на плавный рост». В целом, как ожидается, инициатива АНО ВТ обеспечит присутствие в реестре Минпромторга техники российских компаний и в то же время позволит нарастить реальный процент локализации. Отмечается, что в соответствии с действующими требованиями набирать баллы для признания электроники отечественной поставщикам становится всё сложнее. К тому же это требует огромных вложений и времени.

Компания Atto представила устройство XstreamCORE 8100T — специализированный мост, позволяющий подключать ленточные накопители к сети 10GbE iSCSI. Таким образом, упрощается формирование систем для резервного копирования и восстановления информации.

Новинка заключена в корпус с габаритами 30,5 × 103,5 × 240 мм и весит около 0,91 кг. К одному мосту могут быть подключены до четырёх приводов стандартов LTO-9, LTO-8 и LTO-7 с интерфейсом SAS-3 (порт mini-SAS HD). Для подключения к сети есть два порта 10GbE. При этом в составе IT-инфраструктуры можно задействовать несколько мостов.

Анонсированы модификации устройства XCET-8100-TS0 и XCET-8100-TN0. Первая использует порты SFP+, вторая предлагает RJ-45/SFP. Заявленная установившаяся скорость передачи данных в обоих случаях достигает 2 Гбайт/с, а технология SpeedWrite оптимизирует использование доступной полосы пропускания. Предусмотрен выделенный порт управления 1GbE RJ-45.

Источник изображения: Atto

Диапазон рабочих температур — от +5 до +40 °C. Энергопотребление у модели XCET-8100-TS0, согласно техническим характеристикам, не превышает 25 Вт, у модификации XCET-8100-TN0 — 29 Вт. Стоят эти устройства $2895 и $3095 соответственно. Для управления служит веб-интерфейс; мосты могут использоваться в составе инфраструктур с любыми ОС. Разработчик говорит о простоте развёртывания.

Гендиректор Meta✴ Марк Цукерберг (Mark Zuckerberg) назвал главным препятствием в строительстве более крупных ЦОД для ИИ-нагрузок ограничения по поставкам электроэнергии, пишет ресурс DatacenterDynamics. Об этом глава компании сообщил в подкасте Dwarkesh, согласившись с мнением представителей отрасли.

Цукерберг отметил, что ПО регулируется лишь «отчасти», в то время как энергетическая отрасль является строго регулируемым сектором. И если вести речь о строительстве новых крупных электростанций или о значительном укрупнении существующих, а также о строительстве линий электропередачи, пересекающих государственные или частные земли, то этот процесс может затянуться на долгие годы. В частности, два года назад Meta✴ была вынуждена отказаться от гигантского 1,38-ГВт кампуса ЦОД в Нидерландах, где назрел энергетический кризис.

Источник изображения: Shane Rounce / Unsplash

Возведение крупного объекта для ИИ-вычислений, а также его ввод в эксплуатацию Цукерберг назвал «очень долгосрочным проектом». Эти ограничения сдерживают развитие собственных дата-центров ЦОД Meta✴. В конце 2022 года компания отказалась от планов по строительству ряда ЦОД, объявив о намерении кардинально изменить подход к их созданию и сейчас разрабатывает ряд модернизированных объектов. «Полагаю, что мы бы создали более крупные кластеры, чем можем сейчас, если бы у нас была энергия для этого», — сообщил Цукерберг.

«Никто ещё не построил ЦОД мощностью 1 ГВт. Я думаю, что это произойдёт, но не в следующем году. Это лишь вопрос времени», — добавил он, отметив, что для питания такого кампуса может понадобиться уже АЭС. Напомним, что по данным ресурса The Information, Microsoft и OpenAI обсуждают проект строительства к 2030 году объектов для решения задач в области ИИ мощностью 5 ГВт.

Правительство Японии, по сообщению ресурса Nikkei, профинансирует создание мощного НРС-комплекса, предназначенного для решения ресурсоёмких задач, связанных с ИИ. В общей сложности на проект будет выделено ¥72,5 млрд , или приблизительно $470 млн.

В проектировании системы примут участие пять компаний, включая телекоммуникационного оператора KDDI и поставщика облачных услуг Sakura Internet. Отмечается, что Министерство экономики, торговли и промышленности Японии (METI) компенсируют до половины затрат, которые понесут разработчики суперкомпьютера. В частности, Sakura получит ¥50,1 млрд ($324 млн) государственных средств, а KDDI — ¥10,2 млрд (около $66 млн).

В настоящее время японские компании и госорганизации в значительной степени полагаются на американских гиперскейлеров, таких как AWS и Microsoft Azure, которые сдавать позиции не собираются и активно инвестируют в развитие инфраструктуры в Японии, в том числе для ИИ. Предполагается, что создание собственного мощного ИИ-комплекса позволит снизить зависимость от иностранных технологий, а также улучшить конкурентоспособность Японии на мировом рынке. Технические детали проекта пока не раскрываются.

Источник изображения: pixabay.com

В 2020 году японский суперкомпьютер Fugaku на базе процессоров с архитектурой Arm возглавил глобальный рейтинг TOP500 самых производительных НРС-систем мира. Сейчас его быстродействие составляет около 442 Пфлопс. Однако с момента запуска комплекс Fugaku опустился на четвёртое место в списке TOP500, уступив трём американским суперкомпьютерам — Frontier, Aurora и Eagle, у которых производительность достигает соответственно 1,19 Эфлопс, 585 Пфлопс и 561 Пфлопс.

В июле 2023 года METI объявило о планах по развёртыванию суперкомпьютера для генеративного ИИ в новом исследовательском центре Японского национального института передовых технических наук и технологии (AIST). В создании этой системы также принимают участие специалисты Sakura Internet. Кроме того, в Японии запланировано строительство суперкомпьютера ABCI-Q с 2000 ускорителей NVIDIA H100 для исследований в области квантовых вычислений.

Развитие ИИ-систем станет драйвером стремительного роста энергопотребления в районе Чикаго. Глава Exelon Corp. Кальвин Батлер (Calvin Butler) заявил, что ожидается взлёт спроса на электричество для дата-центров на уровне 900 %.

Сейчас на территории подразделения Exelon Commonwealth Edison Co. проводятся инженерные исследования, связанные с 25 новыми проектами ЦОД, которые будут совокупно потреблять около 5 ГВт энергии. Для сравнения — сегодня в локальной энергосистеме на ЦОД приходится около 400 МВт. Батлер рассчитывает на завершение до 80 % запланированных проектов строительства новых кампусов. По его словам, операторов ЦОД привлекают низкие тарифы Commonwealth Edison, безуглеродное производство электричества атомными реакторами и налоговые льготы штата Иллинойс.

Источник изображения: Pedro Lastra/unsplash.com

Компании предстоит убедиться, что система сможет справиться с дополнительными нагрузками. Быстро растущий спрос невозможно будет удовлетворить немедленно. Новые дата-центры поначалу будут забирать избыточные мощности из региональной сети, потом получать энергию из других районов и лишь затем — от вновь построенных электростанций.

Энергокомпании и регуляторы США отмечают самый масштабный рост спроса на энергию за последние годы. Помимо дата-центров для ИИ-задач, много энергии требуют заводы, строящиеся в рамках программы реиндустриализации, электромобили, тепловые насосы и т.д. Недоступность энергии, по данным Cushman & Wakefield, ограничивает строительство ЦОД. Тем не менее в компании рассматривают Чикаго как ключевой для США рынок, уступающий лишь развитым хабам вроде т.н. «Аллеи дата-центров» в Вирджинии, Атланте и Далласу.

В то время как многие операторы облачных платформ и дата-центров закупают ускорители NVIDIA H100 для задач ИИ и НРС, стартап TensorWave, по сообщению ресурса The Register, сделал выбор в пользу решений AMD. Ожидается, что такой подход позволит ускорить развёртывание сервисов и снизить стоимость услуг для заказчиков. Системы класса bare metal будут предлагаться для аренды на определённый период времени по цене от $1/ч/GPU.

TensorWave приступила к созданию облачной ИИ-системы на базе ускорителей Instinct MI300X. К концу 2024 года TensorWave планирует установить около 20 тыс. ускорителей MI300X на двух объектах, объединённых RoCE-фабрикой. В 2025-м, как ожидается, будут введены в эксплуатацию дополнительные мощности с СЖО. В дальнейшем планируется внедрение технологии GigaIO FabreX на базе PCIe 5.0, позволяющей объединить до 5750 ускорителей в одном домене с более чем 1 Пбайт памяти НВМ.

Источник изображения: AMD

TensorWave использует системы с восемью ускорителями MI300X в одном узле. В одной стойке будут располагаться четыре таких узла. Упомянуто применение системы охлаждения с теплообменниками на задней двери. Судя по фотографиям, стартап использует 8U-серверы Supermicro AS-8125GS-TNMR2. Расчётная мощность составляет приблизительно 40 кВт на стойку. В долгосрочной перспективе TensorWave нацелена на внедрение технологии прямого жидкостного охлаждения чипов, что позволит повысить мощность и плотность размещения оборудования.

Источник изображения: TensorWave

Соучредитель TensorWave Джефф Татарчук (Jeff Tatarchuk) отмечает, что применение MI300X обеспечивает ряд преимуществ перед изделиями NVIDIA. Это отсутствие столь серьёзного дефицита, более высокая производительность и меньшая стоимость аренды для потребителей облачных ИИ-услуг. Однако, по словам Татарчука, препятствием при коммерциализации сервисов на базе ускорителей AMD может стать то, что потенциальные клиенты выражают неуверенность по поводу возможностей MI300X в сравнении с H100.