Представители «Сбера» и Т-банка жалуются на трудности поиска свободных площадок для постройки новых дата-центров, в том числе связанных с ИИ-проектами. Более того, банки сообщили, что им уже не хватает свободных мощностей, передают «Ведомости».

Если ранее проект «Сбера» по строительству ЦОД на 40 МВт считался крупным, то теперь объекты до 200 МВт даже не рассматриваются — по словам главы структуры Германа Грефа, оптимальным вариантом считаются проекты 300–400 МВт. В Т-банке также подтверждают сложность постройки ЦОД даже на 50 МВт из-за нехватки мощностей и высоких тарифов. В ВТБ тоже подтверждают, что поиск оптимальных объектов для размещения вычислительного оборудования представляет серьёзную проблему.

В «Сбере» отметили и высокую стоимость самого строительства — инвестиции в инфраструктуру для систем генеративного ИИ в мире в 2024 году уже составили $300 млрд, а годовой рынок ИИ ЦОД оценивается в десятки миллиардов долларов. При этом Греф подчеркнул, что речь идёт об инвестициях в будущее и траты неизбежны.

Вопрос о нехватке вычислительных мощностей для ИИ поднимался Сбербанком ещё в марте. Утверждается, что это одна из главных причин отставания российских ИИ-продуктов от решений OpenAI и Google. По словам Грефа, на тот момент российские решения отставали на 6–18 мес. При этом в конце сентября Греф заявил, что «Сбер» — владелец крупнейшего парка вычислительных мощностей в России и располагает 63 тыс. серверов в четырёх дата-центрах.

Источник изображения: Joshua Olsen / Unsplash

Участники рынка и представители властей подтверждают нехватку энергии в некоторых регионах России, в том числе из-за роста энергопотребления IT-инфраструктурой. Замглавы администрации президента России Максим Орешкин уже объявил, что проблема дефицита электричества может стать актуальной в России в ближайшие 5–10 лет.

ЦОД по-прежнему сконцентрированы в Москве и Подмосковье, где уже сложно найти площадку для объекта более чем на 40 МВт. По данным iKS-Consulting в 2023 году на Москву и область приходилось 76 % всего рынка коммерческих ЦОД России, это 53,4 тыс. стойко-мест с максимальной подведённой мощностью 540 МВт. На Санкт-Петербург приходится 9,3 % рынка (7,3 тыс. стойко-мест), на прочие регионы — 14,8 % (9,6 тыс.). Если в 2023 году рынок ЦОД в регионах вырос на 8,5 %, то в 2024 году, вероятно, рост составит 27,1 %. В 2024 году коммерческие ЦОД в России получат 12 тыс. новых стойко-мест, ожидают в iKS-Consulting.

Компания Solidigm официально представила, как утверждается, самый вместительный в мире SSD для дата-центров: устройство серии D5-P5336 имеет ёмкость 122,88 Тбайт. Покупатели смогут выбирать между модификациями в форм-факторах U.2 (толщиной 15 мм) и E1.L. Впрочем, сегодня же накопители Pascari D205V аналогичной ёмкости анонсировала и Phison.

О подготовке новинок впервые сообщалось в начале августа нынешнего года. Ранее в семейство D5-P5336 входили модели ёмкостью до 61,44 Тбайт. Таким образом, анонсированные изделия по вместимости вдвое превосходят предшественников.

В основу SSD положены 192-слойные чипы флеш-памяти QLC 3D NAND. Для обмена данными служит интерфейс PCIe 4.0 x4 (спецификация NVMe 2.0). Заявленная скорость последовательного чтения достигает 7400 Мбайт/с, скорость последовательной записи — 3200 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) при произвольном чтении блоков по 4 Кбайт составляет до 930 тыс. Значение IOPS при произвольной записи блоков по 32 Кбайт — до 25 тыс.

Источник изображения: Solidigm

Показатель MTBF (средняя наработка на отказ), согласно техническим характеристикам, равен 2 млн часов. Накопители способны выдерживать до 0,6 полных перезаписи в сутки (показатель DWPD) на протяжении пяти лет. Гарантированный объём записанной информации составляет 134,3 Пбайт. Говорится о соответствии стандартам OCP 2.0 и FIPS 140-3 L2. Максимальное энергопотребление равно 25 Вт, энергопотребление в режиме простоя — менее 5 Вт.

Поставки SSD вместимостью 122,88 Тбайт компания Solidigm организует в начале 2025 года. Утверждается, что для операторов ЦОД эти устройства обеспечат ряд существенных преимуществ, в частности:

• Сокращение энергопотребления до 84 % в составе NAS по сравнению с гибридными решениями на основе HDD и TLC SSD TLC;
• Улучшение показателя Тбайт/Вт при использовании на периферии в 3,4 раза по сравнению с TLC SSD вместимостью 30 Тбайт;
• До 4 Пбайт хранилища в расчёте на одну стойку.

Компания Phison официально анонсировала SSD Pascari D205V вместимостью 122,88 Тбайт, о подготовке которого сообщалось в начале августа нынешнего года. Изделие ориентировано на нагрузки с высокой интенсивностью чтения данных. Solidigm сегодня тоже официально представила накопитель D5-P5336 ёмкостью 122,88 Тбайт.

В основу Pascari D205V положены контроллер Phison X2 и чипы флеш-памяти 3D QLC NAND. Задействован интерфейс PCIe 5.0 (NVMe 2.0): заказчики смогут выбирать между модификациями с одним портом PCIe 5.0 x4 и двумя портами PCIe 5.0 2x2. При этом предусмотрены варианты исполнения U.2 и E3.L.

Скорость последовательного чтения информации достигает 14 600 Мбайт/с, скорость последовательной записи — 3200 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) при произвольном чтении блоков по 4 Кбайт заявлен на уровне 3 млн. Величина IOPS при произвольной записи блоков по 16 Кбайт составляет до 35 тыс. Задержка при чтении и записи — 110 и 12 мкс соответственно.

Источник изображения: Phison

Заявленное энергопотребление в активном режиме равно 25 Вт. Значение DWPD (полных перезаписей в сутки) составляет 0,3, показатель MTBF (средняя наработка на отказ) — 2,5 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C. Производитель предоставляет пятилетнюю гарантию. Говорится о поддержке TCG Opal 2.0, шифрования AES-XTS 256, а также защиты от потери питания (PLP).

Приём предварительных заказов на накопитель уже начался. Поставки планируется организовать во II квартале 2025 года. Кроме того, Phison предлагает накопитель D200V ёмкостью 61,44 Тбайт и высоконадёжный SSD SA50V формата SFF вместимостью 15 Тбайт с интерфейсом SATA-3.

Оператор Iron Mountain Data Centers (IMDC) объединил усилия с SeaQurrent для питания своих ЦОД от приливных электростанций (ПЭС). По данным Datacenter Dynamics, в SeaQurrent разрабатывают высокоэффективные и экологичные ПЭС с базовой мощностью 500 кВт, которые можно объединять многомегаваттные кластеры. Сотрудничество с Iron Mountain позволит SeaQurrent масштабировать свои ПЭС.

ПЭС SeaQurrent включает «воздушный змей», который представляет собой гидродинамическое крыло, турбину и платформу, прикреплённую ко дну. Для подъёма крыла используется поток воды. Конструкция движется по стабильной траектории-«восьмёрке» и управляется системой дистанционного мониторинга и контроля, автономно управляющей всем процессом. Создаваемое крылом тяговое усилие приводит в движение биоразлагаемую рабочую жидкость, которая, в свою очередь, обеспечивает вращательное движение турбины генератора.

Источник изображения: SeaQurrent

В Iron Mountain решение рассматривают, как часть более широкого проекта по переходу к 2040 году на обеспечение ЦОД исключительно «чистой» энергии в режиме 24/7. Благодаря предсказуемой выработке энергии приливные электростанции лучше подходят для питания ЦОД. Впрочем, от других «зелёных» источников Iron Mountain не отказывается. В июне заключено соглашение о поставке солнечной энергии с InRange для компенсации потребления ЦОД LON-1. В апреле 2023 года подписано PPA с нидерландской энергетической компанией Sunrock.

Источник изображения: SeaQurrent

Довольно стабильны и геотермальные источники энергии, которыми пользуются или планируют пользоваться многие операторы ЦОД. Например, летом сообщалось, что Google подписала соглашение с NV Energy об использовании геотермальной энергии для питания своих дата-центров в Неваде. А Meta✴ намерена снабжать свои ЦОД в США энергией из петротермальных источников.

NVIDIA объявила о серии совместных проектов с SoftBank, направленных на ускорение суверенных инициатив Японии в области ИИ, которые также обеспечат возможность получения дохода от ИИ для поставщиков телекоммуникационных услуг по всему миру.

В выступлении на саммите NVIDIA AI Summit Japan генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) объявил, что SoftBank создаёт самый мощный в Японии ИИ-суперкомпьютер с использованием платформы NVIDIA DGX SuperPOD B200 и интерконнекта Quantum-2 InfiniBand. Эта система станет первой в мире, которая получит системы DGX B200. Она будет использоваться компанией для разработки генеративного ИИ и развития других бизнес-решений, а также для предоставления вычислительных услуг университетам, научно-исследовательским институтам и предприятиям в стране. Суперкомпьютер идеально подойдёт для разработки больших языковых моделей (LLM), говорится в пресс-релизе.

Пока что на звание самого мощного ИИ-суперкомьютера Японии претендует система ABCI 3.0 на базе NVIDIA H200. Впрочем, Softbank не сидит сложа руки и планирует построить ещё один суперкомпьютер, на этот раз на базе суперускорителей GB200 NVL72. Они же будут использоваться в проекте Sharp, KDDI и Supermicro по созданию «крупнейшего в Азии» ИИ ЦОД.

Источник изображения: NVIDIA

Также в ходе саммита было объявлено, что SoftBank, используя платформу ускоренных вычислений NVIDIA AI Aerial, успешно запустил первую в мире телекоммуникационную сеть, объединяющую возможности ИИ и 5G. В ходе испытаний, проведенных в префектуре Канагава, SoftBank продемонстрировала, что решение AI-RAN достигло производительности 5G операторского класса, используя ресурсы ускорителя для одновременной обработки сетевого трафика и инференса.

Отмечается, что мобильные сети традиционно рассчитаны на обработку пиковых нагрузок и в среднем задействуют только треть аппаратных ресурсов, что позволяет монетизировать оставшиеся две трети путём предоставления ИИ-сервисов. NVIDIA и SoftBank также сообщили, что с помощью ПО NVIDIA AI Enterprise японская компания будет создавать локализованные безопасные ИИ-сервисы.

ИИ вообще и генеративный ИИ в частности привели к стремительному росту энергопотребления ЦОД — по прогнозам агентства Gartner, в следующие два года рост составит 160 %. В результате ожидается, что 40 % существующих ИИ ЦОД будут ограничены в энергоресурсах к 2027 году. Как утверждают в агентстве, взрывной рост новых ИИ ЦОД гиперскейл-уровня обеспечивает постоянный рост спроса на электроэнергию, который совсем скоро превысит возможности поставщиков электричества.

Это грозит нехваткой энергии и перебоями в энергоснабжении, что ограничит рост новых ЦОД для систем генеративного ИИ и прочих целей с 2026 года. По оценкам Gartner, для обеспечения работы для ИИ серверов в 2027 году понадобится 500 ТВт∙ч, что в 2,6 раза больше, чем в 2023 году.

Дефицит энергии может затянуться, поскольку на создание новой инфраструктуры для генерации, распределения и доставки энергии уйдут годы, а уже назревшие проблемы никуда не денутся. В скором будущем число новых ЦОД и развитие систем генеративного ИИ будет определяться доступностью энергии. В Gartner рекомендуют организациям и компаниям оценить влияние риск дефицита энергии на их продукты и сервисы. Стоит не только принимать в расчёт рост стоимости электричества при планировании новых продуктов и сервисов, но и искать новые решения, требующие меньше энергии.

Источник изображения: Gartner

Неизбежно связанное с дефицитом повышение цен на электричество увеличит стоимость эксплуатации больших языковых моделей (LLM). Хотя ключевые пользователи электроэнергии заранее работают над заключением долгосрочных контрактов, зачастую по фиксированным ставкам, стоимость энергии для питания дата-центров в любом случае значительно вырастет. Это скажется на стоимости ИИ как продукта и бизнесе соответствующих сервис-провайдеров.

Вероятно, цели по достижению экоустойчивости при этом пострадают. Ранее уже прогнозировалось, что операторы ЦОД не смогут добиться заявленных целей, теперь к сходным выводам приходят и в Gartner. В краткосрочной перспективе растущий спрос заставит поставщиков добывать энергию любыми доступными способами. В некоторых случаях это означает сохранение электростанций на ископаемом топливе, которые при других обстоятельствах закрылись бы в плановом порядке. В Gartner подчёркивают, что масштабирование ЦОД приведёт и к росту выбросов CO₂ в краткосрочной перспективе.

Источник изображения: Janusz Walczak/unsplash.com

Дата-центрам требуется энергоснабжение в режиме 24/7, а такого не могут обеспечить классические ветряные и солнечные электростанции. Надёжно поставлять энергию в больших объёма могут только ГЭС, станции на ископаемом топливе и АЭС. В долгосрочной перспективе новые технологии энергохранилищ (вроде натрий-ионных аккумуляторов) или «чистая» энергия вроде малых модульных реакторов (SMR) позволит легче добиваться ESG-целей.

В Gartner рекомендуют пересмотреть цели достижения экоустойчивости, связанные с выбросами углекислого газа с учётом будущих требований ЦОД и доступности источников энергии в ближайшие годы. При разработке ИИ-приложений стоит сконцентрировать усилия на использовании минимальных вычислительных мощностей и оценивать другие возможности вроде широкого применение периферийных вычислений и т.н. малых языковых моделей (SLM), имеющих узкую специализацию.

AWS намерена привлечь больше людей к разработке ИИ-приложений и фреймворков, использующих разработанные Amazon ускорители семейства Tranium. В рамках нового инициативы Build on Trainium с финансированием в объёме $110 млн академическим кругам будет предоставлен доступ к кластерам UltraClaster, включающим до 40 тыс. ускорителей, сообщает The Register.

В рамках программы Build on Trainium предполагается обеспечить доступ к кластеру представителям университетов, которые заняты разработкой новых ИИ-алгоритмов, которые позволяет повысить эффективность использования ускорителей и улучшить масштабирование вычислений в больших распределённых системах. На каком поколении чипов, Trainium1 или Trainium2, будут построены кластеры, не уточняется.

Источник изображений: AWS

Как поясняют в самом блоге AWS, исследователи могут придумать новую архитектуру ИИ-моделей или новую технологию оптимизации производительности, но у них может не оказаться доступа к HPC-ресурсам для крупных экспериментов. Не менее важно, что плоды трудов, как ожидается, будут распространяться по модели open source, поэтому от этого выиграет вся экосистема машинного обучения.

Впрочем, со стороны AWS альтруизма мало. Во-первых, $110 млн будут выданы выбранным проектам в виде облачных кредитов, такое происходит не впервые. Во-вторых, компания фактически пытается переложить часть своих задач на других людей. Кастомные чипы AWS, включая ИИ-ускорители для обучения и инференса, изначально разрабатывались для повышения эффективности выполнения внутренних задач компании. Однако низкоуровневые фреймворки и т.п. ПО не предназначены для того, чтобы с ними мог свободно работать широкий круг лиц как, например, происходит с NVIDIA CUDA.

Иными словам, AWS для популяризации Trainium необходимо более простое в освоение ПО, а ещё лучше готовые решения прикладных задач. Неслучайно Intel и AMD склонны предлагать разработчикам готовые оптимизированные под их ускорители фреймворки вроде PyTorch и TensorFlow, а не пытаться заставить их заниматься достаточно низкоуровневым программированием. AWS занимается тем же самым, предлагая продукты вроде SageMaker.

Во многом реализация проекта возможна благодаря новому интерфейсу Neuron Kernel Interface (NKI) для AWS Tranium и Inferentia, обеспечивающему прямой доступ к набору инструкций чипов и позволяющему исследователям строить оптимизированные вычислительные ядра для работы новых моделей, оптимизации производительности и инноваций в целом. Впрочем, учёным — в отличие от обычных разработчиков — часто интересно работать именно с низкоуровневыми системами.

«Росатом» планирует приобрести 50 % производителя телеком-оборудования ООО «Файбертрейд» (бренд Future Technologies), сообщил РБК со ссылкой на информированные источники. По словам источника в госкорпорации, в рамках сделки оценка компании составила около 7 млрд руб. Сейчас сделка проходит согласование в Федеральной антимонопольной службе (ФАС).

Базирующаяся в Новосибирске «Файбертрейд» занимается разработкой и производством оптических трансиверов, систем уплотнения каналов и другого телекоммуникационного оборудования. Компания перестала публиковать финансовые результаты в 2022 году. До этого, в 2020 году её выручка составила 683 млн руб., сократившись в 2021 году на 20 %, до 549 млн руб.

Эксперты отмечают, что Future Technologies «не просто сборщик телеком-оборудования, эта компания интегрирована в цепочку — научный институт, разработчик прикладных технологий, тиражный производитель». Сделка позволит компании ускорить дальнейшее развитие.

Источник изображения: Future Technologies

По словам источника РБК, сделка поможет «Росатому» развивать и частично закрыть потребность «в доверенных и соответствующих современным требованиям трансиверах и коммутаторах» для критической информационной инфраструктуры (КИИ), включая сети связи и информационный системы госорганов, энергетических, финансовых, транспортных и ряда других компаний. Владельцы КИИ обязаны до 2030 года полностью перейти на использование отечественного оборудования и ПО.

В конце прошлого «Росатом» приобрёл 50 % в Kraftway, на тот момент сумма сделки оценивалась в 3,5–5 млрд руб. Кроме того, дочернее предприятие госкорпорации ООО «Т-ком» занимается в России производством коммутаторов. Осенью этого года группа компаний Softline получила контроль над НТО «ИРЭ-Полюс», ещё одним значимым отечественным игроком в области ВОЛС. Согласно прогнозу NeoAnalytics, в ближайшей перспективе объём российского рынка телеком-оборудования будет в среднем расти на 2–3 % и к 2026 году приблизится к 2 трлн руб.

Один из самых отдалённых островов Великобритании — Папа-Уэстрей (Papa Westray) в Оркнейском архипелаге — получил широкополосное оптоволоконное интернет-подключение благодаря водопроводу, передаёт Datacenter Dynamics. Утверждается, что метод более эффективен и менее «разрушителен», чем обычные способы прокладки кабелей. На все работы у подрядчика CloudNet ушло восемь месяцев, а оплатили их власти Шотландии.

Уже проложенный на острове водопровод обеспечивает питьевой водой около 90 человек. Оптоволоконный кабель находится внутри ещё одной трубки, расположенной внутри труб водопроводной сети. Конечно, кабель протянут подобным способом не с «большой земли». Приём и передача данных осуществляются с помощью радиосвязи с соседним островом Уэстрей (Westray), а водопопровод является лишь «последней милей». Для мониторинга качества воды на острове в трубах дополнительно размещены датчики.

По словам CloudNet, из-за топографии острова водопроводные трубы отлично подошли для прокладки оптоволокна, поскольку это позволило свести к минимуму земляные работы и сократить издержки на проект. Предполагается, что новая ВОЛС упростит жителям ведение бизнеса и доступ к жизненно важным сервисам вроде здравоохранения и образования. Представители шотландских властей рассматривают и другие способы подключения к современным услугам жителей сельских общин.

В 2022 году британское правительство анонсировало проект стоимостью £4 млн (тогда $5,6 млн) по использованию водопроводных сетей для прокладки оптоволоконных кабелей в отдалённых частях страны. Проект известен как Fibre in Water (FiW), тестирование концепции было начато в Йоркшире.

Компания Cisco, по сообщению The Register, объединила продуктовые семейства беспроводных решений Catalyst и Meraki под единым брендом Cisco Wireless. Кроме того, корпорация анонсировала унифицированную подписку, а также представила точки доступа CW9178 и CW9176 стандарта Wi-Fi 7.

Отмечается, что новое оборудование будет предлагаться с единой подпиской, которая включает возможности как облачного, так и локального управления. Устройства подходят для использования в любой точке мира, а региональные различия, необходимые для соответствия местным нормам, могут быть реализованы на уровне ПО.

Нововведения означают, что Cisco не придётся выпускать разные варианты оборудования для разных стран, тогда как клиенты смогут приобретать комплекты централизованно и распределять их по региональным представительствам. Это обеспечит больше гибкости при построении сетевых инфраструктур. Заказчики смогут выбирать между лицензиями двух типов — Essentials и Advantage, которые предусматривают разные уровни функциональности. Существующие пользователи оборудования Catalyst и Meraki смогут продолжить эксплуатацию техники на прежних условиях.

Источник изображения: Cisco

Точки доступа CW9178 и CW9176 могут работать в частотных диапазонах 6, 5 и 2,4 ГГц. Максимальная канальная скорость достигает соответственно 11 520, 5700 и 688 Мбит/с. Реализована поддержка Bluetooth Low Energy (BLE) и GPS/GNSS, Power over Ethernet (PoE), WPA3-Enterprise, AES и пр. Модель CW9178 располагает двумя сетевыми портами 10GbE, версия CW9176 — одним. Устройства могут монтироваться на стену, потолок или использоваться в настольном режиме. Диапазон рабочих температур простирается от 0 до +50 °C.