Тендеры китайского телеком-гиганта China Telecom могут служить своеобразным индикатором настроений на локальном рынке. По данным The Register, в 2024 году большая часть из 156 тыс. серверов, согласно требованиям компании, придётся на местных производителей, использующих «домашние» технологии.

China Telecom относится к «большой тройке» принадлежащих государству телеком-провайдеров, доминирующих на китайском рынке услуг связи. По данным на сентябрь 2024 года у оператора насчитывалось 442 млн мобильных абонентов и 196 млн пользователей широкополосного интернета. Кроме того, компания управляет публичным облаком, а также многими другими сервисами.

Для обеспечения работы всей инфраструктуры требуется очень много оборудования. В этом году речь идёт о поставках 156 тыс. сереров, всего в 13 вариантах конфигурации. В большинстве случаев речь идёт о машинах «G-класса» — разработанных и выпускаемых в Китае серверах, использующих в том числе чипы местного производства. Это укладывается в общую правительственную политику поддержки местных технологий. Впрочем, компании из других стран тоже заработают, поскольку большинство серверов использует чипы на архитектуре Arm или C86 — лицензированном варианте x86.

Источник изображения: Kido Dong/unsplash.com

Так или иначе, для приблизительно 100 тыс. серверов чипы AMD или Intel не подойдут. В числе заявленных закупок — чипы производства китайской Loongson. В перечне одобренных China Telecom CPU значатся и процессоры компании Zhaoxin на архитектуре Yongfeng — они созданы с использованием интеллектуальной собственности VIA (лицензия на x86). Также будут использоваться и RISC-процессоры компании Shenwei (Sunway).

Некоторые участники рынка уже отвоевали место в списке закупок China Telecom: речь идёт о Lenovo, Inspur и H3C, а также более мелких местных производителей. Весной 2024 года сообщалось, что китайские телеком-операторы готовы потратить миллиарды долларов на закупку огромного количества ИИ-серверов.

Компания Lenovo сообщила об установке в дата-центре Пизанского университета (UniPi) нового кластера, благодаря чему HPC-платформа UniPi стала крупнейшей среди университетских суперкомпьютеров в Италии. Система размещена в ЦОД Green Data Center, который включает 104 стойки, где уже размещено 700 узлов (30 тыс. ядер, более ускорителей разных поколений).

Источник изображения: Lenovo

Новая HPC-система Lenovo состоит из 16 узлов SD650 V3 с двумя процессорами Intel Xeon Max 9480 (Sapphire Rapids с HBM). Используемая СЖО Lenovo Neptune Direct Water-Cooling позволяет отводить до 98 % тепла, вырабатываемого суперкомпьютером, а также снизить энергопотребление на 40 %. Как утверждает компания, благодаря повышенной эффективности СЖО температура процессоров не достигает критических значений, что позволяет избежать снижения максимальной частоты ядер. Аналогичная платформа используется в суперкомпьютере Cassandra для Европейско-Средиземноморского центра по изменению климата (CMCC) в Лечче (Италия).

Как отметил UniPi, решающим фактором при выборе решения Lenovo была адаптивность системы, поскольку проект был изначально разработан с учётом минимального воздействия на окружающую среду с целью создания экологичного ЦОД. Кроме того, стандартизированный подход Lenovo к созданию HPC-узлов упростила и ускорила её установку в ЦОД UniPi. Как ожидается, новый суперкомпьютер будет способен поддерживать рабочие нагрузки HPC и ИИ последнего поколения в течение следующих нескольких лет.

UniPi имеет три ЦОД в Пизе. В 2016 году университет запустил проект строительства нового «Зелёного дата-центра» (Green Data Centre) для размещения HPC-нагрузок. По словам UniPi, новый университетский ЦОД является единственным объектом в стране, получившим классификацию «A» от AgID в начале этого года.

Компания Supermicro анонсировала высокопроизводительные системы хранения Storage SuperServer типа JBOF All-Flash, оптимизированные для HPC-задач, обучения ИИ-моделей и инференса. Устройства, рассчитанные на монтаж в стойку, выполнены в форм-факторе 2U.

Новинки построены на основе DPU NVIDIA BlueField-3. Эти изделия содержат 16 ядер Cortex-A78, поддерживают интерфейс PCIe 5.0 и обеспечивают скорость в 400 Гбит/с. Системы Supermicro JBOF могут использовать до четырёх ускорителей BlueField-3.

В число представленных устройств вошли модели SSG-229J-5BU24JBF и SSG-229J-5BE36JBF. Первая рассчитана на 24 накопителя SFF U.2 NVMe, вторая — на 36 накопителей E3.S. Отсеки для SSD расположены во фронтальной части; допускается горячая замена. В обоих случаях имеются два коннектора M.2 для SSD формата 2280/22110 с интерфейсом PCIe 5.0 x4. Предусмотрены три слота для карт PCIe 5.0 x16 FHFL.

Источник изображения: Supermicro

Системы оснащены двумя портами 1GbE и дополнительным портом 1GbE на основе контроллера Realtek. Габариты составляют 762 × 449,4 × 88 мм. Питание обеспечивают два блока с сертификатом 80 Plus Titanium мощностью 1600 Вт у SSG-229J-5BU24JBF и 2000 Вт у SSG-229J-5BE36JBF. Установлены шесть вентиляторов охлаждения диаметром 60 мм. Диапазон рабочих температур — от +10 до +35 °C.

Supermicro отмечает, что при использовании SSD вместимостью 30,71 Тбайт можно сформировать хранилище суммарной ёмкостью 1,1 Пбайт. Архитектура контроллеров «активный — активный» гарантирует высокую доступность.

Вьетнамская компания Viettel Military Industry and Telecoms Group (Viettel) планирует построить 24 дата-центра в стране к 2030 году. По данным Datacenter Dynamics, суммарная ёмкость новых ЦОД составит 560 МВт. Места строительства и конкретные сроки пока не называются. Дополнительно Viettel сообщила о намерении проложить четыре новых подводных кабеля. По оценкам компании, это обеспечит 60 % потребностей страны в цифровых коммуникациях.

По словам представителя Viettel Group, компания намерена создать масштабную передовую цифровую инфраструктуру, чтобы помочь развитию «общенациональной цифровой трансформации». Среди планируемых кабельных магистралей — т.н. Asia Direct Cable, одним из инвесторов в строительство которого и является Viettel. Этот кабель должны ввести в эксплуатацию уже в начале 2025 года.

Источник изображения: Kiril Dobrev/unsplash.com

Сегодня Viettel выступает оператором 14 дата-центров во Вьетнаме с общей ёмкостью 87 МВт. Один из ЦОД, расположенный в технопарке Hoa Luc в Ханое, заработал в апреле 2024 года. В прошлом месяце компания заключила контракт с Nokia, последняя будет заниматься поддержкой развёртывания 5G-сетей Viettel во Вьетнаме.

Ранее в этом году страна смягчила правила, касающиеся иностранных инвестиций в дата-центры страны. Ранее иностранному бизнесу разрешалось владеть только до 49 % бизнеса в проектах ЦОД. Новые правила Law on Telecommunications, вступившие в силу в июле 2024 года, позволяют международным компаниям полностью владеть дата-центрами и самостоятельно заниматься их строительством.

Недавно появилась информация о том, что новая стратегия вьетнамского правительства отражена в рамках Решения № 1132/QD-TTg, определяющего цели на 2025 и 2030 гг. В рамках стратегии предусмотрен полный переход всех сетей на IPv6, а также строительство новых ЦОД, в том числе гиперскейл-уровня, и подключение к новым международным интернет-магистралям.

Компания SiFive анонсировала плату HiFive Premier P550, в основу которой положен вычислительный модуль (SoM) с процессором ESWIN EIC7700X. Новинка, рассчитанная прежде всего на разработчиков, выполнена в форм-факторе mini-DTX с размерами 203 × 170 мм.

Чип EIC7700X объединяет четыре ядра SiFive Performance P550 RV64GC с открытой архитектурой RISC-V: их базовая частота составляет 1,4 ГГц (повышается до 1,8 ГГц). Встроенный графический блок Imagination AXM-8-256 3D GPU обладает поддержкой OpenGL-ES 3.2, EGL 1.4, OpenCL 1.2/2.1 EP2, Vulkan 1.2, Android NN HAL. Для ускорения ИИ-операций служит нейропроцессорный узел (NPU) с производительностью 19,95 TOPS в режиме INT8 и 9,975 TOPS в режиме INT16.

Источник изображения: SiFive

Вычислительный модуль несёт на борту 16 или 32 Гбайт памяти LPDDR5-6400 и чип eMMC 5.1 вместимостью 128 Гбайт. SoM устанавливается на интерфейсную плату с набором разъёмов. В их число входят порт SATA-3 для накопителя, слот для карты microSD, два сетевых порта 1GbE RJ45 и дополнительный порт RJ45 для удалённого управления, два разъёма USB 3.2 Gen1 Type-A (USB 3.0) + колодка для ещё двух таких же портов и коннектор USB Type-E, аудиогнёзда 3,5 мм, интерфейс HDMI 2.0 и порт USB Type-C (USB 2.0, UART/JTAG). Кроме того, есть коннектор M.2 Key E для комбинированного адаптера Wi-Fi/Bluetooth, слот PCIe 3.0 x16 (работает в режиме х4), 40-контактная колодка ввода/вывода (1 × I2C, 1 × QSPI, 1 × UART, 16 × GPIO).

Новинка справляется с декодированием видеоматериалов H.265 8K со скоростью до 50 к/с. Предусмотрены разъёмы для подключения трёх вентиляторов охлаждения. Говорится о совместимости с Ubuntu 24.04, Freedom U-SDK, OpenSBI и U-Boot. Приобрести решение можно по ориентировочной цене $600 в версии с 16 Гбайт ОЗУ.

Японская технологическая компания Ubitus K.K., предоставляющая облачную инфраструктуру некоторым из ключевых участников игровой индустрии, включая Nintendo и Sega, намерена построить новый ЦОД рядом с действующей атомной электростанцией, передаёт Bloomberg со ссылкой на главу компании Уэсли Куо (Wesley Kuo). Сейчас Ubitus в партнёрстве с NTT управляет двумя дата-центрами в Токио и Осаке. Ранее в этом году компания получила инвестиции от NVIDIA.

Участок для строительства ещё не выбран, но компания рассчитывает возвести объект ёмкостью до 50 МВт. Компания искала землю для нового ЦОД в районе Киото, Симане или на Кюсю. Третья площадка должна помочь расширить портфолио компании ИИ-сервисами, а поскольку для обучения моделей близость к конечному потребителю и низкий уровень задержки не так важны, на первый план выходят другие параметры.

Новому ЦОД на начальном этапе потребуется всего 2–3 МВт, а до 50 МВт он может быть масштабирован позже. По словам Куо, пока не появится энергии лучше, эффективнее и дешевле, чем атомная, именно она останется наиболее конкурентоспособной по многим параметрам. И для ИИ она подходит как нельзя лучше. Однако доступ к атомной энергии в Японии жёстко ограничен после катастрофы на Фукусиме. В этом важное отличие от, например, США.

Источник изображения: Ubitus K.K.

Ранее в этом году AWS приобрела за $650 млн кампус ЦОД у Talen Energy рядом с АЭС Susquehanna в Пенсильвании. Потенциально АЭС способна обеспечить до 960 МВт. В мае AWS получила разрешение на возведении на участке площадью 650 га 15 зданий ЦОД. В сентябре Microsoft анонсировала перезапуск 837-МВт АЭС Three Mile Island для питания исключительно её ЦОД течение 20 лет. Также компания заключила несколько PPA с другими АЭС. Oracle намерена построить 1-ГВт кампус ЦОД с питанием от трёх малых модульных реакторов (SMR), а на прошлой неделе Google анонсировала сделку с Kairos Power, в рамках которой она получит SMR мощностью 500 МВт.

В Google занялись испытаниями роботов для управления и обслуживания оборудования в своих дата-центрах. Как сообщает Datacenter Dynamics со ссылкой на Рика Миллера (Rich Miller) из Data Center Frontier, соответствующую информацию представитель Google обнародовал в ходе недавнего мероприятия Open Compute Summit — роботы уже действуют на одном из объектов.

В Google заявили, что роботы помогут кардинально пересмотреть подход к масштабированию операций, а их внедрение благотворно скажется на безопасности и надёжности работ. Робототехника может сыграть важную роль в задачах вроде перемещения компонентов и стоек, мониторинга оборудования и даже его обслуживания и ремонта. В прошлом году компания начала эксперименты по использованию роботов для замены вышедших из строя накопителей. А сейчас компания намерена привлечь роботов к обслуживанию стоек с ускорителями, которые значительно тяжелее традиционных стоек.

Источник изображений: Google / OCP

Использование роботов для обеспечения работы ЦОД давно рассматривается гиперскейлерами и колокейшн-провайдерами. Впрочем, в большинстве случаев речь идёт о робособаках вроде моделей, выпускаемых Boston Dynamics, Unitree Go1 и Anybotics. Такие модели обычно выполняют в основном патрульные функции — для охраны и оповещения об инцидентах. Пока что Google использует довольно массивную, автономно передвигающуюся платформу собственной разработки.

В 2023 году Microsoft создала команду, занимающуюся автоматизацией работы ЦОД вообще и роботами в частности. В том же году Digital Edge, Digital Realty, Scala Data Centers, и Oracle протестировали роботов для выполнения самых разных операций в дата-центрах. А вот у японской NTT Data подход иной — компания создала робота Ugo на моторизованной платформе, который получил две роборуки-манипулятора.

«Инфосистемы Джет» и «Аэродиск» сообщили об успешных испытаниях первого отечественного метрокластера на базе СХД с использованием сценариев эмуляции различных отказов и сбоев. В «Инфосистемы Джет» отметили, что протестированный метрокластер является первым отечественным решением такого класса.

Метрокластер представляет собой отказоустойчивую ИТ-инфраструктуру на базе синхронной репликации данных средствами СХД. Метрокластер включает две идентичные СХД, размещённые в разных локациях с зеркалированием данных в синхронном режиме. Выход из строя одной СХД или целой площадки не отражается на сохранности данных, которые остаются доступны на второй СХД, а функционирование прикладных систем продолжается. Работа такого кластера полностью автоматизирована и не требует вмешательства администратора в случае сбоя.

Тестируемая конфигурация была построена на отечественных решениях «Аквариуса»: две СХД «Аэродиск» Engine AQ 440, соединённые между собой оптическими каналами связи через 25GbE-коммутаторы AQ-N5001, и ферма виртуализации на серверах T50 с использованием отечественного ПО. В ходе испытания проводилась эмуляции прикладной тестовой нагрузки на СХД со стороны СУБД PostgreSQL, запущенной в виртуальной машине. Также вносились сетевые задержки для эмуляции протяжённой линии связи межу ЦОД.

Источник изображения: «Инфосистемы Джет»

Как сообщается, сначала работу кластера проверили при смоделированном отказе СХД на одной площадке из-за аварийного отключения электропитания. Для миграции виртуального интерфейса (VIP) метрокластера на другую СХД потребовалось 30 секунд, что не отразилось на стабильности работы виртуальной машины.

Затем провели эмуляцию отказа всей площадки из-за отключения электропитания оборудования (сервер, коммутатор, СХД). В этом случае помимо переключения VIP СХД метрокластера на другую СХД произошло переключение виртуальной машины из-за отказа хоста виртуализации. После этого тестовая нагрузка была перезапущена на второй площадке. Всего на восстановление нагрузки после крушения системы ушло не более трёх минут.

В третьем тесте проверили работу метрокластера при сбое каналов связи, который приводит к изоляции узлов кластера. В ходе теста эксперты проверили работу механизма арбитража между двумя СХД при участии сервера-арбитра. В этом случае СХД, сохраняющая с ним связь, становится основной и принимает на себя нагрузку, а вторая СХД исключается из кластера.

Глава одной из IT-компаний из Мэриленда, по данным Минюста США (DoJ), подделал документы о получении сертификата надёжности ЦОД уровня Tier IV в Белтсвилле (Мэриленд). The Register сообщает, что это было сделано ради контракта на размещение оборудования Комиссии по ценным бумагам и биржам США (SEC).

Хотя такие сертификаты Uptime Institute выдаёт только после проверки, обвиняемый Дипак Джайн (Deepak Jain) выбрал другой путь. Его компания, по мнению властей, предоставила SEC поддельные документы о сертификации. Причём обвиняемый не просто скорректировал документы Uptime Institute, а «изобрёл» некую организацию Uptime Council, которая, похоже, вообще не существует.

В Министерстве юстиции США заявили, что не потерпят схем, ставящих под угрозу безопасность данных правительства. Как власти выяснили, что Джайн сертификацию буквально выдумал, не говорится, но сообщается, что SEC столкнулась с проблемами с безопасностью, охлаждением и энергоснабжением в ЦОД. В своё время сотрудник компании помешал осмотру Beltsville Data Center до заключения контракта в 2012 году. После того, как срок сделки истёк в 2018 году, SEC отказалась продлевать договор. Всего Комиссия потратила на услуги данного ЦОД $10,7 млн.

Источник изображения: Bermix Studio/unsplash.com

За подобную «изобретательность» Джайну грозит по 10 лет тюрьмы за каждое из шести обвинений в крупном мошенничестве, а также до пяти лет в связи с обвинением в ложных заявлениях. Хотя сама компания в судебных документах не называется, в Сети есть информация, что Дипак Джайн является основателем и генеральным директором белтсвилльской AiNET (именно она управляет ЦОД). Впрочем, доказательств того, что вся компания в целом замешана в махинациях, пока нет. При этом на сайте AiNET неоднократно упоминается, что её ЦОД имеет сертификацию Tier IV.

Представляющие интересы Джайна юристы сообщили журналистам, что клиент отрицает вину, и говорят, что его компания выполнила все условия контракта с SEC, а доказательства утери данных или их компрометации по вине владельца ЦОД отсутствуют. Случай примечателен тем, что финансовые махинации, в том числе связанные с ЦОД, происходят довольно часто, но о столь наглых попытках подделать Tier-сертификаты известно немного.

Тайваньский поставщик серверного оборудования для гиперскейлеров Wiwynn (подразделение Wistron), по сообщению The Register, добавил ещё два пункта в список обвинений в отношении компании X (бывшая Twitter). Социальной сети Илона Маска (Elon Musk) вменяется преднамеренное искажение фактов (Intentional Misrepresentation) и небрежное искажение фактов (Negligent Misrepresentation).

Напомним, Wiwynn подала в суд на Х в августе 2024 года. Утверждается, что в 2014-м Wiwynn заключила контракт с тогдашней Twitter на поставку «уникальных, специально разработанных продуктов для IT-инфраструктуры, включая стоечные решения». В рамках договора были закуплены комплектующие для серверов на сумму $120 млн.

Источник изображения: pixabay.com

В жалобе говорится, что «компоненты, используемые при создании заказанных систем, в значительной степени уникальны», а поэтому их поставка занимает много времени. Wiwynn взяла на себя расходы на приобретение необходимых комплектующих. Но после того как Маск стал владельцем Twitter, соцсеть, согласно заявлениям Wiwynn, прекратила оплачивать счета в рамках поставки серверов и не отвечала на запросы о просроченных платежах. Более того, утверждалось, что Маск полтора года не платит даже за поставленные серверы.

Wiwynn заявила, что отгрузила готовую продукцию на сумму более $32 млн, а также закупила и оплатила компоненты, за которые X (Twitter) обязалась взять на себя ответственность. Чтобы минимизировать убытки Wiwynn отменила часть заказов и вернула комплектующие на сумму приблизительно $59 млн. Ещё $61 млн Wiwynn хочет взыскать с Х через суд.

В новых обвинениях Wiwynn утверждает, что «X отказалась и проигнорировала неоднократные просьбы о компенсации расходов». Сама соцсеть обвинения в свой адрес отрицает. Дело рассматривается в Окружном суде США по Северному округу Калифорнии.