Американский оператор дата-центров Digital Realty сообщил о том, что его новый ЦОД KIX13 в Осаке (Япония) получил сертификацию NVIDIA DGX H100-Ready. Это означает, что на площадке могут использоваться системы DGX H100 для работы с ресурсоёмкими приложениями ИИ.

Источник изображения: NVIDIA

Сертификация выполнена в рамках программы NVIDIA DGX-Ready Data Center. Площадка KIX13 была открыта в феврале нынешнего года. Дата-центр имеет общую площадь приблизительно 23 тыс. м², а полезная мощность составляет 21 МВт. Коэффициент энергоэффективности PUE равен 1,4.

«Digital Realty понимает, какое влияние ИИ окажет на то, как предприятия будут проводить цифровую трансформацию в ближайшие годы. Однако бизнес-прорывы, ставшие возможными благодаря ИИ, могут быть реализованы только в том случае, если компании смогут интегрировать эту технологию в свою деятельность, и именно в этом мы им поможем», — сказал Крис Шарп (Chris Sharp), технический директор Digital Realty.

Компания Equinix, один из крупнейших операторов ЦОД, по сообщению ресурса Datacenter Dynamics, запустила в Японии новый дата-центр гиперскейл-класса. Площадка TY13x категории xScale располагается в Токио — по соседству с TY12x.

Сообщается, что на начальном этапе дата-центр TY13x обеспечит мощность в 8 МВт. В дальнейшем этот показатель может быть увеличен до 36 МВт. На базе дата-центра смогут функционировать высоконагруженные сервисы, в частности, системы ИИ и большие языковые модели.

Источник изображения: Equinix

Equinix заключила соглашение с сингапурским фондом национального благосостояния GIC с целью развития сети дата-центров xScale в октябре 2019 года. В апреле 2020-го было объявлено о планах по строительству трёх японских объектов xScale в Токио и Осаке. ЦОД TY12x открылся в марте 2021 года, а площадка OS2x — позднее в том же году.

В общей сложности на сегодняшний день Equinix открыла 12 дата-центров xScale по всему миру. Это TY12x и TY13x в Токио, OS2x в Осаке (все — Япония); SY9x в Сиднее (Австралия); DB5x в Дублине (Ирландия); FR9x и FR11x во Франкфурте (Германия); PA8x и PA9x в Париже (Франция); LD11x и LD13x в Лондоне (Великобритания); SP5x в Сан-Паулу (Бразилия).

ЦОД Equinix гиперскейл-класса в настоящее время обеспечивают мощность в сумме около 175 МВт. Ещё девять объектов xScale находятся в стадии разработки: их мощность превысит 80 МВт. В целом, компания намерена построить 36 дата-центров xScale общей мощностью 720 МВт.

Власти Японии обеспокоены высокой степенью зависимости государства от подводной инфраструктуры связи, поэтому с апреля следующего года планируют начать выделять субсидии на проекты, подразумевающие прокладку новых морских интернет-кабелей, соединяющих страну с другими уголками планеты.

Фактически, как поясняет Nikkei Asian Review, Япония на 99 % зависит от подводных линий связи в сфере международного обмена данными, поэтому в целях обеспечения собственной безопасности готова закладывать некоторую избыточность в покрытие собственных потребностей в этой сфере. По данным Telegeography, в 2021 году ёмкость каналов связи, соединяющих Японию с остальным миром, достигала 33 Тбит/с, что в три раза выше результата 2017 года.

Источник изображения: Telegeography

В дальнейшем телеком-инфраструктура Японии будет развиваться с ещё большей скоростью, считают эксперты, поскольку технологии ИИ и эволюция наземных сетей связи будут увеличивать потребность в пропускной способности. За ближайшие десять лет она возрастёт в 15–30 раз. В Японии для финансирования развития цифровой инфраструктуры в 2021 году был учреждён профильный фонд. Ему удалось аккумулировать до $350 млн, которые будут направлены на соответствующие нужды.

Прокладкой подводных кабелей в Японии будут заниматься консорциумы заинтересованных инвесторов, государство готово частично компенсировать их затраты. Кроме того, в Японии есть проект по прокладке кабеля, опоясывающего страну. Похожие проекты по развитию сетевой инфраструктуры есть у Тайваня и Сингапура. Это связано с поведением Китая и некоторыми инцидентами.

Японский телекоммуникационный оператор KDDI выбрал шведскую компанию Ericsson в качестве партнёра для развёртывания первых в Японии подземных базовых станций 5G, сообщил ресурс DatacenterDynamics.

Как и везде, в Японии большинство базовых станций связи установлены на отдельных башнях или крышах зданий для обеспечения связи на больших территориях. Вместе с тем существуют ограничения на установку базовых станций в живописных местах. В июле 2021 года Министерство внутренних дел и коммуникаций Японии (MIC) ввело в действие новые регуляции, что сделало возможным строительство и эксплуатацию подземных базовых станций.

Источник изображения: Ericsson

Ericsson сообщила, что подземные базовые станции позволят провайдерам связи размещать оборудование в существующих подземных пространствах, а оптоволоконные сети и силовая инфраструктура будут подключаться на уровне поверхности земли, что обеспечит возможность беспроблемного получения разрешения на установку и быстрого развёртывания, гарантируя при этом отсутствие визуального воздействия на городской ландшафт.

По словам Ericsson, её подземные антенны способны работать в ограниченном пространстве, например, в канализационных люках, где установка стандартных базовых станций невозможна. Благодаря установке под землёй, антенна обеспечивает оптимальные характеристики излучения (MIMO) в условиях плотной застройки, и при этом менее чувствительна к ветровой нагрузке. KDDI отметила, что подземные базовые станции могут быть развёрнуты на улицах, площадях, в торговых центрах и других местах, где разрешение на установку наружных антенн невозможно получить.

Компания HPE объявила о заключении соглашения с Глобальным научно-информационным вычислительным центром Токийского технологического института (Япония) о создании нового суперкомпьютера под названием TSUBAME4.0. Полностью ввести эту систему в эксплуатацию планируется весной 2024 года. TSUBAME4.0 будет применяться для обучения больших ИИ-моделей и запуска ресурсоёмких приложений в области аналитики данных.

В основу суперкомпьютера ляжет платформа HPE Cray XD6500, которая, как утверждается, обеспечивает высокую производительность и специализированные возможности при выполнении нагрузок, связанных с моделированием, а также ИИ. Заявленное пиковое быстродействие TSUBAME4.0 составит 66,8 Пфлопс (FP64). В случае вычислений половинной точности (FP16) показатель достигнет 952 Пфлопс — это в 20 раз больше по сравнению с мощностью суперкомпьютера предыдущего поколения TSUBAME3.0.

Источник изображения: HPE

Вычислительный комплекс TSUBAME4.0 получит 240 узлов, оснащённых двумя процессорами AMD EPYC Genoa, четырьмя ускорителями NVIDIA H100 и 768 Гбайт основной памяти. Говорится о высокой плотности размещения аппаратных компонентов, что позволит уменьшить занимаемую площадь в дата-центре. Задействован 400G-интерконнект NVIDIA Quantum-2 InfiniBand. Отмечается, что в целом архитектура TSUBAME4.0 аналогична системам TSUBAME предыдущих поколений. Благодаря этому возможно использование ранее созданных программных решений, что поможет ускорить реализацию новых НРС-проектов.

Японская телекоммуникационная корпорация Nippon Telegraph and Telephone (NTT), по сообщению ресурса Datacenter Dynamics, планирует на протяжении пяти лет инвестировать 8 трлн иен (приблизительно $59 млрд) в развитие перспективных направлений. В их числе названы дата-центры, ИИ-платформы и пр.

Отмечается, что из указанной суммы не менее 1,5 трлн иен (около $11 млрд) пойдут на расширение или модернизацию инфраструктуры ЦОД. Цифровой бизнес, в который входят ИИ-решения и роботизированные системы, получит на развитие 3 трлн иен ($22 млрд).

По оценкам самой NTT, указанные инвестиции позволят в финансовом году, который завершится в марте 2028-го, повысить показатель EBITDA (прибыль до вычета процентов, налогов и амортизационных отчислений) примерно на 20 % по сравнению с предыдущим финансовым годом. Это означает прибыль на уровне 4 трлн иен (приблизительно $29,4 млрд).

Источник изображения: NTT

Сообщается, что в июне текущего года NTT сформирует новую компанию для коммерциализации своей технологии Innovative Optical and Wireless Network (IOWN). Концепция IOWN базируется на использовании оптических коммуникаций, что позволит повысить пропускную способность сетей, уменьшить задержки и энергопотребление. В целом, как ожидается, планируемые вложения помогут NTT укрепить положение на рынке и значительно улучшить финансовые показатели деятельности.

Японская Japan Renewable Energy Corporation (JRE) сообщила о достижении стабильной работы центра обработки данных, полностью обеспечиваемого электричеством, получаемым с помощью солнечных элементов питания, и охлаждаемого водой из скважины.

Ещё до анонса проекта японские власти рассказали о готовности регионов предложить место для размещения ЦОД подальше от Токио в рамках плана по децентрализации ЦОД — сейчас 60 % из них расположены в сейсмоопасном и уязвимом для цунами районе вблизи Токио, что грозит возможными перебоями в работе сервисов. В июне 2022 года было объявлено о реализации совместного проекта JRE и Morgenrot в префектуре Нагано возле солнечной электростанции, принадлежащей JRE.

JRE Nagano Omachi Solar Power Plant. Источник изображения: JRE

Микро-ЦОД контейнерного типа был создан компанией Mirait Corporation и введён в эксплуатацию в декабре 2022 года. ЦОД оптимизирован для ИИ- и HPC-нагрузок. В нём размещено 40 GPU-серверов с ускорителями AMD и NVIDIA. Система охлаждения ЦОД не предусматривает использования ХФУ-хладагентов и потребляет лишь воду из близлежащей скважины. Комплекс имеет PUE на уровне 1,1 и обеспечивает нулевые выбросы CO₂ (без учёта выбросов при строительстве и производстве оборудования).

Ресурсами серверов управляет компания Morgenrot, предоставляющая облачный сервис M:CPP (Morgenrot Computing Power Pool). Для Morgenrot это не первый реализованный проект «зелёного» ЦОД — компания имеет схожие мощности с питанием возобновляемой энергией по всему миру. Известно, что солнечная электростанция JRE Nagano Omachi Solar Power Plant имеет установленную мощность 2442 кВт и, как ожидается, сможет выдавать 3,5 млн кВт·ч ежегодно.

По оценкам IT-гиганта NTT, в Токио имеется 5 млн точек доступа (ТД) Wi-Fi — в 20 раз больше, чем на деле требуется городу. Как сообщает The Register, японская компания предложила необычное решение — дать возможность сторонним пользователям платно подключаться к частным ТД, а для авторизации использовать блокчейн-технологии. Это, как ожидается, позволит обеспечить связью японскую столицу без новых точек Wi-Fi и даже дополнительных базовых станций 5G.

Источник изображений: NTT

В рамках предложенной схемы пользователи получат возможность подключаться к любой участвующей в проекте беспроводной сети с авторизацией с помощью Ethereum Proof of Authority. Благодаря этому, можно будет подключаться к частным ТД, которые обычно не слишком загружены. Оператор будет получать деньги (процент от оплаты подключения), пользователь — доступ в интернет, а информация о подключениях будет сохранена в блокчейне.

NTT предоставляет технологии, обеспечивающие использование сетевыми узлами блокчейн-реестра, а также систему управления нагрузкой на точки доступа. Тесты уже проводились на сетях с разными администраторами. В NTT считают, что благодаря её технологии Токио уже может обойтись без развёртывания новых точек доступа Wi-Fi или частных 5G-сетей. Более того, сети можно будет масштабировать без большого увеличения энергопотребления, а спектр станет не только чище, но и использование его будет эффективнее.

Впрочем, нюансов в реализации технологии NTT в масштабе многомиллионного города может быть немало. Это и надёжная изоляция чужеродного трафика от «домашнего», и высокая безопасность подобных сетей как для владельца ТД, так и для «гостей», и корректная балансировка нагрузки, и общая эффективность данной схемы на практике. Подробности нового проекта будут обнародованы в середине мая на конференции Tsukuba Forum, ежегодно проводимой NTT.

Необычное решение реализовали на японском острове Хоккайдо. Избыточное тепло дата-центра, использующего для охлаждения талую снежную воду, теперь будут использовать на подшефной ферме, разводящей угрей.

Идея использования лишнего тепла для выращивания продуктов питания не нова. Например, в Норвегии компания Green Mountain использует нагретую оборудованием ЦОД воду для разведения лобстеров и форели. Пока ЦОД White Data Center (WDC) в городе Бибае импортировал мальков угрей и местный персонал будет выращивать их в расположенных на территории ёмкостях. Сопутствующим продуктом станут и грибы — на выращивание тех и других уходит относительно немного времени.

Источник изображения: k10legs/pixabay.com

В ноябре ЦОД организовал саму ферму при поддержке городских властей. В ёмкостях круглый год будет поддерживаться оптимальная температура, в них планируется поселить до 300 000 угрей, которые будут расти в течение семи месяцев, пока не достигнут «коммерческого» веса в 250 г. Такая рыба станет продаваться по всей стране для организации школьного питания. Это будут первые угри, выращенные на Хоккайдо.

Местная серверная инфраструктура охлаждается талой водой из снега, собираемого зимой и используемого круглый год. После того, как оборудование ЦОД охлаждается, нагретая вода поступает в ёмкости рыбной фермы. Ранее оператором ЦОД выступал город Бибай — зимой здесь выпадает много снега.

Охлаждение талой водой вычислительного оборудования впервые предложили ещё в 2008 году, а в 2010 реализовали пилотный проект. С 2014 по 2019 годы Бибай эксплуатировал ЦОД White Data Center, доказывая работоспособность предложенной концепции. Конструкция позволяла экономить до 20 % электроэнергии и с апреля 2021 года ЦОД является коммерческим проектом, выкупленным одним из партнёров — компанией Kyodo News Digital. Ожидается, что проект будет обеспечивать нулевой углеродный выброс.

Источник изображения: Datacenter Dynamics

Пока обслуживается 20 стоек с серверами, в текущем году планируется открытие второго ЦОД на 200 стоек. По словам руководства WDC для следующего ЦОД уже сейчас ведутся эксперименты по выращиванию овощей, рыбы и других морепродуктов с помощью избыточного тепла. Идея использовать для охлаждения талую воду пришлась по душе и другим бизнесам — недалеко аналогичный проект реализовала Kyocera, схожие технологии используются даже на юге Японии, где климат мягче.

Популярность идей машинного обучения и искусственного интеллекта приводит к тому, что многие страны и организации планируют обзавестись HPC-системами, специально предназначенными для этого класса задач. В частности, Токийский университет совместно с Fujitsu модернизировал существующую систему ABCI (AI Bridging Cloud Infrastructure), снабдив её новейшими процессорами Intel Xeon и ускорителями NVIDIA.

Как правило, когда речь заходит о суперкомпьютерах Fujitsu, вспоминаются уникальные наработки компании в сфере HPC — процессоры A64FX, но ABCI имеет более традиционную гетерогенную архитектуру. Изначально этот облачный суперкомпьютер включал в себя вычислительные узлы на базе Xeon Gold и ускорителей NVIDIA V100, объединённых 200-Гбит/с интерконнектом. В качестве файловой системы применена разработка IBM — Spectrum Scale. Это одна систем, специально созданных для решения задач искусственного интеллекта, при этом доступная независимым исследователям и коммерческим компаниям.

Так, 86% пользователей ABCI не входят в состав Японского национального института передовых технических наук (AIST); их число составляет примерно 2500. Но система явно нуждалась в модернизации. Как отметил глава AIST, с 2019 года загруженность ABCI выросла вчетверо, и сейчас на ней запущено 360 проектов, 60% из которых от внешних заказчиков. Сценарии использования самые разнообразные, от распознавания видео до обработки естественных языков и поиска новых лекарств.

Новые узлы ABCI 2.0 заметно отличаются по архитектуре от старых

Как и в большей части систем, ориентированных на машинное обучение, упор при модернизации ABCI был сделан на вычислительную производительность в специфических форматах, включая FP32 и BF16. Изначально в состав ABCI входило 1088 узлов, каждый с четырьмя ускорителями V100 формата SXM2 и двумя процессорами Xeon Gold 6148. После модернизации к ним добавилось 120 узлов на базе пары Xeon Ice Lake-SP и восьми ускорителей A100 формата SXM4. Здесь вместо InfiniBand EDR используется уже InfiniBand HDR.

Стойка с новыми вычислительными узлами ABCI 2.0

Согласно предварительным ожиданиям, производительность обновлённого суперкомпьютера должна вырасти практически в два раза на задачах вроде ResNet50, в остальных случаях заявлен прирост производительности от полутора до трёх раз. На вычислениях половинной точности речь идёт о цифре свыше 850 Пфлопс, что вплотную приближает ABCI к системам экза-класса. Разработчики также надеются повысить энергоэффективность системы путём применения специфических ускорителей, включая ASIC, но пока речь идёт о связке Intel + NVIDIA.

ABCI и сейчас можно назвать экономичной системой — при максимальной общей мощности комплекса 3,25 МВт сам суперкомпьютер при полной нагрузке потребляет лишь 2,3 МВт. Поскольку система ориентирована на предоставление вычислительных услуг сторонним заказчикам, модернизировано и системное ПО, в котором упор сместился в сторону контейнеризации.