Группа компаний РСК сообщила о завершении плановой модернизации суперкомпьютера «Сергей Годунов» в Институте математики имени С.Л. Соболева Сибирского отделения Российской академии наук (ИМ СО РАН), благодаря чему его суммарная пиковая FP64-производительность теперь составляет 114,67 Тфлопс: 75,87 Тфлопс на CPU и 38,8 Тфлопс на GPU.

Источник изображений: РСК

Работы по запуску машины были завершены РСК в ноябре 2023 года, а её официальное открытие состоялось в феврале этого года. На тот момент производительность суперкомпьютера составляла 54,4 Тфлопс. Директор ИМ СО РАН Андрей Евгеньевич Миронов отметил, что использование нового суперкомпьютера позволило существенно повысить эффективность научных исследований, и выразил уверенность, что он также будет способствовать развитию новых технологий.

Миронов сообщил, что после запуска суперкомпьютера появилась возможность решать мультидисциплинарные задачи, моделировать объёмные процессы и предсказывать поведение сложных математических систем. По его словам, на суперкомпьютере проводятся вычисления по критически важным проблемам и задачам, среди которых:

• построение барических аксиальных алгебр и алгебры Грайса;
• оптимизация параметров математических моделей турбулентных течений с сопряжённым теплообменом на основе технологий глубокого обучения и природоподобных алгоритмов;
• волновая медицинская томография;
• моделирование эпидемиологических, экологических, экономических и социальных процессов;
• моделирование и построение сценариев развития системы биосфера-экономика-социум с учётом безуглеродного и устойчивого развития и изменения климата;
• решение обратных задач геофизики прямым методом на основе подхода Гельфанда-Левитана-Крейна.

Источник изображений: РСК

Суперкомпьютер «Сергей Годунов» является основным инструментом для проведения исследований и прикладных разработок в Академгородке Новосибирска и создания технологической платформы под эгидой Научного совета Отделения математических наук РАН по математическому моделированию распространения эпидемий с учётом социальных, экономических и экологических процессов.

Он был назван в память об известном советском и российском математике с мировым именем Сергее Константиновиче Годунове. Отечественный суперкомпьютер создан на базе высокоплотной и энергоэффективной платформы «РСК Торнадо» с жидкостным охлаждением. Система включает вычислительные узлы с двумя Intel Xeon Ice Lake-SP, узел на базе четырёх ускорителей NVIDIA A100 и сервер визуализации с большим объёмом памяти: Intel Xeon Platinum 8368, 4 Тбайт RAM, пара NVIDIA RTX 5000 Ada с 32 Гбайт GDDR6.

Стартап SiMa.ai анонсировал специализированные изделия Modalix — «системы на чипе» с функциями машинного обучения (MLSoC), спроектированные для обработки ИИ-задач на периферии. Эти решения предназначены для дронов, робототехники, умных камер видеонаблюдения, медицинского диагностического оборудования, edge-серверов и пр.

В семейство Modalix входя четыре модификации — М25, М50, М100 и М200 с ИИ-производительностью 25, 50, 100 и 200 TOPS соответственно (BF16, INT8/16). Изделия наделены процессором общего назначения с восемью ядрами Arm Cortex-A65, работающими на частоте 1,5 ГГц. Кроме того, присутствует процессор обработки сигналов изображения (ISP) на базе Arm Mali-C71 с частотой 1,2 ГГц. В оснащение входят 8 Мбайт набортной памяти. Изделия производятся по 6-нм технологии TSMC и имеют упаковку FCBGA с размерами 25 × 25 мм.

Источник изображения: SiMa.ai

Чипы Modalix располагают узлом компьютерного зрения Synopsys ARC EV-74 с частотой 1 ГГц. Говорится о возможности декодирования видеоматериалов H.264/265/AV1 в формате 4K со скоростью 60 к/с и кодировании H.264 в формате 4K со скоростью 30 к/с. Реализована поддержка восьми линий PCIe 5.0, четырёх портов 10GbE, четырёх интерфейсов MIPI CSI-2 (по четыре линии 2.5Gb), восьми каналов памяти LPDDR4/4X/5-6400 (до 102 Гбайт/с). Таким образом, по словам SiMa.ai, Modalix покрывает практически весь цикл работы с данными, не ограничиваясь только ускорением ИИ-задач.

Источник изображения: SiMa.ai

По заявлениям SiMa.ai, чипы Modalix можно применять для работы с большими языковыми моделями (LLM), генеративным ИИ, трансформерами, свёрточными нейронными сетями и мультимодальными приложениями. Среди возможных вариантов использования названы медицинская визуализация и роботизированная хирургия, интеллектуальные приложения для розничной торговли, автономные транспортные средства, беспилотники для инспекции зданий и пр. Есть поддержка популярных фреймворков PyTorch, ONNX, Keras, TensorFlow и т.д. Также предоставляется специализированный набор инструментов под названием Pallet, упрощающий создание ПО для новых процессоров.

В этом году в России наметилась тенденция строительства ЦОД собственными силами крупных корпораций, пишут «Ведомости» со ссылкой на заявление представителя «Систэм Электрик» (Systême Electric; ранее — Schneider Electric в РФ). Он отметил, что с 2012 года количество новых корпоративных ЦОД неуклонно снижалось, но в этом году был зафиксирован противоположный тренд — крупные компании снова взялись за строительство и модернизацию собственных дата-центров.

Рост интереса к строительству корпоративных площадок подтвердили «Атомдата» (ЦОД-подразделение «Росэнергоатом»), Wildberries, «Газпром», «Сбер» и «Северсталь». По словам Wildberries, на рынке коммерческих ЦОД не хватит мощностей для постоянно растущего бизнеса, а общий дефицит мощностей приводит к удорожанию аренды, что в случае маркетплейса делает её экономически невыгодной. Кроме того, в собственных дата-центрах гораздо проще контролировать инфраструктуру. У Wildberries есть ЦОД в Электростали, в следующем году планируется ввод ещё двух — в апреле в Дубне и осенью в Наро-Фоминске.

Источник изображений: Wildberries

В «Газпроме» сообщили, что не пользуются услугами коммерческих ЦОД. Недавно стало известно о её планах построить крупный дата-центр на 5000 стоек Великом Новгороде. «Газпромнефть» нацелена на развитие партнёрской экосистемы ЦОД, поскольку такая модель обеспечивает наибольшую эффективность и гибкость при использовании вычислительных мощностей, отметил представитель компании. В свою очередь, «Сбер» сообщил, что более 80 % вычислительных ресурсов банка размещены в собственных ЦОД.

Представитель «Северстали» сообщил «Ведомостям» о строительстве большого ЦОД на площадке Череповецкого металлургического комбината, а также строительстве объектов на других площадках компании. Кроме того, планируется провести до 2030 года модернизацию существующих ЦОД. Он отметил, что стратегически компания нацелена на строительство и развитие собственных мощностей, что обусловлено повышенными требованиями к безопасности хранимой информации в промышленном секторе и непрерывности производства.

Принадлежащая DigitalBridge компания Scala Data Centers планирует построить огромный кампус ИИ ЦОД Scala AI City в бразильском штате Риу-Гранди-ду-Сул (Rio Grande do Sul). Компания начнёт со скромных 54 МВТ и R$3 млрд ($500 млн) инвестеций, но со временем намерена масштабировать проект до 4,75 ГВт и $90 млрд. Scala уже приобрела около 700 га для AI City в муниципалитете Эльдорадо-ду-Сул (Eldorado do Sul) в 32 км от Порту-Алегри (Porto Alegre).

ЦОД изначально будет рассчитан на поддержку ИИ-нагрузок и предложит 150-кВт стойки с СЖО. Питание будет осуществляться исключительно из возобновляемых источников, PUE не превысит 1,2, а WUE и вовсе будет составлять 0, т.е. ЦОД не будет использовать питьевую воду. Отчасти достичь таких результатов поможет более прохладный климат юга страны. ЦОД будет введён в строй в течение двух лет и станет одним из крупнейших в Бразилии, где общая ёмкость ЦОД составляет 777 МВт.

Источник изображения: Scala Data Centers

В комментарии Datacenter Dynamics представитель оператора отметил, что проекты в Латинской Америке во многом отстают в технологическом плане из-за нестабильного курса валют и правовой неопределённости, но теперь ситуация изменилась. Появилась базовая инфраструктура для передачи данных и электроэнергии и огромные возможности генерации «чистой» энергии, равных которым нет во всём мире. В компании напомнили, что в Северной Вирджинии — крупнейшем рынке ЦОД ёмкостью 4 ГВт — вынуждены до семи лет ждать присоединения к энергосети

Тем временем в бразильских сетях имеются 12 ГВт, готовые к использованию, 5 из которых зарезервировала Scala. Предполагается, что в Северной Америке сегодня дата-центрам не хватает 4–6 ГВт. Так что клиенты вполне могут обратиться к бразильским ресурсам, если их не смущает достаточно высокая задержке при передаче данных.

Для сравнения, общая ёмкость дата-центров Microsoft Azure по всему миру оценивается приблизительно в 5 ГВт, хотя компания стремитально наращивает парк ЦОД. Две компании, одна из которых, по слухам, и есть Microsoft, ведут переговоры о строительстве в Северной Дакоте кампусов на 5–10 ГВт. Также на этой неделе Oracle объявила, что построит в США 1-ГВт ЦОД с питанием от малых модульных реакторов (SMR).

UPD 29.09.2024: Scala Data Centers получила $500 млн долгового финансирования, по $250 млн от Coatue Tactical Solutions и Investment Management Corporation of Ontario (IMCO).

10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

Стартап NetworkOcean из Сан-Франциско намерен строить дата-центры под водой. Впрочем, как сообщает Datacenter Dynamics, планы компании могут столкнуться с американской бюрократией, поскольку местные регуляторы обеспокоены потенциальным воздействием ЦОД на окружающую среду.

NetworkOcean намерена разместить 500-кВт ЦОД в Заливе Сан-Франциско. По словам компании, её решение позволит исключить потребление дата-центром воды и сократить энергопотребление на 30 % в сравнении с наземным аналогом. Утверждается, что в распоряжении стартапа имеются 2048 ускорителей NVIDIA H100, аренда которых у него дешевле, чем у других операторов. Компания поддерживается фондом Y Combinator.

Однако планы компании вызвали удивление местных властей, поскольку она не запрашивала разрешение на погружение объекта. Комиссия по сохранению и развитию залива (Bay Conservation and Development Commission) и Региональный совет по контролю качества воды Сан-Франциско (San Francisco Regional Water Quality Control Board) уже уведомили бизнес о том, что самовольное размещение ЦОД может повлечь за собой штрафы в размере до нескольких сотен тысяч долларов.

Источник изображения: Y Combinator

NetworkOcean намерена погрузить ЦОД всего на час — утверждается, что тесты будут проходить на частной территории залива, на которую власть регуляторов якобы не распространяется, а никакого влияния на природу не будет. В компании объявили, что уже испытали капсулу ЦОД на некоем полигоне и она признана вполне безопасной. Ранее один из основателей стартапа также проводил эксперименты с размещением оборудования на морском буе, но на вопросы о получении разрешений на них отвечать отказался.

По мнению ряда учёных, любое «возмущение» экосистемы в заливе или локальный рост температуры воды в нём, вызванный работой ЦОД, может иметь значимые последствия для морской флоры и фауны, поскольку способен спровоцировать рост токсичных для экосистемы водорослей. В 2016 году регуляторы чуть было не оштрафовали Microsoft за размещение в рамках Project Natick подводного ЦОД в заливе Сан-Луис-Обиспо (San Luis Obispo).

В 2018 году у берегов Шотландии Microsoft развернула подводный ЦОД на 855 серверов, проработавших без присмотра 25 месяцев и 8 дней. Эксперимент показал, что серверы под водой ломаются реже, чем на суше, одним из факторов успеха называлась постоянная внешняя температура. Проект был свёрнут и сейчас подводных ЦОД у компании нет, но Project Natick используется в качестве исследовательской платформы для изучения и тестирования новых концепций повышения надёжности ЦОД.

В условиях дефицита электричества на суше перспектива использования океанских течений для естественного охлаждения довольно заманчива, потенциально это поможет снизить расходы энергии и нагрузки на электростети. Например, китайская HiCloud сообщает о модулях подводных ЦОД, используемых на глубине 35 м у побережья в провинции Хайнань. Стартап Subsea Cloud также заявлял, что развернул 13,5 тыс «подводных» GPU-серверов в Азии. Заработать они должны в следующем году после получения всех разрешений и одобрений от регуляторов.

Юлихский исследовательский центр (Forschungszentrum Jülich) объявил о начале фактического создания модульного дата-центра для европейского экзафлопсного суперкомпьютера JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec.

В рамках партнёрства за создание модульного ЦОД отвечает Eviden. После завершения строительства комплекс, как ожидается, объединит около 125 стоек BullSequana XH3000. Общая площадь ЦОД составит примерно 2300 м². Он будет включать порядка 50 компактно расположенных контейнеров. Благодаря модульной конфигурации ускоряется монтаж систем, а также снижаются расходы на строительство объекта.

Суперкомпьютер JUPITER получит энергоэффективные высокопроизводительные европейские Arm-процессоры SiPearl Rhea. CPU-блок будет включать 1300 узлов и иметь производительность около 5 Пфлопс (FP64). Кроме того, в состав машины войдут порядка 6000 узлов с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Именно они и обеспечат FP64-производительность на уровне 1 Эфлопс. Узлы объединит интерконнект NVIDIA InfiniBand NDR (DragonFly+).

Источник изображений: Юлихский исследовательский центр

Хранилище системы будет включать два раздела: быстрый ExaFLASH и ёмкий ExaSTORE. ExaFLASH будет базироваться на сорока All-Flash СХД IBM Elastic Storage System 3500 с эффективной ёмкостью 21 Пбайт («сырая» 29 Пбайт), скоростью записи 2 Тбайт/с и скоростью чтения 3 Тбайт/с. ExaSTORE будет иметь «сырую» ёмкость 300 Пбайт, а для резервного копирования и архивов будет использоваться ленточная библиотека ёмкостью 700 Пбайт.

«Первые контейнеры для нового европейского экзафлопсного суперкомпьютера доставлены компанией Eviden и установлены на площадке ЦОД. Мы рады, что этот масштабный проект, возглавляемый EuroHPC, всё больше обретает форму», — говорится в сообщении Юлихского исследовательского центра.

Ожидаемое быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Стоимость системы оценивается в €273 млн, включая доставку, установку и обслуживание НРС-системы. Общий бюджет проекта составит около €500 млн, часть средств уйдёт на подготовку площадки, оплату электроэнергии и т.д.

Владельцы оператора дата-центров Switch рассматривают IPO компании в 2025 году, которое, вероятно, поднимет оценку компании до $40 млрд. По данным Reuters, пока обсуждение вопроса находится на ранней стадии и решение ещё не принято. Switch управляет крупными кампусами в Остине (Техас), Рино (Лас-Вегас), Гранд-Рапидс (Мичиган) и Атланте (Джорджия). В прошлом году поданы заявления о расширении бизнеса в Остине и Атланте.

Основанная в 2000 году компания вышла на IPO в 2017 году, сумев привлечь $513 млн при рыночной капитализации $4,2 млрд. В 2022 году Switch была выкуплена DigitalBridge и IFM Investors за $11 млрд и стала частной. В 2023 году миноритарную долю приобрёл австралийский пенсионный фонд Aware Super. По имеющимся данным, в последние недели Switch провела предварительные переговоры с инвестиционными банкирами. На такой шаг компании намерены пойти на фоне стремительного роста интереса инвесторов к генеративному ИИ, который вызвал взлёт спроса на инфраструктуру, в том числе на дата-центры и высокопроизводительные серверы.

Источник изображения: Jason Briscoe/unsplash.com

В последнее время отмечается и значительное увеличение числа сделок на рынке серверов и ЦОД. Например, в сентябре текущего года Blackstone заключила сделку, купив австралийского оператора ЦОД AirTrunk за сумму, превышающую AU$24 млрд ($16 млрд), в августе AMD согласилась купить производителя серверов ZT Systems за $4,9 млрд — компания намерена расширить свои продуктовые линейки в попытке угнаться за чрезвычайно успешной NVIDIA.

С последней сотрудничает и Switch. Также компания работает с Dell и FedEx. С января 2016 года дата-центры компании питаются за счёт возобновляемой энергии — это привлекает технологические компании, имеющие природоохранные обязательства и соответствующие заявленные цели. Согласно докладу Morgan Stanley, до конца десятилетия мировой бум индустрии ЦОД, вероятно, обеспечит выбросы, эквивалентные 2,5 млрд тонн углекислого газа.

Oracle и NVIDIA анонсировали самый крупный на сегодняшний день облачный ИИ-кластер, состоящий из 131 072 ускорителей NVIDIA B200 (Blackwell). По словам компаний, это первая в мире система производительностью 2,4 Зфлопс (FP8). Кластер заработает в I половине 2025 года, но заказы на bare-metal инстансы и OCI Superclaster компания готова принять уже сейчас. Заказчики также смогут выбрать тип подключения: RoCEv2 (ConnectX-7/8) или InfiniBand (Quantum-2).

По словам компании, новый ИИ-кластер вшестеро крупнее тех, что могут предложить AWS, Microsoft Azure и Google Cloud. Кроме того, компания предлагает и другие кластеры с ускорителями NVIDIA: 32 768 × A100, 16 384 × H100, 65 536 × H200 и 3840 × L40S. А в следующем году обещаны кластеры на основе GB200 NVL72, объединяющие более 100 тыс. ускорителей GB200. В скором времени также появятся и куда более скромные ВМ GPU.A100.1 и GPU.H100.1 с одним ускорителем A100/H100 (80 Гбайт).

Прямо сейчас для заказы доступны инстансы GPU.H200.8, включающие восемь ускорителей H200 (141 Гбайт), 30,7-Тбайт локальное NVMe-хранилище и 200G-подключение. Семейство инстансов на базе NVIDIA Blackwell пока включает лишь два варианта. GPU.B200.8 предлагает восемь ускорителей B200 (192 Гбайт), 30,7-Тбайт локальное NVMe-хранилище и 400G-подключение. Наконец, GPU.GB200 фактически представляет собой суперускоритель GB200 NVL72 и включает 72 ускорителя B200, 36 Arm-процессоров Grace и локальное NVMe-хранилище ёмкостью 533 Тбайт. Агрегированная скорость сетевого подключения составляет 7,2 Тбит/с.

Источник изображения: Oracle

Для всех новых инстансов Oracle подготовит управляемое Lustre-хранилище с производительностью до 8 Гбит/с на каждый Тбайт. Кроме того, компания предложит расширенные средства мониторинга и управления, помощь в настройке инфраструктуры для достижения желаемого уровня реальной производительности, а также набор оптимизированного ПО для работы с ИИ, в том числе для Arm.

Компания SambaNova Systems объявила о запуске облачного сервиса SambaNova Cloud: утверждается, что на сегодняшний день это самая быстрая в мире платформа для ИИ-инференса. Она ориентирована на работу с большими языковыми моделями Llama 3.1 405B и Llama 3.1 70B, насчитывающими соответственно 405 и 70 млрд параметров.

В основу сервиса положены ИИ-чипы собственной разработки SN40L. Эти изделия состоят из двух крупных чиплетов, оперирующих 520 Мбайт SRAM-кеша, 1,5 Тбайт DDR5 DRAM, а также 64 Гбайт высокоскоростной памяти HBM3. Утверждается, что восьмипроцессорная система на базе SN40L способна запускать и обслуживать ИИ-модели с 5 трлн параметров и глубиной запроса более 256к.

Источник изображения: SambaNova

Платформа SambaNova Cloud, по заявлениям разработчиков, демонстрирует производительность до 132 токенов в секунду при работе с Llama 3.1 405B и до 461 токена в секунду при использовании Llama 3.1 70B. Для сравнения, по оценкам Artificial Analysis, даже самые мощные системы на базе GPU могут обслуживать модель Llama 3.1 405B только со скоростью 72 токена в секунду, а большинство из них намного медленнее. Подчёркивается, что SambaNova Cloud демонстрирует рекордную скорость при сохранении полной 16-битной точности. Однако без компромиссов всё же не обошлось: модель работает не в полном контекстном окне в 128k, а при 8k.

Доступ к SambaNova Cloud предоставляется по трём схемам — Free, Developer и Enterprise. Первая предусматривает бесплатное базовое использование через API. Схема для разработчиков Developer (появится к концу 2024 года) позволяет работать с моделями Llama 3.1 8B, 70B и 405B с более высокими лимитами. Наконец, план Enterprise предлагает корпоративным клиентам возможность масштабирования для поддержки ресурсоёмких рабочих нагрузок.

Ранее Cerebras Systems тоже объявила о запуске «самой мощной в мире» ИИ-платформы для инференса, а Groq ещё в прошлом году говорила о преимуществах своих решений и тоже переключилась на создание облачных сервисов. Впрочем, в бенчмарках MLPerf Inference по-прежнему бессменно лидируют решения NVIDIA.