Лаборатория машинного обучения в науках о Земле Московского физико-технического института (МФТИ) взяла на вооружение внешний массив PCIe-коммутации RSC ScaleStream-C, разработанный российской группой компаний РСК. Это решение предназначено для выполнения ресурсоёмких задач, связанных с ИИ.

RSC ScaleStream-C представляет собой JBOG-платформу в форм-факторе 3U, допускающую установку до десяти карт с интерфейсом PCIe 4.0 x16 (могут применяться карты разной ширины), которая может быть подключена к четырём серверам. Мощности ускорителей могут динамически перераспределяться между серверами. По заявлениям РСК, такой подход позволяет значительно увеличить утилизацию GPU (в некоторых случаях на десятки процентов) по сравнению со стандартными конфигурациями, когда карты устанавливаются непосредственно в серверы.

Лаборатория получила массив RSC ScaleStream-C с четырьмя GPU (модель не уточняется). В перспективе могут быть добавлены дополнительные карты. Предполагается, что система поможет ускорить выполнение задач, связанных с базовыми высокоразрешающими ИИ-моделями атмосферы, океана и климата. Ожидается, что применение RSC ScaleStream-C позволит Лаборатории машинного обучения в науках о Земле существенно расширить возможности уже имеющегося оборудования при работе с ИИ-моделями.

Источник изображения: РСК

Основным направлением деятельности Лаборатории является создание ИИ-методов для моделирования атмосферы, океана и климата, а также для обработки данных в фундаментальных и прикладных задачах морской геологии, морской биологии, экологии моря, метеорологии, в области взаимодействия океана и атмосферы, городской микрометеорологии и пр. Специалисты лаборатории занимаются обработкой данных натурных наблюдений и измерений в метеорологии и океанологии, экологическим мониторингом, моделированием природных процессов и другими задачами, для которых требуются значительные вычислительные ресурсы.

AMD объявила о расширении сотрудничества с HPE, в рамках которого HPE станет одним из первых поставщиков стоечных систем AMD Helios AI, которые получат коммутаторы Juniper Networking (компания с недавних пор принадлежит HPE), разработанные совместно с Broadcom, и ПО для бесперебойного высокоскоростного подключения по Ethernet.

AMD Helios AI — открытая полнофункциональная ИИ-платформа на базе архитектуры OCP Open Rack Wide (ORW), разработанная для крупномасштабных рабочих нагрузок и обеспечивающая FP4-производительность до 2,9 Эфлопс на стойку благодаря ускорителям AMD Instinct MI455X, процессорам EPYC Venice шестого поколения и DPU Pensando Vulcano, работающими под управлением открытой программной экосистемы ROCm для нагрузок ИИ и HPC.

Как отметил The Register, сетевая архитектура этой системы будет представлять собой масштабируемую реализацию UALink over Ethernet (UALoE) и специализированным коммутатором Juniper Networks на базе сетевого чипа Broadcom Tomahawk 6 (102,4 Тбит/с). Система разработана для упрощения развёртывания крупномасштабных ИИ-кластеров, что позволяет сократить время разработки решений и повысить гибкость инфраструктуры. В отличие от NVIDIA, AMD не выпускает коммутаторы, предлагая открытую экосистему, так что HPE и другие компании могут интегрировать собственные сетевые решения.

The Register полагает, что HPE и Broadcom решили не гнаться за отдельной аппаратной реализацией UALink, если данные можно передавать поверх Ethernet. «Это первое в отрасли масштабируемое решение, использующее Ethernet, стандартный Ethernet. Это означает, что оно полностью соответствует открытому стандарту и позволяет избежать привязки к проприетарному поставщику, использует проверенную сетевую технологию HPE Juniper для обеспечения масштабируемости и оптимальной производительности для рабочих нагрузок ИИ», — заявила HPE.

Источник изображения: HPE

HPE заявила, что это позволит её стоечной системе поддерживать трафик, необходимый для обучения модели с триллионами параметров, а также обеспечить высокую пропускную способность инференса. Стоечная система HPE будет включать 72 ускорителя AMD Instinct MI455X с 31 Тбайт HBM4 с агрегиированной пропускной способностью 1,4 Пбайт/с. Агрегированная скорость интерконнекта составит 260 Тбайт/с. Новинка будет доступна в 2026 году.

AMD также сообщила, что Herder, новый суперкомпьютер для Центра высокопроизводительных вычислений в Штутгарте (HLRS) (Германия), получит Instinct MI430X и EPYC Venice. Он будет построена на платформе HPE Cray Supercomputing GX5000. Поставка Herder запланирована на II половину 2027 года, а ввод в эксплуатацию — к концу 2027 года. Herder заменит используемый центром суперкомпьютер Hunter.

В эпоху зарождения интернета радиолюбителям предоставили более 16 млн IPv4-адресов. Теперь же Инженерному совету интернета (IETF) предложили выделить тому же сообществу пять нониллионов IPv6-адресов, сообщает The Register. Правда, неправительственная организация радиолюбителей Amateur Radio Digital Communications (ARDC), которая получила IPv4-блок (44/8) ещё в 1981 году, продала в 2019 году четверть своих адресов компании Amazon за $108 млн, которая неплохо зарабатывает на сдаче их в аренду.

Региональные интернет-регистраторы (RIR) требуют от желающих получить IP-адреса обоснование в их потребности, наличие инфраструктуры для их использования, а также соответствие ряду других критериев. «Произвольная» раздача IP-адресов, как это было сорок лет назад, сегодня случается довольно редко.

В проекте для IETF отмечается, что радиолюбители «выстроили практики и процедуры вокруг 44/8», и по различным причинам любительскому сообществу было бы нецелесообразно использовать RIR для получения IPv6-блоак для будущих потребностей. Тем не менее предлагается, чтобы Администрация адресного пространства интернет (IANA) зарезервировало блок IPv6-адресов 44::/16 и взаимодействовало по этому поводу с RIR.

Источник изображения: LinkedIn Sales Solutions/unsplash.com

Как отметил на днях представитель APNIC, в настоящее время все пять RIR работают над обновлением политики, определяющей их роли и прочие параметры работы. На этом фоне запрос в IETF о передаче IANA определённого IP-блока конкретной организации, скорее всего, тут же упрётся в вопрос регулирования создания новых глобальных реестров. Радиолюбители просят блок из 2¹¹² адресов — речь идёт о «всего» пяти нониллионов из 340 ундециллионов (2¹²⁸) доступных.

Идею назвали необычной, но стоящей рассмотрения, поскольку у сообщества радиолюбителей весьма богатая история интересных проектов, данные которых позже нередко находят применение в других сферах. Также подчёркивается, что предложение по-своему опережает время, особенно в свете того, что человечество создаёт всё больше сетей в космосе, из-за чего неплохо бы заранее продумать, как радиосети с высокой задержкой сигнала будут взаимодействовать с остальным интернетом. Кроме того, даже APNIC считает, что IPv6 на практике оказался не так уж и нужен — перспективы перехода на протокол не особенно привлекательны из-за меняющейся структуры глобальной сети.

Компания MiTAC анонсировала 2U2N-сервер M2810Z5, ориентированный на современные дата-центры и облачные платформы. Новинка может использоваться для решения таких задач, как CDN, виртуализация, хостинг, ресурсоёмкие вычисления на базе CPU и поддержка приложений с интенсивным обменом данными.

Устройство, выполненное в форм-факторе 2U, имеет двухузловую конструкцию. Каждый узел допускает установку одного процессора AMD EPYC 9005 Turin в исполнении Socket SP5 с показателем TDP до 500 Вт и 12 модулей DDR5-5600/6000/6400 RDIMM или RDIMM-3DS суммарным объёмом до 3 Тбайт. Доступен один слот OCP 3.0 (PCIe 5.0 x16).

Источник изображений: MiTAC

Каждый из узлов располагает четырьмя отсеками для накопителей формата E1.S (NVMe) с поддержкой горячей замены. MiTAC говорит о возможности установки SSD семейства Kioxia XD8 с интерфейсом PCIe 5.0. Эти изделия обеспечивают скорость чтения информации до 12,5 Гбайт/с и скорость записи до 5,8 Гбайт/с. Вместимость достигает 7,68 Тбайт. Кроме того, есть два коннектора M.2 (в расчёте на узел) для SSD типоразмера 22110/2280 с интерфейсом PCIe 4.0. Узлы наделены контроллером Aspeed AST2600, сетевым портом 1GbE на базе Intel I210-AT, выделенным сетевым портом управления 1GbE (Realtek RTL8211FD-CG), аналоговым разъёмом D-Sub, а также двумя портами USB 2.0.

Сервер M2810Z5 оборудован двумя блоками питания с резервированием мощностью 2000 Вт (80 Plus Titanium). Опционально может быть установлен модуль TPM. Применяется воздушное охлаждение с четырьмя вентиляторами диаметром 80 мм с возможностью горячей замены. Диапазон рабочих температур — от +10 до +35 °C. Габариты системы составляют 760 × 448 × 86 мм.

Компания MiTAC анонсировала высокопроизводительный GPU-сервер G4826Z5 на аппаратной платформе AMD, предназначенный для ресурсоёмких задач ИИ и НРС. Кроме того, представлены стойки и вычислительные кластеры на его основе.

Сервер G4826Z5U2BC-355X-755 выполнен в форм-факторе 4U. Нижняя 2U-секция содержит два процессора AMD EPYC 9005 Turin и 24 слота для модулей оперативной памяти DDR5-6400. Во фронтальной части расположены восемь отсеков для SFF-накопителей; кроме того, есть два внутренних коннектора M.2 для SSD (NVMe). Верхний 2U-модуль несёт на борту восемь ускорителей AMD Instinct MI355X, оборудованных 288 Гбайт памяти HBM3E с пропускной способностью до 8 Тбайт/с.

Машина G4826Z5 получила систему жидкостного охлаждения, которая охватывает CPU- и GPU-секции. Предусмотрена функция обнаружения утечек. Подсистема питания с резервированием выполнена по схеме: 1+1 мощностью 3200 Вт и 3+3 мощностью 15 600 Вт. Все блоки питания имеют сертификат 80 Plus Titanium и допускают горячую замену.

Источник изображений: MiTAC

На основе G4826Z5 формируется стоечная система (MR1100L-64355X-01): она содержит восемь GPU-серверов, что в сумме даёт 64 ускорителя и 18,4 Тбайт памяти HBM3E. Стойка также укомплектована коммутаторами 400GbE на 64 и 32 порта, двумя коммутаторами 1GbE на 48 портов, сервером управления B8056G68CE12HR-2T-TU, сервером хранения B8056T70AE26HR-2T-HE-TU и блоком распределения охлаждающей жидкости (CDU) в формате 4U.

В свою очередь, стойки объединяются в кластеры из четырёх и восьми штук. Это в сумме обеспечивает 32 и 64 сервера GPU и 256 и 512 ускорителей Instinct MI355X соответственно. Таким образом, максимальная конфигурация включает приблизительно 147 Тбайт памяти HBM3E.

Компания MSI анонсировала сервер CG480-S6053, предназначенный для ресурсоёмких задач ИИ и НРС. Устройство выполнено в форм-факторе 4U на архитектуре NVIDIA MGX. Возможна установка двух процессоров AMD EPYC 9005 Turin в исполнении Socket SP5 с показателем TDP до 500 Вт.

Доступны 24 слота для модулей оперативной памяти DDR5-6400 RDIMM/RIMM-3DS суммарным объёмом до 6 Тбайт (в конфигурации 24 × 256 Гбайт). Во фронтальной части расположены восемь отсеков для SFF-накопителей U.2 с интерфейсом PCIe 5.0 x4 (NVMe); допускается горячая замена. Есть два внутренних коннектор М.2 для SSD типоразмера 2280/22110 с интерфейсом PCIe 3.0 x2 (NVMe).

Сервер оснащён восемью слотами PCIe 5.0 x16 для карт FHFL двойной ширины. Могут устанавливаться, в частности, ИИ-ускорители NVIDIA H200 NVL и RTX Pro 6000 Blackwell Server Edition. Кроме того, есть пять слотов PCIe 5.0 x16 для карт FHFL одинарной ширины.

Сервер располагает контроллером ASPEED AST2600, двумя сетевыми портами 10GbE (RJ45) на основе Intel X710-AT2, выделенным сетевым портом управления 1GbE, разъёмами USB 3.0/2.0 Type-A и Mini-DisplayPort. Модификация системы с обозначением CG481-S6053 получила восемь портом 400GbE на базе NVIDIA ConnectX-8 SuperNIC. Предусмотрен модуль TPM 2.0.

Источник изображения: MSI

Новинка имеет размеры 438,5 × 175 × 800 мм. Питание обеспечивают четыре блока с резервированием мощностью 3200 Вт (80 PLUS Titanium). Применено воздушное охлаждение с десятью системными вентиляторами диаметром 80 мм с возможностью горячей замены. Диапазон рабочих температур — от +10 до +35 °C.

Компания Solid State Storage Technology Corporation (SSSTC), дочерняя структура Kioxia, представила SSD серии ER4 для платформ корпоративного класса и дата-центров. По заявлениям разработчика, накопители подходят для применения в средах, ориентированных на аналитику данных в реальном времени, ИИ-инференс, виртуализацию и другие ресурсоёмкие задачи. Кроме того, изделия могут использоваться в NAS для малого и среднего бизнеса, системах резервного копирования и видеонаблюдения.

SSD выполнены в SFF-формате на основе 112-слойных чипов флеш-памяти Kioxia 3D TLC NAND. Задействован контроллер Innogrit IG5600BAA 575P TFBGA. Для подключения служит интерфейс SATA-3.

Источник изображения: SSSTC

В семейство ER4 вошли модели вместимостью 7,68 и 15,36 Тбайт. Скорость последовательного чтения информации у обоих накопителей достигает 550 Мбайт/с, последовательной записи — 530 Мбайт/с. Величина IOPS (операций ввода/вывода в секунду) при произвольном чтении данных блоками по 4 Кбайт составляет 98 тыс., при произвольной записи — 55 тыс. у младшей версии и 30 тыс. у старшей.

В накопителях реализован ряд функций обеспечения безопасности корпоративного уровня, включая сквозную защиту данных, безопасное стирание и 256-битное шифрование AES (с опциональной поддержкой TCG Enterprise). Средства Power Loss Protection (PLP) отвечают за сохранность информации при внезапном отключении питания. Показатель MTBF заявлен на уровне 3 млн часов. Устройства рассчитаны на работу в температурном диапазоне от 0 до +70 °C. Максимальное энергопотребление составляет 5 Вт. На накопители предоставляется пятилетняя гарантия.

За 10 лет, прошедших с запуска в Индии Национальной суперкомпьютерной миссии (National Supercomputing Mission, NSM), страна ввела в эксплуатацию 37 суперкомпьютеров совокупной производительностью 39 Пфлопс, ещё один кластер мощностью 35 Пфлопс должен заработать в конце 2025 года. Хотя многие из машин используют технологии местного происхождения, Индии ещё далеко до роли лидера ИИ-отрасли или крупного игрока на рынке полупроводников, сообщает The Register.

NSM заработала в 2015 году для обеспечения запросов правительства и исследователей. Цели, в основном, достигнуты — более 13 тыс. учёных имеют доступ к суперкомпьютерным ресурсам MSM, уровень загрузки оборудования составил 85–95 %, выполнено более 10 млн задач, опубликовано более 1,5 тыс. научных статей в рецензируемых журналах.

Развитие суперкомпьютеров в Индии курирует Центр развития передовых вычислений (Centre for Development of Advanced Computing, C-DAC), в 2020 году призвавший создавать собственные, индийские компоненты для экзафлопсных суперкомпьютеров. Процесс включает проектирование чипов, плат, интерконнектов и хранилищ, в том числе с использованием технологии кремниевой фотоники. Сейчас цены на «домашнее» оборудование сопоставимы с продукцией мировых OEM-производителей, но прямые закупки и локальное производство позволяет снизить затраты минимум на 15 %.

Источник изображения: India NSM

В C-DAC утверждают, что усилия приносят успех, а уровень «индигенизации» (производства и внедрения технологий внутри страны) превысил 50 % — в числе прочего речь идёт о серверных узлах, интерконнектах и системном ПО. Узлы построены на серверной платформе Rudra на базе Intel Xeon с ускорителями AMD или NVIDIA и используют 200G-интерконнект Trinetra, который, впрочем, минимум вдвое уступает по задержкам InfiniBand. Они обеспечивают работу около трети HPC-парка. Вскоре появятся и узлы с CPU AMD. Разработку собственного Arm-процессора AUM, создаваемого при участии MosChip и Socionext, должны завершить в 2027 году, а собственных мощных GPU у Индии нет.

Каждая новая система на базе Rudra оснащается СЖО (DLC) разработки C-DAC, что обеспечивает 10 % экономии энергии на уровне узла при полной нагрузке и соответствует PUE 1,20–1,25 на уровне объектов. Это приблизительно на 20 % лучше в сравнении с аналогами на воздушном охлаждении. Базовой ОС на многих кластерах NSM является Red Hat Enterprise Linux (RHEL) или его бесплатные аналоги, но всё пользовательское окружение, включая планировщики задач, менеджеры ресурсов и системы мониторинга, построена на собственных открытых разработках C-DAC. Этот подход позволяет избежать зависимости от коммерческого ПО.

Источник изображения: India NSM

Впрочем, некоторые местные эксперты уверены, что уровень локализации в рамках NSM гораздо меньше заявленных 50 %, а программно-аппаратной экосистемы, которая превращает прототипы в надёжные продукты, нет. При этом Индии фактически остаётся зависимой от глобальных игроков, что вызывает опасения относительно надёжности цепочек поставок и возможных санкций. Так, для AUM требуется 5-нм техпроцесс, но фабрик такого класса в стране нет. Впрочем, местные пользователи довольны и нынешними машинами NSM, ведь раньше у них и такого не было.

Текущий этап NSM завершается 31 декабря. C-DAC уже объявила цели для NSM 2.0 — ввод 1,5 Эфлопс в течение пяти лет. В первую волну, вероятно, попадут 100-Пфлос суперкомпьютеры на оборудовании Intel и AMD. Ключевая вторая волна нацелена на достижение экзафлопсной производительности с AUM. Но C-DAC не гонится за «сырой» производительностью — важнее решение специфических для Индии задач. Кроме того, есть проект ИИ-суперкомпьютера Lenovo, которая намерена наладить здесь выпуск серверов, на базе местных ускорителей Krutrim.

Источник изображения: India NSM

Пока не хватает специалистов для разработки, эксплуатации и оптимизации HPC-систем, а также развития производства. В будущем предлагается создание крупных систем экзафлопсного класса с полной локализацией, продолжением НИОКР в области ПО и «железа». Наконец, планируется и создание HPC-маркетплейса, где предприятия любого размера смогут давать задачи, а учёные — разрабатывать решения.

Достижение технологического суверенитета для Индии весьма важно. Так, в октябре сообщалось, что техногиганты США приостановили развитие ЦОД в Индии, хотя ранее обещали вложить в них миллиарды долларов, из-за некоторого охлаждения отношений Нью-Дели и Вашингтона. При этом около года назад глава NVIDIA Дженсен Хуанг заявил, что Индия должна стать одним из лидеров в области ИИ и создать собственную инфраструктуру.

Как следует из доклада Global Investment Research банковской группы HSBC, к 2030 году OpenAI необходимо добиться дополнительного финансирования на $207 млрд для реализации планов расширения бизнеса. Впрочем, с аналогичными проблемами могут столкнуться все IT-гиганты, сообщает The Register.

О дефиците финансирования зашла речь после того, как OpenAI выделила $300 млрд Oracle, $250 млрд — Microsoft и $38 млрд — AWS на оплату облачных вычислений. Даже с учётом того, что HSBC обновила прогнозы выручки компании, увеличившиеся на 4 % в сравнении с предыдущими оценками, средств для оплаты развития недостаточно.

В своём исследовании HSBC полагает, что OpenAI будет необходимо привлечь к 2030 году $207 млрд новых средств. Пока неизвестно, насколько гибко OpenAI может корректировать свои обязательства. В отчёте отмечено, что разрыв можно было бы сократить за счёт дополнительных вливаний капитала, долгового финансирования или если реальные доходы компании будут выше, чем предполагается.

По прогнозам HSBC, к 2030 году потребительские продукты OpenAI семейства ChatGPT привлекут 3 млрд постоянных пользователей (44 % населения мира старше 15 лет), в октябре 2025 года речь шла лишь о 800 млн. Дополнительно банк прогнозирует рост числа подписчиков с 8 % до 10 %, а также рост корпоративного спроса на API и лицензии, также вырастет и рекламная выручка.

Источник изображения: Towfiqu barbhuiya/unsplash.com

Тем не менее дефицит финансирования сохранится. Компания могла бы компенсировать его за счёт роста базы пользователей — ещё 500 млн человек принесли бы ей $36 млрд. Также она могла бы повысить эффективность вычислений, привлечь больше капитала от своих акционеров (например, Microsoft и SoftBank), а также взять в долг больше средств.

Невозможность устранить дефицит сильнее всего ударит по ближайшим технологическим партнёрам. В HSBC подчёркивают, что успех или неудача OpenAI сильнее всего отразится на показателях Oracle, Microsoft, Amazon, NVIDIA и AMD, а также SoftBank, владеющей 11 % доли компании. Хотя прогнозы для акций первых четырёх в отчёте пока благоприятные, после подписания сделки с OpenAI на $300 млрд Oracle уже столкнулась с волатильностью цены своих ценных бумаг.

После объявления о сделке в сентябре, акции Oracle временно выросли на 30 %, ненадолго сделав соучредителя компании Ларри Эллисона (Larry Ellison) самым богатым человеком мира. Впрочем, с тех цена Oracle снова просела и Эллисон переместился на третье место после Ларри Пейджа (Larry Page) и Илона Маска (Elon Musk). Партнёры OpenAI надеются, что дефицит финансирования будет устранён как можно скорее.

Впрочем, OpenAI продолжает развитие своих проектов. Например, в сентябре появилась новость, что компания совместно с Oracle и SoftBank построят в США ещё пять ИИ ЦОД для проекта Stargate.

Компания Giga Computing, подразделение Gigabyte, анонсировала сервер G4L3-ZX1-LAT4, предназначенный для задачи ИИ и НРС. Эта мощная машина на аппаратной платформе AMD оснащена системой прямого жидкостного охлаждения (DLC), отводящей тепло и от CPU, и от GPU.

Сервер выполнен в форм-факторе 4U. Он может нести на борту два процессора EPYC 9004 Genoa или EPYC 9005 Turin (до 192 вычислительных ядер) в исполнении Socket SP5 с показателем TDP до 500 Вт. Доступны 24 слота для модулей оперативной памяти DDR5-6400. Во фронтальной части находятся восемь отсеков для SFF-накопителей NVMe; кроме того, есть два внутренних коннектора M.2 2280/22110 для SSD с интерфейсом PCIe 3.0 x4 и x1.

Новинка располагает восемью ускорителями AMD Instinct MI355X OAM. Предусмотрены восемь разъёмов для однослотовых карт FHHL с интерфейсом PCIe 5.0 x16 и четыре разъёма для двухслотовых карт FHHL (также PCIe 5.0 x16). Питание обеспечивают шесть блоков с резервирование мощностью 5200 Вт (сертификат 80 PLUS Titanium). Помимо СЖО, задействован ряд системных вентиляторов: 4 × 60 мм в зоне материнской платы, 4 × 80 мм в области слотов PCIe и 4 × 60 мм в лотке GPU. Диапазон рабочих температур — от +10 до +30 °C.

Источник изображения: Giga Computing

Сервер оснащён двумя сетевыми портами 10GbE на основе адаптера Intel X710-AT2, выделенными сетевыми портами 1GbE во фронтальной и тыльной частях, контроллером Aspeed AST2600, двумя портами USB 3.2 Gen1 Type-A и аналоговым разъёмом D-Sub. Опционально может быть добавлен модуль TPM 2.0. Габариты сервера составляют 447 × 175,5 × 901 мм.