Компания Gigabyte анонсировала HGX-серверы G593-SD1-AAX3 и G593-ZD1-AAX3, предназначенные для задач ИИ и НРС. Устройства, выполненные в форм-факторе 5U, включают до восьми ускорителей NVIDIA H200. При этом используется воздушное охлаждение.

Источник изображений: Gigabyte

Модель G593-SD1-AAX3 рассчитана на два процессора Intel Xeon Emerald Rapids с показателем TDP до 350 Вт, а версия G593-ZD1-AAX3 располагает двумя сокетами для чипов AMD EPYC Genoa с TDP до 300 Вт. Доступны соответственно 32 и 24 слота для модулей оперативной памяти DDR5.

Серверы наделены восемью фронтальными отсеками для SFF-накопителей NVMe/SATA/SAS-4, двумя сетевыми портами 10GbE на основе разъёмов RJ-45 (выведены на лицевую панель) и выделенным портом управления 1GbE (находится сзади). Есть четыре слота FHHL PCIe 5.0 x16 и восемь разъёмов LP PCIe 5.0 x16. Модель на платформе AMD дополнительно располагает двумя коннекторами М.2 для SSD с интерфейсом PCIe 3.0 x4 и x1.

Питание у обоих серверов обеспечивают шесть блоков мощностью 3000 Вт с сертификатом 80 Plus Titanium. Габариты новинок составляют 447 × 219,7 × 945 мм. Диапазон рабочих температур — от +10 до +35 °C. Есть два порта USB 3.2 Gen1 и разъём D-Sub. Массовое производство серверов Gigabyte серии G593 запланировано на II половину 2024 года. Эти системы станут временной заменой (G)B200-серверов, выпуск которых задерживается.

На первый взгляд поставка серверного оборудования без процессоров может показаться бессмысленной, но представители AMD и Supermicro рассказали, почему готовы участвовать в подобных проектах. По данным CRN, топ-менеджеры компаний-партнёров заинтересованы в работе с небольшими компаниями, если у тех есть уникальные заказы.

В недавнем интервью на конференции SIGGRAPH 2024, один из топ-менеджеров AMD Джеймс Найт (James Knight) заявил, что AMD совместно с Supermicro неоднократно работали по подобной схеме со студиями, участвующими в создании компьютерной графики и другого контента. Сам Найт неоднократно участвовал в создании визуальных эффектов, в том числе для «Аватара», поэтому хорошо знает индустрию изнутри.

Источник изображения: Vardan Papikyan / Unsplash

По его словам, небольшие студии часто ограничены в средствах и просят о поставках серверов без процессоров, поскольку им ещё предстоит определить, какой именно вариант «железа» будет оптимальным по соотношению цена/производительность для их нагрузок. В качестве примера были приведены две (неназванные) студии, спросившие AMD, есть ли у той партнёры среди поставщиков серверов, согласные взяться за такие «полуготовые» решения. AMD в таком случае может предложить потенциальным покупателям несколько процессоров для выбора наилучшего варианта.

Многие партнёры AMD на такой запрос категорически отказывались реагировать, желая заранее знать, сколько ни смогут заработать на такой сделке. Тем не менее, в Supermicro, выручка которой выросла на 110 % до $14,9 млрд в 2024 фискальном году, встретили идею с энтузиазмом, не побоявшись работы с небольшими клиентами. Хотя подобные проекты не приносят ощутимой прямой прибыли, они чрезвычайно важны для AMD и Supermicro в медийном плане, причём в итоге всё выливается в рост прибылей обоих партнёров. «Это не капиталистический и не коммерческий подход, но это именно то, что повышает продажи», — заявляют в AMD, при этом, вероятно, немного лукавя.

В Supermicro сослались на одну из студий по созданию визуального контента, которая изначально хотела получить рабочую станцию с СЖО на базе новейших Ryzen AMD Threadripper. Однако в ходе общения с AMD и Supermicrco обсуждение перешло к созданию более дорогой кастомной стоечной системы. По словам одного из партнёров AMD и Supermicro, компании могут совместно решить любую проблему клиента, желая проверить и оценить каждую опцию, находящуюся в пределах их совместной компетенции. Утверждается, что у конкурентов совсем другое мировоззрение.

Спрос на ИИ-системы и соответствующие серверы привёл к росту заказов на SSD корпоративного класса в последние два квартала. По данным TrendForce, производители компонентов для твердотельных накопителей налаживают производственные процессы, готовясь к массовому выпуску накопителей нового поколения, которые появятся на рынке в 2025.

Увеличение заказов корпоративных SSD от пользователей ИИ-серверов привело к росту контрактных цен на эту категорию товаров на более чем 80 % с IV квартала 2023 года по III квартал 2024. При этом SSD играют ключевую роль в развитии ИИ, поскольку только они годятся для эффективной работы с моделями. Помимо собственно хранения данных модели они также нужны для создания контрольных точек во время обучения, чтобы в случае сбоев можно было быстро «откатить» модель и возобновить обучение.

Благодаря высокой скорости записи и чтения, а также повышенной надёжности в сравнении с HDD, для тренировки моделей обычно выбирают TLC-накопители ёмкостью 4–8 Тбайт. Эффективность RAG и больших языковых моделей (LLM), особенно для генерации медиаконтента, зависят и от ёмкости, и от производительности накопителей, поэтому для инференса более предпочтительны TLC/QLC-накопители ёмкостью от 16 Тбайт.

Источник изображения: TrendForce

Со II квартала 2024 года спрос на SSD для ИИ-серверов ёмкостью больше 16 Тбайт значительно вырос. С повышением доступности ускорителей NVIDIA H100/H20/H200 клиенты начали наращивать спрос и на TLC SSD на 4 и 8 Тбайт. В агентстве считают, что закупочная ёмкость SSD для в 2024 году превысит 45 Эбайт, а в следующие несколько лет спрос на серверные SSD будет увеличиваться более чем на 60 % ежегодно. В частности, на SSD для ИИ-нагрузок потенциально уйдёт до 9 % всей NAND-памяти в 2025, тогда как в 2024 году этот показатель, как ожидается, составит 5 %.

Команда Эдинбургского университета активно лоббирует выделение учреждению £800 млн ($1,02 млрд) для строительства суперкомпьютера экзафлопсного класса. Ранее новое британское правительство фактически отказалось продолжать реализацию некогда уже одобренного проекта, ссылаясь на дефицит бюджета.

Ожидалось, что страна выделит почти миллиард долларов на строительство передового суперкомпьютера, причём изначально речь шла об использовании отечественных компонентов. В октябре 2023 года было объявлено, что именно Эдинбург станет пристанищем первой в Великобритании вычислительной машины экзафлопсного уровня. Суперкомпьютер должен был заработать уже в 2025 году. Университет даже успел потратить £31 млн ($38 млн) на строительство нового крыла Advanced Computing Facility.

Источник изображения: Adam Wilson/unsplash.com

Однако в начале августа 2024 года британское правительство объявило, что не будет выделять £1,3 млрд ($1,66 млрд) на ранее одобренные технологические и ИИ-проекты. На тот момент представитель Министерства науки, инноваций и технологий (Department for Science, Innovation, and Technology) заявил, что властям приходится принимать «трудные и необходимые» решения.

По данным СМИ, вице-канцлер Эдинбургского университета сэр Питер Мэтисон (Peter Mathieson) пытается лично лоббировать среди министров выделение средств на обещанный суперкомпьютер. В письме сотрудникам университета он отметил, что диалог с Министерством науки, инноваций и технологий продолжится и будет взаимодействовать с академическими и промышленными кругами для возобновления инвестиций. По словам учёного, университет десятки лет был лидером в HPC-сфере Великобритании и до сих пор остаётся центром реализации суперкомпьютерных и ИИ-проектов.

Если средства всё-таки удастся выбить у британских чиновников и система заработает, она будет в 50 раз производительнее нынешней системы ARCHER2. Тем временем в материковой Европе ведётся активная работа над собственными проектами. В частности, начались работы по строительству суперкомпьютера экзафлопсного уровня класса Jupiter на Arm-чипах и ускорителях NVIDIA. Впрочем, весной этого года Великобритания вновь присоединилась к EuroHPC, так что со временем страна сможет поучаствовать в европейских HPC-проектах.

В 2021 году выходцы из Marvell и Cavium, стоявшие в своё время за созданием серверных Arm-процессоров ThunderX, основали стартап Akeana, который на днях вышел из т.н. скрытого режима и анонсировал RISC-V ядра собственной разработки. Akeana прямо говорит, что планирует бросить вызов Arm, SiFive, Andes и другим разработчикам чипов с архитектурой RISC-V.

За три года Akeana удалось получить от крупных инвесторов, включая Kleiner Perkins, Mayfield и Fidelity, финансирование свыше $100 млн. А на этой неделе Akeana представила целую серию кастомизируемых IP-решений, в том числе три дизайна процессорных ядер с архитектурой RISC-V.

Источник здесь и далее: Akeana

Остальные решения относятся к экосистеме, которую планирует сформировать Akeana. Это система высокоскоростного интерконнекта SCI (Scalable Coherent Interconnect, совместим с AMBA CHI), блоки контроллера прерываний, IOMMU, систему кластеризации и когерентности кешей, блоки векторных и матричных вычислений для ИИ-нагрузок и многое другое, включая разнообразные микроконтроллеры и подсистемы.

Что касается процессорных дизайнов, то компания представила сразу три серии:

• Akeana 100: конфигурируемые 32-бит экономичные решения без поддержки внеочередного исполнения, от 4 до 9 стадий, способные работать в системах реального времени. Включают набор инструкций RV32IMAC_Zicsr_Zifencei_Zicbo, до 512 Кбайт памяти DCCM/ICCM, до 64 Кбайт L1-кеша для данных и инструкций, кеш L2 опционально;
• Akeana 1000: 64 бит с поддержкой многопоточности, 9-стадийный конвейер без ООО или 12-стадийный с OOO, наличие MMU, AXI/ACE (512 бит), набор инструкций RV64GCB_Zicbo, полный профиль RVA22, может использоваться в конфигурации big.LITTLE в сочетании с Akeana 5000, кеш L2 опционально;
• Akeana 5000: флагманские 64-бит ядра, поддержка многопоточности, 12-стадийный конвейер с OOO, ширина декодирования от 6 до 10, MMU, AXI/ACE (512 бит), набор инструкций RV64GCVBK_Zicbo + USH, полный профиль RVA23, режимы супервизора и гипервизора, векторные расширения (128 бит), расширения Vector Crypto, разделяемый кеш L3.

В каждой из серий анонсировано по три-четыре базовых варианта с разной функциональностью, конфигурацией и объёмами кешей. Наибольший интерес представляет, пожалуй, серия 5000, которая позиционируется в качестве достаточно мощных процессоров для использования как в ПК и ноутбуках (в последнем случае предлагается использовать гетерогенный вариант с Akeana 1000 в качестве «малых» ядер), так и в качестве серверной инфраструктурной основы.

Ядра Akeana поддерживают кластеризацию (до 8 ядер на кластер), но, к сожалению, компания пока не раскрывает пределов масштабирования, тогда как новый дизайн SiFive, как мы уже знаем, позволяет создавать процессоры с числом ядер до 256. Говорить о каких-то реальных прототипах ещё рано, но все три серии ядер Akeana уже доступны для лицензирования клиентами.

Очевидно, что экосистема RISC-V вступает в фазу активного развития: одна за другой компании-разработчики представляют всё новые и новые дизайны процессорных ядер и целых платформ, причём в широчайшем диапазоне характеристик — от экономичных микроконтроллеров до многоядерных серверных решений.

Производитель оборудования Supermicro в июне арендовал 21 МВт в ЦОД компании Prime Data Centers в Верноне (Калифорния). Datacenter Dynamics сообщает, что в докладе по форме K-8, поданным в Комиссию по ценным бумагам и биржам США (SEC), вендор объявил, что намерена сдать полученные площади и ёмкости стартапу Lambda Labs.

В докладе Supermicro упомянула, что заключила т.н. соглашение Master Colocation Services Agreement относительно дата-центра общей ёмкостью 33 МВт. Supermicro впервые заключила подобную сделку, во всяком случае публично. При этом уже отмечалось, что компания расширяет спектр своей деятельности в сфере ЦОД. Сделка сроком 10 лет оценивается в $600 млн. Сюда входят ежемесячные платежи, счета за энергию и прочие выплаты.

Эти расходы будут компенсироваться Lambda в рамках сублицензионного соглашения (помимо дополнительных ежемесячных платежей). Пока неизвестно, согласилась ли Lambda в рамках сделки покупать серверы у Supermicro. Компания помимо облака Lambda Cloud предлагает покупателям и собственные аппаратные платформы на основе оборудования Supermicro и Gigabyte, а также программный стек для ИИ-задач.

Источник изображения: Lambda Labs

Lambda намерена привлечь ещё $800 млн для экспансии на рынке дата-центров. Сегодня компания управляет ЦОД в Сан-Франциско (Калифорния) и Аллене (Техас). Стартап CoreWeave, прямой и гораздо более успешный конкурент Lambda Labs, к концу году хочет управлять уже 28 ИИ ЦОД, преимущественно в США. Но и в материковой Европе компания готова вложить $2,2 млрд в развитие своих ИИ ЦОД (и ещё £1 млрд в Великобритании). Ранее CoreWeave попыталась купить за $1 млрд своего же колокейшн-провайдера Core Scientific, но в итоге стороны подписали два 12-летних контракта по аренде мощностей.

Оператор ЦОД Equinix внедрил в дублинском дата-центре IBX технологию резервного питания от водородных элементов ESB Hydrogen Fuel Cell в составе модулей GeoPura, передаёт Datacenter Dynamics. По словам Equinix, компания стремится к внедрению экоустойчивых инфраструктурных решений и работает с ESB и GeoPura над созданием современных генераторов с питанием от водорода. Детали проекта пока не разглашаются. Сейчас Equinix управляет четырьмя IBX-ЦОД (BD1-4) и одним xScale (DB5x) в ирландской столице.

Находящаяся в государственной собственности ирландская компания ESB активно инвестирует в производство и хранение водорода помимо создания собственно ячеек. А основанная в 2019 году GeoPura совместно с Siemens разрабатывает модули питания HPU на основе топливных элементов для замены дизельных генераторов. По некоторым данным, компания привлекла £92 млн ($118 млн) от UK Infrastructure Bank, Barclays Sustainable Impact Capital, GM Ventures, SWEN Capital Partners, Siemens Energy Ventures и др.

Решение GeoPura Hydrogen Power Unit (HPU) представляет собой стандартный 20″ контейнер, заполненный водородными топливными элементами. Он обеспечивает 250 кВт (электричество), 80 кВт (тепло) и имеет ёмкость 216 кВт∙ч. Мощность можно довести до 2 МВт путём объединения несколько контейнеров. Для снабжения HPU компания производит собственный «зелёный» водород. В GeoPurа заявили, что HPU уже используют британское Министерство обороны, Balfour Beatty, National Grid и BBC. К 2033 году компания намерена внедрить более 3600 HPU.

Источник изображения: ESB

Equinix впервые опробовала водородные топливные элементы во Франкфурте в 2013 году, а в 2017-м установили ячейки Bloom в 12 дата-центрах. Также ранее водородные элементы тестировались для питания ЦОД в Сингапуре. В той или иной степени используют водород в качестве источника энергии компании Microsoft, Amazon, Nxtra, NorthC. А Honda тестирует систем из б/у ячеек для резервного питания собственного ЦОД в Калифорнии.

Источник изображения: GeoPura

Однако именно в Ирландии остро требуется внедрение новых энергетических технологий после фактического моратория на большинство новых проектов в районе Дублина. Так, Amazon, Google и Microsoft готовы построить собственные линии электропередач, чтобы не нагружать уже существующие и не лишиться ЦОД в Дублине. Одним из примеров новаторства стала Bloom Energy. Компания построит первый в Европе дата-центр с питанием только от твердооксидных топливных ячеек, работающих на газе.

«Ростелеком» купил дата-центр «Медведково» у комбинированного ЗПИФ «Рентал ПРО» (PNK Group) под управлением ООО «УК «А класс капитал», сообщили «Ведомости». «Сделка закрыта. Сейчас мы завершаем все юридические процедуры и в ближайшее время начнём эксплуатацию», — заявил глава компании Михаил Осеевский на телеконференции для инвесторов, отметив, что покупка является частью реализации стратегии по развитию кластера ЦОД.

Стоимость покупки, согласно пресс-релизу «Рентал ПРО», составила 26,28 млрд руб. Сам фонд приобрёл данный объект за 25,8 млрд руб. ЦОД, согласно более ранним сведениям, находился в управлении 3data, но в договоре была прописана возможность расторжения в случае продажи. Дата-центр уровня Tier III Design включает 4800 стойко-мест (5 кВт) при общей подведённой мощности 36 МВт, а его площадь составляет 24 тыс. м².

Источник изображений: «Рентал ПРО»

По оценке iKS-Consulting, компания «Центр хранения данных» (ЦХД, бренд «Ростелеком-ЦОД»), дочернее предприятие и оператор дата-центров «Ростелекома», в 2023 году лидировала на российском рынке ЦОД с 21,4 тыс. стойко-мест. Благодаря сделке общее количество стойко-мест под управлением группы превысило 26 тыс. В тройку лидеров также входили DataPro и IXcellerate с 6500 и 6200 стойко-мест соответственно. Всего в России насчитывается у операторов ЦОД 70 300 стойко-мест (рост год к году — 21 %).

В июне Осеевский сообщил о планах по проведению IPO «Ростелеком-ЦОД» с размещением порядка 10 % акций, отметив, что «Ростелеком» не планирует снижать свою долю в ней ниже контрольной. В настоящее время его доля в «Ростелеком-ЦОД» составляет 55,2 %. Вполне возможно, что IPO «Ростелеком-ЦОД» пройдёт этой осенью. Кроме того, «Ростелеком» сейчас занят консолидацией решений дочерних компаний, включая продуктовые линейки «РТК ЦОД», в единый коммерческий ИТ-кластер.

На рынке ИИ-облаков появился очередной провайдер. The Register сообщает, что стартап Foundry Cloud Platform (FCP) объявил о доступности своей платформы, но пока только для избранных. Компания основана в 2022 году бывшим экспертом Google DeepMind Джаредом Куинси Дэвисом (Jared Quincy Davis) и ей придётся конкурировать с Lambda Labs и CoreWeave, которые уже получили миллиарды инвестиций.

Стартап намерен сделать клиентам более интересное предложение, чем просто аренда ИИ-ускорителей в облаке. Так, клиент, зарезервировавший 1000 ускорителей на X часов, получит именно столько ресурсов, сколько заказал. Задача на самом деле не очень простая, поскольку временные отказы вычислительного оборудования возникают довольно часто, а время простоя всё равно оплачивается. В Foudry намерены решить проблему, поддерживая в готовности пул зарезервированных узлов на случай возникновения сбоев основного оборудования.

Источник изображения: Foundry Cloud Platform

При этом резервные мощности будут использоваться даже во время «дежурства» для выполнения более мелких задач, соответствующие ресурсы будут предлагаться клиентам по ценам в 12–20 раз ниже рыночных. При этом пользователь таких spot-инстансов должен быть готов к тому, что их в любой момент могут отобрать. При этом состояние текущей нагрузки будет сохранено, чтобы её можно было перезапустить. А если прямо сейчас мощный инстанс не нужен, то его можно «перепродать» другим пользователям.

Также можно задать порог стоимости покупаемых ресурсов, чтобы воспользоваться ими, когда цена на них упадёт ниже заданной. Foundry вообще делает упор именно на гибкость и доступность вычислений, ведь далеко не всем задачам нужны самый быстрые ускорители или самый быстрый отклик. Компания умышленно дистанцируется от традиционных контрактов сроком на год и более. Уже сейчас минимальный срок разовой аренды составляет всего три часа, что для индустрии совершенно нетипично.

Источник изображения: Foundry Cloud Platform

Foundry предлагает ускорители NVIDIA H100, A100, A40 и A5000 с 3,2-Тбит/с InfiniBand-фабрикой, размещённые в ЦОД уровня Tier III/IV. Облако соответствует уровню защиты SOC2 Type II и предлагает HIPAA-совместимые опции. При этом пока не ясны объёмы кластеров, предлагаемых Foundry. Возможно, именно поэтому компания сейчас очень тщательно отбирает клиентов. Другими словами, стартапу ещё рано тягаться с CoreWeave или Lambda, даже при наличии передовых и нестандартных технических решений.

Преимуществом для таких «новых облаков» стала относительная простота получения необходимого финансирования для создания больших кластеров ИИ-ускорителей. Помимо привлечения средств в ходе традиционных раундов инвестирования, компании стали занимать новые средства под залог самих ускорителей. В своё время CoreWeave удалось таким способом получить $7,5 млрд.

Пока многие компании ещё не выяснили, как оценить финансовую отдачу от внедрения ИИ. Тем не менее, поставщики инфраструктуры этот вопрос, похоже, уже решили. Ранее портал The Next Platform подсчитал, что кластер из 16 тыс. H100 обойдётся примерно в $1,5 млрд и принесёт $5,27 млрд в течение четырёх лет, если ИИ-бум не пойдёт на спад.

Консорциум компаний запустил пилотный проект облачного сервиса IceCloud на базе исландского ЦОД с необычными возможностями. The Register сообщает, что дата-центр будет полностью снабжаться возобновляемой энергией для того, чтобы его клиенты смогли достичь своих экологических, социальных и управленческих обязательств (ESG).

Проект IceCloud Integrated Services представляет собой частное облако с широкими возможностями настройки для того, чтобы предложить клиентам экономичную масштабируемую платформу, в том числе для ИИ и прочих ресурсоёмких задачах. В консорциум на равных правах входят британский поставщик ЦОД-инфраструктур Vesper Technologies (Vespertec), разработчик облачного ПО Sardina Systems и оператор Borealis Datacenter из Исландии.

Vespertec занимается созданием кастомных серверов, хранилищ и сетевых решений, в том числе стандарта OCP. Sardina отвечает за облачную платформу Fish OS. Это дистрибутив OpenStack для частных облачных сервисов, интегрированный с Kubernetes и сервисом хранения данных Ceph. Предполагается, что облачная платформа не будет имитировать AWS и Azure. Решение ориентировано на корпоративных клиентов с задачами, требующими высокой производительности, малого времени отклика и высокого уровня доступности.

Источник изображения: Robert Lukeman/unsplash.com

Таких предложений на рынке уже немало, но IceCloud на базе ЦОД Borealis Datacenter позволит клиентам использовать исключительно возобновляемую энергию и экономить на охлаждении благодаря прохладному местному климату. Выполнение компаниями-клиентами ESG-обязательств, а также снижение на 50 % энергопотребления вне периодов часов пиковых нагрузок и снижение потребления на 38 % в целом ведёт к существенному снижению стоимости эксплуатации облака, говорят авторы проекта.

Источник изображения: Vespertec

До заключения контракта на обслуживание в облаке IceCloud с клиентом ведутся переговоры для выяснения его потребностей в программном и аппаратном обеспечении и пр. После этого клиенту делается индивидуальное пакетное предложение. Перед окончательным принятием решения клиент может протестировать сервис и, если его всё устраивает, он получит персонального менеджера.

Эксперты подтверждают, что размещение ЦОД на севере имеет три ключевых преимущества. Низкие температуры окружающей среды позволяют экономить на охлаждении, обеспечивая низкий индекс PUE. Сам регион богат возобновляемой энергией и, наконец, в Исландии не так тесно в сравнении с популярными европейскими локациями ЦОД во Франкфурте, Лондоне, Амстердаме, Париже и Дублине.