В прошлом месяце компания Google анонсировала долгожданный серверный CPU на архитектуре Arm. Впрочем, как сообщает The Register, она уже оказалась третьей на рынке процессоров для ЦОД (сюда входят не только CPU, но и GPU, TPU и иные ускорители). Согласно отчёту TechInsights, компания теперь уступает только NVIDIA и Intel и давно обогнала AMD.

Источник изображения: Google

Как и другие крупные облачные операторы, IT-гигант выпускает собственные чипы TPU, шестое поколение которых было представлено на прошлой неделе. Хотя на сторону их не продают, компания заказывает огромные партии TPU для оснащения собственных ЦОД — только в прошлом году речь шла о 2 млн штук. Ключевым партнёром Google в создании кастомного «кремния» является Broadcom.

Поставки TPU нарастают с каждым поколением, следуя за ростом самой компании. После премьеры TPU v4 в 2021 году в связи с развитием больших языковых моделей (LLM) объём полупроводникового бизнеса Google значительно вырос. TPU применяются компанией для внутренних задач, а ускорители NVIDIA — для облака. В TechInsights считают, что на сегодняшний день у Google имеется крупнейшая в отрасли база установленных ИИ-ускорителей и самая масштабная ИИ-инфраструктура.

Источник изображения: TechInsights

В прошлом году на серверным рынке произошла «масштабная коррекция запасов» — гиперскейлеры увеличили срок службы оборудования, отложив замену серверов общего назначения и повысив капитальные затраты на ИИ-серверы и ускорители NVIDIA. Аналитики Omdia говорят о таких тенденциях на рынке что в прошлом, что в начале этого года. В TechInsights считают, что по итогам I квартала 2024 года Google сможет догнать или даже перегнать Intel по доле на этом рынке.

Конечно, Google — не единственная облачная компания, разрабатывающая собственные чипы. Microsoft работает над серверным CPU Azure Cobalt и ИИ-ускорителями Maia 100. AWS и вовсе годами использует собственные Arm-процессоры Graviton и ИИ-ускорители серий Trainium и Inferentia. В прошлогоднем докладе Bernstein Research сообщалось, что архитектуру Arm используют уже около 10 % серверов по всему миру, а более 50 % из них внедряется AWS. Softbank в начале 2023 года говорила о том, что Arm захватила 5 % облачного рынка.

Источник изображения: TechInsights

Впрочем, с появлением процессоров TPU V5e и TPU V5p решения Google будут использоваться всё шире из-за «взрывного роста» больших языковых моделей вроде Gemini. В 2024 году у Google появится Arm-процессор Axion. И его внедрение, по мнению TechInsights, будет происходить намного быстрее, чем Graviton, поскольку у Google уже имеется программная инфраструктура для такого чипа. Всё это необходимо компании, чтобы идти в ногу с AWS, Microsoft и, в меньшей степени, Alibaba. При этом в докладе упоминается, что рынок полупроводников для ЦОД быстро меняется — раньше на нём доминировала Intel с архитектурой x86. Теперь его структура определяется потребностями ИИ-систем.

Компания Dell анонсировала сервер PowerEdge XE9680L, предназначенный для наиболее требовательных больших языковых моделей (LLM) и крупномасштабных сред ИИ, где плотность размещения ускорителей на стойку имеет решающее значение. Новинка станет доступна во II половине 2024 года.

Сервер выполнен в форм-факторе 4U. Он может комплектоваться восемью ускорителями NVIDIA HGX B200 (Blackwell). Задействована система прямого жидкостного охлаждения (DLC). Доступны 12 слотов PCIe 5.0 полной высоты и половинной длины для установки сетевых карт и иных адаптеров/контроллеров.

«Сервер использует эффективное интеллектуальное охлаждение DLC как для CPU, так и для GPU. Эта революционная технология позволяет создать более плотную конфигурацию 4U, максимизируя вычислительную мощность при сохранении тепловой эффективности», — заявляет производитель.

Источник изображения: Dell

Отмечается, что PowerEdge XE9680L обеспечивает возможность масштабирования до 72 ускорителей Blackwell в расчёте на стойку 52U или до 64 ускорителей на стойку 48U. Прочие характеристики новинки будут обнародованы ближе к началу продаж. В ассортименте Dell уже есть 6U-сервер PowerEdge XE9680. Эта система использует процессоры Intel Xeon Sapphire Rapids. Она поддерживает установку восьми ускорителей NVIDIA H100/A100, а также AMD Instinct MI300X и Intel Gaudi3.

Корпорация Microsoft сообщила о доступности инстансов Azure ND MI300X v5 на базе ускорителей AMD Instinct MI300X. Отмечается, что это качественно новое семейство виртуальных машин, предлагающее максимально возможный объём памяти HBM и ведущей в отрасли производительности.

О подготовке инстансов ND MI300X v5 компания Microsoft объявила в ноябре прошлого года. В составе одной виртуальной машины объединены восемь ускорителей со 192 Гбайт памяти HBM3, соединённых между собой посредством Infinity Fabric 3.0, а с хостом — по PCIe 5.0. Таким образом, общий объём HBM3 достигает 1,5 Тбайт, а пропускная способность — 5,3 Тбайт/с.

Отмечается, что виртуальные машины ND MI300X v5 используют открытую программную платформу AMD ROCm, которая предоставляет полный набор инструментов и библиотек для разработки и развёртывания ИИ. Платформа ROCm поддерживает популярные фреймворки, такие как TensorFlow и PyTorch, а также ИИ-библиотеки Microsoft, включая ONNX Runtime, DeepSpeed и MSCCL. Кроме того, ROCm упрощает перенос моделей с одной платформы на другую, что обеспечивает снижение затрат.

Источник изображения: Microsoft

Компания Hugging Face портировала свои модели на ND MI300X v5 без какого-либо изменения кода. Это позволило увеличить производительность в 2–3 раза по сравнению с AMD Instinct MI250.

Стартап Scale AI, основанный в 2016 году, объявил о проведении раунда финансирования Series F, в ходе которого привлекла $1 млрд, а оценка компании составила $13,8 млрд. Сложные ИИ-модели обучаются на огромных массивах данных, для сбора и подготовки которых может потребоваться много времени. Scale AI предоставляет облачный сервис Generative AI Data Engine, который ускоряет и упрощает этот процесс.

Клиенты Scale AI указывают, данные какого типа им необходимы для обучения ИИ-моделей, после чего стартап занимается подготовкой соответствующих наборов. Кроме того, платформа Scale AI упрощает задачу разметки данных. Поддерживается работа с текстовой информацией, изображениями и аудиоматериалами, а также более специализированными данными, такими как журналы датчиков (лидаров) беспилотных автомобилей.

Источник изображения: Scale AI

Scale AI также предоставляет ряд дополнительных услуг. В их число входит сервис проверки новый сетей на наличие уязвимостей, галлюцинаций и других проблем. Для организаций государственного сектора компания разработала чат-бота Donovan, который рассчитан на работу с конфиденциальной информацией.

Программу финансирования Series F возглавила Accel. Кроме того, средства предоставили существующие инвесторы — Y Combinator, Nat Friedman, Index Ventures, Founders Fund, Coatue, Thrive Capital, Spark Capital, NVIDIA, Tiger Global Management, Greenoaks и Wellington Management. В число новых инвесторов вошли Cisco Investments, DFJ Growth, Intel Capital, ServiceNow Ventures, AMD Ventures, WCM, Amazon, Elad Gil и Meta✴. Полученные деньги будут направлены на улучшение существующих продуктов и развитие новых проектов.

Росбанк объявил о переводе IT-инфраструктуры своей процессинговой платформы на отечественные серверы нового поколения Yadro. Проект реализован совместно с компанией UCS. Речь идёт о закупке 24 систем Vegman R220 G2, которые были отгружены производителем в кратчайшие сроки — в течение четырёх недель.

Yadro Vegman R220 G2 — это двухсокетная 2U-платформа для виртуализации, HPC, облачных приложений, СУБД и других задач. Поддерживается установка двух процессоров Intel Xeon Ice Lake-SP с TDP до 270 Вт. Доступны 32 слота для модулей DDR4-3200/2933 суммарным объёмом до 8 Тбайт. Предлагаются варианты конфигурации с 12 накопителями LFF SAS/SATA (8 × NVMe) спереди и 24 фронтальными SFF-накопителями SAS/SATA (8 × NVMe). Дополнительно предусмотрены 4 посадочных места для устройств SFF SAS/SATA/NVMe сзади. Говорится о поддержке массивов RAID 0/1/10/5/50/6/60. Плюс к этому есть два коннектора M.2 SATA.

Сервер поддерживает до 10 слотов PCIe 4.0 с учетом разъёма OCP 3.0. Питание обеспечивают два блока с сертификатом Platinum мощностью до 2600 Вт. Установлены четыре вентилятора на 80 мм с горячей заменой. Упомянуты четыре сетевых порта 1GbE и выделенный порт управления. Диапазон рабочих температур — от +10 до +35 °C. Оборудование внесено в реестр радиоэлектронной продукции Минпромторга и производится на крупнейшем в России заводе полного цикла Ядро Фаб Дубна.

Источник изображения: Yadro

«Росбанк постоянно находится в поиске новых продуктовых предложений и решений в области процессинга, способов их реализации и вывода на рынок. Современная аппаратная инфраструктура — фундамент этой системы, поэтому мы выбрали компанию Yadro, доверенного отечественного разработчика и производителя вычислительных платформ», — говорит директор департамента IT-инфраструктуры Росбанка.

Компания Fplus анонсировала первый, по её словам, российский сервер, поддерживающих установку четырёх процессоров. Система под названием «Буран-SR242» (SR-242E31-624T) предназначена для решения ИИ-задач, работы с большими данными, создания цифровых двойников, НРС-нагрузок и пр. Сервер выполнен в форм-факторе 2U на платформе Intel Xeon Sapphire Rapids.

Каждый из четырёх процессоров (TDP до 350 Вт) может насчитывать до 60 ядер. Поддерживается до 16 Тбайт оперативной памяти DDR5 в виде 64 модулей. Во фронтальной части располагаются 24 отсека для SFF-накопителей SAS/SATA/NVMe, а сзади находятся ещё два посадочных места для SFF-устройств SATA. Кроме того, можно установить два модуля M.2 SATA/NVMe объёмом до 4 Тбайт каждый. Упомянута поддержка массивов RAID 0/1/10/1E/5/50/6/60.

По заявлениям Fplus, новинка сконструирована так, чтобы заказчики могли легко интегрировать её в уже существующую IT-инфраструктуру. Четырехсокетное исполнение позволяет наращивать производительность постепенно и таким образом уменьшать размер первоначальных инвестиций, говорит компания. Кроме того, возможна установка двух двухслотовых карт расширения с TDP до 300 Вт.

Источник изображений: Fplus

Слоты расширения выполнены по схеме 6 × PCIe 5.0 и 2 × PCIe 4.0. Есть выделенный порт PCIe 5.0 для карты OCP 3.0. Питание обеспечивают два блока с сертификатом Platinum мощностью до 2700 Вт. За охлаждение отвечают шесть вентиляторов диаметром 60 мм с резервированием N+1 и возможностью горячей замены. Диапазон рабочих температур простирается от 10 до +35 °C.

Fplus полностью контролирует процесс разработки и производства сервера, а на площадке компании реализуются меры по повышению качества конечной продукции. Физические модули TPM 2.0 (Trust Platform Module) и TCM 2.0 (Trusted Cryptography Module) служат для хранения криптографических ключей, применяемых при обновлении внутреннего ПО.

«Выпускать "Бураны" будут на нескольких площадках в России, в том числе на заводе Fplus в Подмосковье. Производственный процесс выстроен с учётом балльной системы локализации, чтобы в дальнейшем устройства вошли в реестр Минпромторга», — отмечает компания. Говорится также, что до сих пор в сегменте четырёхсокетных серверов доминировали зарубежные производители — почти все объёмы закрывались параллельным импортом. Системы с поддержкой четырёх процессоров также есть в ассортименте «DатаРу».

Ускоритель Intel Ponte Vecchio на базе архитектуры Xe стал настоящим технологическим чудом, объединив 47 чиплетов в своей сложнейшей, многослойной компоновке на базе EMIB и Foveros. Увы, амбициозный ускоритель задержался: анонсирован он был в 2019 году, но его массовое производство было налажено только к 2023 году.

Он продолжит трудиться в уже построенных суперкомпьютерах — в свежем TOP500 система Aurora, использующая данные ускорители, добралась до второго места, хотя постройка машины была завершена почти год назад. Однако новых ускорителей на базе этого решения не будет — проект Rialto Bridge свернут, да и жизненный цикл Ponte Vecchio подходит к концу.

Эту архитектуру погубил именно замах: Ponte Vecchio был задуман как универсальный ускоритель, способный эффективно работать практически со всеми существующими форматами вычислений, от полновесного FP64 до характерных для ИИ FP16, BF16 и INT8. Но решения NVIDIA и AMD успели уйти вперёд, появились и более узкоспециализированные ИИ-решения.

Источник изображений: Intel

Причём последние появились и у самой Intel: с приобретением активов Habana Labs компания получила перспективную ИИ-архитектуру Gaudi. С точки зрения рыночных перспектив она оказалась куда лучше Ponte Vecchio, уже во втором поколении чипов успешно сражаясь с решениями NVIDIA, особенно в области удельной производительности. И в области ИИ-ускорителей Intel теперь делает ставку именно на Gaudi3.

В Falcon Shores компания намерена совместить несколько подходов. Согласно последним данным, новинка будет включать в себя элементы архитектур Xe и Gaudi, получит модульный дизайн, поддержку современных ИИ-фреймворков и будет использовать масштабируемые интерфейсы ввода-вывода и HBM3e. Выпуск Falcon Shores намечен на 2025 год. Intel намеревается сфокусировать своё внимание на рынке корпоративных ИИ-систем, для чего планируется как можно быстрее расширять рыночную нишу Gaudi. Однако для рынка HPC ведущей связкой пока останется Xeon с ускорителями серии Max.

Следует отметить, что фокус на специфичных для ИИ архитектурах не означает экономичность. Если самый быстрый вариант Ponte Vecchio в лице OAM-ускорителя Data Center GPU Max 1550 имеет TDP 600 Вт, то у Gaudi3 даже с воздушным охлаждением этот показатель вырастет до 900 Вт. Это вынуждает использовать формат OAM 2.0, но для Falcon Shores и он не подойдёт — Intel говорит уже 1500 Вт, что больше, нежели у NVIDIA Blackwell с его 1200 Вт.

Базирующаяся в ОАЭ компания Core42 занялась строительством ИИ-суперкомпьютера, в эксплуатацию объект должны ввести до конца текущего года. HPC Wire сообщает, что компьютер Condor Galaxy 3 (CG-3) получит 192 узла с 5-нм мегачипами Cerebras WSE-3 и 172,8 млн ИИ-ядер.

WSE-3 в 50 раз крупнее актуальных ИИ-ускорителей NVIDIA и, конечно, гораздо производительнее. По данным Core42, развёртывание CG-3 в Далласе (Техас) начнётся в июне и завершится в сентябре–октябре. Core42 уже считается значимым игроком на рынке ЦОД, HPC- и ИИ-систем. Машины G42 уже попадали в TOP500 — это системы Artemis (NVIDIA) и POD3 (Huawei). Последняя покинула рейтинг в 2023 году.

Суперкомпьютер CG-3, как теперь сообщается, получит 192 узла CS-3. Каждый узел с чипом WSE-3 обеспечивает до 125 Пфлопс (FP16 с разрежением), так что общая производительность Condor Galaxy 3 составит 24 Эфлопс. Всего же Cerebras намеревается построить девять суперкомпьютеров семейства Condor Galaxy. Машины GC-1 и GC-2 на базе чипов WSE-2 также созданы при участии G42.

Источник изображения: Cerebras

Core42 появилась в 2023 году в результате слияния G42 Cloud и G42 Inception AI. Родительская компания G42, основанная в 2018 году, также сотрудничает с NVIDIA, AMD, OpenAI и другими компаниями. G42 не так давно попала под пристальное внимание американских властей. Её подозревали в том, что она помогала Китаю получать доступ к новейшим ускорителям NVIDIA и другому ИИ-оборудованию американских компаний. В результате, как считается, она была вынуждена отказать от сотрудничества с Huawei.

Также сообщалось, что G42 заключила с американским правительством взаимовыгодное секретное соглашение — компания обязалась лишить КНР доступа к ускорителям, а в ответ ей самой разрешали сохранить доступ к продукции NVIDIA. Не исключено, что были оговорены и иные пункты. По некоторым данным, именно в то же время, когда было заключено соглашение с руководством США, Microsoft инвестировала в G42 около $1,5 млрд.

В I квартале 2024 года объём производства российских оптоволоконных кабелей в натуральном выражении составил приблизительно 842 тыс. км. Это на 11 % меньше по сравнению с прошлогодним результатом, о чём сообщает газета «Коммерсантъ», ссылаясь на данные профильной ассоциации «Электрокабель».

Говорится, что спрос на оптоволокно в России в годовом исчислении упал на 1 % — до 855 тыс. км. При этом в деньгах продажи уменьшились на примерно на 4 %, составив 2,7 млрд руб. Эксперты объясняют ситуацию несколькими причинами. Объём производства в РФ упал из-за сокращения числа государственных проектов, связанных с использованием оптоволоконного кабеля. Кроме того, увеличились поставки китайской продукции — на 5 % в 2023-м. Плюс к этому закупки оптоволокна телекоммуникационными компаниями в целом в I квартале снизились на 15–20 %.

По оценкам, в 2023 году общий объём производства оптоволоконных кабелей в России составил 4,45 млн км, что на 2 % больше результата за предыдущий год. В деньгах рынок вырос на 25 % — до 13,8 млрд руб. В 2022 году на фоне сложившейся геополитической обстановки объём потребления оптоволокна снизился на 30 % из-за санкций и задержек с поставками оборудования. В 2023-м проблемы удалось частично решить, но достигнуть уровня 2021 года (около 4,7 млн км) всё равно не получилось.

В «МегаФоне» и МТС отмечают, что работают только с поставщиками из России и Белоруссии, в «ВымпелКоме» — «преимущественно с отечественными производителями». Однако эксперты подчёркивают, что частные операторы, хотя и покупают отечественный кабель, но тот, который произведён из зарубежного волокна. Дело в том, что российское волокно дороже импортного, а участники рынка в сложной макроэкономической обстановке вынуждены экономить.

Ранее говорилось, что на импортозамещение оптоволокна в РФ понадобится 20 млрд руб. В частности, Минпромторг объявил тендер на сумму от 1,09 млрд руб. на проведение опытно-конструкторских работ по созданию отечественной технологии выпуска кварцевых заготовок (преформ) для оптоволокна. Вместе с тем Федеральная антимонопольная служба (ФАС) России предлагает организовать в стране запуск полного цикла производства оптоволокна.

С 2023 года стремительно растёт доля строящихся в Северной Америке дата-центров, которые бронируются ещё до того, как они готовы к эксплуатации. The Register сообщает, что в I квартале текущего года речь шла уже о 84 % предварительно забронированной ёмкости.

По данным CBRE за 2023 год, более 2,5 ГВт (83 %) из 3 ГВт строящихся мощностей уже арендованы. Эта тенденция сохранится и в 2024 году. Так, в I квартале 2024 года доля таких ЦОД составила уже 84,3 % от общей ёмкости. Ранее этот показатель был ближе к 50 %, а теперь речь, вероятно, идёт о рекорде как минимум с 2020 года. Спрос в Европе тоже достиг рекордных показателей, взрывной рост заблаговременной аренды начался во II квартале 2023 года.

При этом строительство ЦОД выросло на 46 % в 2023 году в сравнении с 2022-м, а фактическое предложение увеличилось на 26 %. В уже существующих дата-центрах свободно лишь порядка 3,7 % ёмкости — это не антирекорд всех времён, но довольно близко к этому. При этом далеко не все владельцы кампусов горят желанием продлять договоры на прежних условиях, многие предпочитают освобождать ёмкости для сдачи уже по новым, максимально высоким ценам. Поскольку спрос весьма высок, стоимость аренды выросла в 2022 году на 14,5 % в сравнении с предшествовавшим годом, а в 2023 взлетела на 18,6 %.

При этом новые ЦОД вряд ли значительно упростят ситуацию для потенциальных арендаторов, поскольку выросла цена строительства с учётом дефицита критически важных материалов вроде генераторов, систем охлаждения и трансформаторов. Правда, сам дефицит оборудования, по слухам, напрямую связан именно с ростом темпов строительства. И, конечно, строительство новых дата-центров происходит не так уж быстро — обычно на реализацию проекта уходит от года до трёх.

Возможность строить много ЦОД во многом зависит от готовности инвестировать в такие проекты. Крупные компании вроде Microsoft намерены резко нарастить ёмкость своих объектов, хотя в масштабах рынка потребуется намного больше средств, чем готовы выделить компании. В CBRE ожидают, что в долгосрочной перспективе вложения окупятся с учётом ежегодного совокупного увеличения выручки от ИИ-решения на 58 % (по оценкам S&P Market Intelligence). Впрочем, если прогнозы не оправдаются, вряд ли спрос на новые мощности ЦОД останется на прежнем высоком уровне.