В прошлом месяце компания Google анонсировала долгожданный серверный CPU на архитектуре Arm. Впрочем, как сообщает The Register, она уже оказалась третьей на рынке процессоров для ЦОД (сюда входят не только CPU, но и GPU, TPU и иные ускорители). Согласно отчёту TechInsights, компания теперь уступает только NVIDIA и Intel и давно обогнала AMD.

Источник изображения: Google

Как и другие крупные облачные операторы, IT-гигант выпускает собственные чипы TPU, шестое поколение которых было представлено на прошлой неделе. Хотя на сторону их не продают, компания заказывает огромные партии TPU для оснащения собственных ЦОД — только в прошлом году речь шла о 2 млн штук. Ключевым партнёром Google в создании кастомного «кремния» является Broadcom.

Поставки TPU нарастают с каждым поколением, следуя за ростом самой компании. После премьеры TPU v4 в 2021 году в связи с развитием больших языковых моделей (LLM) объём полупроводникового бизнеса Google значительно вырос. TPU применяются компанией для внутренних задач, а ускорители NVIDIA — для облака. В TechInsights считают, что на сегодняшний день у Google имеется крупнейшая в отрасли база установленных ИИ-ускорителей и самая масштабная ИИ-инфраструктура.

Источник изображения: TechInsights

В прошлом году на серверным рынке произошла «масштабная коррекция запасов» — гиперскейлеры увеличили срок службы оборудования, отложив замену серверов общего назначения и повысив капитальные затраты на ИИ-серверы и ускорители NVIDIA. Аналитики Omdia говорят о таких тенденциях на рынке что в прошлом, что в начале этого года. В TechInsights считают, что по итогам I квартала 2024 года Google сможет догнать или даже перегнать Intel по доле на этом рынке.

Конечно, Google — не единственная облачная компания, разрабатывающая собственные чипы. Microsoft работает над серверным CPU Azure Cobalt и ИИ-ускорителями Maia 100. AWS и вовсе годами использует собственные Arm-процессоры Graviton и ИИ-ускорители серий Trainium и Inferentia. В прошлогоднем докладе Bernstein Research сообщалось, что архитектуру Arm используют уже около 10 % серверов по всему миру, а более 50 % из них внедряется AWS. Softbank в начале 2023 года говорила о том, что Arm захватила 5 % облачного рынка.

Источник изображения: TechInsights

Впрочем, с появлением процессоров TPU V5e и TPU V5p решения Google будут использоваться всё шире из-за «взрывного роста» больших языковых моделей вроде Gemini. В 2024 году у Google появится Arm-процессор Axion. И его внедрение, по мнению TechInsights, будет происходить намного быстрее, чем Graviton, поскольку у Google уже имеется программная инфраструктура для такого чипа. Всё это необходимо компании, чтобы идти в ногу с AWS, Microsoft и, в меньшей степени, Alibaba. При этом в докладе упоминается, что рынок полупроводников для ЦОД быстро меняется — раньше на нём доминировала Intel с архитектурой x86. Теперь его структура определяется потребностями ИИ-систем.

«Ростелеком — Центры обработки данных (ЦОД)» и правительство Нижегородской области пришли к соглашению, предусматривающему увеличение мощности принадлежащего оператору дата-центра. Сотрудничество областных властей и оператора предполагает создание базы для IT-инфраструктуры в рамках национального проекта «Цифровая экономика», утверждённого президентом России.

По словам главы области, особое внимание при взаимодействии будет уделяться совместной образовательной и научной деятельности, подготовка специалистов в области информационных технологий станет осуществляться на базе профильного кампуса «НЕЙМАРК», также будет организовано развитие технологий искусственного интеллекта.

Источник изображения: Scott Graham/unsplash.com

Помимо подготовки квалифицированных специалистов, предусмотрено и развитие уже действующего ЦОД благодаря увеличению его ёмкости с 440 до 1 тыс. стойко-мест. Всего «РТК-ЦОД» принадлежит 22 дата-центра. Согласно отчёту iKS-Consulting, компания является лидером как по количеству стойко-мест, так и на облачном рынке России. Осень 2024 года оператор намерен провести IPO.

Компания Dell анонсировала сервер PowerEdge XE9680L, предназначенный для наиболее требовательных больших языковых моделей (LLM) и крупномасштабных сред ИИ, где плотность размещения ускорителей на стойку имеет решающее значение. Новинка станет доступна во II половине 2024 года.

Сервер выполнен в форм-факторе 4U. Он может комплектоваться восемью ускорителями NVIDIA HGX B200 (Blackwell). Задействована система прямого жидкостного охлаждения (DLC). Доступны 12 слотов PCIe 5.0 полной высоты и половинной длины для установки сетевых карт и иных адаптеров/контроллеров.

«Сервер использует эффективное интеллектуальное охлаждение DLC как для CPU, так и для GPU. Эта революционная технология позволяет создать более плотную конфигурацию 4U, максимизируя вычислительную мощность при сохранении тепловой эффективности», — заявляет производитель.

Источник изображения: Dell

Отмечается, что PowerEdge XE9680L обеспечивает возможность масштабирования до 72 ускорителей Blackwell в расчёте на стойку 52U или до 64 ускорителей на стойку 48U. Прочие характеристики новинки будут обнародованы ближе к началу продаж. В ассортименте Dell уже есть 6U-сервер PowerEdge XE9680. Эта система использует процессоры Intel Xeon Sapphire Rapids. Она поддерживает установку восьми ускорителей NVIDIA H100/A100, а также AMD Instinct MI300X и Intel Gaudi3.

Корпорация Microsoft сообщила о доступности инстансов Azure ND MI300X v5 на базе ускорителей AMD Instinct MI300X. Отмечается, что это качественно новое семейство виртуальных машин, предлагающее максимально возможный объём памяти HBM и ведущей в отрасли производительности.

О подготовке инстансов ND MI300X v5 компания Microsoft объявила в ноябре прошлого года. В составе одной виртуальной машины объединены восемь ускорителей со 192 Гбайт памяти HBM3, соединённых между собой посредством Infinity Fabric 3.0, а с хостом — по PCIe 5.0. Таким образом, общий объём HBM3 достигает 1,5 Тбайт, а пропускная способность — 5,3 Тбайт/с.

Отмечается, что виртуальные машины ND MI300X v5 используют открытую программную платформу AMD ROCm, которая предоставляет полный набор инструментов и библиотек для разработки и развёртывания ИИ. Платформа ROCm поддерживает популярные фреймворки, такие как TensorFlow и PyTorch, а также ИИ-библиотеки Microsoft, включая ONNX Runtime, DeepSpeed и MSCCL. Кроме того, ROCm упрощает перенос моделей с одной платформы на другую, что обеспечивает снижение затрат.

Источник изображения: Microsoft

Компания Hugging Face портировала свои модели на ND MI300X v5 без какого-либо изменения кода. Это позволило увеличить производительность в 2–3 раза по сравнению с AMD Instinct MI250.

Дебютировал одноплатный компьютер Radxa Zero 3E, выполненный на аппаратной платформе Rockchip. Как сообщает ресурс CNX Software, новинка имеет форм-фактор Raspberry Pi Zero 2W с габаритами 65 × 30 мм. Приём заказов на устройство уже начался.

Задействован чип RK3566, содержащий четыре ядра Cortex-A55 с тактовой частотой до 1,6 ГГц и графический блок Arm Mali-G52 с поддержкой OpenGL ES 1.1/2.0/3.2, Vulkan 1.1, OpenCL 2.0. Есть NPU-узел с быстродействием 0,8 TOPS. Возможна обработка видеоматериалов 4Kp60 H.265/H.264/VP9.

Источник изображения: CNX Software

Изделие может оснащаться 1, 2, 4 или 8 Гбайт оперативной памяти LPDDR4. Для хранения данных может быть использована карта microSD. В оснащение входит сетевой контроллер 1GbE на базе RTL8211F-CG (разъём RJ-45) с опциональной поддержкой РоЕ. Присутствуют выход Micro-HDMI, порты USB 3.0 Type-C и USB 2.0 Type-C OTG.

Имеются интерфейс камеры MIPI CSI (4 линии) с поддержкой Raspberry Pi Camera V1.3 (OV5647) и Raspberry Pi Camera V2 (IMX219), а также 40-контактная колодка GPIO (28 × GPIO, 5 × UART, 1 × SPI, 2 × I2C, PCM/I2S, 6 × PWM, 5 В, 3,3 В, GND). Питание подаётся через разъём USB 2.0 Type-C (5 В / 2 А).

Указана стоимость модификаций Radxa Zero 3E с 1, 2 и 4 Гбайт ОЗУ — приблизительно $16, $21 и $31. Модуль Radxa 3E PoE HAT обойдётся ещё в $10.

Стартап Scale AI, основанный в 2016 году, объявил о проведении раунда финансирования Series F, в ходе которого привлекла $1 млрд, а оценка компании составила $13,8 млрд. Сложные ИИ-модели обучаются на огромных массивах данных, для сбора и подготовки которых может потребоваться много времени. Scale AI предоставляет облачный сервис Generative AI Data Engine, который ускоряет и упрощает этот процесс.

Клиенты Scale AI указывают, данные какого типа им необходимы для обучения ИИ-моделей, после чего стартап занимается подготовкой соответствующих наборов. Кроме того, платформа Scale AI упрощает задачу разметки данных. Поддерживается работа с текстовой информацией, изображениями и аудиоматериалами, а также более специализированными данными, такими как журналы датчиков (лидаров) беспилотных автомобилей.

Источник изображения: Scale AI

Scale AI также предоставляет ряд дополнительных услуг. В их число входит сервис проверки новый сетей на наличие уязвимостей, галлюцинаций и других проблем. Для организаций государственного сектора компания разработала чат-бота Donovan, который рассчитан на работу с конфиденциальной информацией.

Программу финансирования Series F возглавила Accel. Кроме того, средства предоставили существующие инвесторы — Y Combinator, Nat Friedman, Index Ventures, Founders Fund, Coatue, Thrive Capital, Spark Capital, NVIDIA, Tiger Global Management, Greenoaks и Wellington Management. В число новых инвесторов вошли Cisco Investments, DFJ Growth, Intel Capital, ServiceNow Ventures, AMD Ventures, WCM, Amazon, Elad Gil и Meta✴. Полученные деньги будут направлены на улучшение существующих продуктов и развитие новых проектов.

Корпорация Microsoft анонсировала предварительные версии новых инстансов Azure на собственных процессорах Azure Cobalt 100. Пользователи могут выбирать между версиями общего назначения (семейство Dpsv6 и Dplsv6) и конфигурациями, оптимизированными для приложений в памяти (семейство Epsv6).

Чипы Cobalt 100 дебютировали в ноябре 2023 года. Они насчитывают 128 ядер Armv9 Neoverse N2 (Perseus). По заявлениям Microsoft, по сравнению с ранее использовавшимися в инфраструктуре Azure чипами Arm изделия Azure Cobalt 100 обеспечивают повышение CPU-производительности в 1,4 раза. Рост быстродействия при рабочих нагрузках на основе Java достигает 1,5 раза, на веб-серверах — 2 раз. Ранее в Azure были доступны Arm-процессоры Ampere Altra.

Источник изображения: Microsoft

Инстансы Dpsv6 и Dpdsv6 предназначены для эффективного выполнения масштабируемых рабочих нагрузок и облачных задач. Эти решения хорошо подходят для малых и средних баз данных с открытым исходным кодом, серверов приложений и веб-серверов, говорит компания. Dplsv6 и Dpldsv6 ориентированы на кодирование мультимедийных данных, игровые серверы, микросервисы и другие рабочие нагрузки, не требующие большего объема оперативной памяти. Инстансы Epsv6 и Epdsv6 способны справляться с крупными базами данных, корпоративными приложениями с высоким объёмом требуемой памяти и пр.

Серия Dpsv6 предлагает до 96 vCPU с 384 Гбайт оперативной памяти (соотношение RAM к vCPU — 4:1). Семейство Dplsv6 также включает до 96 vCPU, но объём памяти составляет до 192 Гбайт (2:1). В свою очередь, Epsv6 предлагают до 96 vCPU и до 672 Гбайт RAM (8:1). Все эти варианты доступны с локальным хранилищем и без него. Инстансы доступны в регионах Central US, East US, East US 2, North Europe, Southeast Asia, West Europe и West US 2. В режиме превью сами инстансы будут бесплатны.

Все виртуальные машины можно разворачивать, используя привычные инструменты, включая портал Azure, SDK, API, PowerShell и CLI. Говорится о совместимости с широким спектром дистрибутивов Linux, в том числе Canonical Ubuntu, CentOS, Debian, Red Hat Enterprise Linux, SUSE Enterprise Linux, Alma Linux, Azure Linux, Flatcar Linux и пр. Также компания подготовила Insider-сборки Windows 11 Pro и Enterprise, расширила возможности Visual Studio и оптимизировала сборки .NET 8 и OpenJDK.

AMD продолжает активно расширять серию серверных процессоров EPYC, причём не только «вверх», но и «вниз». Первой ласточкой стал выпуск упрощённых моделей EPYC 8004 Siena с ядрами Zen4c для периферийных вычислений, а сегодня компания анонсировала ещё более доступные односокетные EPYC 4004, стоимость которых начинается со $149.

EPYC 4004 целиком построены на базе Ryzen 7000 и используют тот же разъём AM5. Этим анонсом AMD закрывает ещё одну нишу — серверные системы начального уровня, где Intel выступает с модельным рядом Xeon E. Позиционируются такие системы либо как компактные и энергоэффективности решения, например, для выделенных серверов с минимальной удельной стоимостью, либо как корпоративные платформы начального уровня для малого бизнеса.

Источник изображений: AMD

В таких системах ничто не мешает использовать Ryzen 7000, что и делают многие вендоры. Более того, многие уже выпустили обновления BIOS/UEFI, добавляющие таким системам поддержку EPYC 4004. Однако формально Ryzen никогда не были серверным продуктом и, например, лишены поддержки RDIMM. Речь по-прежнему идёт о двухканальной DDR5-5200 в небуферизированных модулях UDIMM. Максимальный объём ограничен 192 Гбайт, но у Xeon E-2400 он ещё меньше и составляет всего 128 Гбайт, да к тому же DDR5-4800. Процессоры предоставляют в распоряжение системы 28 линий PCI Express 5.0, что, больше, чем у Xeon E-2400, насчитывающего всего 16 таких линий.

По сути, AMD EPYC 4004 являются перемаркированными Ryzen 7000 с Zen4-ядрами, однако есть отличия: младшая 4-ядерная модель 4124P не имеет «потребительского» аналога. Максимальное количество ядер по-прежнему 16, причём в двух вариантах — 4584PX с 3D V-Cache (128 Мбайт L3-кеша) и обычном 4564P (64 Мбайт L3-кеша). В турборежиме оба флагмана могут разгоняться до 5,7 ГГц, но базовое значение у 4564P выше (4,5 ГГц), ценой повышенного со 120 до 170 Вт теплопакета. Внутри это по-прежнему чиплетные решения с 6-нм IO-блоком, одним-двумя кристаллами с восемью 5-нм ядрами и графикой RDNA2.

Вся «серверность» EPYC 4004 сводится к поддержке внешнего BMC-контроллера, возможности создания программных RAID-массивов в RAIDXpert2 for Server и совместимости с современными серверными ОС. Однако у новинок в сравнении с E-2400 есть бонус в виде поддержки AVX-512. Как показывают результаты тесто Phoronix, флагманские модели AMD EPYC 4004 в среднем почти вдвое опережают старший Xeon E-2488, а стоят при этом ненамного больше.

Источник: Phoronix

У AMD на этот раз определённо получилось очень удачное решение, аналогов которому по сочетанию стоимости и производительности у конкурента просто нет. Определённую опасность для EPYC 4004 могли бы представлять процессоры Xeon D-2800, имеющие до 22 ядер и полноценную поддержку AVX-512, но это специфические решения для сетевых систем и серверов периферийных вычислений, имеющие существенно более высокую стоимость.

Росбанк объявил о переводе IT-инфраструктуры своей процессинговой платформы на отечественные серверы нового поколения Yadro. Проект реализован совместно с компанией UCS. Речь идёт о закупке 24 систем Vegman R220 G2, которые были отгружены производителем в кратчайшие сроки — в течение четырёх недель.

Yadro Vegman R220 G2 — это двухсокетная 2U-платформа для виртуализации, HPC, облачных приложений, СУБД и других задач. Поддерживается установка двух процессоров Intel Xeon Ice Lake-SP с TDP до 270 Вт. Доступны 32 слота для модулей DDR4-3200/2933 суммарным объёмом до 8 Тбайт. Предлагаются варианты конфигурации с 12 накопителями LFF SAS/SATA (8 × NVMe) спереди и 24 фронтальными SFF-накопителями SAS/SATA (8 × NVMe). Дополнительно предусмотрены 4 посадочных места для устройств SFF SAS/SATA/NVMe сзади. Говорится о поддержке массивов RAID 0/1/10/5/50/6/60. Плюс к этому есть два коннектора M.2 SATA.

Сервер поддерживает до 10 слотов PCIe 4.0 с учетом разъёма OCP 3.0. Питание обеспечивают два блока с сертификатом Platinum мощностью до 2600 Вт. Установлены четыре вентилятора на 80 мм с горячей заменой. Упомянуты четыре сетевых порта 1GbE и выделенный порт управления. Диапазон рабочих температур — от +10 до +35 °C. Оборудование внесено в реестр радиоэлектронной продукции Минпромторга и производится на крупнейшем в России заводе полного цикла Ядро Фаб Дубна.

Источник изображения: Yadro

«Росбанк постоянно находится в поиске новых продуктовых предложений и решений в области процессинга, способов их реализации и вывода на рынок. Современная аппаратная инфраструктура — фундамент этой системы, поэтому мы выбрали компанию Yadro, доверенного отечественного разработчика и производителя вычислительных платформ», — говорит директор департамента IT-инфраструктуры Росбанка.

Компания AAEON анонсировала, как утверждается, самый компактный в мире компьютер для периферийных вычислений с процессором Intel Core. Устройство под названием de next-TGU8-EZBOX выполнено на платформе Tiger Lake, а в качестве ОС может применяться Windows 10 или Ubuntu 20.04.4 (Kernel 5.13).

Новинка заключена в корпус с габаритами 95,5 × 69,5 × 45,4 мм в модификации с активным кулером. При использовании радиатора охлаждения толщина уменьшается до 42,5 мм. Может быть задействован чип Core i7-1185G7E (4C/8T, 1,8 ГГц, 15 Вт), Core i5-1145G7E (4C/8T, 1,5 ГГц, 15W) или Core i3-1115G4E (2C/4T, 2,2 ГГц, 15 Вт). Объём оперативной памяти LPDDR4x-3733 достигает 16 Гбайт.

Источник изображений: AAEON

Компьютер оборудован контроллерами Intel I225/I226 2.5GbE и Intel I219 1GbE с разъёмами RJ-45 для подключения кабелей, коннектором M.2 2280 для SSD с интерфейсом PCIe 4.0 x2, двумя портами USB 3.2 Gen2 и интерфейсом HDMI 1.4b с поддержкой разрешения до 3840 × 2160 пикселей (30 Гц). Имеется также разъём для подачи питания (12 В). Судя по всему, в основе новинки лежит вариант платы AAEON de next-TGU8 двухлетней давности.

Диапазон рабочих температур — от -10 до +50 °C. Использовать устройство можно, например, в качестве IoT-шлюза в ограниченных пространствах. Возможен вывод изображения только на один дисплей.