Компания Lenovo на выставке MWC 2024 анонсировала новые серверы, предназначенные для решения ИИ-задач и организации периферийных вычислений. Демонстрируются модели ThinkEdge SE455 V3, ThinkEdge SE350 V2 и ThinkEdge SE360 V2.

Первая из перечисленных новинок построена на платформе AMD EPYC 8004 Siena с возможностью установки одного процессора с показателем TDP до 225 Вт. Устройство выполнено в формате 2U с глубиной 438 мм. Есть шесть слотов для модулей DDR5-4800, по четыре внешних и внутренних отсека для накопителей SFF (SATA или NVMe). Доступны до шести слотов PCIe — 2 × PCIe 5.0 x16 и 4 × PCIe 4.0 x8. Предусмотрены также два коннектора для SSD типоразмера M.2.

Серверы ThinkEdge SE350 V2 и ThinkEdge SE360 V2 выполнены в формате 1U и 2U соответственно. Они рассчитаны на установку одного процессора Intel Xeon D-2700 с TDP до 100 Вт. Первая из этих моделей позволяет задействовать до четырёх SFF-накопителей NVMe/SATA толщиной 7 мм и два SFF-устройства NVMe толщиной 15 мм. Слоты расширения PCIe не предусмотрены. Второй сервер может быть оборудован двум SFF-накопителями NVMe/SATA толщиной 7 мм и восемью устройствами M.2 2280/22110 (NVMe). Имеются два слота PCIe 4.0 x16.

Представлены также компьютеры небольшого форм-фактора ThinkEdge SE10 и ThinkEdge SE30 для промышленной автоматизации, IoT-приложений и пр. Эти устройства оснащаются процессорами Intel — вплоть до Atom x6425RE и Core i5-1145GRE соответственно. Первый из этих компьютеров может быть оснащён одним накопителем M.2 PCIe SSD вместимостью до 1 Тбайт, второй — двумя. Ребристая поверхность корпуса выполняет функции радиатора для отвода тепла.

Стартап SambaNova Systems представил Samba-1, модель генеративного ИИ с 1 трлн параметров, предназначенную для использования предприятиями. SambaNova описывает новую модель как «объединение экспертных архитектур» (Composition of Experts, CoE), которое включает более 50 открытых моделей генеративного ИИ высочайшего качества, в том числе Llama2 7B/13B/70B, Mistral 7B, DeepSeek Coder 1.3B/6.7B/33B, Falcon 40B, DePlot, CLIP, Llava.

В частности, Llama 2 может генерировать текст, создавать программный код и решать математические задачи. Есть и более специализированные LLM, такие как DePlot от Google, которая может вводить информацию из диаграмм и других визуализаций данных в электронную таблицу. Samba-1 уже используется клиентами и партнёрами SambaNova, включая Accenture и NetApp.

Источник изображений: SambaNova

SambaNova позиционирует Samba-1 как первую модель с 1 трлн параметров для предприятий с регулируемой деятельностью, которая является приватной, безопасной и на порядок более эффективной, чем любая другая модель такого размера. Заказчик может установить контроль доступа к данным для отдельных пользователей. Желающие могут ознакомиться с работой модели.

По словам главы SambaNova, Samba-1 оптимизирована для работы с чипом SN40L, выпущенным стартапом прошлой осенью. «Samba-1 способна конкурировать с GPT-4, но она лучше подходит для предприятий, поскольку её можно развернуть как локально, так и в частном облаке, чтобы клиенты могли точно настроить модель с использованием своих личных данных, не отдавая их в открытый доступ», — добавил он.

SambaNova утверждает, что инференс этой модели обходится в десять раз дешевле, чем для конкурирующих LLM. Получив запрос, Samba-1 решает, какая из её внутренних моделей лучше всего приспособлена для его обработки, и поручает ей сгенерировать ответ. То есть активируется только одна из относительно небольших моделей, тогда как традиционные монолитные LLM требуют активации целиком.

Стартап SambaNova привлёк около $1 млрд инвестиций от ряда компаний, включая Intel Capital и GV (инвестиционное подразделение Alphabet Inc). По итогам раунда финансирования в начале 2021 года рыночная стоимость стартапа оценивается в более чем $5 млрд.

Корейская телекоммуникационная компания SK Telecom (SKT), фирма Iceotope и разработчик смазочных материалов SK Enmove, по сообщению ресурса Datacenter Dynamics, займутся созданием систем жидкостного охлаждения (СЖО) нового поколения для дата-центров, ориентированных на ресурсоёмкие задачи ИИ.

Говорится, что стороны подписали меморандум о взаимопонимании с целью внедрения технологии прецизионного жидкостного охлаждения (Precision Liquid Cooling, PLC). В рамках проекта планируется применять специальные жидкости SK Enmove и испытательный стенд SKT. Утверждается, что система PLC обеспечивает высокую эффективность отвода тепла от серверных компонентов и экономию энергии по сравнению с альтернативными решениями.

В рамках соглашения SKT разработает интегрированный блок распределения охлаждающей жидкости (CDU) для использования в составе СЖО разных типов. В этом проекте примут участие специалисты Iceotope. В перспективе новое изделие, как ожидается, найдёт применение в ЦОД, поддерживающих работу ИИ.

Источник изображения: Iceotope

Кроме того, SKT планирует разработать автономную систему охлаждения на базе ИИ. Речь идёт о технологии, учитывающей текущую температуру и нагрузку в дата-центре. На основе полученных показателей будет автоматически оптимизироваться работа CDU и других компонентов СЖО с целью достижения наиболее эффективного отвода тепла при минимальных затратах энергии.

Отмечается, что стремительное развитие средств генеративного ИИ приводит к росту нагрузок в дата-центрах. Это, в свою очередь, порождает необходимость внедрения высокопроизводительных компонентов, включая ускорители. В результате растут показатели энергопотребления и выделяемого тепла. Поэтому операторы ЦОД всё активнее переходят на СЖО. Iceotope, SKT и SK Enmove рассчитывают, что их изделия помогут частично решить проблему растущих энергозатрат в сегменте дата-центров.

Компании Iceotope, HPE и Intel продемонстрировали на MWC 2024 ряд новинок для телекоммуникационной отрасли и edge-приложений. В частности, представлен сервер KUL RAN второго поколения с эффективной системой жидкостного охлаждения.

Edge-сервер KUL RAN первого поколения дебютировал в июне 2023 года. Он предназначен для развёртывания vRAN-платформ, сетей 5G и других сервисов связи. Применена полностью автономная СЖО Iceotope Precision Liquid Cooling. Новая модель KUL RAN выполнена в форм-факторе 2U. В основу положен сервер HPE ProLiant DL110 Gen11 на базе Intel Xeon Sapphire Rapids. Iceotope заявляет, что устройство может эксплуатироваться в «самых суровых условиях». Оно имеет защиту от тепловых ударов, пыли и влаги.

Диапазон рабочих температур простирается от -40 до +55 °C. Утверждается, что решение обеспечивает сокращение энергопотребления до 20 % по сравнению со стандартными телеком-серверами, тогда как частота отказов компонентов ниже на 30 %. Устройство KUL RAN второго поколения ориентировано на сети радиодоступа с низкими задержками и edge-задачи.

Iceotope также заявляет, что её технология Precision Liquid Cooling даёт возможность охлаждать процессоры с показателем TDP 1000 Вт и даже выше. Таким образом, система подходит для применения в мощных ИИ-серверах с высокой нагрузкой.

НРЕ показала на MWC 2024 и другие системы для телекоммуникационной отрасли и инфраструктур связи 5G. Это, в частности, сервер ProLiant RL300 Gen11 со 128-ядерным Arm-чипом Ampere. Устройство типоразмера 1U оборудовано десятью фронтальными отсеками для SFF NVMe SSD с интерфейсом PCIe 4.0, тремя слотами расширения PCIe 4.0 и двумя слотами OCP 3.0.

В 2023 году объём российского рынка облачных услуг вырос по сравнению с предыдущим годом 33,9 % до 121 млрд руб., сообщается в отчёте iKS-Consulting «Российский рынок облачных инфраструктурных сервисов», о котором пишет Forbes. Эти цифры учитывают рынок IaaS и PaaS. В валютном эквиваленте рост рынка составил 7,4 %, до $1,44 млрд, что по мнению аналитиков отражает «более реальную его динамику, очищенную от инфляции».

Темпы роста рынка в 2023 году оказались ниже роста в 2022 году (90,6 млрд руб., +47 %) Аналитики отметили значительный рост доли рынка провайдеров Cloud.ru и Yandex Cloud, которых объединяет стремление развивать облака в совокупности с построенными вокруг компаний экосистемами. Новые игроки рынка продемонстрировали в 2021–2022 гг. кратный рост объёмов продаж облачных услуг не только в сегменте IaaS, но и особенно в сегменте PaaS.

Рынок облачных инфраструктурных сервисов (IaaS и PaaS) в России в 2013–2023 гг., млрд руб. (Источник здесь и далее: iKS-Consulting)

На рынке по-прежнему лидируют «Ростелеком-ЦОД» и Cloud.ru. Но если «Ростелеком-ЦОД» увеличил присутствие на рынке всего на долю процента, то доля Cloud.ru выросла за год с 17,6 до 21,8 %. Доля вышедшей на третье место Yandex.Cloud увеличилась с 7,4 до 9,8 %, а доли Selectel (7,2 %) и МТС (6,2 %) не изменились. Суммарно на первую пятёрку приходится более 68 % рынка.

Предварительный рейтинг ТОП-20 на рынке облачных инфраструктурных сервисов (IaaS+PaaS), 2023 г., % выручки

Если говорить о сегментах, то на рынке IaaS лидером остаётся «Ростелеком-ЦОД» с долей 27,1 %. За ним следуют Cloud.ru (19,0 %) и Selectel (8,5 %). Среди поставщиков PaaS лидерами являются Cloud.ru (35,4 %) и Yandex Cloud (25,0 %). Драйвером роста доли Cloud.ru аналитики iKS-Consulting назвали доступ к сервисам для создания и работы с моделями ИИ, а вот Yandex Cloud сосредоточена на услугах по предоставлению платформ для баз данных и управлению кластерами Kubernetes. Обе компании лидируют в сегменте синтеза и распознавания речи и изображений.

Предварительный рейтинг ТОП-20 на рынке IaaS, 2023 г., % выручки

iKS-Consulting сообщила, что значительный рост российского рынка также связан с миграцией существенной доли пользователей в российские облака из зарубежных после ввода санкций в 2022 году и уходом крупных зарубежных игроков из России. Уход западных компаний привёл также к росту цен на отечественные облака.

Предварительный рейтинг игроков PaaS в 2023 году, % выручки

Также в числе факторов роста аналитики назвали:

• увеличение проникновения облачных услуг;
• повышение доверия к облачным услугам со стороны крупного бизнеса;
• ограниченные размеры инвестиций в инфраструктуру, актуальность замены CAPEX на OPEX;
• политику оптимизации затрат на ИТ-инфраструктуру во многих компаниях;
• появление новых игроков на рынке и фокусирование крупных провайдеров на секторе облачных услуг;
• комплекс государственных мер по защите национального рынка.

В iKS-Consulting отметили, что рынок облачных услуг находится на этапе бурного роста. Вместе с тем ещё не сложилась устоявшаяся структура спроса и предложения, не до конца преодолён порог осторожности по отношению к сервисам данного класса со стороны потенциальных клиентов. Но уже в этом году миграция с зарубежных облаков может в основном завершиться, что отразится на темпах роста рынка, считают эксперты, опрошенные Forbes. С другой стороны, ожидается рост сегмента B2G.

Темпы прироста сегментов облачного рынка в России в рублёвом выражении, 2014–2023 гг., %

По словам экспертов, российский облачный рынок рос двузначными темпами ещё до ввода санкций и исхода из России зарубежных провайдеров, хотя нельзя отрицать, что импортозамещение и отказ от зарубежных IT-решений в 2022 году дали серьёзный толчок этому процессу. Директор по продуктам Selectel говорит, что постоянное развитие облачного рынка в России — это «фундаментальный тренд, а не ситуативный». Он также отметил, что «выручка Selectel растет сопоставимыми с рынком темпами».

Amazon Web Services (AWS) намерена построить свой второй крупный облачный регион в Латинской Америке, на этот раз — в Мексике. Первым стал AWS South America в Сан-Паулу (Бразилия). Блог компании сообщает, что новый регион введут в эксплуатацию в начале 2025 года. AWS Mexico Region получит три независимые зоны доступности, удалённые друг от друга, но связанные широкополосными оптоволоконными каналами с низким уровнем задержки сигнала.

Компания давно инвестирует в развитие информационной инфраструктуры в Мексике. С 2020 года AWS запустила семь узлов Amazon CloudFront и сервис AWS Outposts, а в 2023 году появились выделенные локальные зоны AWS Local Zone. Клиентами AWS в стране уже являются Banco Santander Mexico, SkyAlert, Cinepolis, Aeromexico, Kueski и Bolsa Institucional de Valores (BIVA).

Источник изображения: Andrew Schultz/unsplash.com

По данным Datacenter Dynamics, местные власти приветствовали инвестиции AWS и расширение спектра услуг в стране, это поможет её цифровой и экономической трансформации. По их словам, готовность компании инвестировать в Мексику демонстрирует уверенность бизнеса в привлекательности условий ведения дел. Власти также приветствовали инвестиции AWS в обучение студентов, мелкие, средние и крупные компании и взаимодействие с предпринимателями цифрового сектора.

В стране уже присутствуют регионы Huawei Cloud и Oracle, а Microsoft и Google также планируют запустить здесь собственные сервисы. AWS сообщила о планах инвестировать $5 млрд в развитие своих мексиканских дата-центров в течение 15 лет. Компания также работает над четырьмя облачными регионами — в Германии, Малайзии, Новой Зеландии и Таиланде — и 15 новыми зонами доступности.

Российский поставщик IT-продукции «Инферит» (ГК Softline) анонсировал три СХД: HS4240, FS2240 и FS2241. Кроме того, предлагается сервер RS208, на базе которого возможно создание отказоустойчивой высокопроизводительной программно-определяемой системы хранения.

Все СХД совместимы с Windows и Linux. Упомянута поддержка OpenStack, VMware, Hyper-V, Docker, Kubernetes и других гетерогенных облачных вычислительных платформ.

Решение HS4240 выполнено в формате 4U на базе двух неназванных процессоров с 12 ядрами (2,3 ГГц). Допускается установка 24 накопителей SAS/SATA стандарта LFF/SFF. При этом система масштабируется до 2000 накопителей SSD/HDD. Устройство оснащено двумя контроллерами, работающими в режиме «активный — активный». На каждый контроллер возможно установить до шести карт расширения. В зависимости от модификации доступны до четырёх портов FC8/16/32 и до четырёх портов 10/25/40/100GbE. Реализована поддержка протоколов NFS, CIFS, S3, FTP, SMB, а также iSCSI и FC. Задействованы два блока питания и четыре вентилятора охлаждения.

Источник изображений: «Инферит»

В свою очередь, FS2240 и FS2241 — это высокопроизводительные СХД типа All-flash в форм-факторе 2U. Они рассчитаны на 24 накопителя SAS SSD формата SFF ёмкостью до 16 Тбайт каждый. Первая из указанных моделей несёт на борту два 8-ядерных чипа с частотой 3,2 ГГц; возможно масштабирование до 2048 накопителей. Вторая модификация оборудована двумя 14-ядерными процессорами с той же частотой; допускается масштабирование до 4096 SSD. Обе СХД снабжены двумя контроллерами в режиме «активный — активный». Заявлена поддержка iSCSI, FC, NFS, CIFS, FTP, SMB. Есть до четырёх портов FC8/16/32 и до четырёх портов 10/25/40GbE, а также шесть слотов для карт расширения в расчёте на контроллер. Применены два блока питания мощностью 1200 Вт каждый, а за охлаждение отвечают в общей сложности восемь вентиляторов.

СерверRS208 формата 2U поддерживает установку двух процессоров Intel Xeon поколения Skylake, Cascade Lake или Cascade Lake Refresh в исполнении LGA 3647. Есть 16 слотов для модулей DDR4-2133/2400/2666/2933. Во фронтальной части расположены отсеки для восьми накопителей SAS/SATA формата LFF/SFF с возможностью горячей замены, четыре из них имеют поддержку NVMe. Сзади расположены два SFF-отсека для накопителей SAS/SATA, а внутри корпуса доступны четыре посадочных места для SFF-устройств. Может быть также установлен модуль M.2 2280 (PCIe x4 или SATA). Предусмотрены четыре слота PCIe x16 и два слота PCIe x8, четыре сетевых порта 1GbE RJ-45 и выделенный сетевой порт управления. Применены два блока питания 80 Plus Platinum на 800 Вт и система воздушного охлаждения.

Сроки поставок ускорителей NVIDIA H100 значительно сократилось, с 8–11 мес. до всего 3-4. По данным Tom’s Hardware, в результате многие компании, ранее сделавшие огромные запасы, пытаются продать излишки. Кроме того, стало намного легче арендовать ускорители в облаках Amazon, Google и Microsoft. Впрочем, разработчики ИИ-моделей до сих пор испытывают проблемы с доступом к ресурсам ускорителей, поскольку спрос превышает предложение.

Как сообщают СМИ, некоторые компании пытаются перепродать доставшиеся им H100, а другие стали заказывать меньше в связи с высокой стоимостью обслуживания складских запасов и окончанием паники на рынке. В прошлом году приобрести подобные ускорители было чрезвычайно сложно. Отчасти улучшение ситуации на рынке связано с тем, что провайдеры облачных сервисов вроде Amazon (AWS) и других крупных игроков упростили аренду H100.

Источник изображения: NVIDIA

Несмотря на то, что доступ к H100 упростился, желающим обучать LLM добраться до ресурсов по-прежнему непросто, во многом потому, что им требуются ускорители в невероятных количествах, в некоторых случаях речь идёт о сотнях тысяч экземпляров, поэтому цены на них до сих пор не упали, а NVIDIA продолжает получать сверхприбыли.

При этом рост доступности привёл к тому, что компании всё чаще пытаются сэкономить, ведут себя более избирательно при выборе предложений продажи или аренды, стараются приобрести более мелкие кластеры и внимательнее оценивают их экономическую целесообразность для бизнеса. Кроме того, альтернативные решения становятся все более распространёнными и всё лучше поддерживаются ПО. Это ведёт к формированию сбалансированной ситуации на рынке.

Так или иначе, спрос на ИИ-чипы по-прежнему высок, а с учётом того, что LLM становятся всё масштабнее, требуется больше вычислительных мощностей. Поэтому крупные игроки, которые зависят от поставок решений NVIDIA, занялись созданием собственных ускорителей. Среди них Microsoft, Meta✴ и OpenAI.

Компания AMD готовит новые модификации ускорителей семейства Instinct MI300, которые ориентированы на обработку ресурсоёмких ИИ-приложений. Изделия будут оснащены высокопроизводительной памятью HBM3E. Работу над ними подтвердил технический директор AMD Марк Пейпермастер (Mark Papermaster), а уже на этой неделе на стенде компании на выставке MWC 2024 был замечен образец обновлённого ускорителя.

На сегодняшний день в семейство Instinct MI300 входят модификации MI300A и MI300X. Первая располагает 228 вычислительными блоками CDNA3 и 24 ядрами Zen4 на архитектуре x86. В оснащение входят 128 Гбайт памяти HBM3. На более интенсивные вычисления ориентирован ускоритель MI300X, оборудованный 304 блоками CDNA3 и 192 Гбайт HBM3. Но у этого решения нет ядер Zen4.

Недавно компания Micron сообщила о начале массового производства 8-слойной памяти HBM3E ёмкостью 24 Гбайт с пропускной способностью более 1200 Гбайт/с. Эти чипы будут применяться в ИИ-ускорителях NVIDIA H200, которые выйдут на коммерческий рынок во II квартале нынешнего года. А Samsung готовится к поставкам 12-слойных чипов HBM3E на 36 Гбайт со скоростью передачи данных до 1280 Гбайт/с.

AMD подтвердила намерение применять память HBM3E в обновлённых ускорителях Instinct MI300, но в подробности вдаваться не стала. В случае использования 12-слойных чипов HBM3E ёмкостью 36 Гбайт связка из восьми модулей обеспечит до 288 Гбайт памяти с высокой пропускной способностью. Наклейка на демо-образце недвусмысленно указывает на использование именно 12-слойной памяти. Впрочем, это может быть действительно всего лишь стикер, поскольку представитель AMD уклонился от прямого ответа на вопрос о спецификациях представленного изделия.

Ожидается также, что в 2025 году AMD выпустит ИИ-ускорители следующего поколения серии Instinct MI400. Между тем NVIDIA готовит ускорители семейства Blackwell для ИИ-задач: эти изделия, по заявлениям самой компании, сразу после выхода на рынок окажутся в дефиците.

Компания Samsung Electronics объявила о разработке первых в отрасли чипов высокопроизводительной памяти HBM3E в виде 12-ярусных стеков общей ёмкостью 36 Гбайт. Изделия ориентированы на применение в системах ИИ с большой вычислительной нагрузкой.

Новые чипы Samsung HBM3E обеспечивают пропускную способность до 1280 Гбайт/с. По этому показателю, как утверждается, решения более чем на 50 % превосходят доступные на рынке 8-слойные стеки HBM3.

Источник изображения: Samsung

При изготовлении чипов Samsung применяет технологию термокомпрессии в комплексе с диэлектрической плёнкой. В результате, суммарная высота полученных 12-слойных изделий эквивалентна высоте 8-слойных. Samsung добилась наименьших в отрасли зазоров в стеке — всего 7 мкм, а также устранила пустоты между слоями. Это позволило поднять плотность вертикальной компоновки более чем на 20 % по сравнению с 8-слойными продуктами HBM3.

Кроме того, при производстве стеков Samsung использует между слоями памяти контактные выступы разного размера. Небольшие выступы служат для передачи сигналов, тогда как более крупные улучшают отвод тепла. Такой подход, по заявлениям Samsung, также способствует снижению доли брака.

В целом, как утверждается, внедрение 12-слойной памяти HBM3E по сравнению с 8-слойными изделиями даёт возможность увеличить скорость обучения ИИ-моделей на 34 %, тогда как количество одновременно обслуживаемых пользователей систем инференса может вырасти в 11,5 раз. Пробные поставки новых чипов уже начались, а массовое производство намечено на I половину 2024 года.

Нужно отметить, что буквально на днях компания Micron объявила о начале массового производства 8-слойной памяти HBM3E на 24 Гбайт с пропускной способностью более 1,2 Тбайт/с. Кроме того, Micron уже в марте начнёт распространять образцы 12-ярусных чипов HBM3E ёмкостью 36 Гбайт.