На недавно прошедшей конференции PCI-SIG Developers Conference 2024 вице-президент группы, Ричард Соломон (Richard Solomon) рассказал о разработке новых версий стандарта PCI Express. Создание новых стандартов вышло на устоявшийся трехлётний цикл, но в данном случае имплементация и выход на массовый рынок не равны собственно разработке очередной версии PCIe.

Приблизительно за три года PCI-SIG успевает разработать, внести корректировки, согласовать все нюансы со всеми участниками консорциума и опубликовать спецификации нового стандарта. Но после этого необходимо получить первые образцы «кремния» с его поддержкой и провести все необходимые квалификационные процедуры. Одна только фаза «тестирования на соответствие» (FYI, First Year Inventory Compliance Program) занимает полгода.

Источник здесь и далее: PCI-SIG

Главной причиной достаточно длительного цикла, отметил вице-президент PCI-SIG, является время от окончания работы над спецификациями до получения готовых ASIC, без которых невозможно начать полномасштабное тестирование. Таким образом, формально появившийся в начале 2022 года стандарт PCIe 6.0 лишь в июне 2024 года добрался до фазы FYI. При этом первый дизайн (только на бумаге, конечно) IP-блоков для PCIe 6.0 появился ещё даже до финализации стандарта.

Более того, спецификации PCIe 6.0 в скором времени снова будут обновлены для поддержки нового стандарта оптических соединений, которые, впрочем, не заменят, а дополнят традиционные медные соединения. Финализация правок ожидается в декабре текущего года. Кроме того, появится поддержка и новых кабелей CopprLink. Так что на выход PCIe 6.0 на рынок стоит рассчитывать где-то в начале 2025 года.

Конечно, хотелось бы привести цикл разработки PCI Express в соответствии с циклами других производителей, включая разработчиков Ethernet, Infiniband и CXL, но состав PCI-SIG, насчитывающий уже почти тысячу компаний-участников, продолжает расти, что, конечно, не способствует быстрому согласованию спецификаций и получению всех нужных образцов технологии. Более того, все устройства любого стандарта PCIe обязаны быть совместимы со старыми версиями, вплоть до 1.0.

И весь этот процесс необходимо поддерживать и далее: на середину или конец 2025 года запланирован выпуск финальных спецификаций PCI Express 7.0. Так что FIY-фазы стоит ожидать не ранее 2028 года. При этом проверка устройств нового стандарта на взаимную совместимость, в том числе чисто электрическую, становится всё сложнее с учётом заявленных частот и скоростей и оттого всё более необходимой.

Но даже с трёхлетним циклом разработки, говорит PCI-SIG, пока удаётся опережать требования индустрии. Пропускная способность I/O-систем тоже удваивается примерно каждые три года, но к этому моменту у разработчиков PCIe уже готов и протестирован новый стандарт, покрывающий все разумные потребности и массово реализуемый за разумные деньги.

И сравнивать PCIe, например, с NVLink с этой точки зрения может быть не совсем корректно, поскольку целью PCI-SIG не является достижение предельно высокой производительности любой ценой. Вместо этого группа обеспечивает развитие разумной, совместимой экосистемы решений с наилучшим соотношением цены и возможностей. Это не означает, что в абсолютных значениях решения на базе новых стандартов будут дешевле, но, как отметил вице-президент, экосистема PCIe позволяет разработчикам выбрать приемлемое для каждого случая сочетание характеристик.

В настоящее время спецификация PCIe 7.0 версии 0.5 стала доступна участникам PCI-SIG. Новый стандарт доводит скорость передачи данных до 128 ГТ/с на линию при повышении энергоэффективности. Напомним, начиная с PCIe 6.0 доступен режим кодирования Flit, позволяющий избежать накладных расходов при передаче данных, и сделан переход к модуляции PAM4. Оптический вариант PCIe 7.0 тоже появится, но всё ещё будет опциональным. По словам Соломона, разговоры о вынужденном переходе на «оптику» ведутся более десяти лет, но по факту возможностей «меди» всё ещё хватает и будет хватать.

В подмосковной Дубне начали строительство ЦОД по проекту компании WildTeam. Как сообщила компания в своём Telegram-канале, одноэтажное здание площадью 15,8 тыс. м² будет построено на территории Российского центра программирования, где находятся научно-производственные комплексы. В качестве заказчика выступил крупнейший маркетплейс России.

На данный момент уже завершены земляные работы и сейчас строители занимаются возведением фундамента здания. Ввод в эксплуатацию ЦОД с максимальной мощностью 8 МВт запланирован на апрель 2025 года.

Источник изображения: WildTeam

Новый ЦОД предназначен для размещения и хостинга серверного и сетевого оборудования, подключения к интернет-каналам. Согласно проекту, он будет включать пять IT‑модулей с машинными залами, силовыми электрическими блоками и помещениями для дизель-генераторных установок. В здании будет также находиться инженерный технологический модуль со складскими помещениями и административно-бытовая часть.

По словам гендиректора проектной компании WildTeam, благодаря использованию принципа модульности здание ЦОД в дальнейшем можно будет расширить, добавив ещё ряд модулей: «ЦОД — автономная система, где нет необходимости в постоянном пребывании людей, кроме административно-бытовой части. В здании появятся системы бесперебойного питания, а система управления дизель-генераторных установок будет работать полностью в автоматическом режиме».

Стартап Quantum Machines, разработчик систем управления квантовыми компьютерами, открыл Израильский центр квантовых вычислений (Israeli Quantum Computing Center, IQCC). Площадка, создание которой было частично профинансировано правительством страны, располагается в Тель-Авивском университете. По словам основателей, это первый в мире центр, располагающий квантовыми компьютерами разных типов, которые интегрированы с системой NVIDIA DGX Quantum, HPC-инфраструктурой и облаком.

Источник изображений: Quantum Machines

Приоритетный доступ со скидкой получат исследовательские организации Израиля, но в целом центр будет открыт для компаний со всего света. Как говорят создатели, IQCC — это лучший в мире полигон для создания новых технологий в области квантовых вычислений, а открытая архитектура площадки позволяет регулярно проводить обновления и упрощает дальнейшее масштабирование возможностей и вычислительных мощностей.

Сейчас в IQCC установлены 21-кубитный компьютер Galilee от Quantware на сверхпроводящих кубитах (ещё один такой же используется в качестве тестовой платформы) и фотонный компьютер Negev от ORCA (8 кумод). Системы управляются контроллерами OPX1000 от самой Quantum Machines. HPC-инфраструктура представлена DGX A100, четырьмя GH200 и 128 vCPU на базе AMD EPYC 9334 (Genoa). Дополнительные ресурсы можно арендовать в облаке AWS.

Для Galilee и Negev доступна интеграция с DGX Quantum, платформой для гибридных квантово-классических вычислений, которая была создана NVIDIA и Quantum Machines и впервые в мире развёрнута именно в IQCC. Управлять компьютерами и разрабатывать ПО можно с использованием Qiskit, QUA, OpenQASM3, QBridge, а также Classiq. К системе организован облачный доступ. В ближайшие месяцы в IQCC будут развёрнуты ещё несколько квантовых компьютеров и QPU.

Компания Rambus анонсировала пакет IP-блоков для создания различных продуктов стандарта PCI Express (PCIe) 7.0. В частности, представлен высокопроизводительный контроллер для систем, ориентированных на решение задач в области ИИ и НРC.

Предварительная версия спецификации PCIe 7.0 была обнародована в апреле нынешнего года. Стандарт предусматривает скорость передачи данных до 128 ГТ/с, что обеспечивает до 512 Гбайт/с в двустороннем режиме в конфигурации x16. Ожидается, что PCIe 7.0 найдёт применение в 800GbE-решениях, системах ИИ, платформах квантовых вычислений и ЦОД нового поколения.

Источник изображения: Rambus

Контроллер Rambus стандарта PCIe 7.0 поддерживает максимально предусмотренную спецификацией скорость работы — 128 ГТ/с. Реализованы средства коррекции ошибок (Forward Error Correction, FEC) с малой задержкой. Среди прочего упомянуты обратная совместимость со стандартами PCIe предыдущих поколений (PCIe 6.0, 5.0, 4.0 и пр.), поддержка шины AMBA AXI, а также развитые инструменты обеспечения безопасности.

«Контроллер PCIe 7.0 обеспечивает высокую пропускную способность, низкую задержку и надёжность, необходимые для приложений ИИ и НРС нового поколения», — заявляет разработчик. Кроме того, Rambus представила ретаймер PCIe 7.0 с поддержкой конфигураций от x2 до x16, высокопроизводительный коммутатор PCIe 7.0 Switch с возможностью использования до 32 портов и другие решения.

Разработчик ИИ-суперчипов Cerebras Systems анонсировал сотрудничество с Dell. Вместе компании займутся созданием передовых вычислительных инфраструктур для генеративного ИИ. В рамках сотрудничества будут создаваться масштабируемые решения для ИИ-суперкомпьютеров Cerebras с платформами Dell на базе процессоров AMD EPYC Genoa.

Источник изображения: Cerebras

По словам участников проекта, новые технологические решения дадут возможность обучать модели, на порядки более крупные, чем те, что есть на данный момент. В частности, будут задействованы системы Dell PowerEdge R6615 на базе AMD EPYC 9354P, которые предоставят потоковый доступ к 82 Тбайт памяти — для обучения моделей практически любого размера.

Совместные платформы Cerebras и Dell будут включать ИИ-системы и суперкомпьютеры. Также будет предложена тренировка ИИ-моделей и иные сервисы поддержки машинного обучения. Как утверждают в самой Cerebras, сотрудничество с Dell станет поворотной точкой, открывающие каналы глобальной дистрибуции. Компании предоставят ИИ-оборудование, ПО и экспертизу, что позволит заказчикам упростить и ускорить внедрении современных ИИ-технологий, попутно снизив TCO.

В марте Cerebras представила новейшие суперчипы Cerebras WSE-3, а в мае появилась новость, что совместно с Core42 из ОАЭ компания создаст суперкомпьютер Condor Galaxy 3 (CG-3) со 172,8 млн ИИ-ядер.

В ассортименте компании QNAP Systems, по сообщению ресурса NAS Compares, появятся новые десктопные NAS — модели TS-432X и TS-632X, ориентированные на малый и средний бизнес. Устройства допускают установку соответственно четырёх и шести LFF-накопителей с интерфейсом SATA-3.

Новинки несут на борту 64-битный процессор Alpine AL524, разработанный фирмой Annapurna Labs (дочерняя структура Amazon). Чип содержит четыре ядра с архитектурой Arm, частота которых достигает 2 ГГц. Объём оперативной памяти DDR4 с поддержкой ECC в стандартной конфигурации составляет 4 Гбайт, в максимальной — 16 Гбайт (один слот SO-DIMM).

Источник изображения: QNAP

Устройства наделены двумя сетевыми портами 2.5GbE и слотом расширения PCIe 3.0 x4. Младшая версия получила один порт 10GbE SFP+, старшая — два. Кроме того, предусмотрены два разъёма USB 3.2 Gen1, один из которых выведен на фронтальную панель. Поддерживается шифрование информации по алгоритму AES с 256-битным ключом.

Модель TS-432X имеет габариты 226,5 × 170 × 165 мм и весит 1,99 кг без установленных накопителей. За охлаждение отвечает один вентилятор диаметром 120 мм. В комплект поставки входит адаптер питания на 90 Вт. Габариты TS-632X составляют 226,5 × 235 × 165 мм, масса — 2,5 кг. Задействованы два 90-мм вентилятора, а мощность адаптера питания равна 120 Вт. В качестве программной платформы используется QTS.

Производитель потребительской электроники ASUS уже давно работает на рынке серверов и ЦОД. Пока он занимает на нём не очень большую долю, но как сообщил ресурсу The Register старший вице-президент ASUS Джеки Сюй (Jackie Hsu), высокопроизводительных вычислений (HPC) и серверов стал для компании «областью большого роста».

Сюй рассказал, что ASUS участвовала в строительстве на Тайване суперкомпьютера Taiwania 2 производительностью 9 Пфлопс, занявшего в рейтинге TOP500 двадцатую позицию после дебюта в 2018 году. А в прошлом году ASUS выиграла тендер на участие в создании суперкомпьютера Taiwania 4.

Сюй сообщил, что ASUS построила ЦОД для Taiwania 4. Причём PUE новой площадки составляет 1,17, что является неплохим показателем для любого подобного объекта, а тем более для Тайваня, отличающегося климатом с высокими температурой и влажностью.

Источник изображения: ASUS

Также ASUS участвовала в ряде проектов в области ИИ, включая разработку собственной большой языковой модели (LLM) Formosa Foundation со 176 млрд параметров. Модель была обучена на наборах данных на местном языке для генерации текста с традиционной китайской семантикой.

Благодаря накопленному опыту ASUS начала предлагать услуги на рынке ИИ. Компания уже заключила несколько контрактов, в рамках которых она проектирует и создаёт мощные системы для работы с ИИ, предлагая большую часть программного и аппаратного стека, необходимого для обработки ИИ-нагрузок. Гендиректор NVIDIA Дженсен Хуанг (Jensen Huang) назвал ASUS в числе компаний, с кем NVIDIA будет сотрудничать в работе над созданием так называемых фабрик ИИ.

На Computex 2024 компания представила новые серии серверов ASUS RS700-E12 и RS720-E12 с процессорами Intel Xeon 6, разработанные специально для обработки высокопроизводительных рабочих нагрузок, а также серверы хранения семейства VS320D, предназначенные для использования в составе инфраструктур SAN для работы с базами данных, системами виртуализации и пр. Также ASUS представила ИИ-систему ESC AI POD на базе суперускорителей NVIDIA GB200 NVL72.

На Computex 2024 AMD анонсировала новое поколение серверных процессоров EPYC Turin на базе архитектуры Zen 5. При этом компания продемонстрировала слайды, из которых следует, что новые решения серьёзно опережают процессоры Intel Xeon. Так, 128-ядерный Turin сравнивается с 64-ядерным Xeon Platinum 8592+ (Emerald Rapids). AMD говорит о 2,5–5,4-кратном превосходстве, однако Intel опровергает полученные результаты и достаточно подробно разбирает вопрос тестирования в своём блоге.

Конечно, превосходство AMD в чисто количественных показателях очевидно, но в сложных вычислительных задачах, к которым относятся HPC- и ИИ-сценарии, не меньшую, а то и большую роль может играть оптимизация ПО. Intel отмечает, что AMD не привела в своём анонсе конкретных сведений о версиях и настройках ПО, и, вероятнее всего, отказалась от различных расширений. Но, например, Intel Extension for PyTorch (IPEX) позволяет добиться более чем пятикратного прироста производительности по сравнению с «чистой» версией PyTorch.

Для системы с двумя Xeon Platinum 8592+ применение IPEX позволяет поднять производительность инференса в режиме INT4 с чат-ботом на базе Llama2-7B со 127 до 686 запросов в секунду при заданной задержке не более 50 мс. Для своей 256-ядерной платформы на базе Turin AMD говорит про 671 запрос — как видно, с оптимизацией результаты получаются вполне сопоставимыми.

Источник: AMD

И потенциал для дальнейшего роста у Xeon есть: Intel сообщает, что при отключении функции Sub-NUMA Clustering результат может достигать 740 запросов. К сожалению, для других тестов компания диаграмм не опубликовала, хотя и там оптимизация позволяет добиться увеличения производительности в 1,2–2,3 раза. Этого уже не хватает, чтобы бороться с платформой Turin, которая, помимо превосходства в числе ядер, использует и более мощную 12-канальную подсистему памяти.

Источник: Intel

Следует отметить, что Intel не сказала последнего слова: Xeon Platinum 8592+ уже не нов, а в ближайшем будущем AMD Turin придётся столкнуться с Xeon 6 с большим числом ядер. Пока эти чипы доступны лишь в исполнении с энергоэффективными ядрами, но уже в III квартале появятся и 128-ядерные Granite Rapids с производительными P-ядрами и 12-канальной памятью.

Источник: Intel

Тем не менее, тема затронута достаточно фундаментальная: свои плюсы имеет как чисто количественный подход, которого придерживается AMD, так и подход Intel, позволяющий добиться высоких результатов при тщательной оптимизации под более комплексную архитектуру. Нельзя сказать, что результаты AMD являются мошенничеством, хотя случай и не первый — согласно тестам компании, ускоритель Instinct MI300X серьёзно опередил NVIDIA H100, но при этом AMD точно так же «забыла» про оптимизированный фреймворк TensorRT-LLM. Правда, в тот раз «честь мундира» отстоять удалось и с оптимизациями NVIDIA.

Sapeon и Rebellions, два южнокорейский участника альянса AI Platform Alliance, сформированного в прошлом году с целью ускорения внедрения передовых решений в области ИИ, объявили о планах по объединению усилий, чтобы ускорить работу и добиться больших масштабов бизнеса.

Компания Sapeon предлагает чип X330, предназначенный для инференса и обслуживания больших языковых моделей (LLM), а также основанные на этом чипе серверы. В свою очередь, Rebellions разработала NPU ATOM для систем компьютерного зрения и использования с чат-ботами на базе ИИ. Оба производителя участвуют в программе по импортозамещению ИИ-ускорителей, CPU и иных чипов.

Сейчас Южная Корея стремится добиться технологической независимости от зарубежных поставщиков оборудования и ПО. Речь, в первую очередь, об NVIDIA. Ускорители последней в своё время не достались местному IT-гиганту Naver, который временно был вынужден заменить их процессорами Intel Xeon, а впоследствии вместе с Samsung создал собственные ИИ-чипы Mach-1.

Источник изображения: Rebellions

Инициатором слияния Sapeon и Rebellions выступила SK hynix, которая вместе с SK Telecom является акционером Sapeon. В своём заявлении она отметила, эти компании согласились на слияние, поскольку, по их мнению, это позволит создать компанию, способную оказать конкуренцию другим участникам глобального рынка ИИ.

Как отметил The Register, время сейчас имеет решающее значение для Sapeon и Rebellions, поскольку следующие два или три года воспринимаются как «золотое время» для создания компаний, способных стать крупными игроками в области ИИ. Поэтому предполагается провести слияние в кратчайшие сроки с завершением сделки в III квартале и запуском объединённой компании до конца 2024 года.

Источник изображения: Sapeon

В свою очередь, SK hynix планирует оказать помощь объединенной компании в разработке ИИ-полупроводников. Sapeon была выделена SK Telecom в отдельную компанию в 2016 году. Rebellions была создана всего четыре года назад при поддержке прямого конкурента SK Telecom в лице KT Corp., но уже договорилась с Samsung о поставке ей ИИ-чипов, которые будут производиться компанией Chaebol с использованием 4-нм процесса с интеграцией HBM3e.

Холдинг «Росэлектроника» госкорпорации «Ростех» создал, как утверждается, самый компактный вычислительный модуль на отечественном процессоре «Эльбрус-2С3». Размеры изделия с обозначением МП21 (ТЕГР.467144.004) составляют всего 95 × 95 мм. Новинка может эксплуатироваться в суровых условиях, в частности, в составе бортовой авиационной техники.

Чип «Эльбрус-2С3» имеет два ядра МЦСТ «Эльбрус» общего назначения и 6-ядерный ускоритель 3D-графики. Объём кеша L2 составляет 2 Мбайт в расчёте на ядро. Возможна работа с оперативной памятью DDR4-2400 ECC. Реализована поддержка PCI Express 3.1, SATA-3, двух сетевых интерфейсов 1/2.5GbE и иных распространённых шин. Процессор совместим с контроллером периферийных интерфейсов «КПИ-2».

Источник изображения: ИНЭУМ им. Брука

Модуль МП21 в формате Com Express Type 6 Compact разработан специалистами ИНЭУМ им. Брука в составе «Росэлектроники». Тактовая частота установленного процессора «Эльбрус-2С3» составляет не менее 1,6 ГГц, а объём ОЗУ равен 8 Гбайт (ECC, один канал; опционально 4 Гбайт). Возможна установка SSD вместимостью от 60 до 480 Гбайт. Масса без опциональной теплораспределительной пластины — приблизительно 100 г.

Могут быть задействованы два интерфейса HDMI (разрешение до 4096 × 2160 точек; 60 Гц) и двухканальный LVDS (до 4096 × 2160 пикселей; 30 Гц). Упомянуто аппаратное ускорение DirectX 10, OpenGL 3.2, OpenGL ES 3, Vulkan 1.0, OpenCL 1.2, OpenVX 1.x. Возможно кодирование и декодирование материалов VP9, H.264, H.265, VC1, MJPEG.

Прочие характеристики включают два канала 1GbE, два порта SATA-3, восемь портов USB 2.0, четыре порта USB 3.0, два порта UART (уровня LVTTL), интерфейсы SPI, I2C, SMBus и пр. Питание осуществляется от источника постоянного тока 12 В. Новинка, по заявлениям разработчиков, имеет энергопотребление около 40 Вт. Диапазон рабочих температур простирается от -40 до +55 °C. Среди совместимых плат-носителей указаны БПИ (ЛЯЮИ.469535.150) и ТКПА (ЛЯЮИ.469535.147).

Отмечается, что МП21 — это полностью российская разработка, способная заменить иностранные аналоги. Устройство прошло весь цикл испытаний и готово к серийному производству. «В настоящее время это самое миниатюрное решение на базе процессора "Эльбрус-2С3". Его массогабаритные характеристики значительно повышают вариативность его использования», — отметил первый заместитель генерального директора ИНЭУМ им. Брука.