На конференции Innovation 2023 компания Intel поделилась новыми сведениями о процессорах Xeon пятого поколения. Эти чипы под кодовым именем Emerald Rapids должны прийти на смену Sapphire Rapids. Дебютируют новые процессоры уже 14 декабря, но сведений об их особенностях и отличиях от предыдущего поколения Xeon до этого момента было мало.

Ещё весной этого года Intel начала рассылать инженерные образцы Emerald Rapids избранным партнёрам, однако известно было лишь о том, что наследники Sapphire Rapids получат до 64 ядер при 128 потоках и будут использовать актуальный процессорный разъём LGA 4667.

Источник: Intel via VideoCardz.net

В новом поколении Xeon разработчики явно сделали серьёзный упор на ускорении подсистемы памяти: процессоры Emerald Rapids получат в три раза больше кеша L3, нежели их предшественники, а также получат поддержку более быстрых модулей DDR5. Вернётся интегрированный движок RAID для NVMe-накопителей. Ранее Intel отказалась от технологии VROC, но сейчас решила, что её наличие не будет лишним для новых Xeon.

Благодаря архитектурной оптимизации производительность в пересчёте на Вт вырастет, по словам Intel, на 17 %, а ещё более экономичными новые процессоры должны стать за счёт активного использования различных блоков ускорителей, разгружающих основные вычислительные ядра.

Источник: Intel via VideoCardz.net

Появится официальная поддержка устройств CXL Type 3. К этому классу относятся экспандеры памяти без собственного контроллера, функционирующие за счёт поддержки процессором; такие модули работают и с Sapphire Rapids, но не имеют официальной поддержки.

Серьёзное внимание Intel уделила также вопросам телеметрии и безопасности: новые процессор получат поддержку ряда фирменных технологий, включая новые расширения Trust Domain Extensions (TDX), обеспечивающие конфиденциальность на уровне виртуальных машин.

Intel Xeon Platinum 8580 ES2 с точки зрения CPU-Z, AIDA64, HWiNFO64 и Cinebench 2024. сточник: YuuKi_AnS via VideoCardz.net

Любопытными сведениями поделился и сетевой энтузиаст YuuKi_AnS, ранее рассказавший об инженерных образцах Emerald Rapids. Процессоры действительно получили двухчиплетную компоновку — в распоряжении источника оказался чип Xeon Platinum 8580 ревизии ES2 с 60 ядрами Raptor Cove. Как и ожидалось, все ядра относятся к Р-классу, каждое ядро дополнено 2 Мбайт кеша L2.

Таким образом, подсистема кеша у Emerald Rapids действительно выглядит достаточно внушительно: 120 Мбайт L2 вместе с 300 Мбайт L3 дают в сумме 420 Мбайт. Это должно крайне положительно сказаться на производительности новых Xeon в нейросетевых задачах вроде LLM-инференса.

О частотном потенциале говорить рано — версия ES2 имеет базовую частоту всего 2 ГГц, но, судя по всему, в турборежиме она может подниматься до 4 ГГц. Максимальный TDP, по мнению утилиты HWiNFO64, составляет 350 Вт. Судить всерьёз об Emerald Rapids по результатам тестов Cinebench 2024 и CPU-Z пока не стоит — показатели эти предварительные и финальная версия Xeon Platinum 8580 может продемонстрировать совсем другие цифры.

Корпорация Intel, по сообщению сайта Datacenter Dynamics, намерена создать один из самых мощных в мире суперкомпьютеров для работы с генеративным ИИ. Ресурсы платформы будет использовать компания Stability AI, реализующая проекты в соответствующей сфере. В основу НРС-платформы лягут процессоры Xeon. Кроме того, говорится об использовании приблизительно 4000 ускорителей Gaudi2.

Проект Intel и Stability AI поможет компаниям укрепить позиции на рынке генеративного ИИ. О сроках запуска системы в эксплуатацию и её предполагаемой производительности ничего не сообщается. Ранее Intel обнародовала результаты тестирования Gaudi2 в бенчмарке GPT-J (входит в MLPerf Inference v3.1), основанном на большой языковой модели (LLM) с 6 млрд параметров. По оценкам, Gaudi2 может стать альтернативой решению NVIDIA H100 на ИИ-рынке.

Источник изображения: pixabay.com

Тем не менее, H100 по-прежнему превосходит конкурентов в плане обработки ИИ-задач. Ранее NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B. При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x.

Долгое время компания Intel отставала от AMD в количестве процессорных ядер, сконцентрированных в пределах одного чипа. И хотя паритет не достигнут и по сей день, похоже в ближайшем будущем эта ситуация должна измениться в пользу «синих». Уже в поколении Sierra Forest Intel представит 144-ядерные процессоры Xeon, а в ближайшем будущем компания планирует удвоить количество ядер на CPU и, возможно, в будущем даже утроит их плотность.

В настоящее время компания готовит к выпуску две принципиально разные ветви нового поколения процессоров Xeon. В одной из этих ветвей под кодовым названием Sierra Forest будут применены только энергоэффективные Е-ядра, но их количество будет доведено до 144, что уже больше достигнутого AMD максимума в 128 ядер.

Источник изображений здесь и далее: Intel via (Tom's Hardware)

Но, как сообщил глава компании на мероприятии Intel Innovation 2023, останавливаться на этом разработчики не собираются и Intel уже имеет на руках и собирается выпустить в будущем аналогичный процессор, но уже с 288 ядрами, которые, впрочем, останутся энергоэффективными и однопоточными.

Сравнение площадей кристаллов Sierra Forest (слева) и Granite Rapids. Источник: Wild_C/X via Tom's Hardware

Это будет достигнуто благодаря новой чиплетной компоновке, на которую Intel переходит в пятом поколении процессоров Xeon Scalable. Использоваться будет та же архитектура Sierra Forest: как известно, 144-ядерные модели этих чипов состоят из трёх тайлов (вычислительного и двух I/O-модулей), так что для реализации варианта с 288 ядрами будет достаточно просто добавить ещё один вычислительный тайл.

Источник: Intel

Xeon Scalable пятого поколения с P-ядрами — Granite Rapids — будет использовать три вычислительных тайла-чиплета. По подсчётам зарубежных коллег-обозревателей, площадь тайла Granite Rapids составляет 598 мм², а Sierra Forest — 578 мм². Теоретически Intel может выпустить и трёхтайловый вариант Sierra Forest, что даст невиданные ранее 432 ядра в одном процессоре.

Также компания сообщила о судьбе процессоров Xeon Emerald Rapids, наследников Sapphire Rapids. Эти обновлённые чипы, также построенные на базе техпроцесса Intel 7, должны увидеть свет уже 14 декабря этого года. Чипы на базе более совершенного Intel 3 в лице Sierra Forest и Granite Rapids, напомним, запланированы на первую половину следующего года. Конкурировать им придётся с AMD Turin с ядрами Zen 5. А решения Intel Clearwater Forest на базе Intel 18A появятся лишь в 2025 году.

Компания QNAP Systems анонсировала «умные» управляемые L2-коммутаторы QGD-1600 и QGD-1602, которые могут использоваться на периферии, например, для организации шлюза SD-WAN, VPN, NDR и т.д.

Модель QGD-1600 выполнена на процессоре Intel Celeron J4115, который объединяет четыре вычислительных ядра с тактовой частотой 1,8 ГГц. Объём оперативной памяти DDR4 может составлять 4 или 8 Гбайт. Доступны 14 портов 1GbE с разъёмами RJ45, два комбинированных порта 1GbE RJ45/SFP, два слота PCIe 2.0, порт управления 1GbE (RJ45), один разъём USB 3.2 Gen1 и два разъёма USB 2.0.

Модификация QGD-1602 может комплектоваться чипом Intel Atom C3758 (8 ядер; 2,2 ГГц) или Atom C3558 (4 ядра; 2,2 ГГц). В первом случае объём памяти DDR4 равен 16 Гбайт, во втором — 8 Гбайт (возможно расширение до 64 Гбайт). В оснащение входят восемь портов 2.5GbE RJ45, восемь разъёмов 1GbE RJ45, два порта 10GbE SFP+, а также по два порта управления 5GbE RJ45 и 1GbE RJ45. Есть два слота PCIe 3.0 и два разъёма USB 3.2 Gen1.

Источник изображения: QNAP Systems

Оба коммутатора располагают двумя интерфейсами SATA III для подключения накопителей SFF. Устройство QGD-1602 дополнительно оснащено двумя коннекторами M.2 для SSD с интерфейсом PCIe 3.0 x1 (NVMe). Гарантия производителя составляет два года.

Ресурс CNX-Software сообщает о том, что в продажу поступил индустриальный компьютер небольшого форм-фактора Hunsn BM34 с пассивным охлаждением. В основу новинки положена аппаратная платформа Alder Lake-N с чипом Intel Processor N100 (четыре ядра; до 3,4 ГГц; 6 Вт).

Устройство заключено в корпус с габаритами 170 × 125 × 50 мм, а вес составляет около 1 кг. Рассеянию тепла способствует ребристая верхняя поверхность. Диапазон рабочих температур — от -10 до +60 °C. Питание подаётся через DC-разъём (12 В / 3 A).

Источник изображения: CNX-Software

Допускается использование до 16 Гбайт оперативной памяти DDR4 в виде одного модуля SO-DIMM. Есть коннекторы mSATA и M.2 2280 (NVMe), а также посадочное место для накопителя SFF SATA. В качестве опций предлагаются SSD вместимостью до 512 Гбайт и HDD на 1 Тбайт.

В оснащение входят адаптеры Wi-Fi 5 и Bluetooth 4.2 (плюс гнёзда для антенны), двухпортовый контроллер 1GbE с разъёмами RJ-45 для подключения кабелей, звуковой кодек ALC892. Есть восемь портов USB, два из которых соответствуют стандарту 3,0, оставшиеся — 2.0. Кроме того, упомянуты два интерфейса HDMI 2.0 (до 4Kp60), коннектор DisplayPort, стандартные аудиогнёзда на 3,5 мм.

Мини-компьютер предлагается по цене от $200 в виде barebone-платформы. Самая мощная готовая модификация с 16 Гбайт ОЗУ, SSD ёмкостью 256 Гбайт, HDD на 1 Тбайт и Windows 11 Pro обойдётся в $317.

Многопоточность давно никого не удивляет, ведь большинство современных процессоров поддерживают выполнение минимум двух потоков на ядро, а у IBM есть и ядра с восемью потоками. Но на конференции Hot Chips 2023 компания Intel продемонстрировала нечто принципиально новое в этом смысле — 8-ядерный RISC-процессор, способный одновременно выполнять до 528 потоков, да ещё и с интегрированным оптическим интерконнектом.

Новинка во всех отношениях любопытная: 66 аппаратных потоков на ядро, довольно объёмный кеш первого уровня (192 Кбайт совокупно для инструкций и данных), 4 Мбайт сверхбыстрой SRAM, а также интегрированные фотонные модули, обеспечивающие оптический интерконнект между несколькими процессорами в системе.

Источник изображений здесь и далее: Intel via ServeTheHome

Поводом для разработки столь необычного процессора стало участие Intel в программе DARPA HIVE, подразумевающей создание эффективных решений для применения в крупномасштабных системах графовой аналитики петабайтного масштаба. По энергоэффективности в такого рода задачах новый чип продемонстрировал тысячекратное превосходство над традиционными архитектурами.

Уникальный чип произведён с использованием 7-нм техпроцесса TSMC с 15 слоями металлизаци, использует тайловую (чиплетную) компоновку и несёт на борту блоки с интегрированной кремниевой фотоникой Ayar Labs. Состоит новинка из 27,6 млрд транзисторов (1,2 млрд транзисторов на ядро) и имеет площадь 316 мм². В демонстрируемой версии использована упаковка BGA c 3275 контактами.

Архитектура процессорных ядер — RISC с фиксированной длиной команд. При этом сами ядра реализованы довольно необычно, поскольку каждое ядро содержит как многопоточные конвейеры (16 потоков на конвейер), так и быстрые однопоточные, с восьмикратно более высокой производительностью. Имеется кастомный контроллер DDR5, контроллер PCI Express 4.0 x8, а также 32 высокоскоростных AIB-порта.

Последние как раз и реализуются за счёт чиплетов с интегрированной фотоникой. 32 оптических канала на процессор обеспечивают пропускную способность интерконнекта на уровне 1 Тбайт/с, а топология HyperX допускает масштабирование на уровне более 1 млн процессоров. При этом теплопакет одного чипа составляет всего 75 Вт.

Внутренний межъядерный интерконнект использует меш-сеть с топологией 2D и 16 специальных маршрутизаторов, обеспечивающих высокую I/O-производительность за пределами кристалла. Эти маршрутизаторы работают на частоте 1 ГГц при напряжении 0,75В, имеют задержку всего 4 такта при ширине соединения 25 байт и пропускную способность 64 Гбайт/с на соединение.

Помимо самого процессора, Intel разработала и OCP-шасси, несущее на борту 16 таких процессоров, 512 Гбайт DRAM и оптическую сеть с производительностью до 16 Тбайт/с в каждом направлении. Благодаря наличию 32 высокоскоростных оптических каналов, в пределах стойки возможно подключение по схеме каждый-с-каждым, не требующая применения дополнительных коммутаторов.

Intel не только продемонстрировала работоспособность систем на базе новых процессоров, но и опубликовала результаты тестирования оптического интерконнекта между двумя демонстрационными системными платами. Задержка при этом не превышает 5 нс. Логически общение ядер в соседствующих процессорах ничем не отличается от внутрипроцессорного, хотя и имеет несколько более высокие задержки. При этом обеспечивается практически линейное масштабирование.

Также известны электрические характеристики: в 75-Вт пакете больше половины приходится на фотонику, и лишь 21 % — на вычислительные ядра. Ещё 16 % потребляет контроллер памяти, остальное приходится на тактовые генераторы, маршрутизаторы и внутренний интерконнект.

При разработке и создании этого уникального процессора Intel пришлось решить ряд технических проблем, в частности, обеспечить надёжное и точное подключение оптических волокон, в том числе в процессе сборки чипа. Для обеспечения приемлемого выхода годных чипов в новинке применен ряд специально разработанных для этого материалов.

Amazon объявила о доступности инстансов EC2 R7iz на базе процессоров Intel Xeon Sapphire Rapids с постоянной турбо-частотой всех ядер 3,9 ГГц и EC2 R7a на базе процессоров AMD EPYC Genoa с максимальной частотой 3,7 ГГц.

Изображения: Amazon AWS

Оба семейства предназначены для рабочих нагрузок, требующих больше памяти, вертикального масштабирования, а также более высокую производительность и низкую задержку сети и томов EBS. Экземпляры R7iz ориентированы на EDA, СУБД с высокими лицензионными сборами за ядро, системы анализа данных и финансовые расчёты. К каждому R7iz можно подключить до 88 EBS-томов.

Amazon EC2 R7iz включают фирменные ускорители Intel — инструкции AMX доступны для всех размеров инстансов R7iz, а ускорители Intel QAT, IAA и DSA будут доступны на экземплярах r7iz.metal-16xl и r7iz.metal-32xl. Инстансы R7iz уже доступны в регионах US East (Северная Вирджиния, США) и US West (Орегон, США). Bare metal варианты появятся чуть позже.

Скорость подключения инстансов к сети составляет до 50 Гбит/с, а к EBS-томам — до 40 Гбит/с. Лимиты одинаковы для R7iz и R7a, но к AMD-инстансам можно подключить до 128 EBS-томов. R7a построены на базе системы AWS Nitro, используют адаптеры AWS Elastic Fabric Adapter (EFA), поддерживают инструкции AVX-512 VNNI и формат bfloat16.

Сообщается, что R7a сертифицированы SAP и идеально подходят для высокопроизводительных рабочих нагрузок с интенсивным использованием памяти, таких как базы данных (No)SQL и in-memory, распределённые кеши, аналитика больших данных в реальном времени и системы EDA. Инстансы Amazon EC2 R7a доступны в следующих регионах AWS: US East (Огайо, США), US East (Северная Вирджиния, США), US West (Орегон, США) и EU (Ireland).

Корпорация Intel обнародовала результаты тестирования ускорителя Habana Gaudi2 в бенчмарке GPT-J (входит в MLPerf Inference v3.1), основанном на большой языковой модели (LLM) с 6 млрд параметров. Полученные данные говорят о том, что это изделие может стать альтернативой решению NVIDIA H100 на ИИ-рынке.

В частности, в тесте GPT-J ускоритель H100 демонстрирует сравнительно небольшое преимущество в плане производительности по сравнению с Gaudi2 — ×1,09 в серверном режиме и ×1,28 в оффлайн-режиме. При этом Gaudi2 превосходит ускоритель NVIDIA A100 в 2,4 раза в режиме server и в 2 раза в оффлайн-режиме.

Кроме того, решение Intel опережает H100 на моделях BridgeTower. Этот тест обучен на 4 млн изображений. Говорится, что точность Visual Question Answering (VQAv2) достигает 78,73 %. При масштабировании модель имеет ещё более высокую точность — 81,15 %, превосходя модели, обученные на гораздо более крупных наборах данных.

Источник изображений: Intel

Тест GPT-J говорит о конкурентоспособности Habana Gaudi2. При онлайн-обработке запросов этот ускоритель достигает производительности 78,58 выборки в секунду, а в автономном режиме — 84,08 выборки в секунду. Для сравнения: у NVIDIA H100 эти показатели равны соответственно 85,57 и 107,33 выборки в секунду.

В дальнейшем Intel планирует повышать производительность и расширять охват моделей в тестах MLPerf посредством регулярных обновлений программного обеспечения. Но Intel всё равно остаётся в догоняющих — NVIDIA подготовила открытый и бесплатный инструмент TensorRT-LLM, который не только вдвое ускоряет исполнение LLM на H100, но и даёт некоторый прирост производительности и на старых ускорителях.

Компания iBase Technology представила одноплатный компьютер IB838, предназначенный для создания систем промышленной автоматизации, встраиваемых устройств, автомобильных компьютеров и пр. В основу новинки положена аппаратная платформа Intel Alder Lake-N (Core i3).

Решение имеет габариты 102 × 147 мм. Предусмотрен один слот SO-DIMM для модуля оперативной памяти DDR5 ёмкостью до 16 Гбайт. Имеются порт SATA-3 для накопителя, разъёмы M.2 E-key и B-key.

Источник изображения: iBase Technology

В оснащение входит двухпортовый сетевой контроллер Intel I226V стандарта 2.5GbE. Аудиоподсистема выполнена на кодеке ALC888S. Есть три порта USB 3.2 Type-A и один порт USB 3.2 Type-C, два гнезда RJ-45 для сетевых кабелей, интерфейс DP и последовательный порт. Через разъёмы на плате можно задействовать два интерфейса USB 2.0 и три последовательных порта.

Одноплатный компьютер может эксплуатироваться в температурном диапазоне от 0 до +60 °C. Опционально допускается установка модуля 5G. Реализованы средства обеспечения безопасности fTPM (Firmware-based Trusted Platform Module). Напряжение питания может варьироваться в диапазоне от 9 до 36 В.

Компания Intel опубликовала на своём сайте любопытное видео, которое, впрочем, довольно быстро отредактировала — в нём демонстрируются некие процессоры без крышки-теплораспределителя. Судя по всему, речь идёт о новых чипах Xeon под кодовыми названиями Granite Rapids и Sierra Forest, о которых мы не так давно рассказывали читателям.

Как известно, в новом поколении Xeon Intel окончательно отходит от монолитной технологии и переходит на тайловую (чиплетную), в которой модули сшиваются при помощи технологии EMIB, а общаются друг с другом с помощью интерконнекта Intel Modular Mesh Fabric.

Источник изображений здесь и далее: Intel

Тайлов у новых процессоров два вида: вычислительные, которые несут в себе и контроллеры памяти, и тайлы ввода-вывода (I/O), отвечающие за реализацию PCIe, CXL и UPI, а также различных вспомогательных ускорителей.

На кадрах из опубликованного видео хорошо видна «полосатая» структура новых процессоров, в точности соответствующая слайдам, относящимся к Granite Rapids: центральную часть занимает тройка вычислительных тайлов с высокопроизводительными Р-ядрами, а по бокам расположены более тонкие I/O-тайлы, один из которых немного сдвинут относительно других чиплетов.

Другой кадр демонстрирует упаковку чипов, имеющих иную конфигурацию: здесь тайлов всего три, но центральный существенно крупнее, нежели на предыдущих кадрах. Уже известно, что вычислительные тайлы у процессоров Sierra Forest модульные и могут набираться блоками по 2 или 4 ядра, так что речь в данном случае явно идёт об этих CPU, использующих только энергоэффективные Е-ядра.

Судя по всему, производственный цикл новых Intel Xeon успешно запущен. Напомним, официально увидеть свет Granite Rapids и Sierra Forest должны в следующем году.