Японская компания PEZY Computing, являющаяся разработчиком процессоров с любопытными архитектурными решениями, ещё в 2017 году столкнулась с обвинениями в мошенничестве. Однако, похоже ей удалось преодолеть трудности. В Twitter появился ряд любопытных цифр, описывающих процессор PEZY-SC3, в том числе данные о техпроцессе, производительности нового чипа в Linpack, а также об энергоэффективности новинки.

PEZY-SC3. Источник здесь и далее: Twitter

Напомним, в отличие от широко распространённого принципа SIMD (одна инструкция, множество данных), чипы PEZY-SC используют MIMD (много инструкций, множество данных), предусматривающую независимую асинхронную работу множества сравнительно несложных ядер; уже в первом поколении PEZY-SC их было 1024. Благодаря MIMD чип удалось сделать достаточно простым, сэкономив транзисторный бюджет на блоках типа планировщика внеочередного исполнения инструкций.

Третье поколение, как и планировалось ранее, использует техпроцесс TSMC класса 7 нм и состоит из 4096 кастомных RISC-подобных ядер, что делает процессор PEZY-SC3 похожим на GPU. Для управления этим вычислительным массивом в составе чипа имеется два шестиядерных кластера с архитектурой MIPS64. Площадь кристалла новинки равна 786 мм², максимальное тепловыделение — 470 Вт.

Структура кристалла и архитектура PEZY-SC3. Полноразмерное изображение доступно по клику

PEZY-SC3 реализует многоуровневую архитектуру памяти, предусматривающую одновременное использование HBM2 и DDR4. Есть четыре стека HBM2 c пропускной способностью 307,2 Гбайт/с каждый, что совокупно дает 1,23 Тбайт/с — больше, чем у Intel Xeon Max (приблизительно 1 Тбайт/с). Ещё 50 Гбайт/с обеспечивает классическая память DDR4.

Производительность PEZY-SC3 составляет 19,7 Тфлопс в режиме FP64, для FP32 и FP16 заявлено 39,3 и 76,8 Тфлопс соответственно, что существенно превосходит показатели NVIDIA A100. Специфических блоков тензорных вычислений японский процессор не имеет, но отличается большей универсальностью, нежели решение NVIDIA.

Старые планы PEZY. По ряду параметров PEZY-SC3 с ранее опубликованными данными не совпадает: в частности, ядер у него в два раза меньше

Чип PEZY-SC3 неплохо проявил себя с точки зрения энергоэффективности, показав в тесте Linpack эффективность 24,6 Гфлопс/Вт, что позволило занять ему 12 место в рейтинге Green500. Выше на момент публикации результатов в ноябре 2021 года в список вошли только системы с ускорителями NVIDIA A100.

Благодаря своей универсальности, PEZY-SC3 хорошо подходит для сложных научных вычислений, да и потенциал энергоэффективности до конца не исчерпан и может быть повышен при дальнейшей оптимизации ПО с учётом особенностей архитектуры MIMD.

Об уникальных японских процессорах PEZY-SC мы рассказываем читателям не первый год. Впервые о них мы поведали в 2016 году во время конференции ISC 2016, а на ISC 2017 компания-разработчик представила PEZY-SC2 — ещё более быструю версию предыдущей архитектуры. Процессор, кроме того, использовал уникальную технологию внутричиповых соединений TCI на базе индуктивных пар. Однако дела у компании идут далеко не гладко. Президент PEZY Computing Мотоаки Сайто (Motoaki Saito) и ещё один сотрудник компании Дайсукэ Сузуки (Daisuke Suzuki) были арестованы во вторник пятого декабря.

Согласно официальной версии, главная вина подозреваемых заключается в получении мошенническим путём государственных средств на сумму 431 млн иен (порядка 3,8 млн долларов США). Если верить предъявленным обвинениям, схема мошенничества довольно проста: компания, как это нередко бывает, получала субсидирования от государства, в частности, от организации NEDO (New Energy and Industrial Technology Development Organization), но в итоге себестоимость разработок PEZY была обманным путём завышена, и разницу в сумме руководители использовали в личных целях. Именно это и является составом преступления по мнению местных правоохранительных органов.

Сбудутся ли теперь амбициозные планы PEZY?

Сумма почти в 4 миллиона долларов США не выглядит маленькой, поскольку семилетний капитал самой PEZY оценивается примерно в 940 млн иен (около $8,4 млн), а планы у компании самые наполеоновские: уже в следующем году был запланирован выпуск 7-нм чипа PEZY-SC3 с 8192 ядрами, а на 2020 год был назначен настоящий монстр — PEZY SC4, использующий уже 5-нм техпроцесс и располагающий 16384 ядрами. В настоящее время PEZY-SC2 являются основой гибридного суперкомпьютера Gyoukou производительностью 19,4 петафлопс, который, согласно последним отчетам, занимает четвёртую строчку рейтинга Top 500. Используется этот уникальный процессор и в других японских кластерных системах. Как скажется судебный процесс над главой компании на её весьма амбициозных планах — пока неясно.

Конференция ISC (International Supercomputing Conference), посвящённая, как следует из названия мероприятия, суперкомпьютерам и супервычислениям, проводится в Европе очень давно, с 1986 года. Мы регулярно освещаем новинки, представленные на ISC — вот и в прошлом 2016 году уникальный процессор PEZY-SC родом из Японии заслужил отдельную заметку. Некоторым может показаться странным, но в современных суперкомпьютерах нередко используются процессоры и вычислительные блоки, базирующиеся на архитектурах, отличных от x86, и PEZY тому одно из лучших подтверждений.

Архитектура PEZY

Более того, PEZY-SC оказался настолько удачным проектом, что первые три места в рейтинге Green500 заняли суперкомпьютеры на базе этих чипов — настолько они энергоэффективны. При максимальной электрической мощности 70 ватт PEZY-SC, производимый на мощностях TSMC с использованием хорошо устоявшегося 28-нм техпроцесса, содержит 1024 ядра и способен развивать 1,5 терафлопса на вычислениях двойной точности.

Используют японские разработчики и FPGA

Но японцы не были бы японцами, если бы сидели на месте в области высоких технологий. Всего через год, на ISC 2017 они представили новые процессоры PEZY-SC2 и различные модули для суперкомпьютеров на их основе. Во-первых, новая версия чипа существенно «похудела» — теперь она производится с использованием 16-нм техпроцесса FinFET, разработанного той же TSMC. Базовый строительный модуль носит название ZettaScaler 2.0, в новой версии он будет содержать 4096 чипов PEZY-SC2 и 12-ядерный управляющий процессор с архитектурой MIPS64: как видите, х86 здесь и не пахнет, хотя японские разработчики этой архитектурой не брезгуют и привезли на конференцию также и модули на основе Intel Xeon и Xeon D.

Но не брезгуют также решениями Intel

Сам PEZY-SC2 интересен, в первую очередь, тем, что в нём используется новейшая технология внутрипроцессорных соединений ThruChip Interface (TCI), разработанная в университете Кэйо. Суть её заключается в применении индуктивной связи вместо обычной электрической, что позволяет отказаться от соединений типа TSV, электрических проводников, пронизывающих кристалл насквозь. Они сегодня используются в таких решениях, как память типа HBM, но TCI позволяет сделать комплексные многослойные решения проще и доступнее. В настоящее время одна индуктивная пара при расстоянии порядка 20 нм позволяет добиться передачи данных на скорости 80 Гбит/с.

Бесконтактная архитектура внутричиповых соединений

Эта технология применена в сопутствующей PEZY-SC2 высокоскоростной памяти TCI DRAM. Первые чипы, как ожидается, будут иметь 8 слоёв ёмкостью 8 Гбит каждый и пропускную способность порядка 512 Гбайт/с на сборку объёмом 64 Гбит. Но основным массивом памяти в решениях на базе PEZY-SC2 останется традиционная DDR4, как устоявшееся и массово доступное решение. Каждый чип имеет 8 каналов DDR4, а общая концепция чем-то напоминает Intel Knights Landing с памятью типа MCDRAM на корпусе процессора.

Примерная компоновка PEZY-SC2

Согласно имеющимся данным, однопроцессорный узел PEZY-SC2 на базе новой технологии будет развивать до 8,2 терафлопс (очевидно, в режиме FP32, в FP64 вдвое меньше), а совокупная пропускная способность памяти составит 4,1 Тбайт/с. Но возросшая сложность вынудила разработчиков PEZY Computing сделать новое решение двухчиповым. В итоговом варианте оно, скорее всего, станет одним чипом, но с компоновкой типа MCM, допускающей установку нескольких кристаллов в единый корпус. Третья, ещё более совершенная версия PEZY и архитектуры ZettaScaler должна увидеть свет в 2019 году.

Япония оригинальна во всём, от культурных традиций до сферы супервычислений, где уже наметилась тенденция к унификации: массовое использование карт-ускорителей, подобных NVIDIA Tesla P100, или увеличение количества ядер с архитектурой x86, на чем зиждется концепция Intel Knights Landing. Но Япония отличилась своей оригинальностью и здесь.

PEZY-SC и PEZY-SCnp (справа)

Существует в Стране восходящего солнца любопытная компания под названием PEZY Computing, целиком ориентированная на разработку решений для рынка супервычислений (HPC). Новичком PEZY не является и на её счету уже имеются рабочие и используемые в реальных системах продукты, в частности, процессор PEZY-SC с 1024 логическими ядрами, частотой 733 МГц и производительностью в режиме FP64 на уровне 1,5 Тфлопс.

Модули на базе старого (слева) и нового чипа PEZY

На ISC 2016 PEZY Computing привезла ряд новинок, главной из которых является процессор PEZY-SCnp с улучшенными характеристиками. Чип стал более экономичным, его частота поднялась до 766 МГц, а напряжение питания упало с 1 до 0,95 В. Соответствующим образом, до 1,57 Тфлопс выросла и производительность при вычислениях с двойной точностью. Судя по скромным радиаторам на ряде снимков, с тепловыделением у новинки всё в порядке.

Характеристики одного из «строительных блоков» PEZY на базе нового SCnp

Новый чип получил корпус габаритами 50 × 50 миллиметров и несовместим по выводам с предшественником (новая упаковка BGA2397). В состав процессора входит восьмиканальный контроллер памяти DDR4 с частотой 1866 МГц и общей пропускной способностью всей подсистемы, достигающей 119,4 Гбайт/с против 85,3 Гбайт/с у предшественника. Появилась поддержка PCIe 3.0 и 32 линии наделяют PEZY-SCnp пропускной способностью на уровне 64 Гбайт/с.

Один из модулей PEZY в разобранном состоянии

Чипы PEZY-SC установлены в четырёх суперкомпьютерах в мире и компания занимает 1 место в рейтинге Green500, то есть её решения обеспечивают очень высокое соотношение производительности к затрачиваемой на вычисления энергии. Новое поколение PEZY-SCnp должно ещё более увеличить это соотношение. Так, установленный в институте RIKEN суперкомпьютер Shoubu (Iris) уже оснащён новыми чипами и развивает пиковую мощность 1,001 петафлопса. На каждый ватт приходится 6,673 гигафлопса. На выставке были также продемонстрированы различные модули и системы на базе нового чипа, в том числе и выполненные в виде плат расширения PCI Express.

Система на базе чипов Xeon D. Впечатляет количество процессоров

Компания-разработчик приводит цифры о масштабируемости новинки: если первая версия процессора обеспечивала пиковую эффективность масштабирования на 256 узлах в районе 56,2 %, развивая 225,4 терафлопса, то PEZY-SCnp в той же конфигурации показывает максимальную эффективность 65 %, развивая производительность 260,8 терафлопса. Это очень хороший показатель. Любопытно было бы сравнить его с показателями последних решений NVIDIA, оснащённых быстрой шиной NVLink.

Один из вариантов блоков хранения данных: используются обычные HDD

На выставке был продемонстрирован как сам чип, так и его работа в связке с различными решениями Intel, в частности, Xeon и Xeon D, а также различные модули, позволяющие строить суперкомпьютер буквально «из кубиков». К примеру, был показан модуль с шестнадцатью платами PEZY-SСnp (2 процессора на каждой) с 512 Гбайт памяти DDR4 общей производительностью 24 терафлопса.

PEZY принадлежит первое место в рейтинге Green500

Он работает совместно с четырьмя процессорами Intel Xeon E5-2600 v3/v4 с 256 Гбайт оперативной памяти на процессор. Питается такой модуль от четырёх независимых блоков питания с возможностью горячей замены общей мощностью 6400 ватт, а с другими частями вычислительной системы общается посредством четырёх каналов InfiniBand FDR (40 или 54 Гбит/с на линк x4).

Демонстрационный вариант погружной ванны для охлаждения системы PEZY

Были продемонстрированы и модули исключительно базе чипов Intel, в том числе модель с 16 процессорами и 16 интерфейсами со скоростью 10 Гбит/с. Любопытство представляет также модуль с 64 процессорами Xeon D, учитывая их экономичность. В его состав в сумме входит 1024 процессорных ядра и 4 Тбайт оперативной памяти. Система питания, по всей видимости, стандартна для всех «строительных блоков» PEZY, и описана выше — четыре взаимозаменяемых блока общей мощностью 6400 ватт.

Демонстрация погружного охлаждения в действии

Возможностей для соединения с прочими подсистемами суперкомпьютера тут и вовсе выглядят впечатляюще: 16 портов Ethernet с пропускной способностью 100 Гбит/с на порт. Компания показала также «кубики», служащие модулями хранения данных (как на базе флеш-памяти, так и на базе HDD), а также возможность погружного жидкостного охлаждения систем PEZY с использованием высокомолекулярных хладагентов 3M. Иными словами, PEZY Computing — очень серьёзный игрок на рынке супервычислений, имеющий в своём арсенале решения, способные потягаться с ускорителями NVIDIA. И не только. Компания имеет своё видение суперкомпьютера как цельной системы, и по её проектам уже созданы рабочие и приносящие пользу человечеству сверхмощные вычислительные машины. Новые чипы и модули PEZY Computing должны сделать их, а также их ещё не смонтированных собратьев ещё лучше и экономичнее.