Конференция ISC (International Supercomputing Conference), посвящённая, как следует из названия мероприятия, суперкомпьютерам и супервычислениям, проводится в Европе очень давно, с 1986 года. Мы регулярно освещаем новинки, представленные на ISC — вот и в прошлом 2016 году уникальный процессор PEZY-SC родом из Японии заслужил отдельную заметку. Некоторым может показаться странным, но в современных суперкомпьютерах нередко используются процессоры и вычислительные блоки, базирующиеся на архитектурах, отличных от x86, и PEZY тому одно из лучших подтверждений.

Архитектура PEZY

Более того, PEZY-SC оказался настолько удачным проектом, что первые три места в рейтинге Green500 заняли суперкомпьютеры на базе этих чипов — настолько они энергоэффективны. При максимальной электрической мощности 70 ватт PEZY-SC, производимый на мощностях TSMC с использованием хорошо устоявшегося 28-нм техпроцесса, содержит 1024 ядра и способен развивать 1,5 терафлопса на вычислениях двойной точности.

Используют японские разработчики и FPGA

Но японцы не были бы японцами, если бы сидели на месте в области высоких технологий. Всего через год, на ISC 2017 они представили новые процессоры PEZY-SC2 и различные модули для суперкомпьютеров на их основе. Во-первых, новая версия чипа существенно «похудела» — теперь она производится с использованием 16-нм техпроцесса FinFET, разработанного той же TSMC. Базовый строительный модуль носит название ZettaScaler 2.0, в новой версии он будет содержать 4096 чипов PEZY-SC2 и 12-ядерный управляющий процессор с архитектурой MIPS64: как видите, х86 здесь и не пахнет, хотя японские разработчики этой архитектурой не брезгуют и привезли на конференцию также и модули на основе Intel Xeon и Xeon D.

Но не брезгуют также решениями Intel

Сам PEZY-SC2 интересен, в первую очередь, тем, что в нём используется новейшая технология внутрипроцессорных соединений ThruChip Interface (TCI), разработанная в университете Кэйо. Суть её заключается в применении индуктивной связи вместо обычной электрической, что позволяет отказаться от соединений типа TSV, электрических проводников, пронизывающих кристалл насквозь. Они сегодня используются в таких решениях, как память типа HBM, но TCI позволяет сделать комплексные многослойные решения проще и доступнее. В настоящее время одна индуктивная пара при расстоянии порядка 20 нм позволяет добиться передачи данных на скорости 80 Гбит/с.

Бесконтактная архитектура внутричиповых соединений

Эта технология применена в сопутствующей PEZY-SC2 высокоскоростной памяти TCI DRAM. Первые чипы, как ожидается, будут иметь 8 слоёв ёмкостью 8 Гбит каждый и пропускную способность порядка 512 Гбайт/с на сборку объёмом 64 Гбит. Но основным массивом памяти в решениях на базе PEZY-SC2 останется традиционная DDR4, как устоявшееся и массово доступное решение. Каждый чип имеет 8 каналов DDR4, а общая концепция чем-то напоминает Intel Knights Landing с памятью типа MCDRAM на корпусе процессора.

Примерная компоновка PEZY-SC2

Согласно имеющимся данным, однопроцессорный узел PEZY-SC2 на базе новой технологии будет развивать до 8,2 терафлопс (очевидно, в режиме FP32, в FP64 вдвое меньше), а совокупная пропускная способность памяти составит 4,1 Тбайт/с. Но возросшая сложность вынудила разработчиков PEZY Computing сделать новое решение двухчиповым. В итоговом варианте оно, скорее всего, станет одним чипом, но с компоновкой типа MCM, допускающей установку нескольких кристаллов в единый корпус. Третья, ещё более совершенная версия PEZY и архитектуры ZettaScaler должна увидеть свет в 2019 году.

Один из ведущих разработчиков Intel, Ахилеш Кумар (Akhilesh Kumar), ответственный за разработку серверных процессоров Skylake-SP, опубликовал в блоге пост, посвящённый анонсу новой архитектуры внутрипроцессорных соединений, которая придёт на смену предыдущей, реализованной в чипах Core i7 класса HEDT, а также в процессорах Xeon v3 и v4 (Haswell/Broadwell-EP). Новая технология носит название Intel Scalable Processor Platform и главной её целью является конкуренция с технологией AMD Infinity Fabric. Последняя, как известно, служит для связи между модулями в процессорах Ryzen, Threadripper и EPYC. Чтобы понять, почему Intel решила сменить структуру внутрипроцессорных соединений, надо понять, в чём заключается узкое место предыдущей структуры. Здесь надо отметить, что Intel всегда использовала монолитные кристаллы даже в многоядерных процессорах, тогда как AMD в Threadripper и EPYC решила прибегнуть к компоновке типа MCM (Multi-Chip Module) с несколькими кристаллами в едином корпусе. Каждый подход имеет свои достоинства и недостатки, о чём ниже.

Схема внутрипроцессорных соединений в Broadwell-EP. Серым цветом выделены межкольцевые коммутаторы

Если в обычных потребительских процессорах проблема пропускной способности внутренних шин стоит не так остро, то в многоядерных решениях она начинает играть существенную роль, ведь для эффективной многопоточной обработки данных все ядра должны быть вовремя «накормлены», иначе они просто будут простаивать впустую в ожидании поступления новой порции данных. До появления Scalable Processor Platform компания Intel использовала три разновидности кристаллов: LCC (Low Core Count, до 10 ядер), MCC (Medium Core Count, до 14 ядер) и HCC (High Core Count, от 16 ядер); это справедливо для Broadwell-EP, в случае с Haswell-EP числа несколько иные, но это не столь важно. На приведённой выше диаграмме хорошо видно, что для соединения отдельных кластеров ядер используются двунаправленные кольцевые шины. В случае с LCC такая шина всего одна, в MCC вторая шина не образует полное кольцо, и, наконец, в HCC работают два полноценных двунаправленных кольца. Друг с другом кольца соединяются посредством буферизированных коммутаторов (серые прямоугольники), что порождает дополнительную задержку в 5 тактов при необходимости передать данные из одного кольца в другое.

В новых решениях Intel используется одноранговая сеть...

По мере наращивания количества ядер задержки растут, шины и коммутаторы должны работать на более высокой частоте, чтобы это компенсировать, а это, в свою очередь, приводит к повышению потребляемой процессором мощности и росту уровня тепловыделения. Именно с этой проблемой столкнулась бывшая ATI Technologies в процессе увеличения количества потоковых процессоров в графических чипах Radeon, и именно поэтому в новой архитектуре Skylake (как HEDT, так и Xeon v5) Intel отказалась от кольцевой топологии, перейдя к сетевой (mesh). Впервые сетевая топология внутренних соединений была использована в чипах Knights Landing, и это неудивительно с учётом огромного количества ядер у этих процессоров.

Схема сети для процессоров Knights Landing

Новая схема выглядит как двунаправленная решётка, а контроллеры памяти переехали к краям кристалла. Исчезли коммутаторы и сопутствующие им схемы буферизации. Небольшие кольца, впрочем, сохранились — теперь они находятся в пересечениях горизонтальных и вертикальных шин и обеспечивают оптимальное распределение потоков данных. Если верить Intel, то возросла и пропускная способность новых шин. Кроме того, для систем с процессорами Purley будет применён новый внешний интерфейс UPI вместо привычного QPI. В целом, новый дизайн кристалла, разработанный Intel, не просто эффективнее старого, но и позволяет наращивать количество процессорных ядер сравнительно малой кровью.

...но с её топологией в реальном кристалле Skylake-X всё не так просто, как на схеме

На диаграмме соединения сосредоточены в правой части каждого ядра или функционального блока, однако снимок ядра XCC (eXtreme Core Count) демонстрирует несколько иную топологию: ядра ориентированы зеркально по отношению друг к другу. Это может внести дополнительные задержки при перемещении данных по горизонтали, поскольку расстояние между узлами сети в этом случае неодинаково, но это в любом случае эффективнее старой схемы с двумя кольцами и буферизированными коммутаторами.

Межкристалльные шины AMD Infinity Fabric в процессоре EPYC

Схема, реализованная AMD, выглядит совершенно иначе: каждые два четырёхъядерных блока CCX (CPU Complex) образуют восьмиядерный кристалл, в котором они общаются между собой с помощью 256-битной двунаправленной шины Infinity Fabric. В 32-ядерном процессоре EPYC таких кристаллов четыре, соединяются они аналогичным образом, но шины пролегают в корпусе чипа. Это ведёт к задержкам при обращении одного процессорного кристалла к данным, находящимся в кеше другого кристалла, особенно, расположенного диагонально — данным приходится преодолевать и промежуточный кристалл, поскольку шин всего четыре и Х-образное соединение в решении AMD не используется.

Сборка из двух AMD CCX делит общий контроллер памяти

Впрочем, этот эффект может компенсировать грамотная программная оптимизация, а что касается наращивания количества ядер, тут AMD в выигрыше: отказ от монолитного многоядерного кристалла позволяет в случае нужды установить в корпусе вместо четырёх восьмиядерных сборок шесть или даже восемь, расплатившись, разумеется, соответствующим ростом латентности и уровня тепловыделения. Intel наверняка использует этот факт в рекламе своей новой технологии, но какой подход покажет себя более жизнеспособным, покажет время.

После долгого затишья компания AMD проявляет серьёзную активность во всех сферах: она успешно вывела на рынок доступные многоядерные процессоры потребительского класса, готовится вторгнуться на рынок HEDT-платформ и вернуть себе место под солнцем в сфере серверных решений. Существенные успехи есть и у графического подразделения, бывшей ATI Technologies, хотя дебют проекта Vega ещё впереди. Продвигаются дела у AMD и на рынке профессиональной графики, причём, не только в секторе дорогих и мощных решений. Совсем недавно было объявлено о выпуске новых моделей Radeon Pro начального уровня.

Новинки получили имена Radeon Pro WX 2100 и Radeon Pro WX 3100. В их основу лёг 14-нм графический процессор Polaris, судя по конфигурации это Polaris 12 — количество активных потоковых процессоров равно 512. У Polaris 11 их 1024 и пускать такие чипы на производство новой серии в столь усечённом виде было бы невыгодно. Пиковая производительность для обеих карт заявлена на уровне 1,25 терафплос на вычислениях одинарной точности (FP32). Главным отличием между двумя новыми моделями является объём видеопамяти: 2 Гбайт GDDR5 с 64-битным интерфейсом у WX 2100 и 4 Гбайт GDDR5 со 128-битным интерфейсом у WX 3100.

Судя по результатам тестов, опубликованным AMD, новинки более чем успешно конкурируют с аналогичным им по классу решениями NVIDIA. Для младшей модели это Quadro P400, для более мощной WX 3100 — Quadro P600. В некоторых случаях выигрыш достигает полуторакратных и более значений. Карты отлично вписываются в конфигурацию компактной рабочей станции, поскольку выполнены низкопрофильными. Любопытно, что они используют шину PCI Express x8, хотя механически разъём выполнен в соответствии с габаритами слота x16. Каждая из новинок оснащена тремя разъёмами DisplayPort: одним классическим и двумя mini-DP. Гарантируется поддержка режимов HBR/HDR, возможно одновременное использование трёх мониторов формата 4К с частотой обновления 60 Гц или одного дисплея формата 5К с частотой 30 Гц.

Вчера мы рассказывали читателям о прототипе первой многопользовательской рабочей станции виртуальной реальности, которую NVIDIA представила на конференции GTC 2017. Она оснащена четырьмя ускорителями Quadro P6000 и позволяет четырём пользователям работать одновременно в единой среде VR. Но компания анонсировала и другие новинки, например, серию вычислительных станций на базе новой технологии Volta. В серию входят модели DGX-1, DGX Station и HGX.

Рабочая станция с четырьмя новыми процессорами NVIDIA Volta

Первая модель представляет собой стоечное решение с восемью ускорителями Tesla V100, что обеспечивает производительность порядка 960 тензорных терафлопс. По мнению NVIDIA это заменяет 400 обычных серверов. Стоит такая система $149 тысяч, а заказчики получат её уже в третьем квартале. Модель DGX Station выглядит совсем иначе: это рабочая станция в настольном исполнении, она содержит четыре ускорителя Tesla V100. В ней установлены версии ускорителей с разъёмами PCIe и тремя портами DisplayPort. Друг с другом, однако, платы общаются посредством NVLink. Стоит такая станция $69 тысяч.

Серверные варианты

Наконец, была представлена платформа NVIDIA HGX-1. Её назначение —  облачные вычисления. Она изначально рассчитана на работу в составе единой инфраструктуры ЦОД, причём эта инфраструктура должна предусматривать наличие единого контура жидкостного охлаждения, к которому платформа и подключается. Характеристики и производительность у HGX-1 аналогичны таковым параметрам у DGX-1, и она содержит восемь ускорителей Tesla V100 в версии с интерфейсом NVLink. Стоимость не оглашена, но она должна быть выше стоимости DGX-1.

На этой неделе корпорация Intel начала массовые поставки процессоров Itanium 9700, известных под кодовым именем Kittson.

Новые чипы пришли на смену изделиям Poulson, объединённым в серию Itanium 9500. Как и предшественники, изделия Kittson изготавливаются по 32-нанометровой технологии. Вместо внедрения более «тонкого» техпроцесса Intel пошла по пути оптимизации вычислительной архитектуры для увеличения быстродействия.

Пробные поставки Kittson были начаты в феврале нынешнего года, а теперь сообщается об организации полноценных отгрузок. Правда, по сути, единственным значимым заказчиком этих решений является Hewlett Packard Enterprise, использующая Itanium в серверах на платформе HP-UX.

Между тем в Intel подтвердили, что Kittson — это последние представители семейства Itanium. Выводить на рынок новые чипы данной серии не планируется.

Нужно отметить, что впервые процессоры Itanium были представлены 29 мая 2001 года. Но продажи изделий оказались менее успешными, чем предполагалось. Основными причинами этому были проблемы с производительностью и малое количество оптимизированного программного обеспечения.

Многие эксперты уже давно говорили о грядущем завершении эпохи Itanium. В 2010 году корпорация Microsoft объявила, что Windows Server 2008 R2 и SQL Server 2008 R2 стали последними версиям данного ПО, поддерживающими архитектуру Itanium. В 2011-м о прекращении поддержки чипов сообщила компания Oracle. 

О том, что серия экономичных SoC Intel Atom C2000 (Avoton) подвержена деградации таймера LPC, и через определённое время чипы просто перестают работать, уже успели сообщить все известные IT-ресурсы. Специалисты обеспокоены, ведь данное решение предназначено для построения, в том числе, экономичных сетевых и серверных решений, и немало процессоров Intel Avoton уже работают по всему миру, а счётчик, отсчитывающий часы жизни чипов, продолжает тикать. Компания Intel восприняла проблему всерьёз и занялась исправлением проблемы «умирающих процессоров».

На днях было объявлено о выпуске процессоров Avoton с новыми степпингом С0, которые лишены данной проблемы. В официальной сопроводительной документации описан переработанный интерфейс LPC и имеется уведомление об избавлении от ошибки AVR54, которая и описывала предыдущую проблему, свойственную чипам Avoton со степпингом B0. Версия С0 немного потеряла в функциональности: большинство выводов LPC теперь не могут быть переназначены в качестве GPIO, а работают в фиксированном режиме. Для многих применений это не имеет практического значения, например, в большинстве микросерверных решений на базе Avoton.

Но если в устройстве ранее использовалась такая функциональность, то системную плату придётся переделывать — простой заменой чипа B0 на C0 проблему решить не получится. Единственный выход, могущий работать в режиме GPIO — LPC_CLKOUT1. К сожалению, программа замены устройств на базе Intel Avoton B0 потребует существенных средств, поскольку от дефекта AVR54 пострадали устройства, как минимум, 21 производителя: Aaeon, ASRock Rack, Checkpoint, Cisco, Dell, Fortinet, HP, Infortrend, iXsystems, Online/Scaleway, Lanner, NEC, Newisys, Netgear, Netgate, Quanta, Seagate, Sophos, Supermicro, Synology и ZNYX Networks. Некоторые из них, например, Synology, не признали проблему опасной.

«Объединённая приборостроительная корпорация» (ОПК) сообщает о том, что компания «НИПОМ» и холдинг «Росэлектроника» разрабатывают специализированную микропроцессорную систему релейной защиты и автоматики (РЗА) для российских электроподстанций.

В основе системы — вычислительные комплексы на базе отечественных процессоров «Эльбрус». Платформа предназначена для киберзащиты критически важных инфраструктур, отвечающих за жизнеобеспечение населённых пунктов и государства в целом.

Система предназначена для установки на реконструируемых и новых подстанциях, обладает высоким уровнем отказоустойчивости, гарантирует отсутствие «закладок» и защиту от несанкционированного вмешательства в работу энергообъектов.

Созданная РЗА интегрируется в автоматизированные системы управления технологическими процессами электроподстанций единой национальной электрической сети.

Применение процессоров «Эльбрус» позволяет решить задачи импортозамещения и повышения безопасности. «Не секрет, что многие зарубежные образцы вычислительной техники содержат скрытые каналы, позволяющие негласно снимать информацию, удалённо влиять на работоспособность систем, выводить их из строя и даже создавать аварийные ситуации. В противовес им создана система, где электронные компоненты, конструкция, программное обеспечение — всё российское. Это гарантирует высокий уровень кибербезопасности программно-аппаратных средств и позволяет использовать такую технику для решения особо ответственных задач», — сообщили представители холдинга «Росэлектроника». 

Компактные системные платы класса «всё-в-одном» имеют определённую популярность в среде энтузиастов. Используются они широко и в промышленности, где далеко не всегда можно найти место для установки даже платы в формате Mini-ITX, а автоматизация, да ещё требующая довольно значительных вычислительных мощностей, всё-таки необходима. Для таких случаев Sapphire подготовила модель BP-FP4-LC, оснащённую процессором AMD серии G. Она имеет габариты всего 100 × 100 миллиметров и поставляется с уже смонтированным кулером.

Основой системы является чип AMD Prairie Falcon в конструктиве FP4. Скорее всего, это GX-2241J, имеющий пару ядер x86 с архитектурой Excavator, теплопакет в пределах 10‒15 ватт, 1 Мбайт кеша L2, частотную формулу 2,4/2,8 ГГц, частоту графического ядра 600 МГц и поддержку DDR4-2133. Графическая часть включает в себя 3 модуля Radeon R4E (192 процессора GCN) с поддержкой DirectX 12 и декодирования H.265 (UVD6). Для игр плата не подходит, зато обеспечивает полную поддержку гетерогенных вычислений (OpenCL 1.2) и умеет выводить изображение на два монитора с использованием любых двух из трёх имеющихся интерфейсов: HDMI 2.0, DisplayPort 1.2 или Embedded DP 1.4. В качестве операционной системы подойдёт практически любая версия Windows за исключением XP и Vista; скорее всего, работоспособными окажутся и некоторые дистрибутивы Linux.

На плате также имеется пара слотов Mini-PCIe, один из которых полноразмерный и служит для установки в него SSD (только SATA), а второй предназначен для реализации различных беспроводных интерфейсов. Есть дополнительный порт SATA 6 Гбит/с и слот microSDHC/XC. За проводную сеть отвечает контроллер Realtek RTL8111G. Имеется четыре порта USB, два из которых версии 3.0, присутствует простенькая аудиосистема на базе чипа ALC262, а также колодка для подключения разъёма RS-232, интерфейса, который всё ещё широко используется в промышленности. Плата питается от любого источника постоянного тока с напряжением 19 вольт, для чего имеется соответствующий разъём. Иными словами, это готовое решение, которое можно интегрировать практически куда угодно, благо, диапазон рабочих температур у платы простирается от 0 до 50 градусов Цельсия.

Против популярного мнения, альтернативные x86-процессорные архитектуры не собираются умирать — они давно и прочно заняли свои места в различных рыночных нишах. Так, например, процессоры Oracle SPARC (ранее Sun SPARC) активно используются в серверах, особенно серверах баз данных, поскольку специально оптимизированы с учётом соответствующего программного обеспечения. Системы на их основе выпускает, в том числе, и Fujitsu. На днях компания представила два новых сервера в серии M12 — M12-2 и M12-2S. В них установлены процессоры разработки самой Fujitsu, SPARC64 XII, а не базовые решения Oracle, M7 или S7.

Помимо прочего, новинки интересны применением гибридной системы охлаждения, сочетающей в себе испарительные камеры и жидкостной контур. Сами процессоры примерно в 2,5 раза производительнее предыдущей модели Fujitsu SPARC X, применявшейся в серверах серии M10. Тактовые частоты процессоров в M12-2 достигают внушительных 4,25 ГГц, в M12-2S они несколько ниже и составляют 3,9 ГГц. С учётом сложности и возможностей этих чипов такие частоты действительно впечатляют, ведь SPARC64 XII может содержать до 12 активных ядер. Предназначены новые серверы для корпоративного рынка, в том числе и для использования в кластерах HPC, хотя в этой сфере архитектура SPARC сегодня используется не слишком часто.

Устройство новых процессоров Fujitsu SPARC64

Платформа M12-2 является сервером среднего уровня, в один сервер можно установить 1 или 2 процессора, всего до 24 ядер и 192 тредов одновременно. Ёмкость подсистемы памяти может варьироваться в пределах от 64 Гбайт до 2 Тбайт, поддерживаются модули разной ёмкости одновременно. Сервер поставляется в стандартном корпусе 4U и отлично подходит для применения в традиционных сферах, таких, как обработка транзакций (OLTP), хранение данных, планирование ресурсов (ERP) и так далее. M12-2S интереснее: это расширяемая система, могущая включать до 32 12-ядерных процессоров, всего до 384 ядер и 3072 тредов, объём памяти при этом может достигать 64 Тбайт. Это само по себе уже тянет на небольшой суперкомпьютер, и M12-2S действительно предназначена для использования в сферах HPC и облачных вычислений.

Обычные потребительские процессоры с архитектурой Kaby Lake присутствуют на рынке уже довольно давно. Они мало чем отличаются от предыдущих чипов с архитектурой Skylake, но всё же на текущий момент обладают самой совершенной архитектурой, созданной Intel. Выпуск аналогичных моделей Xeon был делом времени, как и в случае с предыдущей архитектурой, и вот, наконец, он состоялся: компания анонсировала семейство чипов Intel Xeon E3-1200 v6, пришедшее на смену семейству E3-1200 v5. Всего анонсировано восемь процессоров с различными сочетаниями характеристик, но цены Intel почему-то решила не оглашать.

О характеристиках мы уже рассказывали читателям ранее, и они не изменились, стали лишь известны частоты в турборежиме. Максимум здесь составляет 4,2 ГГц, а минимум — 3,5 ГГц, но все модели, включая младшую, несут на борту по 8 Мбайт кеша L3. Среди представленных восьми моделей есть три с интегрированным графическим ядром Intel HD P630, которое может работать на частоте до 1150 МГц, но большую часть составляют процессоры с отключенной графикой. Их теплопакет несколько ниже, но всего на 1 ватт — 72 против 73 ватт у чипов с работающим графическим ядром. Таким образом, это очень экономичные процессоры для рабочих станций начального уровня, не требующие установки мощных систем охлаждения. К сожалению, на припой под крышкой теплораспределителя рассчитывать вряд ли приходится, поскольку производственный процесс в серии Xeon E3-1200 тот же, что и у чипов семейства Core для платформы LGA 1151.

По сравнению с серией E3-1200 v5 выросли лишь тактовые частоты, прочие же характеристики и архитектурные особенности обусловлены архитектурой Kaby Lake. В отличие от серии Core, у Xeon E3-1200 v6 задействована поддержка памяти с коррекцией ошибок, что является обязательным требованием для любой рабочей станции и сервера даже начального уровня. Поддерживаются модули DDR4-2400 ECC. Как и обычные Kaby Lake, новые Xeon содержат улучшенный блок декодирования видео с поддержкой 10-битных форматов HEVC 4K, но воспользоваться им можно только на тех моделях, где активна интегрированная графика. Новые процессоры без проблем должны работать в системных платах на базе чипсетов Intel C232 и С236, хотя в некоторых случаях может потребоваться обновление BIOS.