Вместе с графическими и серверными ускорителями серии X^e Intel представила и новую, унифицированную модель разработки oneAPI и соответствующий инструментарий для неё, который и продолжает развивать. В течение нескольких лет компания организовала два десятка центра компетенций oneAPI по всему миру, причём один из первых появился в Нижнем Новгороде, что, в общем, не случайно. oneAPI настолько важен для Intel, что она на днях объявила о поглощении компании Codeplay, одного из ключевых разработчиков в этой области.

oneAPI позволяет унифицировать разработку и портирование приложений для различных архитектур, причём не только от самой Intel: CPU, GPU, FPGA и т.д. Проект базируется на открытом SYCL, наследнике OpenCL — оба стандарта курирует Khronos Group. Intel предлагает компилятор, инструменты для анализа и портирования кода и массу оптимизированных библиотек для различных классов приложений, да и сама активно занимается адаптацией и оптимизацией сторонних библиотек и фреймворков.

Изображение:Intel

Всё это делается ради привлечения как можно большего числа разработчиков, которые, как видится Intel, должны в идеальном случае сразу же создавать приложения (в первую очередь в HPC-сегменте, но не только) с помощью oneAPI, даже если их планируется в большинстве случаев запускать на оборудовании AMD или NVIDIA. И именно поэтому Intel хочет, чтобы стек oneAPI был не только бесплатным, но и как можно более открытым.

Аналогичных идей придерживается и AMD в рамках проекта ROCm и сопутствующих инструментов вроде HIP. Обе компании рассчитывают, что открытость и дружелюбность средств разработки позволят им потеснить NVIDIA CUDA. При этом обе понимают, что в CUDA вкладывались в течение 15 лет, а сейчас порядка трёх четвертей сотрудников NVIDIA занимаются именно разработкой ПО. В мае Intel открыла исходники SYCLomatic, инструмента для автоматизированного переноса кода с CUDA на SYCL.

Изображение:Intel

У Codeplay уникальная позиция. Сотрудники компании входят в комитеты по стандартизации Khronos, возглавляют рабочую группу SYCL и давно продвигают этот стандарт. Кроме того, они причастны к формированию стандартов ISO С++, занимаются OpenCL и приложили руку к целому ряду других стандартов и спецификаций. Codeplay разработала высокоэффективные компиляторы oneAPI/SYCL для ускорителей AMD и NVIDIA, а также создала ряд оптимизированных библиотек для ускорителей всех трёх игроков.

Codeplay Software была основана в 2002 году в Эдинбурге (Шотландия). Компания занимается созданием по заказу инструментов разработки, отладки и профилирования для самых разных чипов и архитектур. Также в её портфолио есть решения для экзафлопсных вычислений, ИИ, графики (именно с игровой индустрии она когда-то и начинала), автомобильных систем и т.д. Сумма сделки, которая всё ещё ожидает финального одобрения, не раскрывается. Это не первый случай, когда многолетнее партнёрство привело к поглощению — в 2013 году NVIDIA купила PGI (The Portland Group, Inc.), разработчика компиляторов Fortran и C/C++ для HPC-систем.

В Аргоннской национальной лаборатории Министерства энергетики США (DOE) ведут разработку переносимых гетерогенных приложений для суперкомпьютеров следующего поколения. Это в определённой степени вынужденное решение, поскольку новые машины базируются на различном аппаратном обеспечении от AMD, Intel и NVIDIA.

В частности для будущего экзафлопсного суперкомпьютера Aurora от Intel ведётся работа по адаптации инструментария HIP (C++ Heterogeneous-Compute Interface for Portability), входящего в состав платформы AMD ROCm. Исходная версия уже поддерживает ускорители AMD и NVIDIA, потому ожидается, что многие HPC-приложения так или иначе будут использовать HIP при разработке и адаптации. А уже в этом году ожидается появление поддержки ещё и ускорителей Intel.

В целом, идея состоит в максимально возможной унификации гетерогенных приложений, чтобы их можно было легко запускать на разных конфигурациях суперкомпьютеров. Разработчики опираются на результаты более раннего проекта HIPCL, позволяющего HIP работать поверх OpenCL. Однако для Aurora основным низкоуровневым API будет Level Zero из состава oneAPI, так что теперь работа ведётся в рамках проекта HIPZL. Пока что проект находится на ранней стадии, хотя уже есть несколько тестовых приложений.

Корпорация Intel продолжает развивать идеи унификации, заложенные в проекте oneAPI. Новая версия инструментария расширияет спектр поддерживаемых языков и архитектур. Ещё в 2020 году, когда Intel представила oneAPI 1.0, было очевидно, что будущее за гетерогенными системам, что по итогам уходящего 2021 года лишь подтвердилось.

По мнению аналитиков Evans Data, 40% разработчиков ПО сейчас нацеливают свои усилия на системы, имеющие в своём составе более одной процессорной архитектуры. Intel oneAPI как раз и позволяет объединить все компоненты таких систем в единый «оркестр» — использование унифицированного и при этом открытого инструментария позволит лучше оптимизировать ПО, упростит разработку и тестирование, и в конечном итоге сделает этот процесс более быстрым и менее затратным.

Единая модель oneAPI объединяет под своей крышей разные архитектуры и модели вычислений

oneAPI предлагает, по словам Intel, первый в мире унифицированный компилятор C++, SYCL и Fortran на базе LLVM как для обычных процессоров, так и для ускорителей, в частности, на базе GPU. Поддержку ускоренных вычислений получил Python, который на сегодня считается одним из самых популярных языков программирования. Кроме того, существенно улучшен инструментарий Intel DPC++ Compatibility Tool — теперь он позволяет автоматически переиспользовать 90-95% кода CUDA при портировании его на SYCL/DPC++.

Инструментарий Intel oneAPI 2022, естественно, получил поддержку и оптимизации, связанные с новыми процессорами и ускорителями на базе архитектуры Xe. Для процессоров Alder Lake появилась поддержка AVX-VNNI, а для Sapphire Rapids — нового набора расширений матричной математики Intel AMX. Существенное внимание в новом релизе компания уделила вопросам ускорения задач машинного обучения:

• Оптимизации Intel ускорили работу фреймворков TensorFlow и PyTorch до 10 раз.
• Расширения Intel для Scikit-learn позволили ускорить выполнение алгоритмов машинного обучения до 100 раз в сравнении с базовой open source версией пакета.
• Представлен новый инструмент Intel Neural Compressor, повышающий производительность инференс-систем за счёт дополнительной оптимизации уже после обучения моделей.

Не забыты и инструменты для разработчиков. Так, Intel VTune получил удобный функцию Flame Graph Display для быстрого визуального выявления «горячих мест». С его помощью можно оценить выгоду от переброса вычислений с CPU на GPU, прежде чем вносить серьёзные изменения в код проекта. Существенно возросла степень интеграции с Microsoft Visual Studio, включая поддержку версии 2022 и WSL2.

Также уделено внимание техникам рендеринга на базе трассировки лучей: в этой части oneAPI получил целый ряд оптимизаций и новых возможностей. Из заметных нововведений также следует отметить поддержку FP16 и грядущих ускорителей на базе графической архитектуры Intel Xe.

Компания BitWare объявила о расширении серии ускорителей IA, основанных на программируемых матрицах Intel Agilex. Добавлено 2 новые модели: IA-420F (низкопрофильная PCIe-карта) и IA-220-U2 (U.2). Вместе с выпущенным ранее двухслотовым PCIe-ускорителем IA-840F, серия IA теперь охватывает 3 наиболее востребованных в ЦОД и сетевой инфраструктуре форм-фактора, что значительно повышает гибкость развёртывания.

Ускоритель IA-420F предназначен для использования в качестве SmartNIC и для вычислительных хранилищ (computational storage). Эта однослотовая HHHL-карта может быть установлена практически в любые серверные и периферийные устройства. В состав платы входят: микросхема FPGA Intel AGF 014 на 1,437 млн логических элементов, 2 Гбит загрузочной флеш-памяти, 2 банка DDR4 (до 16 ГБайт каждый), 8 линий GPIO. Для программирования и отладки на плату выведен порт USB, подключённый к набортному BMC.

Сетевой интерфейс представлен разъёмом QSFP-DD (200 Гбит/с), соединённым с FPGA через восемь 25G-трансиверов. Предусмотрена программируемые пользователем 10/25/40/100GbE-подключения, а также поддержка синхронизации с подавлением джиттера с внешним источником точного времени. FPGA напрямую подключена к линиям PCIe 4.0 x16. Максимальное энергопотребление составляет 75 Вт.

Модуль IA-220-U2 выполнен в форм-факторе U.2 (15 мм) и оптимизирован для работы с пассивным охлаждением — максимальное энергопотребление составляет 25 Вт. Он предназначен для рабочих нагрузок, связанных с NVMe СХД. Основной элемент платы — та же FPGA Intel AGF 014 с двумя банками памяти DRR4-2400 (до 8 ГБайт).

Кроме того, есть SMBus контроллер с поддержкой NVMe-MI 1.а, что позволяет легко обновлять ПО FPGA. Также есть выводы JTAG и GPIO. Ускоритель IA-220-U2 имеет интерфейс PCIe 4.0 x4 и может быть установлен в обычные 2U СХД. Его удобно использовать в платформах, где имеется избыток слотов U.2, но нет свободных слотов PCIe.

Благодаря использованию в обоих модулях ПЛИС Intel Agilex, пользователям доступен oneAPI — унифицированный набор средств разработки, который, по словам создателей, позволяет заказчикам быстро перейти от создания пробных образцов к массовому развёртыванию, успешно выполняя все требования по квалификации, проверке, управлению жизненным циклом и поддержкой. Впрочем, никто не мешает воспользоваться и Quartus Prime Pro.

Аргоннская национальная лаборатория вместе с Ок-Риджской национальной лабораторией (ORNL) заключила с Codeplay Software контракт на реализацию компилятора oneAPI DPC++, расширения открытого стандарта SYCL для работы в составе высокопроизводительных гетерогенных вычислительных систем.

Компилятор планируется использовать для суперкомпьютеров экзафлопсного класса Aurora и Frontier на базе CPU и GPU Intel и AMD соответственно. Как отмечается, SYCL станет одной из основных моделей программирования для них, что позволит упростить разработку научных приложений, объединить кодовые базы и облегчить перенос ПО с одного суперкомпьютера на другой.

Ранее Codeplay и ряд научно-исследовательских центров начали работу над расширением компилятора SYCL и DC++ для NVIDIA A100, а теперь компания сосредоточится на поддержке ускорителей AMD, покрыв таким образом основные современные платформы. Отметим, что не только Codeplay занимается разработкой и расширением компиляторов для SYCL — есть различные реализации как от частных компаний, так и от научных институтов.

В рамках конференции SmartDev Сбер сообщил о расширении возможностей SberCloud ML Space — облачной платформы полного цикла разработки и реализации сервисов с технологиями искусственного интеллекта (ИИ).

Система ML Space предоставляет инструменты и ресурсы для создания, развития и развёртывания моделей машинного обучения. Она объединяет популярные средства для работы с «большими данными» — Jupyter Notebook и Jupyter Lab. Техническая сторона платформы использует суперкомпьютер SberCloud «Кристофари», суммарная производительность которого составляет 6,7 Пфлопс. Задействованы процессоры Intel Xeon с интегрированными функциями ускорения ИИ.

Отмечается, что функциональность ML Space расширена за счёт открытой, основанной на стандартах, кросс-архитектурной модели программирования oneAPI. Соответствующие инструменты помогают разработчикам эффективно создавать, анализировать и оптимизировать высокопроизводительные кросс-архитектурные приложения для различных XPU: процессоров Intel, графических процессоров и FPGA.

«Новые Intel oneAPI Toolkit s идеально вписываются в идеологию ML Space. Теперь дата-сайентисты и ML -разработчики, работающие на производительной, гибкой и эффективной с точки зрения затрат процессорной архитектуре, смогут ускорить разработку и внедрение своих ИИ-продуктов, улучшить их характеристики», — отмечает SberCloud. Желающие уже могут получить тестовый доступ к платформе ML Space с инструментами Intel oneAPI Toolkits и серверам на базе процессоров Intel.

Важно отметить, что oneAPI поддерживает известные языки программирования (например, C, C ++, Fortran и Python) и общие стандарты (такие как MPI и OpenMP), обеспечивая полную совместимость с существующим кодом и ускоряя его исполнение. Предлагаемые наборы инструментов включают в себя кросс-архитектурный язык программирования oneAPI Data Parallel C ++ (DPC ++) и более 40 программных продуктов: компиляторы, библиотеки и инструменты для переноса, анализа и отладки, которые упрощают разработку приложений для обработки данных.

Ранее мы уже писали об экспериментальнои проекте ZLUDA, развивающем открытую реализацию CUDA для GPU Intel, которая позволила бы нативно исполнять CUDA-приложения на ускорителях Intel без каких-либо модификаций. При этом её разработка ведётся независимо и от Intel, и от NVIDIA.

Новинка построена на базе интерфейса Intel oneAPI Level Zero, и может работать на картах Intel UHD/Xe с неплохим уровнем производительности. Однако у первой версии был ряд ограничений. Вчера же вышла вторая версия, которая получила ряд улучшений. Кроме того, автор проекта объявил о переходе на модель непрерывного выпуска релизов.

Основной упор в новой версии сделан на улучшение поддержки Geekbench и работы в Windows-окружении. Собственно говоря, автор прямо говорит, что оптимизация под Geekbench пока является основной целью, а другие CUDA-приложения могут не работать. Кроме того, такое ПО, запущенное с помощью ZLUDA будет работать медленнее, чем на картах NVIDIA, в силу разности архитектур GPU и необходимости эмуляции некоторых возможностей. Подробности приведены на странице проекта.

Компания Intel выпустила новую версию библиотеки oneDNN (ранее известна как MKL-DNN) с открытым исходным кодом. Она используется для глубокого обучения нейросетей. В новой версии 2.1 теперь есть поддержка ускорителей на базе GPU от NVIDIA, а также ряд улучшений для работы на будущих процессорах Intel.

Отмечается, что новая библиотека оптимизирована для работы с графикой Intel Xe. Улучшилась работа с процессорами Intel Xeon с поддержкой матричных расширений AMX (их получат чипы Sapphire Rapids). Также поддерживаются различные оптимизации AVX-512 и так далее.

Отдельно отметим начальную поддержку будущих процессоров Alder Lake с AVX2 и DL Boost. Есть даже некоторые оптимизации INT8 для процессоров с SSE4.1 и ряд других низкоуровневых улучшений. Помимо этого, есть улучшения для архитектуры AArch64. А сама библиотека в целом стала работать быстрее.

Что касается поддержки GPU NVIDIA, то она пока находится в начальной стадии и полагается на компилятор Intel DPC++, cuDNN и cuBLAS. Тем не менее, это важный шаг для платформы oneAPI, которая обещает стать универсальным средством разработки для различных аппаратных архитектур. Ссылки для скачивания и все подробности о выпуске oneDNN 2.1 можно найти на GitHub.

Khronos Group сообщила, что спецификация для гетерогенного программирования на основе C++ 17 под названием SYCL пересмотрена и выпущена в виде релиза SYCL 2020. Новая версия является преемником стандарта SYCL 1.2.x, с которым она обратно совместима.

Новая версия добавляет поддержку унифицированной разделяемой памяти (USM), расширенную совместимость, атомарные операции SYCL, поведение которых похоже на аналогичные функции в C ++, а также много другое. В общей сложности, в SYCL 2020 добавлено более 40 новых функций для расширения возможностей программирования. При этом разработчики заявили, что главной задачей при создании SYCL 2020 было не только введение новых функций, но и сохранение обратной совместимости, поскольку стандарт используется в суперкомпьютерных системах и реальных приложениях.

Параллельно с выпуском спецификации SYCL 2020 экосистема SYCL продолжает расти за счёт расширения разработки компиляторов, сред выполнения, библиотек и инструментов. В частности, многие компоненты Intel oneAPI Data Parallel C++ (DPC++) включены в состав SYCL 2020. Реализация, совместимая с ComputeCpp SYCL 1.2.1 от Codeplay, включает избранные функции SYCL 2020 в качестве расширений, в том числе поддержку DSP и RISC-V с добавлением дополнительных функций со временем.

Реализации Intel, Codeplay и Xilinx (triSYCL) основаны на платформе LLVM и несколько более универсальны. hipSYCL от Гейдельбергского университета также поддерживает ключевые функции SYCL 2020, начиная с версии 0.9, и предлагает поддержку CUDA и ROCm. Наконец, NEC имеет свой вариант neoSYCL для запуска на векторных ускорителях SX-AURORA. Разработчики могут загрузить любую из этих реализаций и поэкспериментировать с возможностями SYCL 2020 уже сегодня.

Нижегородский государственный университет им. Н.И. Лобачевского и компания Intel объявили о создании Центра компетенций oneAPI. В числе его главных задач — проведение исследований в области современной физики с помощью систем на базе различных архитектур и аппаратных ускорителей с использованием возможностей кроссплатформенной модели программирования oneAPI.

Это четвёртый подобный центр в мире, ранее аналогичные заведения появились в Швеции, Германии и США. Создание Центра компетенций oneAPI поможет ННГУ решать сложные исследовательские задачи, а также расширить содержание магистерских программ университета. Кроме того, в центре будут развивать и возможности самого стандарта oneAPI.

Первой задачей Центра компетенций станет перевод на модель oneAPI программного комплекса с открытым кодом Hi-Chi (High-Intensity Collisions and Interactions), предназначенного для моделирования высокоинтенсивных взаимодействий лазерного излучения с веществом. Это позволит расширить возможности комплекса Hi-Chi и повысит его производительность. В дальнейшем приложения, созданные на базе Hi-Chi, будут оптимизированы международной исследовательской группой под руководством ученых ННГУ.

Модернизированный инструментарий позволит создавать решения для обработки больших массивов данных и выполнения вычислительно-трудоемких расчетов, что даст возможность получать развернутую аналитику и проводить статистические исследования для новых открытий в прикладной и фундаментальной физике. Рабочая группа ННГУ также планирует предоставлять отзывы о работе платформы с целью улучшения разработки ее будущих спецификаций и функциональных возможностей.

В рамках более чем 20-летнего сотрудничества ННГУ и Intel, университет разработает новый учебный курс по программированию, основанный на подходах oneAPI. Он будет отличаться большим количеством примеров использования открытой программной модели в научных вычислениях при решении задач из разных предметных областей, среди которых физика, математика, финансы и др.

В процессе обучения студенты:

• познакомятся c кроссплатформенным подходом oneAPI;
• научатся использовать возможности современных центральных и графических процессоров, а также аппаратных ускорителей;
• научатся оптимизировать код с помощью инструментов программирования, поддерживающих распространенные языки (C++, Фортран и др.) и обеспечивающих полную преемственность с существующим кодом.

Этот курс будет включён в учебный план магистерских программ института Информационных технологий, математики и механики (ИТММ). Помимо подготовки студентов, также планируются программы обучения преподавателей других ВУЗов России и молодых учёных. Нижегородский центр компетенций oneAPI начнёт свою работу зимой 2021 года.