Суперкомпьютерный центр Лейбница (Leibniz-Rechenzentrum, LRZ), входящий в тройку крупнейших в Германии, объявил о заключении соглашения с HPE и Cerebras в рамках новой инициативы Future Computing. Целью данной инициативы является оценка использования нестандартных вычислительных технологий для ускорения научных исследований, ведущихся в европейском регионе.
Новый ИИ-комплекс Cerebras CS-2, как известно, весьма необычен — его чип WSE-2 является самым крупным процессором в мире, и несёт на борту помимо 850 тыс. ядер ещё и 40 Гбайт сверхбыстрой памяти. Чип занимает стандартную 300-мм кремниевую подложку целиком и состоит из 2,6 трлн транзисторов.
Система CS-2 и её характеристики. Источник: Cerebras Systems
Памяти не так много, как может показаться на первый взгляд и для задач с по-настоящему объёмными наборами данных CS-2 должен работать в связке с системой HPE Superdome Flex, способной их хранить и «скармливать» суперпроцессору в реальном времени.
Сам CS-2 можно рассматривать как массив ускорителей: все ядра одинаковы, каждое ядро соединено с четырьмя соседними с помощью высокоскоростного интерконнекта с совокупной производительностью 220 Пбит/с. Пути прохождения трафика задаются программно на этапе компиляции.
Источник: Cerebras Systems
По заявлениям Cerebras, CS-2 поддерживает модели с размерностью до 120 трлн параметров, при этом исходные данные благодаря MemoryX могут храниться вне основной системы без потерь в производительности. Такой подход позволяет в 100 раз увеличить размер рабочей модели в сравнении с одним CS-2 без внешнего массива памяти.
Что же касается ПО, то новая система будет использовать стандартные фреймворки машинного обучения вроде TensorFlow и PyTorch. Также доступны низкоуровневые средства разработки, позволяющие реализовывать на CS-2 любые задачи, от комплексной обработки сигналов до моделирования с использованием физических законов.
Инициатива, выдвинутая штатом Бавария, не ограничивается системой Cerebras/HPE. В рамках проекта Future Computing будут также оценены все существующие современные альтернативы классическим вычислениям на CPU, включая GPU, FPGA и различные прототипы и инженерные образцы.
Источник:
