Суперкомпьютер Jean Zay получил фотонные ИИ-сопроцессоры LightOn

Французский стартап LightOn успешно интегрировал один из своих оптических блоков обработки данных (Optical Processing Unit, OPU) в самый производительный академический суперкомпьютер страны Jean Zay. Работа выполнена в рамках пилотной программы Национального агентства по высокопроизводительным вычислениям (GENCI) совместно с Институтом развития и ресурсов в области интенсивных научных вычислений (IDRIS).

Работая в тандеме со стандартными серверными CPU и ускорителями NVIDIA A100, оптический сопроцессор должен значительно повысить скорость выполнения и снизить энергопотребление ресурсоёмких задач в области машинного обучения (МО) и ИИ. Избранные пользователи Jean Zay смогут протестировать OPU уже в ближайшие месяцы.

Суперкомпьютер Jean Zay (Фото: Cyril Fresillon/IDRIS/CNRS Photothèque)

По словам разработчиков, преимущества OPU обусловлены применением фотоники для ускорения выполнения вероятностных алгоритмов на задачах сверхбольшого масштаба. Такой подход просто необходим, когда точные вычисления чрезвычайно сложны и затратны. Например, для обучения модели GPT-3 требуется порядка 3 млн GPU-часов на ускорителях NVIDIA V100. Вероятностные методы (RandNLA) позволяют получать приближённые, но достаточные для практического применения результаты за меньшее время путём различных матричных преобразований.

Вероятностные проекции с небольшим линейным коэффициентом предварительной и постобработки, иллюстрация LightOn

Однако работа с массивами больших размерностей, а именно такие и нужны современным ИИ-моделям, требует значительных вычислительных ресурсов в случае «классических» CPU или GPU, а также огромных массивов памяти. Устройства LightOn обходят это «узкое» место за счёт использования пространственных модуляторов света и ПЗС-матриц. Они уже могут работать с массивами на триллион элементов.

Вычисления с помощью фотоники, иллюстрация: Igor Carron, LightOn

При частотах обновления матрицы порядка килогерц эквивалентная производительность достигает уровня 1,5 квадриллиона операций в секунду (1,5 Петаопс), а потребляемая мощность при этом составляет всего 30 Вт. OPU выполняет необходимые преобразования в пассивном режиме за счёт физических особенностей самого устройства, разгружая тем самым основные ресурсы суперкомпьютера (пред- и постобработка данных всё равно выполняется CPU/GPU) и повышая общую энергоэффективность системы.

Первая итерация с использованием физики, иллюстрация: Igor Carron, LightOn

Первые коммерчески доступные OPU Aurora2 в 2U-шасси компания предлагает в аренду с весны этого года. Jean Zay станет первой машиной из TOP500, в которой будут установлены эти сопроцессоры. В компании ожидают повышение ИИ-производительности системы в 8-40 раз по сравнению с вычислениями только на GPU. По словам генерального директора LightOn, Игоря Каррона (Igor Carron), такая интеграция ИИ-ускорителей в HPC-системы укрепит уверенность исследователей в том, что следующей вехой цифровой эволюции после экзафлопсных суперкомпьютеров станут гибридные решения.