Лос-Аламосская национальная лаборатория (LANL) Министерства энергетики США объявила о завершении сборки НРС-комплекса Venado, предназначенного для решения сложных ресурсоёмких задач в области ИИ. В создании системы приняли участие компании HPE и NVIDIA.

Проект Venado был анонсирован в мае 2022 года. Система смонтирована в Центре моделирования и симуляции Николаса К. Метрополиса (Nicholas C. Metropolis) в составе LANL. В церемонии открытия комплекса приняли участие представители Министерства энергетики США, Администрации по национальной ядерной безопасности США и других организаций.

Venado — первый в США суперкомпьютер, построенный на суперчипах NVIDIA Grace и Grace Hopper с ядрами Arm. Суперкомпьютер построен на платформе HPE Cray EX. В общей сложности задействованы 2560 гибридных суперчипов Grace Hopper с прямым жидкостным охлаждением: эти изделия объединяют ядра Arm v9 и ускорители на архитектуре Hopper. Кроме того, в состав НРС-системы входят 920 суперчипов Grace. Узлы объединены интерконнектом HPE Slingshot 11.

Источник изображений: LANL

На суперкомпьютере используется специализированное ПО HPE Cray, которое, как утверждается, позволяет оптимизировать рабочие нагрузки по моделированию и симуляции. Систему планируется использовать в таких областях, как материаловедение, возобновляемые источники энергии, астрофизика и пр. ИИ-производительность системы (FP8) составит около 10 Эфлопс. Машина также получит Lustre-хранилище.

«Являясь первым в США суперкомпьютером на базе NVIDIA Grace Hopper, система Venado обеспечивает революционную производительность и энергоэффективность для ускорения научных открытий», — говорит Ян Бак (Ian Buck), вице-президент HPC-подразделения NVIDIA. При этом Venado относится к классу экспериментальных суперкомпьютеров и будет использоваться для переноса и оптимизации имеющихся кодов, а также для создания нового ПО и проверки различных концепций.

Лос-Аламосская национальная лаборатория (LANL) Министерства энергетики США (DOE) заключила соглашение о сотрудничестве со стартапом SambaNova Systems, который специализируется на разработке ИИ-решений. Финансовые условия договора не раскрываются, но ранее стартап уже поставлял LANL свои решения.

В рамках партнёрства LANL расширит применение программно-аппаратных комплексов SambaNova DataScale. Речь идёт о системе DataScale SN30, содержащей восемь ускорителей собственной разработки Cardinal SN30, суммарно имеющих 5 Гбайт SRAM и 8 Тбайт DRAM. Конфигурация комплекса может включать от одного до трёх узлов SN30.

Кроме того, LANL внедрит решение SambaNova Suite для генеративного ИИ. Эта платформа предоставляет различные ИИ-модели, оптимизированные для корпоративных и государственных организаций. Они могут быть развёрнуты локально или в облаке с возможностью адаптации к собственному набору данных заказчика.

Источник изображения: SambaNova

Новое многолетнее соглашение между LANL и SambaNova является расширением действующего партнёрства между сторонами. Лаборатория будет использовать технологии SambaNova для решения широкого спектра задач, связанных с ИИ и большими языковыми моделями (LLM), в том числе в интересах национальной безопасности. Отмечается, что платформа SambaNova Suite предлагает быстрый и эффективный способ развёртывания генеративного ИИ для реализации самых сложных проектов.

«Умными» SSD уже никого не удивишь. Но компания Seagate предлагает пойти ещё дальше. Этот крупный производитель средств хранения данных заключил с Лос-Аламоской национальной лабораторией (LANL) соглашение о сотрудничестве, одной из целей которого может стать создание «вычислительных» HDD.

На деле соглашение о совместных исследованиях и разработке (Cooperative Research and Development Agreement, CRADA), разумеется, охватывает намного более широкий спектр задач. В частности, это поиск эффективных методов оптимизации систем хранения данных в характерных для HPC-задач сценариях, нередко генерирующих огромные объёмы данных.

Источник изображения: pixabay.com

Как отметил представитель LANL, в серьёзных научных симуляциях задача может не просто потребовать порядка 1 Пбайт RAM, но ещё и записывать выходные данные аналогичного объёма в течение длительного периода времени. Именно поэтому LANL активно ищет методы оптимизации, в том числе рассматривается перенос функций аналитики на вычислительные мощности накопителей.

Определённые успехи уже достигнуты: так, LANL и SK Hynix доказала возможность переноса некоторых функций обработки данных на SSD-контроллеры. А соглашение с Seagate ставит целью создание универсальной архитектуры вычислительных накопителей, пригодной для реализации не только в SSD, но даже в традиционных механических HDD.

Seagate Exos 2X18: жёсткий диск с двумя актуаторами. Источник: Seagate

В частности, на такую архитектуру можно будет возложить задачи помехоустойчивого кодирования со стирающим кодом (erasure coding), а точнее, восстановление (de-erasure) данных, обычно требующее не только времени на чтение, но и на обработку силами CPU. При этом должна вырасти скорость доступа, а затраты энергии и тепловыделение, наоборот, должны уменьшиться.

Как отметила Seagate, речи о воплощении подобной технологии в ПО для объектных хранилищ CORTX или дисках Exos пока не идёт — это пока исключительно исследовательский проект. Стоит дополнить, что основой вычислительных накопителей Seagate могут стать процессоры с архитектурой RISC-V: два таких дизайна компания разработала ещё в 2020 году.

«Вычислительные» или «умные» SSD уже не являются новой технологией: один за другим разработчики на рынок новые продукты. А плодом сотрудничества между Лос-Аламосской национальной лабораторией (LANL) и компанией SK hynix стал новый класс подобного рода устройств.

На мероприятии Flash Memory Summit 2022 этот альянс продемонстрировал SSD, в котором доступ к данным основан не на традиционном блочном принципе и даже не на файловом, а на принципе хранилищ «ключ-значение» (key–value store, KV-CSD). Это не первый подобный проект. Более того, в спецификациях NVMe 2.0 уже определён необходимый набор команд.

Прототип KV-CSD. Источник: LANL

Структуры «ключ-значение» широко применяются в индустрии аналитики, так что накопитель, способный работать с таким форматом данных напрямую и на низком уровне может обеспечить огромный выигрыш в производительности в ряде сценариев. Детище LANL и SK hynix, работающее под управлением DeltaFS такой выигрыш и продемонстрировало, превзойдя классические SSD в 1000 раз за счёт эффективной индексации и сокращения объёмов передаваемых при запросе данных (data reduction).

Представитель LANL отметил, что такая эффективность в первичной обработке данных серьезно ускоряет анализ результатов крупномасштабных физических симуляций в сравнении с файловым хранилищем. Прямая работа с данными на столь низком уровне должна помочь учёным справиться с постоянно растущими объёмами информации. Оба участника альянса довольны полученными результатами и намереваются продолжить сотрудничество в деле разработки и выпуска вычислительных накопителей нового типа.