В связи с прекращением поставок в Россию ускорителей NVIDIA, ограничениями на загрузку драйверов и отсутствием их техподдержки Институт искусственного интеллекта МФТИ провёл исследование рынка альтернативных ускорителей, включая продукты китайских производителей Moore Threads и MetaX с целью оценки их способности обеспечить полный цикл работы современных ИИ-моделей.

Исследование включало анализ архитектурных особенностей ускорителей, драйверов, совместимости с фреймворками и тестирование под нагрузкой при работе с LLM, инференсом, задачами компьютерного зрения и распределённых вычислений. Проведена оценка скорости и воспроизводимости вычислений, устойчивости при росте нагрузки и стабильности поведения моделей на разных типах ускорителей.

Исследователи пришли к выводу, что ускорители Moore Threads s4000 и MetaX C500 могут применяться в широком спектре сценариев, обеспечивая стабильный запуск популярных LLM, корректную работу современных фреймворков, предсказуемую производительность и устойчивость работы при длительных нагрузках. В отдельных типах вычислений альтернативные ускорители не уступали или даже обгоняли NVIDIA A100.

Особое внимание было уделено возможности работы альтернативных ускорителей в составе вычислительных узлов и кластеров. Разработанный стек ПО позволяет эффективно распределять ресурсы, объединять мощности для работы с крупными моделями и создавать кластерные конфигурации, сообщили в МФТИ. В МФТИ планируют и дальше тестировать новые поколения ускорителей, расширив перечень поддерживаемых моделей, а также намерены подготовить отраслевые рекомендации для создания автономной ИИ-инфраструктуры.

Источник изображения: Walter Frehner / Unsplash

На основе исследования в МФТИ был создан Центр компетенций по решениям, не зависящим от NVIDIA, который объединяет лучшие инженерные практики, методики тестирования, оптимизированные конфигурации и опыт взаимодействия с поставщиками. Он будет оказывать помощь компаниям в подборе оборудования, проведении нагрузочного тестирования под конкретные задачи, настройке вычислительных цепочек, а также может сопровождать платформы в процессе эксплуатации.

Лаборатория машинного обучения в науках о Земле Московского физико-технического института (МФТИ) взяла на вооружение внешний массив PCIe-коммутации RSC ScaleStream-C, разработанный российской группой компаний РСК. Это решение предназначено для выполнения ресурсоёмких задач, связанных с ИИ.

RSC ScaleStream-C представляет собой JBOG-платформу в форм-факторе 3U, допускающую установку до десяти карт с интерфейсом PCIe 4.0 x16 (могут применяться карты разной ширины), которая может быть подключена к четырём серверам. Мощности ускорителей могут динамически перераспределяться между серверами. По заявлениям РСК, такой подход позволяет значительно увеличить утилизацию GPU (в некоторых случаях на десятки процентов) по сравнению со стандартными конфигурациями, когда карты устанавливаются непосредственно в серверы.

Лаборатория получила массив RSC ScaleStream-C с четырьмя GPU (модель не уточняется). В перспективе могут быть добавлены дополнительные карты. Предполагается, что система поможет ускорить выполнение задач, связанных с базовыми высокоразрешающими ИИ-моделями атмосферы, океана и климата. Ожидается, что применение RSC ScaleStream-C позволит Лаборатории машинного обучения в науках о Земле существенно расширить возможности уже имеющегося оборудования при работе с ИИ-моделями.

Источник изображения: РСК

Основным направлением деятельности Лаборатории является создание ИИ-методов для моделирования атмосферы, океана и климата, а также для обработки данных в фундаментальных и прикладных задачах морской геологии, морской биологии, экологии моря, метеорологии, в области взаимодействия океана и атмосферы, городской микрометеорологии и пр. Специалисты лаборатории занимаются обработкой данных натурных наблюдений и измерений в метеорологии и океанологии, экологическим мониторингом, моделированием природных процессов и другими задачами, для которых требуются значительные вычислительные ресурсы.

Московский физико-технический институт (МФТИ) и IT-холдинг Т1, по сообщению газеты «Ведомости», сформировали совместное предприятие ООО «Квантовые и оптимизационные решения» («КОР»), специалисты которого займутся разработкой отечественных продуктов на базе ИИ для бизнеса. Объём инвестиций в проект не раскрывается.

Речь, в частности, идёт о создании технологий на основе численных методов оптимизации и инновационных систем, «обеспечивающих решение практических и производственных задач». Основой будущих продуктов станет платформа под названием «Оптимизатор». Предполагается, что она сможет формировать стратегию для выполнения сложных многофакторных задач, таких как оптимизация загрузки производственных линий, складских запасов и генерации электроэнергии, а также планирование и управление процессом производства нефтепродуктов.

Источник изображения: pixabay.com

Отмечается, что предприятие «КОР» зарегистрировано в апреле 2024 года в Долгопрудном в Московской области. Доля в размере 50 % в новой компании принадлежит ООО «Т1», 37 % — разработчику ПО ООО «Информационные системы оптимизации», а оставшиеся 13 % — МФТИ. Генеральным директором сформированной компании значится Руслан Габбасов. В свою очередь, «Информационные системы оптимизации» принадлежат в равных долях Габбасову, старшему научному сотруднику физтех-школы прикладной математики и информатики МФТИ Алексею Чернову, Владиславу Матюхину и Евгению Лепшину.

В рамках проекта Т1 и МФТИ займутся исследованиями и разработками в области квантовых алгоритмов для более эффективного решения задач оптимизации. Предполагается, что квантовые технологии «существенно ускорят расчёты в вычислительно ёмких задачах и в перспективе смогут вывести оптимизационные решения на новый уровень». В составе совместного предприятия холдинг Т1 выступит в качестве поставщика, взаимодействующего с госструктурами и компаниями из разных отраслей. В свою очередь, МФТИ обеспечит научно-технический и производственный вклад.