«Яндекс» предоставила открытый доступ к Alice AI Foundation LLM (AliceAI-Foundation-80B-A3B-Base) — новую, созданную с нуля предобученную LLM с архитектурой MoE (Mixture of Experts). Модель носит экспериментальный характер и включает 80 млрд параметров, из которых при обработке токена активны только 3 млрд, что позволяет увеличить скорость и задействовать меньше вычислительных ресурсов. Модель предоставляется под лицензией Apache 2.0, т.е. допускает её использование в коммерческих целях.
В модель заложены способности к рассуждению и работе в агентных сценариях, благодаря чему она показывает высокую эффективность в сложных логических заданиях и программировании. Например, в решении олимпиадных задачах по математике она делит лидерство с Qwen3.5-35B-A3B-Base, а в тестах на написание кода превзошла модель NVIDIA Nemotron-3-Super-120B-Base, хотя у неё в четыре раза меньше активных параметров. В задачах, где нужны широкие фактические знания, Alice AI Foundation опережает более крупные открытые модели — например, DeepSeek-V4-Flash-Base с 284 млрд параметров и 13 млрд активных.
Согласно бенчмаркам для оценки знания фактов, новая модель не уступает предыдущей закрытой модели Яндекса Alice AI LLM, у которой в три раза больше общих параметров и в семь раз больше активных. Для оценки знаний модели, актуальных для русскоязычных пользователей, компанией были разработаны два собственных бенчмарка WikiWebFacts и HardMultiQA, поскольку англоязычные бенчмарки не позволяют оценить объективно её русскоязычные знания.
Источник изображения: Igor Omilaev/unsplash.com
WikiWebFacts нацелен на проверку знания дат, определений, событий и персоналий на основе материалов онлайн-энциклопедий и частотных агрегированных поисковых запросов. HardMultiQA охватывает более редкие области знаний: от медицины и права до IT и искусства, предлагая выбрать несколько верных вариантов из списка, перечислить сразу несколько фактов, подходящих под условие вопроса, или найти фактическую ошибку в тексте.
При обучении модели разработчики улучшили работу оптимизатора, чтобы пересылка данных между GPU шла параллельно с вычислениями. Это позволило ускорить шаги оптимизации примерно в два раза. Также была оптимизирована подготовка качественных обучающих данных. Вместо использования со старта для их отбора ресурсоёмкой модели, документы перед оценкой проходят через каскад классификаторов, и на каждом этапе более сложная и вычислительно затратная модель работает с меньшим количеством документов. Это позволило в десятки раз сократить количество вычислений, сохранив около 95 % полезных документов. Вдобавок разработчики значительно обогатили базу знаний модели в области права, медицины и математики.
Источник:
