Группа компаний Rubytech завершила испытания российских больших языковых моделей (LLM) на ускорителях китайского производства. Тестирование подтвердило стабильную работу отечественных нейросетей в составе программно-аппаратного комплекса «Машина искусственного интеллекта Скала^р», что открывает путь к построению независимой от западных поставщиков ИИ-инфраструктуры.

Для проведения испытаний инженерами была использована модификация ПАК «Машина искусственного интеллекта Скала^р» с восемью китайскими GPU и языковой моделью третьего поколения Cotype 3 от MWS AI. Результаты показали производительность, сопоставимую с решениями на основе NVIDIA H100: среднее время ожидания первого токена (mean TTFT) составило около 8000 мс при обработке контекста в 27 тыс. токенов, а межтокенная задержка (TPOT) — от 111 мс. Эти показатели полностью соответствуют требованиям корпоративных сценариев применения ИИ-системы.

Возможность работать с разными аппаратными платформами снижает зависимость от одного поставщика и даёт больше свободы при проектировании ИИ-систем, говорит компания. Помимо технологического суверенитета, альтернативная аппаратная база решает проблему высокой стоимости вычислений. В ряде сценариев связка из китайских GPU, российской платформы и отечественной модели позволяет снизить совокупную стоимость владения (TCO) при масштабировании сервисов. Это делает решение экономически оправданным для крупного бизнеса и государственных структур.

В настоящий момент спрос на локальную инфраструктуру формируют госсектор, компании с госучастием и операторы критической информационной инфраструктуры (КИИ). Для них принципиально важно разворачивать модели внутри собственного контура безопасности. Продуктовая линейка« Скала^р» от Rubytech включена в реестры Минпромторга и Минцифры РФ и соответствует критериям доверенности для объектов КИИ. Технологическими партнёрами группы выступают ведущие российские банки (Газпромбанк, ВТБ), ФНС России и ЦБ РФ.

Источник:

• Rubytech