Минцифры РФ и российские поставщики ПО, как сообщает газета «Коммерсантъ», прорабатывают новую схему включения продуктов в реестр российского софта. Речь идёт об изменении правил, по которым отечественные разработчики смогут получать преференции при госзакупках.

В августе нынешнего года стало известно, что Минцифры готовит поправки в постановления правительства №1236 и №325, регулирующие процедуру включения продуктов в реестр российского ПО. Тогда говорилось об ужесточении требований в плане совместимости с отечественными решениями. Теперь стало известно, что в рамках данной инициативы реестр будет разделён на две части.

В первую попадут продукты, удовлетворяющие новым дополнительным требованиям. В частности, правообладателю придётся доказать, что его софт совместим как минимум с одним из российских процессоров и корректно работает с отечественными браузерами, а сам разработчик способен «оказывать полную техподдержку пользователей». Кроме того, поставщику необходимо иметь собственную или арендованную инфраструктуру для обучения пользователей работе со своим продуктом. Для каждой категории ПО (СУБД, ОС, офисные пакеты и пр.) будут предусмотрены дополнительные требования.

Источник изображения: pixabay.com

Такой софт «первой категории» получит преференции на рынке госзаказа, а его правообладатель — налоговые и неналоговые льготы. Продукты из второй группы будут подпадать только под льготы: это, например, нулевая ставка по НДС. Специалисты говорят, что отрасль находится в зрелом состоянии, а «вендоры, претендующие на госзаказ, должны доказать свою способность разрабатывать и поддерживать продукты».

Новые правила предполагают, что софт на базе open source, претендующий на попадание в реестр, будет анализироваться на глубину переработки. «Те, кто разрабатывает софт на основе open source, должны будут использовать для обновлений или свой репозиторий кода, или репозиторий, принадлежащий другим российским компаниям или объединениям», — отмечает глава ЦКИКТ Илья Массух.

Центр Big Data МТС объявил о разработке первой в России библиотеки, позволяющей создавать графовые нейросети. Пакет получил название CoolGraph, а его исходники доступны всем желающим на площадке GitHub по лицензии MIT, которая в числе прочего позволяет использовать код в закрытом софте.

Отмечается, что в CoolGraph специалисты Big Data МТС собрали свои лучшие наработки в области построения кастомных моделей. Библиотека даёт возможность легко задать архитектуру сети и автоматически подобрать гипер-параметры.

Источник изображения: pixabay.com

Среди ключевых преимуществ CoolGraph названы: быстрый запуск с помощью двух строк кода, хорошее качество базовых моделей, поддержка гетерогенных графов и автоматизированный поиск оптимальных параметров через фреймворк Optuna. Отслеживать результаты экспериментов можно в MLFlow. Параметры для обучения собраны в конфигурационных файлах, но разработчики смогут менять их по своему усмотрению.

Говорится, что библиотека CoolGraph предназначена как для экспертов, так и для начинающих специалистов в области глубокого обучения нейросетей, имеющих доступ к данным графов. На их основе разработчики смогут строить различные модели. В дальнейшем центр Big Data МТС намерен пополнять библиотеку. Кроме того, будет открыт доступ к другим компонентам.

«Для достижения прорывов в области машинного обучения необходимо большое количество талантливых людей, экспериментирующих с технологиями. Наша библиотека решает эту задачу за счёт снижения порога входа в графовые нейросети», — говорит директор центра Big Data МТС.

Mozilla представила первый релиз инструмента llamafile, позволяющего упаковать веса большой языковой модели (LLM) в исполняемый файл, который без установки можно запустить практически на любой современной платформе, причём ещё и с поддержкой GPU-ускорения в большинстве случаев. Это упрощает дистрибуцию и запуск моделей на ПК и серверах.

llamafile распространяется под лицензией Apache 2.0 и использует открытые инструменты llama.cpp и Cosmopolitan Libc. Утилита принимает GGUF-файл с весами модели, упаковывает его и отдаёт унифицированный бинарный файл, который запускается в macOS, Windows, Linux, FreeBSD, OpenBSD и NetBSD. Готовый файл предоставляет либо интерфейс командной строки, либо запускает веб-сервер с интерфейсом чат-бота.

Источник: GitHub / Mozilla Ocho

Поддерживаются платформы x86-64 и ARM64, причём в первом случае автоматически определяется тип CPU и по возможности используются наиболее современные векторные инструкции. llamafile может использовать ускорители NVIDIA, а в случае платформы Apple задействовать Metal. Разработчики успешно протестировали инструмент в Linux (в облаке Google Cloud) и Windows с картой NVIDIA, в macOS и на NVIDIA Jetson.

Впрочем, некоторые нюансы всё же есть. Так, в Windows размер исполняемого файла не может превышать 4 Гбайт, поэтому большие модели вынужденно хранятся в отдельном файле. В macOS на платформе Apple Silicon перед первым запуском всё же придётся установить Xcode, а в Linux, возможно, понадобится обновить некоторые компоненты. Подробности и примеры готовых моделей можно найти в репозитории проекта.

Microsoft объявила, что набор средств разработки встраиваемых решений Azure RTOS, включающий операционную систему реального времени (ОСРВ) ThreadX, был переведён в категорию решений с открытым исходным кодом под именем Eclipse ThreadX и теперь будет развиваться под эгидой организации Eclipse Foundation.

В Eclipse Foundation заявили, что новый проект — «именно то, в чём очень давно нуждался сильно фрагментированный рынок встраиваемого ПО». ThreadX станет первой в мире open source ОСРВ, которая:

• Отличается зрелостью и масштабируемостью — ThreadX разрабатывалась более 20 лет, в настоящее время установлена на более чем 12 млрд устройств по всему миру и высоко ценится как высокопроизводительная, высокодетерминированная ОСРВ.
• Доступна под разрешающей открытой лицензией MIT.
• Регулируется open source фондом Eclipse Foundation, что гарантирует нейтральную модель управления развитием и устойчивостью ThreadX.
• Сертифицирована на защищённость и безопасность. ThreadX соответствует стандартам IEC 61508, IEC 62304, ISO 26262 и EN 50128, что подтверждено SGS-TÜV Saar. ThreadX также получила сертификат безопасности по стандартам Common Criteria EAL4+.

Отмечается, что в настоящее время нет аналогичных ОСРВ с открытым исходным кодом, имеющих подобную сертификацию и перечисленные преимущества.

Источник изображения: Microsoft

Проект Eclipse ThreadX станет доступен в I квартале 2024 года и будет включать ThreadX, NetX Duo, FileX, GUIX, USBX, LevelX, а также соответствующие инструменты и документацию. Microsoft предоставит проекту самые последние сертификаты, чтобы обеспечить непрерывность выпуска сертифицированных релизов. Фонд Eclipse Foundation объявил о создании группы, занимающейся разработкой модели устойчивого финансирования ThreadX, которую согласились поддержать AMD, Cypherbridge, Microsoft, NXP, PX5, Renesas, ST Microelectronics, Silicon Labs и Witekio (Avnet).

Некоммерческая организация Linux Foundation объявила о намерении сформировать «Фонд высокопроизводительного программного обеспечения »(High Performance Software Foundation, HPSF). Задачами данной структуры станут создание и продвижения стека ПО для НРС-приложений.

Предполагается, что появление HPSF будет способствовать ускорению решения задач в области НРС и ИИ. Фонд намерен предоставить «нейтральное пространство» для ключевых проектов в экосистеме HPC ПО. Участники отрасли, научные организации и госструктуры смогут сообща работать над софтверным стеком.

Источник изображения: Linux Foundation

Сообщается, что в деятельности HPSF примут участие Аргоннская национальная лаборатория, Национальная лаборатория им. Лоуренса в Беркли, Ливерморская национальная лаборатория, Лос-Аламосская национальная лаборатория, Окриджская национальная лаборатория и Сандийские национальные лаборатории (все входят в состав Министерства энергетики США), а также AWS, CIQ, HPE, Intel, Kitware, NVIDIA и др.

Фонд планирует использовать инвестиции, сделанные проектом Exascale Computing Project (ECP) Министерства энергетики США, совместным предприятием EuroHPC JU и другими международными структурами. На первом этапе в программный стек HPSF войдут open source решения Spack, Kokkos, AMReX, WarpX, Trilinos, Apptainer, VTK-m, HPCToolkit, E4S и Charliecloud.

До начала следующего года HPSF планирует проводить встречи с участниками для согласования структуры и схемы управления. Ожидается, что фонд будет официально сформирован в мае 2024 года.

Компания «Базальт СПО», занимающаяся разработкой российских ОС на базе Linux, Некоммерческое партнёрство разработчиков программного обеспечения «Руссофт» и Палата Индо-Российского технологического сотрудничества (CIRTC) подписали меморандум о взаимопонимании в рамках инициативы Российско-Индийской группы по особым интересам (RISING).

Стороны намерены сотрудничать по нескольким направлениям. Одно из них — создание суверенной и безопасной индийской ОС на основе решений с открытым исходным кодом. В рамках данного проекта планируется поддержка независимого репозитория и технологий для обеспечения производства защищенных дистрибутивов.

Кроме того, участники инициативы изучат жизненный цикл безопасной разработки; оценят существующие и потенциальные угрозы и уязвимости; разработают план совместных инициатив Индии и России по построению всеобъемлющей и суверенной инфраструктуры безопасной разработки; выработают рекомендации по политикам обеспечения кибербезопасности.

Источник изображения: «Базальт СПО»

Отмечается, что индийские партнёры заинтересованы в инструментах и технологиях «Базальт СПО». Стороны намерены проводить исследования в области архитектуры кибербезопасности. Будет также выработан план совместных инициатив Индии и России по созданию суверенной инфраструктуры безопасной разработки.

«Объединив опыт и компетенции "Базальт СПО" в области технологий с одной стороны, и возможности индийских компаний по разработке программных продуктов с другой, мы сможем создавать инновационные решения не только для Индии и России, но и других стран», — отметил Сергей Трандин, генеральный директор «Базальт СПО».

Открытая архитектура RISC-V, сегодня доступная любым разработчикам микрочипов, может исчезнуть из свободного доступа по инициативе США. Американские власти рассматривают возможность ограничить недружественным компаниям участие в международных сообществах RISC-V. Как сообщает «Коммерсантъ», это может создать проблемы российскому бизнесу, планирующему выпускать продукцию на соответствующей архитектуре. Ранее отечественные компании, например, отлучили от OpenRAN.

Открытая архитектура RISC-V появилась в Калифорнийском университете в Беркли и сегодня может использоваться совершенно свободно и бесплатно, в том числе в коммерческих проектах. Хотя в современных продуктах ядра RISC-V чаще предназначены для задач, требующих невысокой производительности, считается, что архитектура имеет большой потенциал для борьбы с x86 или Arm. Для синхронизации работ представители компаний участвуют в альянсах, крупнейшим из которых является RISC-V International. Несколько лет назад альянс «переехал» из США в Швейцарию из-за опасений возможных ограничений со стороны Вашингтона.

Источник изображения: Brian Kostiuk/unsplash.com

По данным СМИ, получившим доступ к подготовленной «Альянсом RISC-V» программой развития архитектуры RISC-V в России, к 2025 году отечественные разработчики чипов выпустят прототипы высокопроизводительных процессоров на данной архитектуре, а после 2026 года может начаться уже серийное производство таких чипов. В альянс входят «Байкал Электроникс», «Синтакор», «Аквариус» и ряд других крупных компаний. По данным отраслевых источников, производством подобных чипов могут заняться, например, Yadro и «Байкал Электроникс».

Прямо сейчас ряд американских конгрессменов требует ввести в отношении архитектуры экспортные ограничения. Хотя в первую очередь политики озабочены использованием RISC-V в китайских проектах, под вопросом может оказаться участие в международных альянсах российских разработчиков. При этом именно такие объединения задают общие стандарты. Если технические комитеты подобных альянсов перестанут принимать представителей российских дизайн-центров, разработка будет осложнена и последним придётся, как минимум, соблюдать стандарты, принятые без их участия.

Впрочем, эксперты допускают использование обходных путей для сохранения присутствия в подобных объединениях. Некоторые утверждают, что достаточно будет создать промежуточное юридическое лицо на нейтральной территории вроде Гонконга. При этом сама RISC-V International заявила, что попытки ограничений со стороны правительств затормозят появление новых, улучшенных чипов и отбросят назад глобальную технологическую отрасль.

29 сентября — 1 октября в Переславле-Залесском прошла ежегодная ХIX конференция разработчиков свободных программ. Участники представили коллегам свои разработки, поделились идеями, обсудили текущие задачи и пути их решения. Мероприятие организовала и провела компания «Базальт СПО» в партнерстве с Институтом программных систем имени А. К. Айламазяна.

Все разработки, представленные на конференции, опубликованы под свободными лицензиями — это обязательное условие включения доклада в программу. Сборник тезисов докладов будет помещен в РИНЦ и базу DOI; видео докладов смотрите на канале «Базальт СПО».

Десятки качественных и удобных свободных программ готовы к работе на компьютерах российских пользователей, но их распространению очень мешают мифы об СПО и его разработчиках. Анатолий Якушин, независимый эксперт, ярко и убедительно опроверг самые распространенные: свободное программное обеспечение ничего не стоит, хуже по качеству, не является коммерческим.

Изображение: «Базальт СПО»

Подтверждением слов Якушина стали свободные операционные системы, которые обрели новые возможности. Разработчики «Инферит» интегрировали инструмент для входа в учетные записи различных онлайн-сервисов с сервисами Yandex (Алексей Бережок); «Базальт СПО» усовершенствовала Альтератор, центр конфигурации ОС «Альт» (Евгений Синельников), расширила возможности ее администрирования через групповые политики и «научила говорить» на нескольких языках народов России (Кирилл Изместьев). Александр Певзнер, независимый разработчик, создал решение для «бездрайверной» печати и сканирования. Экспериментальную обкатку проходит ОС ALT Mobile, позволяющая использовать смартфон полностью на СПО (Андрей Савченко, «Базальт СПО»).

Среда разработки свободного ПО становится безопаснее, функциональнее и удобнее. Антон Бондарев (Embox) рассказал об использовании безопасной модели разработки. Александр Аксельрод («Тинькофф банк») продемонстрировал эффективную организацию работы разработчиков с помощью emacs orgmode вместо redmine или jira. Арсений Краснов (SberDevices, разработчик ядра Linux по технологии VSOCK) рассказал об особенностях VSOCK-сокетов и описал внутреннее устройство этой подсистемы в ядре Linux.

Фото: «Базальт СПО»

Отдельной веткой стали доклады о развитии инструментов сборки пакетов и репозиториях. Станислав Фомин (ИСП РАН) представил Terrarium Assembler — кроссплатформенные Python/Go приложения с аудитом сборки. Иван Мельников («Базальт СПО») рассказал о догоняющей сборочнице репозитория Sisyphus для экспериментов по портированию ОС «Альт» на различные аппаратные платформы. Виталий Липатов («Этерсофт») продемонстрировал реализацию перепаковки сторонних пакетов в epm play.

Динамично развивается СПО для образования. Участники особо отметили доклады о перспективных направлениях развития образовательного СПО (Андрей Черепанов, «Базальт СПО»); о среде визуального программирования Lapki IDE — она развивается в рамках национальной киберфизической платформы, призванной вовлекать школьников в инженерное творчество (Михаил Чекан, «Полюс-НТ»), о связи студенческих и коммерческих проектов (Александра Панюкова, «ШЭРИКС»).

Игорь Молчанов (МФТИ, ИНЭУМ им. И. С. Брука) рассказал о большой работе по разработке/адаптации свободных программ разного назначения для компьютеров «Эльбрус».

Фото: «Базальт СПО»

Острая дискуссия развернулась после доклада Надежды Кострюковой (АНО «Открытый код») «Российский open source: community, бизнес, государство». Участники конференции выразили серьезные сомнения в необходимости строгого регулирования государством разработки свободных программ и посоветовали АНО способствовать обеспечению разработчиков СПО невозвратными грантами в рамках некоммерческой деятельности, инициировать внесение изменений в законодательство для обязательной публикации разработанного за государственный счёт ПО под открытой лицензией и обеспечить юридическую поддержку при проблемах с лицензированием СПО.

Сборник тезисов докладов будет помещен в РИНЦ и базу DOI; видео докладов смотрите на канале «Базальт СПО».

Андрей Савченко, председатель программного комитета, отметил, что по сложившейся традиции нынешняя конференция стала по-настоящему полезной и интересной для всех участников: от маститых профессионалов до студентов, делающих первые шаги в разработке: «Участники нашли новые темы, идеи и задачи, новых коллег и друзей. Очень отрадно, что с год от года аудитория конференции расширяется, участниками становятся представители предприятий, банков, ВУЗов, стартапов, заинтересованные в создании и широком распространении СПО в России».

Компания NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). Платформа станет доступна в ближайшие недели.

Отмечается, что NVIDIA тесно сотрудничает с такими компаниями, как Meta✴, Anyscale, Cohere, Deci, Grammarly, Mistral AI, MosaicML (входит в состав Databricks), OctoML, Tabnine и Together AI, для ускорения и оптимизации LLM. Однако большой размер и уникальные характеристики LLM могут затруднить их эффективное внедрение. Библиотека TensorRT-LLM как раз и призвана решить проблему.

Источник изображений: NVIDIA

ПО включает в себя компилятор глубокого обучения TensorRT, оптимизированные ядра (kernel), инструменты предварительной и постобработки, а также компоненты для повышения производительности на ускорителях NVIDIA. Платформа позволяет разработчикам экспериментировать с новыми LLM, не требуя глубоких знаний C++ или CUDA. Применяется открытый модульный API Python для определения, оптимизации и выполнения новых архитектур и внедрения усовершенствований по мере развития LLM.

По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B (входит в состав MLPerf Inference v3.1). При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x. TensorRT-LLM уже включает полностью оптимизированные версии многих популярных LLM, включая Meta✴ Llama 2, OpenAI GPT-2 и GPT-3, Falcon, Mosaic MPT, BLOOM и др.

Софт TensorRT-LLM использует тензорный параллелизм — тип параллелизма моделей, при котором отдельные весовые матрицы разделяются между устройствами. При этом TensorRT-LLM автоматически распределяет нагрузка между несколькими ускорителями, связаннными посредством NVLink, или множественными узлами, объединёнными NVIDIA Quantum 2 InfiniBand. Это позволяет легко масштабировать задачи инференса с одного ускорителя до целой стойки.

Для управления нагрузками TensorRT-LLM использует специальный метод планирования — пакетную обработку в реальном времени, которая позволяет асинхронно обслуживать множество мелких запросов совместно с единичными большими на одном и том же ускорителе. Эта функция доступна для всех актуальных ускорителей NVIDIA, причём именно она даёт двукратный прирост производительности инференса в случае H100.

Наконец, конкретно в случае H100 библиотека активно использует возможностиTransformer Engine, позволяющего динамически привести вычисления к FP8-формату, что ускоряет и обработку и снижает потребление памяти без ухудшения точности итогового результата. Одна эта функция позволяет добиться четырёхкратного прироста быстродействия H100 в сравнении с A100.

«Группа Астра» (ОС Astra Linux), по сообщению газеты «Коммерсантъ», до конца 2023 года планирует развернуть собственную платформу для совместной разработки и хостинга IT-проектов с открытым кодом. Речь идёт об аналоге сервисов GitHub и GitLab.

Согласно данным «СПАРК-Интерфакса», в рамках создания новой платформы АО «Группа Астра» приобрело 26 % в ООО «Ресолют» — создателе сервиса для хранения открытого исходного кода и совместной разработки GitFlic. В дальнейшем доля в этом разработчике будет доведена до 51 %, тогда как 49 % останутся у основателей «Ресолюта».

По словам генерального директора «Группы Астра», компания работает над платформой, которая будет представлять собой «законченную среду с комбинацией инструментов управления исходными кодами, тестированием, автоматизацией, документацией, фреймворком, шаблонами разработки». Предполагается также, что на рынок выйдут различные коробочные решения, в том числе со средствами защиты информации.

Источник изображения: pixabay.com

О финансовых условиях сделки между «Группой Астра» и «Ресолютом» ничего не сообщается. По оценкам участников рынка, 26-процентная доля может стоить приблизительно 5 млн руб. Таким образом, получение контроля обойдётся в 10 млн руб. Между тем топ-менеджер одной из российских IT-компаний считает, что целью сделки была «покупка команды разработчиков», а 51 % в «Ресолюте» он оценивает в 50–70 млн руб.

Ранее российских разработчиков начали ограничивать в доступе к GitHub. После этого была запущен отечественный репозиторий решений с открытым кодом Mos.Hub. За два месяца работы эта площадка привлекла более 3 тыс. пользователей.