Некоммерческая организация Linux Foundation объявила о намерении сформировать «Фонд высокопроизводительного программного обеспечения »(High Performance Software Foundation, HPSF). Задачами данной структуры станут создание и продвижения стека ПО для НРС-приложений.

Предполагается, что появление HPSF будет способствовать ускорению решения задач в области НРС и ИИ. Фонд намерен предоставить «нейтральное пространство» для ключевых проектов в экосистеме HPC ПО. Участники отрасли, научные организации и госструктуры смогут сообща работать над софтверным стеком.

Источник изображения: Linux Foundation

Сообщается, что в деятельности HPSF примут участие Аргоннская национальная лаборатория, Национальная лаборатория им. Лоуренса в Беркли, Ливерморская национальная лаборатория, Лос-Аламосская национальная лаборатория, Окриджская национальная лаборатория и Сандийские национальные лаборатории (все входят в состав Министерства энергетики США), а также AWS, CIQ, HPE, Intel, Kitware, NVIDIA и др.

Фонд планирует использовать инвестиции, сделанные проектом Exascale Computing Project (ECP) Министерства энергетики США, совместным предприятием EuroHPC JU и другими международными структурами. На первом этапе в программный стек HPSF войдут open source решения Spack, Kokkos, AMReX, WarpX, Trilinos, Apptainer, VTK-m, HPCToolkit, E4S и Charliecloud.

До начала следующего года HPSF планирует проводить встречи с участниками для согласования структуры и схемы управления. Ожидается, что фонд будет официально сформирован в мае 2024 года.

Компания «Базальт СПО», занимающаяся разработкой российских ОС на базе Linux, Некоммерческое партнёрство разработчиков программного обеспечения «Руссофт» и Палата Индо-Российского технологического сотрудничества (CIRTC) подписали меморандум о взаимопонимании в рамках инициативы Российско-Индийской группы по особым интересам (RISING).

Стороны намерены сотрудничать по нескольким направлениям. Одно из них — создание суверенной и безопасной индийской ОС на основе решений с открытым исходным кодом. В рамках данного проекта планируется поддержка независимого репозитория и технологий для обеспечения производства защищенных дистрибутивов.

Кроме того, участники инициативы изучат жизненный цикл безопасной разработки; оценят существующие и потенциальные угрозы и уязвимости; разработают план совместных инициатив Индии и России по построению всеобъемлющей и суверенной инфраструктуры безопасной разработки; выработают рекомендации по политикам обеспечения кибербезопасности.

Источник изображения: «Базальт СПО»

Отмечается, что индийские партнёры заинтересованы в инструментах и технологиях «Базальт СПО». Стороны намерены проводить исследования в области архитектуры кибербезопасности. Будет также выработан план совместных инициатив Индии и России по созданию суверенной инфраструктуры безопасной разработки.

«Объединив опыт и компетенции "Базальт СПО" в области технологий с одной стороны, и возможности индийских компаний по разработке программных продуктов с другой, мы сможем создавать инновационные решения не только для Индии и России, но и других стран», — отметил Сергей Трандин, генеральный директор «Базальт СПО».

Открытая архитектура RISC-V, сегодня доступная любым разработчикам микрочипов, может исчезнуть из свободного доступа по инициативе США. Американские власти рассматривают возможность ограничить недружественным компаниям участие в международных сообществах RISC-V. Как сообщает «Коммерсантъ», это может создать проблемы российскому бизнесу, планирующему выпускать продукцию на соответствующей архитектуре. Ранее отечественные компании, например, отлучили от OpenRAN.

Открытая архитектура RISC-V появилась в Калифорнийском университете в Беркли и сегодня может использоваться совершенно свободно и бесплатно, в том числе в коммерческих проектах. Хотя в современных продуктах ядра RISC-V чаще предназначены для задач, требующих невысокой производительности, считается, что архитектура имеет большой потенциал для борьбы с x86 или Arm. Для синхронизации работ представители компаний участвуют в альянсах, крупнейшим из которых является RISC-V International. Несколько лет назад альянс «переехал» из США в Швейцарию из-за опасений возможных ограничений со стороны Вашингтона.

Источник изображения: Brian Kostiuk/unsplash.com

По данным СМИ, получившим доступ к подготовленной «Альянсом RISC-V» программой развития архитектуры RISC-V в России, к 2025 году отечественные разработчики чипов выпустят прототипы высокопроизводительных процессоров на данной архитектуре, а после 2026 года может начаться уже серийное производство таких чипов. В альянс входят «Байкал Электроникс», «Синтакор», «Аквариус» и ряд других крупных компаний. По данным отраслевых источников, производством подобных чипов могут заняться, например, Yadro и «Байкал Электроникс».

Прямо сейчас ряд американских конгрессменов требует ввести в отношении архитектуры экспортные ограничения. Хотя в первую очередь политики озабочены использованием RISC-V в китайских проектах, под вопросом может оказаться участие в международных альянсах российских разработчиков. При этом именно такие объединения задают общие стандарты. Если технические комитеты подобных альянсов перестанут принимать представителей российских дизайн-центров, разработка будет осложнена и последним придётся, как минимум, соблюдать стандарты, принятые без их участия.

Впрочем, эксперты допускают использование обходных путей для сохранения присутствия в подобных объединениях. Некоторые утверждают, что достаточно будет создать промежуточное юридическое лицо на нейтральной территории вроде Гонконга. При этом сама RISC-V International заявила, что попытки ограничений со стороны правительств затормозят появление новых, улучшенных чипов и отбросят назад глобальную технологическую отрасль.

29 сентября — 1 октября в Переславле-Залесском прошла ежегодная ХIX конференция разработчиков свободных программ. Участники представили коллегам свои разработки, поделились идеями, обсудили текущие задачи и пути их решения. Мероприятие организовала и провела компания «Базальт СПО» в партнерстве с Институтом программных систем имени А. К. Айламазяна.

Все разработки, представленные на конференции, опубликованы под свободными лицензиями — это обязательное условие включения доклада в программу. Сборник тезисов докладов будет помещен в РИНЦ и базу DOI; видео докладов смотрите на канале «Базальт СПО».

Десятки качественных и удобных свободных программ готовы к работе на компьютерах российских пользователей, но их распространению очень мешают мифы об СПО и его разработчиках. Анатолий Якушин, независимый эксперт, ярко и убедительно опроверг самые распространенные: свободное программное обеспечение ничего не стоит, хуже по качеству, не является коммерческим.

Изображение: «Базальт СПО»

Подтверждением слов Якушина стали свободные операционные системы, которые обрели новые возможности. Разработчики «Инферит» интегрировали инструмент для входа в учетные записи различных онлайн-сервисов с сервисами Yandex (Алексей Бережок); «Базальт СПО» усовершенствовала Альтератор, центр конфигурации ОС «Альт» (Евгений Синельников), расширила возможности ее администрирования через групповые политики и «научила говорить» на нескольких языках народов России (Кирилл Изместьев). Александр Певзнер, независимый разработчик, создал решение для «бездрайверной» печати и сканирования. Экспериментальную обкатку проходит ОС ALT Mobile, позволяющая использовать смартфон полностью на СПО (Андрей Савченко, «Базальт СПО»).

Среда разработки свободного ПО становится безопаснее, функциональнее и удобнее. Антон Бондарев (Embox) рассказал об использовании безопасной модели разработки. Александр Аксельрод («Тинькофф банк») продемонстрировал эффективную организацию работы разработчиков с помощью emacs orgmode вместо redmine или jira. Арсений Краснов (SberDevices, разработчик ядра Linux по технологии VSOCK) рассказал об особенностях VSOCK-сокетов и описал внутреннее устройство этой подсистемы в ядре Linux.

Фото: «Базальт СПО»

Отдельной веткой стали доклады о развитии инструментов сборки пакетов и репозиториях. Станислав Фомин (ИСП РАН) представил Terrarium Assembler — кроссплатформенные Python/Go приложения с аудитом сборки. Иван Мельников («Базальт СПО») рассказал о догоняющей сборочнице репозитория Sisyphus для экспериментов по портированию ОС «Альт» на различные аппаратные платформы. Виталий Липатов («Этерсофт») продемонстрировал реализацию перепаковки сторонних пакетов в epm play.

Динамично развивается СПО для образования. Участники особо отметили доклады о перспективных направлениях развития образовательного СПО (Андрей Черепанов, «Базальт СПО»); о среде визуального программирования Lapki IDE — она развивается в рамках национальной киберфизической платформы, призванной вовлекать школьников в инженерное творчество (Михаил Чекан, «Полюс-НТ»), о связи студенческих и коммерческих проектов (Александра Панюкова, «ШЭРИКС»).

Игорь Молчанов (МФТИ, ИНЭУМ им. И. С. Брука) рассказал о большой работе по разработке/адаптации свободных программ разного назначения для компьютеров «Эльбрус».

Фото: «Базальт СПО»

Острая дискуссия развернулась после доклада Надежды Кострюковой (АНО «Открытый код») «Российский open source: community, бизнес, государство». Участники конференции выразили серьезные сомнения в необходимости строгого регулирования государством разработки свободных программ и посоветовали АНО способствовать обеспечению разработчиков СПО невозвратными грантами в рамках некоммерческой деятельности, инициировать внесение изменений в законодательство для обязательной публикации разработанного за государственный счёт ПО под открытой лицензией и обеспечить юридическую поддержку при проблемах с лицензированием СПО.

Сборник тезисов докладов будет помещен в РИНЦ и базу DOI; видео докладов смотрите на канале «Базальт СПО».

Андрей Савченко, председатель программного комитета, отметил, что по сложившейся традиции нынешняя конференция стала по-настоящему полезной и интересной для всех участников: от маститых профессионалов до студентов, делающих первые шаги в разработке: «Участники нашли новые темы, идеи и задачи, новых коллег и друзей. Очень отрадно, что с год от года аудитория конференции расширяется, участниками становятся представители предприятий, банков, ВУЗов, стартапов, заинтересованные в создании и широком распространении СПО в России».

Компания NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). Платформа станет доступна в ближайшие недели.

Отмечается, что NVIDIA тесно сотрудничает с такими компаниями, как Meta✴, Anyscale, Cohere, Deci, Grammarly, Mistral AI, MosaicML (входит в состав Databricks), OctoML, Tabnine и Together AI, для ускорения и оптимизации LLM. Однако большой размер и уникальные характеристики LLM могут затруднить их эффективное внедрение. Библиотека TensorRT-LLM как раз и призвана решить проблему.

Источник изображений: NVIDIA

ПО включает в себя компилятор глубокого обучения TensorRT, оптимизированные ядра (kernel), инструменты предварительной и постобработки, а также компоненты для повышения производительности на ускорителях NVIDIA. Платформа позволяет разработчикам экспериментировать с новыми LLM, не требуя глубоких знаний C++ или CUDA. Применяется открытый модульный API Python для определения, оптимизации и выполнения новых архитектур и внедрения усовершенствований по мере развития LLM.

По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B (входит в состав MLPerf Inference v3.1). При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x. TensorRT-LLM уже включает полностью оптимизированные версии многих популярных LLM, включая Meta✴ Llama 2, OpenAI GPT-2 и GPT-3, Falcon, Mosaic MPT, BLOOM и др.

Софт TensorRT-LLM использует тензорный параллелизм — тип параллелизма моделей, при котором отдельные весовые матрицы разделяются между устройствами. При этом TensorRT-LLM автоматически распределяет нагрузка между несколькими ускорителями, связаннными посредством NVLink, или множественными узлами, объединёнными NVIDIA Quantum 2 InfiniBand. Это позволяет легко масштабировать задачи инференса с одного ускорителя до целой стойки.

Для управления нагрузками TensorRT-LLM использует специальный метод планирования — пакетную обработку в реальном времени, которая позволяет асинхронно обслуживать множество мелких запросов совместно с единичными большими на одном и том же ускорителе. Эта функция доступна для всех актуальных ускорителей NVIDIA, причём именно она даёт двукратный прирост производительности инференса в случае H100.

Наконец, конкретно в случае H100 библиотека активно использует возможностиTransformer Engine, позволяющего динамически привести вычисления к FP8-формату, что ускоряет и обработку и снижает потребление памяти без ухудшения точности итогового результата. Одна эта функция позволяет добиться четырёхкратного прироста быстродействия H100 в сравнении с A100.

«Группа Астра» (ОС Astra Linux), по сообщению газеты «Коммерсантъ», до конца 2023 года планирует развернуть собственную платформу для совместной разработки и хостинга IT-проектов с открытым кодом. Речь идёт об аналоге сервисов GitHub и GitLab.

Согласно данным «СПАРК-Интерфакса», в рамках создания новой платформы АО «Группа Астра» приобрело 26 % в ООО «Ресолют» — создателе сервиса для хранения открытого исходного кода и совместной разработки GitFlic. В дальнейшем доля в этом разработчике будет доведена до 51 %, тогда как 49 % останутся у основателей «Ресолюта».

По словам генерального директора «Группы Астра», компания работает над платформой, которая будет представлять собой «законченную среду с комбинацией инструментов управления исходными кодами, тестированием, автоматизацией, документацией, фреймворком, шаблонами разработки». Предполагается также, что на рынок выйдут различные коробочные решения, в том числе со средствами защиты информации.

Источник изображения: pixabay.com

О финансовых условиях сделки между «Группой Астра» и «Ресолютом» ничего не сообщается. По оценкам участников рынка, 26-процентная доля может стоить приблизительно 5 млн руб. Таким образом, получение контроля обойдётся в 10 млн руб. Между тем топ-менеджер одной из российских IT-компаний считает, что целью сделки была «покупка команды разработчиков», а 51 % в «Ресолюте» он оценивает в 50–70 млн руб.

Ранее российских разработчиков начали ограничивать в доступе к GitHub. После этого была запущен отечественный репозиторий решений с открытым кодом Mos.Hub. За два месяца работы эта площадка привлекла более 3 тыс. пользователей.

Компания Sylabs, занимающаяся разработкой программного обеспечения для HPC-систем, обвинила соперника Ctrl IQ (CIQ) и её основателя Грега Курцера (Greg Kurtzer), который наиболее известен созданием CentOS, в краже данных, составляющих коммерческую тайну. Как сообщает The Register, компания считает, что эта информация позволила главе CIQ основать свой бизнес, хотя тот называет обвинения беспочвенными.

Иск был подан в Калифорнии ещё в феврале этого года, но материалы по нему стали доступны публике тольком летом. Курцер ранее работал главой Sylabs, но в марте 2020 года основал собственную компанию CIQ, которая в числе прочего также занимается технологиями, связанными с HPC-решениями. Одним из важных проектов CIQ является спонсорство разработки ОС Rocky Linux.

Изображение: CIQ

Основным проектом Sylabs является открытая контейнерная платформа Singularity. При этом разработчик предлагает и смежные платные продукты и сервисы — именно с ними связан иск к CIQ и Курцеру. Sylabs обвиняет Курцера и некоторых других его коллег в скоординированном увольнении в марте 2020 года. Причём некоторые из бывших сотрудников Sylabs, как предполагается, незадолго до официального ухода «навестили» серверы работодателя и похитили интеллектуальную собственность.

Sylabs утверждает, что разрабатывала проприетарную коммерческую технологию Fuzzball для управления HPC-системами, но Курцер якобы присвоил её и сделал доступной в формате open source специально для того, чтобы ей могла бесплатно пользоваться созданная им CIQ. При этом последняя подала заявки на регистрацию патентов как на Fuzzball, так и на ещё одну технологию Sylabs — Armored Containers для защиты контейнеров.

Истцы утверждают, что соответствующие технологии они разрабатывали ещё в 2019 году — и этому есть доказательства. Дополнительно Курцер, возможно, скачивал документы компании, связанные с процессом продаж и даже перенаправлял запросы на покупку ПО на личные почтовые адреса до своего увольнения 1 апреля 2020 года. В ряде правонарушений обвиняются и другие сотрудники, а также компании OpenDrives и IAG Capital Partners, которые, инвестировали в CIQ, якобы понимая, что новая компания ведёт дела недобросовестно.

Изображение: CIQ

По словам представителя Sylabs, Курцер и его соратники замешаны в краже у Sylabs интеллектуальной собственности, сведений, составляющих коммерческую тайну, корпоративных секретов, конфиденциальной информации о персонале, клиентах и партнёрах. Также Курцер опубликовал интеллектуальную собственность Sylabs как ПО с открытым кодом, которое и стало базой для создания продуктов CIQ, в результате привлёкшей $33 млн инвестиций. Наконец, попытки получения патентов в США также незаконны, считает Sylabs.

В CIQ отвергают все обвинения, заявляя, что речь идёт всего лишь о зависти конкурента — CIQ якобы добилась большего успеха, чем Sylabs. Отмечается, что Курцером и его единомышленниками при увольнении было заключено соглашение, согласно которому Sylabs не возражала против основания компании с независимо разработанным ПО и отказывалась от претензий в будущем. CIQ действительно активно развивается — компания в конце прошлого месяца анонсировала партнёрскую программу.

С 29 сентября по 1 октября 2023 года в городе Переславль-Залесский пройдет XIX конференция разработчиков свободных программ. Это единственное в России мероприятие, которое собирает ведущих специалистов-разработчиков СПО. Организатором традиционно выступит компания «Базальт СПО» при поддержке ИПС РАН. Условия участия в конференции опубликованы на сайте «Базальт СПО».

Андрей Савченко, председатель Программного комитета конференции, подчеркивает: «Мероприятие привлекает внимание широкого круга участников, от академиков до студентов, которые демонстрируют свои наработки».

Приглашаем разработчиков ПО, научных работников, студентов, преподавателей и журналистов принять участие в конференции. Вы узнаете о текущем состоянии дел и направлениях развития российских и международных проектов СПО, пообщаетесь разработчиками, чей профессиональный авторитет признан мировым сообществом СПО.

Источник изображения: "Базальт СПО"

Андрей Черепанов, начальник отдела сопровождения «Базальт СПО», отмечает: «Особенность конференции заключается в том, что она затрагивает преимущественно технические аспекты разработки свободного ПО».

Неизменные принципы конференции — доброжелательная атмосфера, уважение к каждому участнику, свободный обмен знаниями и идеями, отсутствие рекламы.

В программе мероприятия:

• достижения и задачи российских и международных проектов разработки свободного программного обеспечения;
• научные проекты, затрагивающие разработку продуктов под свободной лицензией;
• вопросы развития сообщества свободного ПО;
• задачи образования в сфере ИТ;
• правовые аспекты свободного лицензирования.

Среди информационных партнеров — Tadviser, Telesputnik, Itweek, ComNews, IT World, Rspectr.com, 3DNews, Cyber Media, ServerNews, Information Security, IXBT, «Открытые системы», «Научная Россия», ICT Online, ГлобалМедиа, MSKIT, ITSZ, NNIT, Мир IT с Антоном Павленко, АРПП «Отечественный софт», РУССОФТ, «Ассоциация документальной электросвязи», 4CIO и др.

Тезисы докладов выйдут отдельным сборником и будут опубликованы в национальной библиографической базе данных научного цитирования РИНЦ (тезисы и видео прошлогодней конференции), а также получат Цифровой Идентификатор Объекта (DOI), которые регистрируются в базе международного агентства CrossRef.

Ссылка на онлайн-трансляцию будет опубликована на сайте «Базальт СПО». Ждем вас на конференции!

CIQ, Oracle и SUSE объявили о создании совместной торговой ассоциации Open Enterprise Linux Association (OpenELA) с целью «разработки дистрибутивов, совместимых с Red Hat Enterprise Linux (RHEL), путём предоставления открытого и бесплатного исходного кода Enterprise Linux (EL)». Создание OpenELA вызвано недавним изменением в политике Red Hat относительно доступа к исходному коду RHEL.

В ответ на установленные Red Hat ограничения компании CIQ, Oracle и SUSE договорились о сотрудничестве, чтобы предоставлять сообществу исходный код, инструменты и системы через OpenELA. Начиная с конца этого года, OpenELA будет предоставлять ресурсы, необходимые для создания downstream-сборок, совместимых с RHEL версий 8 и 9, а потом, возможно, и 7. Ассоциация будет стремиться обеспечить постоянную доступность исходных кодов OpenELA для сообщества без ограничения в сроках.

OpenELA будет предоставлять только исходный код и инструменты, но речи о создании собственного бинарного дистрибутива не идёт. Участники и все желающие смогут создавать свои собственные RHEL-совместимые дистрибутивы на основе этого кода. Первоначально совет директоров OpenELA будет включать в себя равное представительство компаний-учредителей.

Источник изображения: SUSE

Ранее в ответ на решение Red Hat компания SUSE сообщила о создании собственного форка RHEL, на поддержку которого выделит в течение нескольких лет $10 млн. А разработчики AlmaLinux объявили, что их дистрибутив более не будет полноценным клоном RHEL. Oracle же раскритиковала IBM и Red Hat и пообещала не следовать их примеру в отношении Linux. Red Hat в ответ на критику сообщества сообщила, что не видит ценности в пересборках RHEL.

Департамент информационных технологий города Москвы сообщил о том, что репозиторий решений с открытым кодом Mos.Hub, рассчитывающий стать аналогом зарубежных площадок, таких как GitHub, за два месяца привлёк более 3 тыс. зарегистрированных участников.

Напомним, Mos.Hub — это модернизированный городской репозиторий ПО, который российская столица развивает более 10 лет. Платформа позволяет делиться собственными разработками и повторно использовать отдельные элементы городских цифровых сервисов. Для всех российских разработчиков площадка стала доступна в конце мая нынешнего года.

Как теперь сообщается, за два месяца функционирования Mos.Hub отечественные разработчики опубликовали в репозитории более 1,6 тыс. проектов open source. Весь размещённый код хранится на защищённых серверах на территории России. Работа с Mos.Hub бесплатна для участников отрасли; реализована удобная система авторизации через Mos ID.

Источник изображения: pixabay.com

«Проект вызвал большой интерес и оказался востребованным: сегодня в нём уже разместили более 1,6 тыс. проектов. Почти 85 % — публичные, в их числе, например, библиотеки, курсы, учебные проекты, боты, исходные коды, сборки пакетов, блоги, сайты, программы», — рассказали в Департаменте информационных технологий города Москвы.

В дальнейшем планируется расширение возможностей репозитория. В ближайшие месяцы появятся инструменты автоматической проверки кода на наличие ошибок и уязвимостей. Кроме того, будут внедрены дополнительные функции, упрощающие совместную разработку ПО, среди которых — зеркалирование внешних репозиториев, автоматизация правил утверждения и слияния кода, а также рейтинги и оценка проектов.