В xz/liblzma выявлен вредоносный код, направленный на получение несанкционированного удаленного доступа по SSH (бэкдор) и исполнение команд (CVE-2024-3094). Зловред был внедрён в версии 5.6.0 и 5.6.1 и, как передаёт OpenNet, успел попасть в сборки и репозитории Gentoo, Arch Linux, Debian sid/unstable, Fedora Rawhide/40-beta, openSUSE factory/tumbleweed, LibreELEC, Alpine edge, Solus, CRUX, Cygwin, MSYS2 mingw, HP-UX, Homebrew, KaOS, NixOS unstable, OpenIndiana, Parabola, PCLinuxOS, OpenMandriva cooker и rolling, pkgsrc current, Slackware current, Manjaro, Void Linux. Впрочем, далеко не везде бэкдор может быть активирован.

Ситуацию усугубляет то обстоятельство, что разработчик, оказавшийся под подозрением, в последние годы принимал участие и в смежных проектах сообщества. Поэтому нет оснований для доверия исходному коду xz до выяснения всех деталей и последствий произошедшего. В частности, соответствующий репозиторий на GitHub уже заблокирован с сообщением: «Доступ к этому репозиторию был заблокирован сотрудниками GitHub из-за нарушения условий предоставления услуг GitHub».

Тем, кто успел получить инфицированные варианты ПО, рекомендуется откатиться до версий 5.4.6 или 5.4.1. Последний вариант более предпочтителен, так как эта версия была сформирована предыдущим сопровождающим. Сама атака оказалась очень изощрённой, а на её реализацию ушло приблизительно два года. Проблему практически случайно обнаружил разработчик, обративший внимание на необычное замедление (разница в 0,5 с) работы ssh-сервера. Следить за развитием ситуации можно на сайте проекта. А версии пакетов xz в разных проектах можно отслеживать в Repology.

Компания Redis Ltd. объявила о смене политики лицензирования: вместо ранее использовавшейся лицензии BSD (Berkeley Software Distribution) для свободного ПО будут применяться проприетарные лицензии Redis Source Available License (RSALv2) и Server Side Public License (SSPLv1).

Redis — это крайне популярная NoSQL-платформа. В 2010–2013 гг. разработку СУБД финансировала компания VMware, которая была приобретена корпорацией Broadcom за $69 млрд.

Сообщается, что лицензии RSALv2 и SSPLv1 будут применяться для версий СУБД начиная с релиза Redis 7.4. Говорится, что RSAL даёт возможность использовать, изменять, распространять и встраивать код в приложения, кроме тех случаев, когда продукт является коммерческим или используется для предоставления управляемых платных сервисов. В свою очередь, SSPL требует распространять под той же лицензией как код самого приложения, так и код всех компонентов, которые задействованы в составе, например, облачного сервиса.

Источник: Redis

«На практике ничего не изменится для сообщества разработчиков Redis: они продолжат пользоваться разрешительным лицензированием в рамках двойной лицензии», — говорится в заявлении компании. В соответствии с новой политикой поставщики облачных услуг, размещающие сервисы Redis, больше не смогут бесплатно использовать исходный код проекта. Изменения, как утверждается, нацелены на поддержку сообщества разработчиков Redis. Дело в том, что некоторые облачные провайдеры создают коммерческие продукты на базе Redis, но не поддерживают собственно развитие СУБД. Новые лицензии призваны предотвратить подобную практику.

Между тем уже появились несколько форков Redis. Так, организация Linux Foundation запустила проект Valkey, который предполагает дальнейшее развитие Redis 7.2.4 по лицензии BSD с открытым исходным кодом. Для Valkey заявлена поддержка платформ Linux, macOS, OpenBSD, NetBSD и FreeBSD. В проекте Valkey принимают участие такие компании и облачные провайдеры, как Amazon Web Services (AWS), Google Cloud, Oracle, Ericsson и Snap Inc.

Кроме того, появился форк Redis под названием Redict. Его основателем является Дрю ДеВолт (Drew DeVault), создатель и генеральный директор SourceHut. Проект базируется на Redis версии 7.2.4, а в качестве лицензии используется LGPLv3. Исходный код Redict общедоступен на Codeberg.

Сообщается также, что на фоне изменения лицензионной политики Redis Ltd. заключила соглашение о приобретении Speedb — разработчика движка хранения данных. Redis будет использовать Speedb для улучшения процессов обработки информации в реальном времени и предоставления сервисов с малыми задержками. Ожидается, что Redis выпустит первую версию своей платформы, интегрированной со Speedb, до конца 2024 года. Финансовые условия сделки не раскрываются.

Отметим, что в конце 2018 года MongoDB сменила лицензию с GNU AGPLv3 на разрабатонную ею же SSPL (в дополнение к проприетарной лицензии), причём новая лицензия была введена ровно по той же причине, что и в случае Redis. SSPL не признаётся свободным ПО организацией Open Source Initiative (OSI) и некоторыми крупными дистрибутивами Linux.

Федеральное ведомство по информационной безопасности Германии (BIS) выпустило срочное предупреждение о ненадлежащем обновлении серверов Microsoft Exchange в стране, передает The Register. BIS утверждает, что из примерно 45 тыс. общедоступных серверов Exchange в Еврозоне не менее 17 тыс. таких серверов в Германии имеют по крайней мере одну критическую уязвимость.

12 % из них работают под управлением уже неподдерживаемых версий, таких как Exchange 2010 и 2013, и еще около 25 % используют Exchange 2016 и 2019, но не имеют жизненно важных обновлений. «Факт существования в Германии десятков тысяч уязвимых установок такого ПО не должен иметь место», — предупредила Клаудия Платтнер (Claudia Plattner), глава BSI, упрекнув частные и государственные организации в халатном отношении к ИТ-системам, своим и чужим данным, а также призвав немедленно озаботиться вопросами информационной безопасности.

Источник изображения: unsplash.com

BIS пытается заставить немцев внести исправления как можно раньше. Буквально на прошлой неделе принадлежащая Google компания Mandiant предупредила, что немецкие политики подвергаются атакам со стороны российской (по мнению Mandiant) команды Cozy Bear. Особую озабоченность вызывает уязвимость CVE-2024-21410, связанная с повышением привилегий, которую Microsoft закрыла в прошлом месяце. По данным немецких исследователей, эта дыра всё ещё может присутствовать в 48 % серверов Exchange в стране, посколько применение патча против неё не так тривиально.

BIS теперь ежедневно рассылает сетевым провайдерам электронные письма с напоминаниями о необходимости защиты любой уязвимой системы. В них говорится, что преступники ищут возможности воспользоваться уязвимостями. «Большинству уязвимостей уже несколько месяцев и патчи против них доступны», — сообщил The Register представитель BIS. «Даже если администраторы не несут ответственности за качество ПО (за это отвечает Microsoft), они должны реагировать быстро и последовательно». Промедление в данном вопросе может иметь разрушительные последствия.

«Киберпротект», российский разработчик программного обеспечения для резервного копирования и восстановления данных, выпустил новую версию системы для синхронизации и обмена файлами «Кибер Файлы» 9.0.

«Кибер Файлы» — это решение для защищённого доступа, синхронизации и совместного использования файлов в корпоративной среде и за её пределами. Продукт позволяет IT-отделу организации контролировать безопасность передаваемого контента и соблюдение нормативных требований.

В новой версии программного комплекса реализована возможность развёртывания решения на серверах под управлением российских операционных систем «Альт Сервер» 10, «Ред ОС Сервер» 7.3 и Astra Linux Server 1.7, интеграция с DLP-комплексом «Кибер Протего» для контроля и защиты загружаемых данных, расширен выбор систем для онлайн-редактирования документов, а также проведены работы для повышения удобства использования продукта и его производительности.

В дополнение к этому стало возможным использовать решение Kaspersky Scan Engine для проверки всех загружаемых данных на наличие киберугроз. Также реализована функция передачи событий из журнала аудита в SIEM-системы с использованием протокола Syslog для тех, кто отслеживает инциденты безопасности в корпоративной сети с помощью таких систем.

Несмотря на частые анонсы новых решений, ситуация на рынке ускорителей всё ещё складывается в пользу NVIDIA, которая существенно раньше своих соперников поняла всю важность этого рынка и делает всё возможное для продвижения собственной программной платформы CUDA.

CUDA позволяет разрабатывать приложения, работающие только на аппаратном обеспечении NVIDIA. С учётом взрывной популярности ИИ такая ситуация позволяет компании держать высокие цены, да и сама платформа хорошо отшлифована временем. Но вкупе с дефицитом ускорителей NVIDIA всё это негативно влияет на развитие индустрии ИИ в целом, что закономерно вызывает недовольство со стороны разработчиков.

С целью положить конец такому порядку ряд крупных компаний-разработчиков и полупроводниковых гигантов, включая Intel, Qualcomm, Samsung, Arm и Google сформировали альянс, названный The Unified Acceleration Foundation (UXL). Целью этого союза является создание универсального открытого ПО, которое позволит разработчикам ИИ-решений отказаться от CUDA и использовать ускорители других производителей.

Источник изображения: Intel

Сама группа UXL была сформирована ещё в сентябре прошлого года ведущими производителями микрочипов, но на днях она объявила о расширении, а также уточнила, как именно намерена бороться с CUDA. В основу нового, открытого мультиплатформенного стандарта ляжет Intel OneAPI, уходящий корнями в SYCL и OpenCL. В наследство достанутся и различные наработки Intel, включая инструмент SYCLomatic, позволяющий конвертировать CUD-код в SYCL-код, способный выполняться практически на любой платформе, в том числе и от NVIDIA.

UXL надеется сформировать стандартную модель программирования для ИИ-вычислений. Спецификации должны быть утверждены уже в I полугодии, а к концу 2024 года UXL, согласно планам, достигнет зрелого состояния. Группа намеревается привлечь и других производителей чипов, а также крупных провайдеров облачных услуг, включая Microsoft Azure и Amazon. Примечательно, что AMD к UXL решила не присоединяться.

Американский стартап в сфере аналитики больших данных и машинного обучения Databricks объявил о выходе DBRX, большой языковой модели (LLM) общего назначения, которая, по его словам, превосходит в стандартных бенчмарках все существующие LLM с открытым исходным кодом, а также некоторые проприетарные ИИ-модели.

Стартап заявил, что открывает исходный код модели, чтобы побудить пользователей отказаться от коммерческих альтернатив. Он отметил, что согласно исследованию Andreessen Horowitz LLC, почти 60 % лидеров в области ИИ-технологий заинтересованы в увеличении использования или переходе на open source, если открытые модели после тюнинга примерно соответствуют по производительности проприетарным моделям.

Источник изображений: Databricks

«Я считаю, что самые ценные данные хранятся внутри предприятий. ИИ как бы исключён из этих сфер, поэтому мы пытаемся реализовать это с помощью моделей с открытым исходным кодом», — цитирует ресурс SiliconANGLE заявление гендиректора Databricks Али Годси (Ali Ghodsi) на брифинге с журналистами. По словам Годси, лучше всего DBRX подходит для сфер, где критически важны управление и безопасность, например, для финансовых услуг и здравоохранения, или там, где важен тон ответов, например, в области самообслуживании клиентов.

DBRX использует архитектуру Mixture of Experts (MoE, набор экспертов), которая делит процесс обучения между несколькими специализированными «экспертными» подсетями. Каждый «эксперт» владеет определёнными навыками, а исходный запрос оптимальным образом распределяется между «экспертами». Вице-президент Databricks по генеративному ИИ, перешедший в компанию вместе с приобретением MosaicML, соучредителем которой он был, заявил, что MoE работает даже лучше человека.

Хотя DBRX с 132 млрд параметром почти в два раза больше Llama 2, она всё равно вдвое быстрее. Также сообщается, что DBRX превзошла существующие LLM с открытым исходным кодом Llama 2 70B и Mixtral-8x7B (тоже MoE), а также запатентованную GPT-3.5 Turbo в тестах на понимание языка, программирование, математику и логику. Обучение модели на общедоступных и лицензированных источниках данных в течение двухмесячного периода обошлось Databricks всего в $10 млн с использованием 3 тыс. ускорителей NVIDIA H100.

По словам компании, при создании приложений генеративного ИИ модель DBRX можно использовать вместе с Databricks Mosaic AI, набором унифицированных инструментов для создания, развёртывания и мониторинга моделей ИИ. Базовая модель DBRX Base и продвинутая модель DBRX Instruct доступны по открытой лицензии для исследований и коммерческого использования на GitHub и Hugging Face. Разработчики могут уже сегодня создавать свои варианты DBRX на основе собственных данных на платформе Databricks.

Компания Canonical объявила о том, что срок поддержки LTS-релизов Ubuntu продлевается ещё на два года — до 12 лет. Новая модель выпуска обновлений будет распространяться на платформу Ubuntu 14.04 LTS и более поздние LTS-редакции, которые выходят раз в два года.

В октябре 2023-го Canonical сообщила, что пользователи Ubuntu смогут получать обновления безопасности и другие критические апдейты ОС в течение десятилетнего периода. При этом срок стандартной поддержки составляет пять лет, тогда как дополнительный период приобретается в рамках платной опции Expanded Security Maintenance (ESM).

Источник изображения: Canonical

Поддержка Ubuntu 14.04 LTS должна была истечь в апреле 2024 года, но в соответствии с новой схемой она продлится до апреля 2026-го. Основная поддержка, как и прежде, предоставляется в течение пятилетнего срока. Ещё семь лет будут доступны пользователям сервиса Ubuntu Pro. В частности, дополнительные два года поддержки можно приобрести в рамках опции Legacy Support.

«Благодаря Legacy Support мы даём организациям возможность поддерживать их операционные потребности и инвестиции в открытый исходный код, гарантируя, что системы будут получать обновления безопасности в течение многих лет», — говорит Максимилиан Морган (Maximilian Morgan), вице-президент по технической поддержке Canonical.

Таким образом, Ubuntu 16.04 LTS будет получать поддержку до 2028 года, Ubuntu 18.04 LTS — до 2030-го, Ubuntu 20.04 LTS — до 2032-го и т.д. Стоимость новой услуги Canonical пока не раскрывает.

Корпорация Intel сообщила о том, что её ИИ-ускоритель Habana Gaudi2 остаётся единственной альтернативой NVIDIA H100, протестированной в бенчмарке MLPerf Inference 4.0. При этом, как утверждается, Gaudi2 обеспечивает высокое быстродействие в расчёте на доллар, хотя именно чипы NVIDIA являются безоговорочными лидерами.

Отмечается, что для платформы Gaudi2 компания Intel продолжает расширять поддержку популярных больших языковых моделей (LLM) и мультимодальных моделей. В частности, для MLPerf Inference v4.0 корпорация представила результаты для Stable Diffusion XL и Llama v2-70B.

Согласно результатам тестов, в случае Stable Diffusion XL ускоритель H100 превосходит по производительности Gaudi2 в 2,1 раза в оффлайн-режиме и в 2,16 раза в серверном режиме. При обработке Llama v2-70B выигрыш оказывается более значительным — в 2,76 раза и 3,35 раза соответственно. Однако на большинстве этих задач (кроме серверного режима Llama v2-70B) решение Gaudi2 выигрывает у H100 по показателю быстродействия в расчёте на доллар.

Источник изображений: Intel

В целом, ИИ-ускоритель Gaudi2 в Stable Diffusion XL показал результат в 6,26 и 6,25 выборок в секунду для оффлайн-режима и серверного режима соответственно. В случае Llama v2-70B достигнут показатель в 8035,0 и 6287,5 токенов в секунду соответственно.

Говорится также, что серверные процессоры Intel Xeon Emerald Rapids благодаря улучшениям аппаратной и программной составляющих в бенчмарке MLPerf Inference v3.1 демонстрируют в среднем в 1,42 раза более высокие значения по сравнению с чипами Xeon Sapphire Rapids. Например, для GPT-J с программной оптимизацией и для DLRMv2 зафиксирован рост быстродействия примерно в 1,8 раза.

Компания NVIDIA опубликовала новые, ещё более впечатляющие результаты в области работы с большими языковыми моделями (LLM) в бенчмарке MLPerf Inference 4.0. За прошедшие полгода и без того высокие результаты, демонстрируемые архитектурой Hopper в инференс-сценариях, удалось улучшить практически втрое. Столь внушительный результат достигнут благодаря как аппаратным улучшениям в ускорителях H200, так и программным оптимизациям.

Генеративный ИИ буквально взорвал индустрию: за последние десять лет вычислительная мощность, затрачиваемая на обучение нейросетей, выросла на шесть порядков, а LLM с триллионом параметров уже не являются чем-то необычным. Однако и инференс подобных моделей тоже является непростой задачей, к которой NVIDIA подходит комплексно, используя, по её же собственным словам, «многомерную оптимизацию».

Источник изображений: NVIDIA

Одним из ключевых инструментов является TensorRT-LLM, включающий в себя компилятор и прочие средства разработки, учитывающие архитектуру ускорителей компании. Благодаря ему удалось почти втрое повысить производительность инференса GPT-J на ускорителях H100 всего за полгода. Такой прирост достигнут благодаря оптимизации очередей на лету (inflight sequence batching), применению страничного KV-кеша (paged KV cache), тензорному параллелизма (распределение весов по ускорителям), FP8-квантизации и использованию нового ядра XQA (XQA kernel).

В случае ускорителей H200, использующих ту же архитектуру Hopper, что и H100, важную роль играет память: 141 Гбайт HBM3e (4,8 Тбайт/с) против 80 Гбайт HBM3 (3,35 Тбайт/с). Такой объём позволяет разместить модель уровня Llama 2 70B целиком в локальной памяти. В тесте MLPerf Llama 2 70B ускорители H200 на 28 % производительнее H100 при том же теплопакете 700 Вт, а увеличение теплопакета до 1000 Вт (так делают некоторые вендоры в своих MGX-платформах) даёт ещё 11–14 % прироста, а итоговая разница с H100 в этом тесте может доходить до 45 %.

В специальном разделе новой версии MLPerf NVIDIA продемонстрировала несколько любопытных техник дальнейшей оптимизации: «структурированную разреженность» (structured sparsity), позволяющую поднять производительность в тесте Llama 2 на 33 %, «обрезку» (pruning), упрощающую ИИ-модель и позволяющую повысить скорость инференса ещё на 40 %, а также DeepCache, упрощающую вычисления для Stable Diffusion XL и дающую до 74 % прироста производительности.

На сегодня платформа на базе модулей H200, по словам NVIDIA, является самой быстрой инференс-платформой среди доступных. Результатами GH200 компания похвасталась ещё в прошлом раунде, а вот показатели ускорителей Blackwell она не предоставила. Впрочем, не все считают результаты MLPerf показательными. Например, Groq принципиально не участвует в этом бенчмарке.

Специальный трибунал в Южной Африке, по сообщению The Register, обязал немецкого поставщика ПО корпоративного класса SAP выплатить компенсацию в размере 500 млн рандов (примерно $26,4 млн) в рамках длительного расследования, связанного с нарушением законов о государственных финансах.

Речь идёт о двух контрактах, заключенных между SAP и энергетической фирмой Eskom: договоры на предоставление облачных услуг общей суммой 1,1 млрд рандов (около $58 млн) были заключены в 2013–2016 гг.

Как показала проверка, проведённая Специальным отделом расследований по борьбе с коррупцией ЮАР (SIU), заключенные соглашения не соответствуют Закону об управлении государственными финансами. В результате Eskom понесла «бесполезные и масштабные расходы». Постановлением Специального трибунала от 20 марта 2024 года эти контракты также признаны конституционно недействительными и отменены.

Источник изображения: SAP

В январе 2024-го SAP заявила, что заключила окончательные соглашения об урегулировании споров с Министерством юстиции США (DOJ), Комиссией по ценным бумагам и биржам США (SEC) и Национальной прокуратурой Южной Африки (NPA). Утверждается, что SAP ради продвижения своих продуктов в государственном секторе подкупала зарубежных чиновников.

В марте 2018 года SAP объявила о начале собственного антикоррупционного расследования в отношении отдельных сделок с южноафриканскими Transnet и Eskom. Поводом для этого послужили публичные обвинения в том, что дочерняя структура SAP использовала подставные компании для подкупа высокопоставленных лиц с целью получения государственных технологических контрактов. В центре внимания были отношения между SAP и предприятиями, связанными с влиятельной семьей Гупта, одной из богатейших в ЮАР.