После обнаружения первой уязвимости в библиотеке Apache Log4j (CVE-2021-44228, более известна как Log4Shell) команда Google Open Source Insights провела обследование всех пакетов Java в центральном репозитории Maven с целью «определения масштаба проблемы в экосистеме JVM с открытым исходным кодом». По оценкам исследователей, могут пройти годы, прежде чем уязвимость будет полностью устранена в экосистеме Java.

Более 80% пакетов Java, которых коснулась уязвимость в Log4j, не могут быть обновлены напрямую, и для её устранения потребуется координация между различными проектными группами. Значительная часть проблемы связана с непрямыми (косвенными) зависимостями. Прямые зависимости или случаи, когда пакет явно интегрирует Log4j, относительно легко исправить, поскольку разработчик или владелец проекта просто должен обновить Log4j до последней версии.

Более 80% пакетов Java в репозитории Maven Central Repository имеют Log4j в качестве косвенной зависимости, при этом большинство из них имеют уязвимую версию на глубине до пяти уровней. Многие пакеты используют сторонние библиотеки, которые обращаются к Log4j. В этом случае владелец пакета должен дождаться, пока сопровождающий этой библиотеки обновит Log4j и выпустит свежую версию.

Некоммерческая организация Apache Software Foundation, которая считается крупнейшим в мире сообществом по разработке программного обеспечения с открытым исходным кодом, опубликовала отчёт о работе в 2019 финансовом году.

За 12-месячный период фонд получил от спонсоров $585 тыс. У организации насчитывается 10 платиновых спонсоров, 9 золотых, 11 серебряных и 25 бронзовых, а также 24 спонсора целевых проектов и 766 индивидуальных участников. В репозиториях Apache Foundation размещено более 190 млн строк кода.

C момента основания фонда 20 лет назад число развиваемых в рамках Apache Foundation проектов превысило 350 (из которых 52 в инкубаторе). Они касаются таких областей как машинное обучение, большие данные, управление сборкой ПО, облачные системы, управление контентом, DevOps, Интернет вещей, разработка мобильных приложений, серверные системы и веб-фреймворки.

Совокупная стоимость разработки всех проектов Apache оценивается в $20 млрд. Пятёрка самых популярных проектов включает Hadoop, Kafka, Lucene, POI и ZooKeeper. Пять наиболее крупных репозиториев по числу строк кода: NetBeans, OpenOffice, Flex, Mynewt и Trafodion. 

Согласно обнародованной статистике, на сайт организации приходится около 35 млн просмотров в неделю. Разработку проектов курируют свыше 7 тыс. участников. 

Впрочем, далеко не все проекты пользуются популярностью и широкой поддержкой сообщества. Среди разработчиков есть даже шутка о том, что проекты, которым не повезло, в конце жизни попадают в Apache Foundation и там умирают. Например, упомянутый выше OpenOffice уже давно ни жив, ни мёртв — его наследник LibreOffice развивается намного активнее.  Кто-то даже  обвиняет Microsoft в проблемах организации. 

Компания IBS, курирующая проект по разработке платформы Arenadata Hadoop, сообщила о включении продукта в реестр отечественного программного обеспечения. Соответствующее решение было принято на заседании Минкомсвязи РФ и экспертного совета по российскому софту.

Arenadata Hadoop представляет собой полноценный дистрибутив распределённой платформы хранения и обработки слабоструктурированных и неструктурированных данных любых типов на базе Apache Hadoop, адаптированный для корпоративного использования. Отечественное решение обладает дополнительными функциональными возможностями по сравнению с Apache Hadoop и полностью поддерживается российскими программистами. Продукт может быть развернут как  на «голом железе», так и в виртуальном и облачном окружениях. Поддерживается работа в составе кластерных систем, а также интеграция с различными системами управления, например, Microsoft System Center и Teradata ViewPoint.

В 2016 году дистрибутив Arenadata Hadoop прошёл сертификацию и получил подтверждение о полном соответствии стандартам Open Data Platform Initiative (ODPi). ODPi — крупнейшее мировое сообщество разработчиков проектов хранения больших данных с открытым кодом под эгидой Linux Foundation.

Включение в реестр подтверждает российское происхождение программного комплекса Arenadata Hadoop, а также даёт возможность компании IBS рассчитывать на применение государственных мер поддержки, оказываемой поставщикам отечественного ПО. Более подробную информацию о возможностях продукта можно найти на сайте arenadata.tech/products/hadoop.

На сегодняшний день реестр российского ПО содержит более четырёх тысяч программных продуктов. С полным перечнем добавленных в реестр программных решений можно ознакомиться на сайте reestr.minsvyaz.ru.

Материалы по теме:

• IBM запустила серверы PureSystems Hadoop-Ready;
• Teradata анонсировала портфолио для Hadoop;
• IBM представила СУБД DB2 10.5 как «убийцу» Hadoop.

Источник:

• ibs.ru

Intel и Cloudera объявили о начале сотрудничества, в рамках которого компании намерены совместными усилиями форсировать внедрение решений для «больших данных» с помощью Apache Hadoop на базе открытого исходного кода.

Cloudera разработает и оптимизирует дистрибутив Cloudera’s Distribution including Apache Hadoop (CDH) для архитектур Intel в качестве основной платформы. Будет реализована поддержка коммутирующих технологий, технологий флеш-памяти и решения для безопасности корпорации Intel. Компания Intel в свою очередь займется продвижением CDH и Cloudera Enterprise среди своих заказчиков в качестве приоритетной платформы Hadoop и сосредоточит свои технические и маркетинговые ресурсы на совместном плане выпуска продукции. Оптимизации Intel’s Distribution for Apache Hadoop/Intel Data Platform (IDH/IDP) будут интегрированы в CDH и IDH/IDP. Переход состоится в конце марта после выпуска версии 3.1. Для того чтобы обеспечить простой переход заказчиков на CDH, Intel и Cloudera совместно разработают специальное миграционное решение.

В пресс-службе Intel подчеркивают, что этот проект является крупнейшей и единственной инвестицией Intel в технологии центров обработки данных за всю историю корпорации.

«Объединяя планы Cloudera и Intel, мы создаем оптимальную платформу для анализа «больших данных», — сказала Дайан Брайант (Diane Bryant), старший вице-президент и руководитель Data Center Group корпорации Intel. — Мы надеемся на ускорение темпов внедрения Hadoop, что позволит анализировать корпоративные данные с целью получения полезной информации. Это сотрудничество включает наши технологии для центров обработки данных и инициативы, связанные с концепцией "Интернета вещей"».

Материалы по теме:

• Серверные решения Intel повысят доступность информационных площадок 3DNews;
• Intel и Fujitsu делают ставку на фотонные технологии в ЦОД;
• Intel анонсировала новые процессоры Atom C2000 для микросерверов.

Источник:

• intel.com

Компания Citrix отказалась от решения Olympus OpenStack, чтобы сосредоточиться на платформе с открытым исходным кодом CloudStack, которая станет вкладом Citrix в проект Apache Software Foundation. В данном объявлении Citrix отметила, что CloudStack будет продолжать поддерживать Amazon API (интерфейс прикладного программирования). Представители компании считают, что такая поддержка имеет решающее значение для успеха облачных платформ. Citrix выпустила CloudStack 3.0 по лицензии Apache 2.0

Кроме этого, компания планирует предложить коммерческую поддержку Apache CloudStack — этот проект является открытым исходным кодом облачной операционной системы, которую Citrix приобрела вместе с Cloud.com в прошлом году. Компания, видимо, надеется повторить успех Red Hat, которая выросла в миллиардный бизнес, реализуя продукты на базе Linux и их поддержку.

Citrix не отворачивается полностью от OpenStack. «Мы будем продолжать играть активную роль в OpenStack-сообществе, — сказал Самир Долакиа (Sameer Dholakia), вице-президент и генеральный менеджер облачных платформ Citrix. — Компания продолжит работать с OpenStack для поддержки гипервизора Citrix, а также для возможной интеграции некоторых компонентов в свой собственный стек». У OpenStack немало именитых сторонников, в том числе AT&T, Dell и HP. Так что пока рано говорить о том, какое влияние на неё окажет уход Citrix. Например, аналитик Redmonk Стивен О'Грейди (Stephen O'Grady) заявляет следующее: «Это нехорошая новость для OpenStack, однако делать выводы пока рано. Citrix создали некоторый импульс самостоятельного развития: будет интересно посмотреть, на что и как повлияет эта новость».

Источник:

• pcworld.com

Проект фонда Apache Software Foundation под названием Hadoop после шести лет разработки наконец обрёл финальную реализацию. Версия Hadoop 1.0, представленная разработчиками, являет собой законченную платформу распределённых вычислений, готовую для внедрения в корпоративную инфраструктуру.

В широком смысле, Hadoop - это свободно распространяемый набор утилит, библиотек и программный каркас для разработки и выполнения распределённых программ, функционирующих на кластерах из сотен и тысяч узлов. Проект был создан в рамках вычислительной парадигмы MapReduce, согласно которой приложение разделяется на большое количество одинаковых элементарных заданий, выполнимых на узлах кластера и естественным образом сводимых в конечный результат.

Hadoop 1.0 базируется на стабильной ветке 0.20.203.x и поддерживает работу кластера в безопасном режиме. Кроме того, платформа включает в себя файловую систему HDFS, предназначенную для хранения файлов больших размеров, поблочно распределённых между узлами вычислительного кластера, а такдже полезный компонент HBase, который упрощает доступ к данным.

Hadoop используется в таких крупных проектах, как Yahoo!, FaceBook, платформа Oracle Big Data, суперкомпьютер IBM Watson, СУБД SQL Server, Windows Server и "облачной" платформой Azure Cloud. Исходный код и сопутствующая документация может быть загружена с официального сайта согласно лицензии Apache License v2.0.

Источник:

• hadoop.apache.org

Компания Microsoft анонсировала ряд обновлений облачной платформы Windows Azure, расширяющих возможности для разработчиков и повышающих интероперабельность и масштабируемость cloud-площадки.

Как сообщается в разосланном корпорацией пресс-релизе, представленные новшества упрощают управление подписками на облачные услуги, добавляют возможность просмотра поминутного использования сервисов и деталей биллинга напрямую из инструментария Windows Azure Management Portal, расширяют функционал платформы, включают поддержку SQL Azure Federation и улучшают средства администрирования компонентами системы.

В числе прочих изменений платформы представители Microsoft называют новые инструменты для технических специалистов, которые работают с открытым кодом, поддержку фреймворка node.js в Windows Azure SDK, а также отсутствовавший ранее сервис для размещения приложений Apache Hadoop.

Не осталась в стороне и финансовая сторона вопроса, регламентирующая расценки на доступ к вычислительному облаку. В частности, Microsoft объявила о снижении стоимости владения крупными базами данных SQL Azure и сокращении расценок на передачу данных. Актуальная максимальная стоимость за базу данных SQL Azure отныне составляет $500, цена исходящего трафика - $0,12/Гбайт (ранее $0,15) в странах Северной Америки и Европы и $0,19/Гбайт (ранее $0,20) в странах Азиатско-Тихоокеанского региона. Входящий трафик на серверы на платформе Windows Azure бесплатный.

Дополнительные сведения о стоимости и нововведениях облачной платформы можно получить, проследовав по этой ссылке.

Материалы по теме:

• Платформа Windows Azure стала доступной российским заказчикам;
• Microsoft обновила комплект разработчика Windows Azure SDK;
• Microsoft представила новые решения в области облачных сервисов.

Источник:

• microsoft.com

Организация Apache Foundation, занимающаяся разработкой программного веб-сервера Apache, закрыла критическую уязвимость в своём продукте, которая позволяла злоумышленникам полностью вывести из строя сайт, используя для этого нехитрые инструменты.

Уязвимость в Apache HTTP Server, популярной программной платформе, на которой основаны две трети всех сайтов в мире, была обнаружена независимыми специалистами 20 августа. В тот же день в сети появилась и вредоносная программа, с помощью которой можно было нарушить работу сайта. Apache Foundation выпустила новую версию Apache HTTP Server, однако администраторам сайтов придётся самостоятельно обновить платформу для устранения неполадок. Процесс обновления может затянуться, поэтому угроза останется актуальной ещё некоторое время.

Основная опасность заключается в том, что для проведения атаки нет необходимости использовать многомиллионные ботнеты, а достаточно всего одного компьютера со специальной программой-эксплойтом. Результатом атаки является исчерпывание ресурсов удалённой системы, после чего веб-сервер перестаёт отвечать на запросы.

Источник:

• apache.org

Представители Yahoo и Benchmark Capital сообщили о создании совместной компании, целью которой будет дальнейшее продвижение комплекса программного обеспечения с открытым исходным кодом Hadoop, предназначенного для обработки больших массивов данных. В компанию, которая получила название Hortonworks, войдут самые активные разработчики проекта Hadoop Apache, за которым, прежде всего, стояла корпорация Yahoo. Проект Hortonworks будет запущен в июле текущего года, на первом этапе в нем будут задействованы 25 разработчиков и служащих.

По словам Джея Росситера (Jay Rossiter), старшего вице-президента облачного подразделения Yahoo, такая политика поможет ускорить развитие Hadoop и скорейшее его принятие крупными корпорациями. Корпорация Yahoo активно использует Hadoop для обработки рекламного и пользовательского контентов и поэтому крайне заинтересована в развитии и процветании Hadoop. По словам Росситера, Yahoo будет инвестором, партнером и пользователем Hortonworks.

Исполнительным директором Hortonworks станет бывший вице-президент Yahoo по вопросам Hadoop Эрик Балдшвингер (Eric Baldeschwieler). В его активе — развитие сообщества разработчиков программного обеспечения с открытым исходным кодом вокруг Hadoop, установление ряда партнерских программ и успешный поиск клиентов. Собственно, Hortonworks будет работать над тем, как сделать Hadoop более простым набором инструментов для конечных пользователей.