Компания IBS, курирующая проект по разработке платформы Arenadata Hadoop, сообщила о включении продукта в реестр отечественного программного обеспечения. Соответствующее решение было принято на заседании Минкомсвязи РФ и экспертного совета по российскому софту.

Arenadata Hadoop представляет собой полноценный дистрибутив распределённой платформы хранения и обработки слабоструктурированных и неструктурированных данных любых типов на базе Apache Hadoop, адаптированный для корпоративного использования. Отечественное решение обладает дополнительными функциональными возможностями по сравнению с Apache Hadoop и полностью поддерживается российскими программистами. Продукт может быть развернут как на «голом железе», так и в виртуальном и облачном окружениях. Поддерживается работа в составе кластерных систем, а также интеграция с различными системами управления, например, Microsoft System Center и Teradata ViewPoint.

В 2016 году дистрибутив Arenadata Hadoop прошёл сертификацию и получил подтверждение о полном соответствии стандартам Open Data Platform Initiative (ODPi). ODPi — крупнейшее мировое сообщество разработчиков проектов хранения больших данных с открытым кодом под эгидой Linux Foundation.

Включение в реестр подтверждает российское происхождение программного комплекса Arenadata Hadoop, а также даёт возможность компании IBS рассчитывать на применение государственных мер поддержки, оказываемой поставщикам отечественного ПО. Более подробную информацию о возможностях продукта можно найти на сайте arenadata.tech/products/hadoop.

На сегодняшний день реестр российского ПО содержит более четырёх тысяч программных продуктов. С полным перечнем добавленных в реестр программных решений можно ознакомиться на сайте reestr.minsvyaz.ru.

Материалы по теме:

• IBM запустила серверы PureSystems Hadoop-Ready;
• Teradata анонсировала портфолио для Hadoop;
• IBM представила СУБД DB2 10.5 как «убийцу» Hadoop.

Источник:

• ibs.ru

Intel и Cloudera объявили о начале сотрудничества, в рамках которого компании намерены совместными усилиями форсировать внедрение решений для «больших данных» с помощью Apache Hadoop на базе открытого исходного кода.

Cloudera разработает и оптимизирует дистрибутив Cloudera’s Distribution including Apache Hadoop (CDH) для архитектур Intel в качестве основной платформы. Будет реализована поддержка коммутирующих технологий, технологий флеш-памяти и решения для безопасности корпорации Intel. Компания Intel в свою очередь займется продвижением CDH и Cloudera Enterprise среди своих заказчиков в качестве приоритетной платформы Hadoop и сосредоточит свои технические и маркетинговые ресурсы на совместном плане выпуска продукции. Оптимизации Intel’s Distribution for Apache Hadoop/Intel Data Platform (IDH/IDP) будут интегрированы в CDH и IDH/IDP. Переход состоится в конце марта после выпуска версии 3.1. Для того чтобы обеспечить простой переход заказчиков на CDH, Intel и Cloudera совместно разработают специальное миграционное решение.

В пресс-службе Intel подчеркивают, что этот проект является крупнейшей и единственной инвестицией Intel в технологии центров обработки данных за всю историю корпорации.

«Объединяя планы Cloudera и Intel, мы создаем оптимальную платформу для анализа «больших данных», — сказала Дайан Брайант (Diane Bryant), старший вице-президент и руководитель Data Center Group корпорации Intel. — Мы надеемся на ускорение темпов внедрения Hadoop, что позволит анализировать корпоративные данные с целью получения полезной информации. Это сотрудничество включает наши технологии для центров обработки данных и инициативы, связанные с концепцией "Интернета вещей"».

Материалы по теме:

• Серверные решения Intel повысят доступность информационных площадок 3DNews;
• Intel и Fujitsu делают ставку на фотонные технологии в ЦОД;
• Intel анонсировала новые процессоры Atom C2000 для микросерверов.

Источник:

• intel.com

Корпорация Oracle представила новую версию интегрированной платформы Big Data Appliance, предназначенной для работы с крупными объемами данных.

Обновленный программно-аппаратный комплекс получил индекс X4-2. Решение подверглось модернизации, включает в себя полный технологический стек Cloudera Enterprise, усовершенствованные средства управления, контроля, анализа и обработки разноструктурированных данных в режиме реального времени, а также содержит на 33% больше дисковой емкости, предлагая суммарную емкость в 864 Тбайт на одну аппаратную стойку. В состав платформы включено программное обеспечение Cloudera Distribution for Apache Hadoop, Oracle NoSQL Database, Cloudera Impala и Cloudera Search для соответствия разнообразным требованиям к вычислительным ресурсам.

«Oracle Big Data Appliance X4-2 продолжает расширять поддержку «больших данных», предлагая наиболее полный комплекс для Hadoop, позволяющий решать задачи обработки и управления крупными массивами данных, — говорит Цетин Озбутун (Cetin Ozbutun), вице-президент Oracle по направлению Data Warehousing and Big Data Technologies. — Теперь, когда Big Data Appliance поставляется с полным технологическим стеком Cloudera Enterprise и предоставляет значительно больше ресурсов для хранения данных, предприятия могут сформировать экономически выгодную платформу для работы с «большими данными», способную помочь в создании новых преимуществ для бизнеса».

Более подробную информацию о системе Big Data Appliance X4-2 можно получить на веб-сайте oracle.com.

Материалы по теме:

• Oracle представила обновленную облачную платформу Exalogic Elastic Cloud;
• Oracle выпустила обновленную версию платформы Enterprise Manager 12c;
• Oracle расширила линейку инструментов для работы с СУБД MySQL.

Источник:

• oracle.com

Teradata (TDC) объявила о создании портфолио для проекта Apache Hadoop, включившего в себя платформы на основе Hadoop, программное обеспечение, консалтинговые услуги, обучение и поддержку клиентов. Для решения под ключ Teradata предлагает две премиальные платформы: Appliance for Hadoop и Aster Big Analytics Appliance с возможностями программного обеспечения, недоступными в продуктах других производителей, которые повышают надежность, управляемость, связность и улучшают удобство использования. Для IT-отделов, которые предпочитают строить свои собственные системы, но нуждаются в поддержке Teradata, доступны платформы Commodity Offering for Hadoop и Software Only for Hadoop.

Teradata также сотрудничает с рядом инновационных поставщиков программного обеспечения, чтобы обеспечить предприятиям еще более высокий уровень безопасности и интеграции для Hadoop как части архитектуры корпоративных данных. Hortonworks Data Platform (HDP) включает в себя интерфейсы, необходимые для глубокой интеграции с основными компонентами современной архитектуры данных. Informatica Platform является частью Teradata Unified Data Architecture и обеспечивает оптимизацию интеграции данных и повышение производительности разработки. Protegrity Big Data Protector в комплекте с Teradata Appliance Hadoop обеспечивает пользователям безопасность файлов и данных на уровне полей. Revelytix Loom предоставляет динамическое управление наборами данных, автоматический расчёт происхождения и наследования данных при всех преобразованиях и обнаружение, анализ, профилирование любых новых файлов HDFS.

Материалы по теме:

• Настоящее и будущее российского серверного рынка: мнение экспертов;
• Технологии виртуализации: тенденции и перспективы развития в корпоративном секторе рынка;
• Готовность IT-инфраструктуры к аварийному восстановлению: исследование Acronis.

Источник:

• datacenterknowledge.com

Компания IBM добавила в Систему управления базами данных (СУБД) DB2 набор технологий ускорения под общим кодовым названием BLU, который должен сделать ее более подходящей для аналитических работ с большими наборами данными в памяти. Разработанный лабораторией IBM Research and Development Labs, набор технологий BLU представляет собой комплект из новых методов обработки столбцов, дедупликации данных, параллельной векторной обработки и сжатия данных.

Применение BLU в DB2 10.5 может, по оценкам IBM, ускорить анализ данных в 25 раз или даже более. Кроме того, с использованием DB2 можно сократить расходы на персонал выделенного хранилища данных. К тому же что администраторов баз данных, как правило, больше, чем специалистов по хранилищам данных. В некоторых случаях, как утверждает Тим Винсент (Tim Vincent), вице-президент и директор по технологии управления информацией компании, DB2 может даже служить легкой в обслуживании альтернативой платформе Hadoop.

ПО обеспечивает возможность параллельной векторной обработки, доступной на процессорах Intel и PowerPC. IBM не одинока в исследованиях новых способов перемалывания больших баз данных в памяти сервера. На прошлой неделе Microsoft объявила, что ее SQL Server 2014 будет поставляться с рядом методов под общим названием Hekaton для максимально эффективного использования рабочей памяти, а также c техникой обработки столбцов, заимствованной из Excel PowerPivot.

IBM сама использует BLU-компоненты DB2 10.5 в качестве основы для DB2 SmartCloud — инфраструктуры как услуга (IaaS). Также она может добавлять технологии BLU в другие хранилища данных и анализа продуктов IBM, таких как Informix.

Источник:

• cio.com

Cray анонсировала новое решение, позволяющее клиентам применять сочетание суперкомпьютерных технологий и корпоративного подхода к аналитике «больших данных» в высокоуровневых приложениях Hadoop. Позже в этом месяце станет доступен кластер суперкомпьютеров Cray для Hadoop, представляющий собой пару систем Cray CS300 с реализацией Intel для Apache Hadoop (Intel Distribution).

«Мы объединяем суперкомпьютерные технологии серии CS300 Cray с производительностью и безопасностью реализации Intel, чтобы предоставить клиентам надёжное решение Hadoop под ключ, специально созданное для высокоуровневых сред», — сказал Билл Блейк (Bill Blake), старший вице-президент и главный технический директор Cray. Энергоэффективные кластерные суперкомпьютеры Cray серии CS300 с вариантами воздушного и жидкостного охлаждения обеспечивают высокую производительность и доступность. Решение, построенное на Linux, включает программное обеспечение (ПО) для управления рабочей нагрузкой, ПО управления Cray Advanced Cluster Engine (ACE) и реализацию Intel Hadoop.

По словам Стива Конвея (Steve Conway), вице-президента по исследованиям высокопроизводительных вычислений IDC, cопряжение систем Cray CS300 с реализацией Hadoop компании Intel создает решения, потенциально способные справиться с проблемами «больших данных», которые ставят в тупик другие кластеры.

Источник:

• datacenterknowledge.com

Корпорация IBM представила новое издание серверов конвергентной инфраструктуры PureSystems для реализации Hadoop и связанные с «большими данными» усовершенствования своей флагманской базы данных DB2, прогнозируя рост годовых продаж своих продуктов анализа данных до $20 миллиардов к 2015 году по сравнению с более ранней оценкой всего в $16 миллиардов.

Новая система IBM PureData для Hadoop является дополнением линии PureSystems, разработанной для упрощения внедрения и управления Hadoop-систем. IBM представила линию PureSystems, включающую в себя модели PureApplication, PureFlex и PureData, год назад и уже продала 2300 единиц. Поставки PureData Systems for Hadoop, как ожидается, начнутся в третьем квартале.

IBM также анонсировала несколько технологий управления и анализа данных под названием BLU Acceleration, обеспечивающие распараллеливание анализа данных между несколькими процессорами, а также идентификацию и пропуск данных, не относящихся к запросу, сказал Берни Спанг (Bernie Spang), директор по стратегии подразделения IBM Software Group. Новые технологии, по утверждению Спанга, в целом дают прирост производительности от 8x до 25x для приложений отчетности и бизнес-аналитики.

IBM также представит новые версии программного обеспечения для анализа потоков данных в реальном времени InfoSphere Streams, программного обеспечения для отчетности и анализа Informix Time Series, а также реализацию Hadoop под названием InfoSphere BigInsights.

Материалы по теме:

• J'son & Partners Consulting отмечает рост российского рынка ЦОД;
• Настоящее и будущее российского серверного рынка: мнение экспертов;
• Российский IT-рынок: факты и тенденции развития в корпоративном сегменте.

Источник:

• crn.com

EMC Greenplum представила Pivotal HD, новую реализацию Apache Hadoop, основанную на масштабируемой технологии управления "большими данными" HAWQ, которую компания развивает уже около десяти лет. "Наша приверженность Hadoop является стратегически наиболее важной из того, что мы делаем", - сказал Яра Скотт (Yara Scott), старший вице-президент по продукции и соучредитель компании Greenplum, приобретённой EMC в 2010 году.

Проект HAWQ привносит в Hadoop высокую производительность запросов и загрузки данных, простоту управления и интеграции с другими инструментами бизнес-аналитики, к которым привыкли пользователи традиционных баз данных. По мнению Джоша Клара (Josh Klahr), вице-президента по управлению продуктами компании, HAWQ позволяет масштабировать Pivotal HD Hadoop на тысячи узлов.

Основой Pivotal HD является файловая система HDFS Hadoop, поверх которой EMC Greenplum добавила три основные технологии, в том числе Pivotal Command Center, который помогает разворачивать кластеры и управлять ими; механизм загрузки данных, позволяющий загрузить более 100 Тбайт данных в час, а также Hadoop Virtual Extension (HVE) от VMware, которое держит Hadoop в курсе состояния как физической среды, так и виртуальной. SQL-совместимость, интерактивные запросы, горизонтальная масштабируемость, надежное управление данными и глубокие аналитические возможности Hadoop приводят к тому, что "на самом деле ничего подобного на рынке нет", считает Клар.

Greenplum имеет сильную поддержку со стороны семейства компаний EMC, включая VMware и RSA, к работе над Hadoop привлечено 300 инженеров. Наряду с выпуском Pivotal HD EMC Greenplum строит партнерскую экосистему, которая включает в себя небольшие стартапы и такие гиганты, как Cisco Systems, Intel и SAP. Однако, по словам Скотта, технология была разработана в такой тайне, что эти партнеры узнали о ней только пару недель назад.

Материалы по теме:

• Настоящее и будущее российского серверного рынка: мнение экспертов;
• Технологии виртуализации: тенденции и перспективы развития в корпоративном секторе рынка;
• Готовность IT-инфраструктуры к аварийному восстановлению: исследование Acronis.

Источник:

• crn.com

Ажиотаж вокруг проекта Hadoop заставил многих поставщиков решений бизнес-аналитики (Business Intelligence, BI) заявлять о поддержке его для технологии "Больших данных", не раскрывая деталей, предупредил аналитик компании Forrester Борис Эвельсон (Boris Evelson) в недавнем сообщении в блоге. "Hadoop не является единым целым. Это конгломерат нескольких проектов, каждый из которых занимает определенную нишу в экосистеме Hadoop: доступ к данным, интеграция данных, СУБД, системы управления, отчетность, аналитика, анализ данных и многое другое", - написал он.

Hadoop-технологии включают в себя модули Hive, Hbase, Pig и Sqoop. При планировании использования инструмента BI для среды Hadoop необходимо удостовериться, что этот инструмент работает с сообществом версий Hadoop и с коммерческими версиями, продаваемыми такими производителями, как Cloudera и Hortonworks, отметил Эвельсон. Важно также выяснить, какие конкретные компоненты Hadoop интегрируется с инструментом BI. "Необходимо разобраться со всеми деталями", чтобы подтвердить, действительно ли инструмент BI может работать с Hadoop, подчеркнул эксперт.

Материалы по теме:

• Настоящее и будущее российского серверного рынка: мнение экспертов;
• Технологии виртуализации: тенденции и перспективы развития в корпоративном секторе рынка;
• Готовность IT-инфраструктуры к аварийному восстановлению: исследование Acronis.

Источник:

• networkworld.com

Инструментарий Hadoop набирает обороты в качестве платформы для работы с "большими данными", средствами которой предприятия стремятся не только использовать существующие возможности, но и разрабатывать собственные технологии в дополнение к стеку Hadoop.

NASA планирует применить Hadoop для работы с данными в таких проектах, как Square Kilometer Array, совместно с Apache OODT (объектно-ориентированная технология передачи данных), чтобы справиться с большим объёмом поступающей информации. Компания Twitter использует Hadoop около четырех лет и даже разработала Scalding, библиотеку на Scala, облегчающую написание работ Hadoop MapReduce.

Подпроекты Hadoop включают MapReduce, программную среду для обработки больших объемов набора на вычислительных кластерах; файловую систему HDFS (Hadoop Distributed File System), обеспечивающую высокую производительность доступа к данным приложения; и набор приложений Common, содержащий утилиты для поддержки других подпроектов Hadoop.

Компания Netflix начала использовать Apache ZooKeeper, связанную с Hadoop технологию управления конфигурациями. Социальная сеть Tagged применяет технологии Hadoop для аналитики и обработки примерно половины терабайта новых данных ежедневно. Hadoop применяется для задач, выходящих за пределы возможностей базы данных Greenplum, которая до сих пор используется в Tagged.

Тем не менее, пользователи отмечают проблемы, требующие решения, например, недостаток надежности, отслеживание работ и довольно высокую латентность при выполнении запросов. Hadoop 2.0 будет фокусироваться на масштабируемости, инновациях и объединении возможностей. Выход Hadoop 2.0 ожидается в течение года.

Материалы по теме:

• Настоящее и будущее российского серверного рынка: мнение экспертов;
• Kaspersky Endpoint Security 8 for Windows и Security Center 9: обзор новшеств;
• Готовность IT-инфраструктуры к аварийному восстановлению: исследование Acronis.

Источник:

• computerworld.com