Компания Twitter откроет исходный код системы по анализу больших потоков данных в реальном времени Storm. Разработчиком Storm является компания BackType, которую Twitter купил в июле текущего года. Ранее эта система использовалась для анализа популярности тех или иных ссылок среди пользователей сервиса микроблогов. В отличие от других решений, нацеленных на обработку сложных событий (CEP) и использующих базы данных и другие информационные хранилища для первоначального накопления информации, Storm позволяет работать с постоянно обновляющимся потоком данных в реальном времени, выполняя непрерывные запросы и обрабатывая непрерывные потоки. Система поддерживает горизонтальное масштабирование на несколько серверов.

Для своей работы Storm использует аналитический запрос пользователя, который начинает применяться к поступающим данным до тех пор, пока запрос не будет отменен. К особенностям этой системы обработки данных относят легкость программирования (поддержку любых языков программирования за счет простого коммуникационного протокола), повышенную стабильность работы (на каждом из узлов кластера автономно запускается JAR-файл с заданием, а система производит общий мониторинг) и надежность (гарантируется, что каждый новый элемент данных будет обработан как минимум один раз). Предполагается, что официальная презентация открытой версии системы Storm состоится в сентябре 2011 года в рамках конференции Strange Loop в Сэнт-Луисе.

Источник:

• computerworld.com