По оценкам экспертов, к 2020 году в мире будут работать более 50 миллиардов машин и устройств, способных подключаться к Интернету и обмениваться информацией между собой. Эти устройства будут генерировать огромные объёмы данных, для анализа которых потребуются передовые системы искусственного интеллекта и глубокого обучения. Учитывая это, Intel и Facebook сотрудничают над увеличением производительности открытого фреймворка глубокого обучения Caffe2.

Большинство вычислительных нагрузок, связанных с глубоким обучением, включают в себя непосредственно обучение (training) и построение логических выводов (inference). Для обучения обычно требуется многочасовая или даже многодневная работа. Логические выводы, как правило, осуществляются за миллисекунды или секунды и зачастую являются частью более объёмного процесса. Хотя вычислительная нагрузка при построении логических выводов намного меньше, чем при обучении, логические выводы строятся по намного более объёмному набору данных. Поэтому совокупный объём вычислительных ресурсов, необходимых для построения логического вывода, вероятнее всего, будет несопоставимо больше, чем ресурсы, необходимые для обучения.

Для повышения эффективности платформы Caffe2 специалисты Intel и Facebook работают над интеграцией средств Intel MKL — библиотеки математических функций Math Kernel Library. Она обеспечит максимальную производительность процессоров Intel при построении логических выводов.

Кроме того, повышению быстродействия будет способствовать появление общедоступных чипов Intel Xeon следующего поколения под кодовым названием Skylake. В них будут представлены 512-битные инструкции умножения-сложения с однократным округлением Fused Multiply Add (FMA) в рамках 512-битного семейства векторных инструкций Intel AVX-512, что обеспечивает значительный прирост производительности по сравнению с прежними 256-битными инструкциями AVX2, реализованными в процессорах Haswell/Broadwell как в задачах по обучению, так и в задачах по построению логических выводов. Использование 512-битных инструкций FMA позволяет фактически удвоить количество операций с плавающей точкой, которое выполняет процессор Skylake за одну секунду, и значительно увеличить скорость матричной арифметики одинарной точности, используемой в свёрточных и рекуррентных нейронных сетях. 

Компания Opscode привлекла дополнительные $19,5 миллионов ивестиций в дальнейшее улучшение инструментов автоматизации облачной инфраструктуры и поддержки растущей клиентской базы. Ведущим инвестором является Ignition Partners совместно с соинвесторами Battery Ventures и Draper Fisher Jurvetson. "Opscode переживает невероятный рост, и привлечение клиентов из списка Fortune 500 идёт беспрецедентными для нашей компании темпами, - сказал Митч Хилл (Mitch Hill), генеральный директор Opscode. - Этот раунд финансирования поможет нам и дальше продвигать инновации в средства автоматизации облачной инфраструктуры и значительно расширит наши возможности на рынке".

Opscode является разработчиком фреймворка Chef с открытым исходным кодом для автоматизации процессов настройки и управления виртуальными серверами. Решение компании стало одним из ключевых инструментов для управления конфигурацией для быстрорастущих IT-инфраструктур. Г-н Хилл занял пост генерального директора в прошлом году, сменив соучредителя Джесси Роббинса (Jesse Robbins). Хилл считает, что растущая сложность облачной инфраструктуры представляет собой огромную проблему для интернет-компаний и предприятий, и что фреймворк Chef решит эти проблемы.

Аудитория информационной площадки сообщества Opscode выросла в 2011 году более чем вдвое по сравнению с 2010 и составляет 13 тысяч зарегистрированных пользователей. Количество загрузок инструментария Chef в настоящее время превышает 800 тыс. по всему миру. По словам г-на Хилла, новые средства позволят Opscode увеличить штат из 50 сотрудников до 70 или 80.

Материалы по теме:

• Настоящее и будущее российского серверного рынка: мнение экспертов;
• Kaspersky Endpoint Security 8 for Windows и Security Center 9: обзор новшеств;
• Готовность IT-инфраструктуры к аварийному восстановлению: исследование Acronis.

Источник:

• datacenterknowledge.com

Компания NetApp подготовила готовое к внедрению решение Open Solution для платформы Hadoop, которое позволяет получить максимальную отдачу от использования фреймворка, поддерживающего выполнение распределённых приложений, функционирующих на больших кластерах, построенных на обычном оборудовании.

Новинка представляет собой полностью готовый модульный кластер для внедрения Hadoop на корпоративном уровне. Решение отличается возможностью быстрого внедрения и широкими возможностями масштабирования, высокой производительностью, поддержкой технологии самовосстановления, что сокращает затраты на обслуживание, а также предоставляет возможность работы с накопителями, объединёнными в RAID-массивы, и дисками для резервного копирования данных.

Hadoop - это свободный фреймворк (или каркас) для организации распределённых вычислений, разрабатываемый сообществом Apache Software Foundation на основе технологий MapReduce и Google File System Storage. Каркас используется в программной структуре Facebook, Twitter, Rackspace и EBay, а также в коммерческих проектах компаний IBM, EMC, Dell и Oracle. Немаловажный вклад в развитие Hadoop вносит компания Yahoo и её дочерняя компания Hortonworks, с которой Microsoft и заключила соглашение по интеграции каркаса в свои продукты.

Hadoop прозрачно предоставляет приложениям надёжность и быстродействие операций с данными. Согласно парадигме MapReduce, приложение разделяется на большое количество небольших заданий, каждое из которых может быть выполнено на любом из узлов кластера. В дополнение, как было сказано выше, предоставляется распределённая файловая система, использующая для хранения данных вычислительные узлы кластера, что позволяет достичь высокой агрегированной пропускной способности кластера. Эта система позволяет приложениям легко масштабироваться до уровня тысяч узлов и петабайт данных.

Источник:

• netapp.com

Как было заявлено в блоге фреймворка Amazon Web Services (AWS), ожидается, что недавно введенный в строй сервис CloudFormation поможет бизнес-клиентам соединить вместе стеки приложений и ресурсы для облачного сервиса компании. Как только в пользовательском облаке оказываются очередные предназначенные для запуска приложения, они соединяются вместе для создания более сложных систем. Но, после того как общая сложность системы чрезмерно возрастает, запуск правильного сочетания ресурсов, присвоение им нужных ролей, и обработка ошибок становятся все более сложной задачей, говорится в блоге AWS. CloudFormation призван устранить эти сложности, и позволяет пользователям лучше использовать программируемость и масштабируемость облака. При создании шаблона для описания стека приложений и необходимых ресурсов, пользователи могут не конфигурировать систему вручную. CloudFormation самостоятельно заботится о выделении ресурсов, учитывая зависимости между ними.

Шаблоны представляют собой текстовые файлы, использующие JSON (JavaScript Object Notation), и предназначенные для указания тех ресурсов, которые пользователь хочет запустить. Задачей CloudFormation является конфигурация всего остального. AWS предлагает немало образцов шаблонов, в том числе и для популярных систем управления контентом Drupal, Joomla и Wordpress. Как только шаблон создан, его можно использовать повторно для создания идентичных копий одного и того же стека. Запуск CloudFormation — это второй случай в этом году, когда AWS представила продукт, упрощающий использование облака. В январе компания запустила сервис Elastic Beanstalk, который предоставляет среду для разработки и запуска приложений в облаке, в то время как CloudFormation пополнился механизмами запуска множества ресурсов. Эти два продукта вполне можно использованы вместе.

Источник:

• pcworld.com