«Яндекс» опубликовал исходный код и документацию фреймворка userver. Это первый открытый набор инструментов, который позволяет создавать высоконагруженные приложения на языке С++, заявляют в компании. userver подходит для разработки приложений с микросервисной архитектурой. Микросервисы автономны, поэтому решения на подобной архитектуре легко обновлять и добавлять в них новые функции. Фреймворк выпущен под открытой лицензией Apache 2.0.

По словам Антона Полухина, одного из авторов фреймворка и руководителя группы бэкенд-разработки решений для продуктовых команд RideTech и eCom, внутри userver есть все необходимое для разработки, диагностики, мониторинга, отладки и экспериментов. Например, userver подсказывает как исправить ошибки еще на этапе компиляции, умеет работать с разными базами данных, менять параметры на лету.

Источник изображения: Яндекс

«Яндекс» использует userver в «Go», «Лавке», «Доставке», «Маркете», финтех-проектах и других сервисах. Изначально фреймворк разрабатывался в «Такси». С его помощью команда перешла от монолитногй архитектуры к микросервисной, начав использовать последнюю в разных приложениях. Ранее «Яндекс» выложил в open source распределенную СУБД YDB, а также библиотеку машинного обучения CatBoost, которую компания применяет в «Поиске».

NVIDIA представила фреймворк NeMo Megatron, оптимизированный для обучения сверхбольших языковых моделей в инфраструктуре DGX SuperPOD. Такое сочетание готового к работе оборудования и ПО призвано помочь организациям в различных отраслях преодолеть проблемы, связанные с обучением сложных NLP-моделей для обработки естественного языка.

С помощью NVIDIA NeMo Megatron можно эффективно обучать массивные языковые и речевые модели с триллионами параметров, что позволит разрабатывать чат-ботов для конкретных языков и отраслей, персональных помощников, а также создавать и обобщать контент с использованием моделей, которые понимают более широкий диапазон значений и более обширный контекст.

«Большие языковые модели предоставили современному ИИ новые возможности для понимания, запоминания и синтеза идей, — отметил Брайан Катандзаро (Bryan Catanzaro), вице-президент по прикладным исследованиям глубокого обучения в NVIDIA. — Поскольку языковые модели увеличиваются, предприятиям требуется безопасная инфраструктура и масштабируемое ПО для выполнения рабочих нагрузок NLP».

NVIDIA

В числе первых, кто начал создавать сложные языковые модели с помощью NVIDIA DGX SuperPOD есть SiDi, JD Explore Academy и VinBrain. SiDi, один из крупнейших бразильских институтов исследований и разработок в области ИИ, адаптировал виртуального помощника Samsung для бразильского варианта португальского языка, на котором говорят около 200 млн жителей страны.

JD Explore Academy, отдел исследований и разработок JD.com, использует NLP для обслуживания клиентов, розничной торговли, логистики, Интернета вещей и здравоохранения. А вьетнамская компания VinBrain, специализирующаяся в области ИИ в сфере здравоохранения, разработала и внедрила клиническую модель для радиологов и телемедицины в 100 больницах, где её используют более 600 практикующих врачей.

NVIDIA NeMo Megatron не только автоматизирует обучение с помощью инструментов, которые собирают, обрабатывают, систематизируют и очищают данные, но и позволяет распределять большие языковые модели по тысячам графических процессоров. NeMo Megatron оптимизирован для систем DGX SuperPOD, которые имеют 20 и более узлов NVIDIA DGX A100, объединённых интерконнектом InfiniBand. Такие системы идеально подходят для работы с массивными NLP-нагрузками, такими как Megatron-Turing, NLG 530B и GPT-3.

По оценкам экспертов, к 2020 году в мире будут работать более 50 миллиардов машин и устройств, способных подключаться к Интернету и обмениваться информацией между собой. Эти устройства будут генерировать огромные объёмы данных, для анализа которых потребуются передовые системы искусственного интеллекта и глубокого обучения. Учитывая это, Intel и Facebook* сотрудничают над увеличением производительности открытого фреймворка глубокого обучения Caffe2.

Большинство вычислительных нагрузок, связанных с глубоким обучением, включают в себя непосредственно обучение (training) и построение логических выводов (inference). Для обучения обычно требуется многочасовая или даже многодневная работа. Логические выводы, как правило, осуществляются за миллисекунды или секунды и зачастую являются частью более объёмного процесса. Хотя вычислительная нагрузка при построении логических выводов намного меньше, чем при обучении, логические выводы строятся по намного более объёмному набору данных. Поэтому совокупный объём вычислительных ресурсов, необходимых для построения логического вывода, вероятнее всего, будет несопоставимо больше, чем ресурсы, необходимые для обучения.

Для повышения эффективности платформы Caffe2 специалисты Intel и Facebook* работают над интеграцией средств Intel MKL — библиотеки математических функций Math Kernel Library. Она обеспечит максимальную производительность процессоров Intel при построении логических выводов.

Кроме того, повышению быстродействия будет способствовать появление общедоступных чипов Intel Xeon следующего поколения под кодовым названием Skylake. В них будут представлены 512-битные инструкции умножения-сложения с однократным округлением Fused Multiply Add (FMA) в рамках 512-битного семейства векторных инструкций Intel AVX-512, что обеспечивает значительный прирост производительности по сравнению с прежними 256-битными инструкциями AVX2, реализованными в процессорах Haswell/Broadwell как в задачах по обучению, так и в задачах по построению логических выводов. Использование 512-битных инструкций FMA позволяет фактически удвоить количество операций с плавающей точкой, которое выполняет процессор Skylake за одну секунду, и значительно увеличить скорость матричной арифметики одинарной точности, используемой в свёрточных и рекуррентных нейронных сетях.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Компания Opscode привлекла дополнительные $19,5 миллионов ивестиций в дальнейшее улучшение инструментов автоматизации облачной инфраструктуры и поддержки растущей клиентской базы. Ведущим инвестором является Ignition Partners совместно с соинвесторами Battery Ventures и Draper Fisher Jurvetson. "Opscode переживает невероятный рост, и привлечение клиентов из списка Fortune 500 идёт беспрецедентными для нашей компании темпами, - сказал Митч Хилл (Mitch Hill), генеральный директор Opscode. - Этот раунд финансирования поможет нам и дальше продвигать инновации в средства автоматизации облачной инфраструктуры и значительно расширит наши возможности на рынке".

Opscode является разработчиком фреймворка Chef с открытым исходным кодом для автоматизации процессов настройки и управления виртуальными серверами. Решение компании стало одним из ключевых инструментов для управления конфигурацией для быстрорастущих IT-инфраструктур. Г-н Хилл занял пост генерального директора в прошлом году, сменив соучредителя Джесси Роббинса (Jesse Robbins). Хилл считает, что растущая сложность облачной инфраструктуры представляет собой огромную проблему для интернет-компаний и предприятий, и что фреймворк Chef решит эти проблемы.

Аудитория информационной площадки сообщества Opscode выросла в 2011 году более чем вдвое по сравнению с 2010 и составляет 13 тысяч зарегистрированных пользователей. Количество загрузок инструментария Chef в настоящее время превышает 800 тыс. по всему миру. По словам г-на Хилла, новые средства позволят Opscode увеличить штат из 50 сотрудников до 70 или 80.

Материалы по теме:

• Настоящее и будущее российского серверного рынка: мнение экспертов;
• Kaspersky Endpoint Security 8 for Windows и Security Center 9: обзор новшеств;
• Готовность IT-инфраструктуры к аварийному восстановлению: исследование Acronis.

Источник:

• datacenterknowledge.com

Компания NetApp подготовила готовое к внедрению решение Open Solution для платформы Hadoop, которое позволяет получить максимальную отдачу от использования фреймворка, поддерживающего выполнение распределённых приложений, функционирующих на больших кластерах, построенных на обычном оборудовании.

Новинка представляет собой полностью готовый модульный кластер для внедрения Hadoop на корпоративном уровне. Решение отличается возможностью быстрого внедрения и широкими возможностями масштабирования, высокой производительностью, поддержкой технологии самовосстановления, что сокращает затраты на обслуживание, а также предоставляет возможность работы с накопителями, объединёнными в RAID-массивы, и дисками для резервного копирования данных.

Hadoop - это свободный фреймворк (или каркас) для организации распределённых вычислений, разрабатываемый сообществом Apache Software Foundation на основе технологий MapReduce и Google File System Storage. Каркас используется в программной структуре Facebook*, Twitter, Rackspace и EBay, а также в коммерческих проектах компаний IBM, EMC, Dell и Oracle. Немаловажный вклад в развитие Hadoop вносит компания Yahoo и её дочерняя компания Hortonworks, с которой Microsoft и заключила соглашение по интеграции каркаса в свои продукты.

Hadoop прозрачно предоставляет приложениям надёжность и быстродействие операций с данными. Согласно парадигме MapReduce, приложение разделяется на большое количество небольших заданий, каждое из которых может быть выполнено на любом из узлов кластера. В дополнение, как было сказано выше, предоставляется распределённая файловая система, использующая для хранения данных вычислительные узлы кластера, что позволяет достичь высокой агрегированной пропускной способности кластера. Эта система позволяет приложениям легко масштабироваться до уровня тысяч узлов и петабайт данных.

Источник:

• netapp.com

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Как было заявлено в блоге фреймворка Amazon Web Services (AWS), ожидается, что недавно введенный в строй сервис CloudFormation поможет бизнес-клиентам соединить вместе стеки приложений и ресурсы для облачного сервиса компании. Как только в пользовательском облаке оказываются очередные предназначенные для запуска приложения, они соединяются вместе для создания более сложных систем. Но, после того как общая сложность системы чрезмерно возрастает, запуск правильного сочетания ресурсов, присвоение им нужных ролей, и обработка ошибок становятся все более сложной задачей, говорится в блоге AWS. CloudFormation призван устранить эти сложности, и позволяет пользователям лучше использовать программируемость и масштабируемость облака. При создании шаблона для описания стека приложений и необходимых ресурсов, пользователи могут не конфигурировать систему вручную. CloudFormation самостоятельно заботится о выделении ресурсов, учитывая зависимости между ними.

Шаблоны представляют собой текстовые файлы, использующие JSON (JavaScript Object Notation), и предназначенные для указания тех ресурсов, которые пользователь хочет запустить. Задачей CloudFormation является конфигурация всего остального. AWS предлагает немало образцов шаблонов, в том числе и для популярных систем управления контентом Drupal, Joomla и Wordpress. Как только шаблон создан, его можно использовать повторно для создания идентичных копий одного и того же стека. Запуск CloudFormation — это второй случай в этом году, когда AWS представила продукт, упрощающий использование облака. В январе компания запустила сервис Elastic Beanstalk, который предоставляет среду для разработки и запуска приложений в облаке, в то время как CloudFormation пополнился механизмами запуска множества ресурсов. Эти два продукта вполне можно использованы вместе.

Источник:

• pcworld.com