Компания «Аванпост», занимающаяся разработкой систем идентификации и управления доступом к информационным ресурсам предприятия, сообщила о выпуске новой версии программного решения Avanpost Web SSO 2.5.

Avanpost Web SSO позволяет реализовать в масштабах крупной территориально распределённой организации полный комплекс функций обычной и многофакторной аутентификации пользователей IT-систем предприятия, а также настроить их безопасный вход во все необходимые корпоративные приложения и сервисы после однократной аутентификации (Single Sign-On, SSO). Решение может быть развёрнуто в средах Windows/Linux и поддерживает работу со всеми современными информационными системами: тонкими клиентами, мобильными приложениями, SaaS-сервисами, настольными приложениями традиционного типа и сложноорганизованными веб-ресурсами, страницы которых открывают доступ к IT-системам одной или нескольких организаций.

Как работает Avanpost Web SSO

Значительная часть новых возможностей Avanpost Web SSO 2.5 связана с механизмом Reverse Proxy: помимо ранее существовавших способов аутентификации HTTP Basic и Web Form, добавлена поддержка сценариев аутентификации на языке JavaScript. Ещё одно важное изменение состоит в существенном расширении функциональности программной синхронизации, реализованной с помощью механизма очередей, а также с появлением поддержки шин Apache Kafka, NATS.io и современного протокола gRPC. Отдельное внимание было уделено доработкам пользовательского интерфейса и расширению возможностей аудита работы системы.

Подробная информация о продукте доступна для ознакомления по ссылке avanpost.ru/products/avanpost-web-sso.

Технология vSMP MemoryONE от ScaleMP позволяет прозрачно увеличить видимый в системе объём оперативной памяти за счёт использования SSD таким образом, что никакая модификация со стороны ОС и ПО не требуется. Для этого используется отдельный гипервизор, который и распределяет данные между DRAM и дисками. Последние, естественно, должны быть как можно более быстрыми.

Именно эта технология лежит в основе Intel IMDT, которая ещё на платформах первого поколения Xeon Scalable позволяла задействовать для расширения памяти накопители Intel Optane. Впоследствии она стала доступна и для других разработчиков. Например, Western Digital ещё пару лет назад показала соответствующий продукт Ultrastar DC ME200 Memory Extension Drive. Intel теперь позволяет устанавливать модули памяти Optane непосредственно в DIMM-слоты, а ScaleMP ищет новые, более широкие рынки для своей технологии.

На этой неделе ScaleMP объявила о доступности в AWS Marketplace vSMP MemoryONE для EC2 девятой и десятой версий. v9 работает только с bare-metal инстансами с локальными же NVMe-накопителями, а предварительная версия v10 научилась работать и в виртуализированном окружении. ScaleMP предлагает собственный AMI-образ для EC2.

Как и для локальных версий, ScaleMP обещает близкий к обычной RAM уровень производительности для пула из DRAM и SSD, возможность увеличения доступного объёма памяти от 2 до 12 раз и снижение итоговых затрат на память на 50% и более. vSMP MemoryONE подойдёт для крупных in-memory баз данных Apache Sark, MongoDB, MySQL и прочих нагрузок, требующих хранения больших объёмов данных в оперативной памяти.

Компания 3iTech создала российскую платформу обработки больших данных 3i Data Processing Platform (3i DPP), которая позволит отечественным предприятиям работать с неструктурированными данными, не передавая чувствительную информацию, содержащую коммерческую тайну, в публичные облака.

Речь идёт о решении класса Enterprise, соответствующем отраслевым стандартам по отказоустойчивости, производительности и защищенности обрабатываемых данных. С помощью 3i DPP можно управлять сбором, обработкой и хранением больших данных с использованием технологии параллельных вычислительных кластеров. Платформа поддерживает два режима работы с данными — потоковый (stream) и пакетный (batch). Есть встроенный сервис обогащения данных и механизмы для сохранения промежуточных результатов «дорогой» обработки. Платформа легко масштабируется и динамически потребляет вычислительные ресурсы, что снижает стоимость владения. Скорость обработки входных данных близка к реальному масштабу времени.

Платформа может использоваться для работы с разнородной информацией, включая текстовую, видео и аудио. Её можно интегрировать с внешними источниками данных, с корпоративными системами заказчика, с различными СУБД (PostgreSQL, Microsoft SQL Server, Oracle и т.п.), NoSQL(Apache Cassandra, ScyllaDB, MongoDB), системами управления очередями и брокерами (Apache Kafka, Apache ActiveMQ, RabbitMQ и т. п.).

На основе 3iDPP сторонние разработчики и интеграторы смогут создавать собственные решения, при желании, дополнив её модулями аналитической текстовой и речевой обработки, а также другими функциональными возможностями, созданными компанией 3iTech на базе технологий AI, ML.

3iDPP уже прошла регистрацию в реестре отечественного ПО и может применяться в государственных компаниях и организациях. Также сообщается, что её характеристики получили подтверждение в защищённых операционных средах.

Компания Huawei анонсировала на конференции HUAWEI CONNECT 2020 систему Intelligent Twins («Интеллектуальные двойники»), представляющую собой систематизированную эталонную архитектуру для интеллектуальной модернизации государственных органов и предприятий.

Основой Intelligent Twins является облачный сервис, а ядром — искусственный интеллект. С её помощью клиенты и партнёры Huawei смогут вырабатывать свои собственные интеллектуальные решения с целью трансформации всех отраслей для внедрения интеллекта во все сценарии. В Huawei охарактеризовали гибридную облачную базу, ИИ и открытую экосистему как три ключа к созданию надёжной системы Intelligent Twins.

«Intelligent Twins — это интегрированная система с взаимодействием в пяти технологических сферах, объединяющая облачный сервис, сеть, граничную архитектуру и устройство. Она способна воспринимать, осознавать, действовать и эволюционировать», — заявил президент бизнес-группы облачных вычислений и искусственного интеллекта Huawei Хоу Цзиньлун (Hou Jinlong, на фото ниже).

Архитектура Intelligent Twins состоит из четырёх слоев, формирующих интеллектуальную систему, способную работать совместно в облаке, Сети, периферийной среде и на устройстве:

• Интеллектуальное взаимодействие: этот слой соединяет физический и цифровой миры, позволяя программному обеспечению, данным и алгоритмам ИИ свободно перетекать между облаком, граничной архитектурой и устройством. Слой интеллектуального взаимодействия использует Intelligent EdgeFabric (IEF), операционную систему на границе и в облаке. IEF может соединяться с различными ОС, например, с HarmonyOS, поэтому экосистему HarmonyOS можно с лёгкостью подключить к HUAWEI CLOUD.
• Интеллектуальное подключение: это ствол системы Intelligent Twins, который обеспечивает соединение между интеллектуальным хабом и слоем интеллектуального взаимодействия. Благодаря ему система Intelligent Twins способна действовать в любых сценариях.
• Интеллектуальный хаб: это центр принятия решений системы Intelligent Twins. Он построен на облачной инфраструктуре и обеспечивает работу приложений ИИ, обработку данных, а также поддержку умных приложений для всех сценариев. Слой интеллектуального хаба работает на базе гибридного облака и ИИ-технологий.
• Интеллектуальные приложения: этот слой используется Huawei для внедрения инноваций вместе с клиентами и партнерами, комбинируя информационно-коммуникационные технологии с отраслевым опытом, перестраивая взаимодействие с пользователями и оптимизируя процессы.

Власти Шэньчжэня и Huawei анонсировали на конференции систему Shenzhen Intelligent Twins. С её помощью будет создана интегрированная система глубокого обучения на основе данных для координации деятельности целого города. Предполагается, что в дальнейшем будет построен эталонный «умный» город.

На сегодняшний день система Intelligent Twins внедрена в более чем 600 проектов. ИИ-технологии уже используются в 11 основных бизнес-процессах Huawei и применяются в 200 сценариях, включая НИОКР, производство, продажи и поставки. Система применяется в работе 8000 сотрудников цифровых направлений, в частности, для сложных сценариев с высокими требованиями, предусматривающих обработку больших объёмов данных и выполнение циклических операций.

Компания Яндекс сообщила о ряде обновлений платформы Yandex.Cloud. В частности, дальнейшее развитие получила экосистема бессерверных (serverless) вычислений. Также немаловажно, что на serverless-решения до октября 2021 действуют специальные тарифы, которые позволят создавать и размещать небольшие сайты и сервисы бесплатно.

В анонсированном год назад сервисе Yandex Cloud Functions, позволяющем запускать код приложения в виде функции в отказоустойчивом и масштабируемом окружении без создания и обслуживания виртуальных машин, появилась поддержка новых языков программирования — их теперь восемь: к Node.js, Python, Go, PHP, Bash добавлены Java, C# и R. Ещё один, анонсированные ранее, сервис для создания API-шлюзов API Gateway тоже становится общедоступным. Он поддерживает спецификацию OpenAPI 3.0 и интегрирован с другими сервисами платформы.

Serverless-режим теперь доступен и для Yandex Database (YDB), отказоустойчивой NewSQL СУБД собственной разработки компании. В этом режиме можно сразу создать базу и начать пользоваться ею, без необходимости точно определять количество хостов, объём хранилища или настройки сети. Причём оплачиваются только фактические операции с базой и хранение данных и резервных копий. С 25 сентября YDB переходит из стадии Preview в общий доступ.

Что касается других СУБД, то было объявлено о запуске двух новых сервисов управляемых баз данных: SQL Server сделает облако ближе для корпоративных пользователей в сегменте баз данных общего назначения, а Yandex Managed Service for Elasticsearch предоставит новые возможности для аналитики, например, дополнит ClickHouse полнотекстовым поиском.

Кроме того, компания улучшает сценарии миграции данных и распределённой доставки, хранения и обработки данных в реальном времени. Сервис Yandex Managed Service for Apache Kafka позволит создавать кластеры Apache Kafka в инфраструктуре Yandex.Cloud и поможет обеспечить потоковую передачу данных в аналитические системы. А новый специализированный сервис Yandex Data Transfer для быстрой и безопасной миграции данных позволит перемещать данные между СУБД и настраивать резервное копирование.

В маркетплейсе Yandex.Cloud появился раздел новый раздел «Геослои» (Yandex DataLens) с обезличенными геоинформационными данными от партнёров сервиса для бизнес-аналитики. На данный момент доступны данные «Центра пространственных исследований» на коммерческой основе и от Росстата на безвозмездной, а также два примера геоаналитики от Яндекса — «Аудитория: интересы и соцдем» и «Организации: спрос и предложение».

Компания также сообщила, что с 1 октября Yandex DataSphere, сервис для ML-разработки, станет доступен всем пользователям платформы Yandex.Cloud. DataSphere предоставляет все необходимые инструменты и динамически масштабируемые ресурсы для полного цикла разработки машинного обучения от эксперимента до запуска готовой модели в эксплуатацию.

Наконец, Яндекс.Облако будет развивать гибридную и частную облачную инфраструктуру, предлагая заказчикам готовые программно-аппаратные комплексы, построенные на базе того же «железа» и технологий, которые применяются компанией в собственных дата-центрах, а также сервис по поддержке и регулярному обновлению продукта с учетом развития публичной платформы.

В развитии нового цифрового продукта также примут участие системные интеграторы. Они, как предполагается, будут решать задачи по встраиванию продукта в существующий IT-ландшафт клиента, возьмут на себя поддержку и обслуживание, а также смогут реализовать свой опыт и компетенции в предоставлении дополнительных сервисов.

VMware рассказала про ESXi-on-Arm в сентябре 2018 года, в 2019-ом предположила, что она сможет найти применение в SmartNIC или может оптимально подойти для облака AWS на базе Arm, но уже в 2020 году VMware заявила, что клиенты не видят необходимости в этом гипервизоре, поэтому он скорее всего не станет полноценным продуктом. Так что же изменилось с тех пор?

VMware собирается принять участие в конференции разработчиков Arm, которая начнется 6 октября. На этой конференции компания собирается представить новое решение для Arm, охватывающее локальную среду и периферийные вычисления.

Еще одним косвенным доказательством может являться новая учетная запись @esxi_arm в Твиттере с профилем, который гласит «Перенос знаменитого гипервизора VMware на 64-битный Arm». VMware даже заказала логотип ESXi-on-Arm, на логотипе которого изображена куропатка (в названии «Ptarmigan» есть слово «Arm»):

На данный момент нет достаточного количества информации о новом гипервизоре и остается только предполагать какой он будет, однако, учитывая, что VMware определенно любит Kubernetes и микросервисы, а AWS и Oracle заявляют, что Arm отлично подходит для подобных рабочих нагрузок, то такой анонс выглядит вполне логичным.

VMware в недавнем обновлении предоставила поддержку Kubernetes для пользователей vSphere, но на данный момент этот продукт еще недостаточно удобен в использовании. С появлением подобного продукта для Arm у VMware будет больше причин довести до совершенства поддержку контейнеров в своем гипервизоре.

Будет ли новый продукт востребован? Определенно да, ведь Arm активно развивает направление серверных процессоров. На днях она представила две новых платформы Neoverse c поддержкой SIMD SVE и формата bfloat16, а также интерфейсов PCIe 5.0, DDR5 и HBM: Neoverse N2 (Perseus) продолжит развитие универсальных CPU, а в V1 (Zeus) сделан упор на повышение производительности любой ценой.

Все больше пользователей начинают всерьез начинают рассматривать Arm как альтернативу х86, поэтому ESXi-on-Arm будет пользоваться популярностью.

MemVerge и Penguin Computing, дочерняя компания SMART Global Holdings, Inc., лидер в области решений для высокопроизводительных вычислений, ИИ и корпоративных ЦОД, объявили о партнёрстве с целью предоставления первого в мире решения Big Memory Computing Solutions.  Это решение предназначено для выполнения вычислений класса Big Memory, для которых оперативная и постоянная память объединяются в виртуализированные массивные пулы программно-определяемой памяти.

Такие пулы призваны удовлетворить растущий спрос на обработку данных, получаемых в реальном времени, и способны экономично масштабироваться до многих Тбайт с обеспечением высокой доступности. По данным IDC, к 2024 году почти четверть всех созданных данных будет получено в реальном времени, а две трети корпораций из списка Global 2000 развернут хотя бы одно приложение реального времени, которое считается критически важным. 

«Переход к вычислениям in-memory вызвало значительный интерес к технологии MemVerge в широком спектре наших технологических дисциплин и вертикальных рынков, — отметил Кевин Таббс (Kevin Tubbs), старший вице-президент группы стратегических решений Penguin Computing. — Мы специализируемся на разработке и компоновке важнейших новых технологий для наших клиентов в области ИИ и высокопроизводительных вычислений в хорошо настроенных эталонных архитектурах с хорошей поддержкой».

«[Подход] Big Memory изменит инфраструктуру центров обработки данных, — заявил Чарльз Фан (Charles Fan), соучредитель и генеральный директор MemVerge. — Сочетание опыта Penguin Computing в разработке приложений для высокопроизводительных вычислений, ИИ/машинного обучения и ЦОД, инновационной памяти Intel Optane [PMEM] с нашим ПО Memory Machine позволяет нашим клиентам без компромиссов пользоваться новой услугой программно-определяемой памяти».

DRAM без использования Big Memory Solutions работает быстрее, чем PMEM. А с этим решением DRAM и PMEM работают вместе так же быстро или даже быстрее, чем одна только DRAM, обеспечивая при этом высокую доступность инфраструктуры памяти. ПО Memory Machine позволяет организациям осуществлять обновление серверов с помощью постоянной памяти, которая стоит значительно дешевле, без риска потери производительности.

После виртуализации DRAM и PMEM Big Memory Computing отображает PMEM как DRAM, позволяя любому приложению подключаться к пулу памяти без дополнительной модификации кода ПО. С помощью единой оболочки виртуализации Memory Machine все приложения ЦОД будут иметь быстрый и легкий доступ к недорогому пулу DRAM и PMEM. Более подробно о технологии MemVerge рассказано в отдельной заметке.

Над всеми современными компьютерными архитектурами довлеет одно проклятие — разделение всех ресурсов памяти на быструю (оперативную) и медленную (дисковую). Несмотря на весь прогресс в области микроэлектроники, сам принцип остаётся фундаментальным и по сей день, однако есть и те, кто решается бросить вызов этой системе. Компания MemVerge, летом этого года заявившая о том, что делает ставку на вычисления в памяти (in-memory), официально представила разработанное ей специально для этой цели программное обеспечение под названием Memory Machine.

Модуль Optane DCPMM без радиатора. Виден контроллер и один из чипов Optane

Как и все инициативы подобного рода, Memory Machine нуждается в достаточно быстром, но при этом энергонезависимом типе памяти: обычная DRAM не подходит и по цене, и по невозможности надёжно хранить данные. К счастью, сейчас такая «промежуточная» память есть, и это, разумеется, Intel Optane. Успешно доказана возможность Optane дополнять обычную память, и в тех случаях, где объём важнее пропускной способности, такие системы показывают впечатляющие результаты.

Архитектурные устои современных серверов и кластерных систем, однако, приходится преодолевать, и именно с этой целью MemVerge разработала специальную программную прослойку, существенно упрощающую построение комбинированных пулов памяти, сочетающих в себе DRAM и Optane DCPMM (PMEM, Persistent Memory). В основе Memory Machine лежит идея прослойки виртуализации между приложениями и различными API доступа к памяти и хранилищам данных.

Концепция in-memory, реализованная MemVerge. Для связи между узлами кластера используется RDMA over Converged Ethernet

Благодаря этой прослойке, все имеющиеся сочетания DRAM и Optane DCPMM в пределах сервера или различных узлах кластера представляются, как единое объектное пространство памяти (Distributed Memory Objects), а приложения воспринимают это пространство как обычный объём памяти, с которым можно работать стандартными средствами. Прослойка с точки зрения приложений полностью прозрачна, а значит, приложения не нуждаются в модернизации. Для внедрения вычислений in-memory без модернизации ПО достаточно приобретения Memory Machine Standard Edition.

MemVerge Memory Machine включает в себя удобные средства мониторинга и управления

Но существует и расширенная версия, Memory Machine Advanced Edition, ещё более продвинутая и выводящая идею единого быстрого пространства памяти на новый уровень. Ключевым отличием от стандартной версии можно назвать поддержку ZeroIO, технологии моментальных снимков памяти. Если верить MemVerge, ZeroIO позволяет полностью отказаться от операций ввода-вывода с традиционными блочными накопителями (SSD и HDD) и хранить всё в пределах PMEM.

Загрузка объемных рабочих сценариев (сотни гигабайт или единицы терабайт) при этом занимает секунды против минут и часов при традиционном подходе. Поддерживается практически мгновенное клонирование объёмных баз данных, что обязательно порадует разработчиков. Также реализована функция Time Travel, позволяющая быстро откатываться к любому из сделанных ранее снимков.

Memory Machine состоит из гипервизора памяти и надстроек, работающих непосредственно с приложениями

Разумеется, Memory Machine представляет собой весьма непростое программное обеспечение. При всех своих достоинствах, память Optane DCPMM всё же уступает традиционным модулям DRAM DIMM в производительности. Но Memory Machine дирижирует имеющимися в её распоряжении ресурсами интеллектуально, перемещая наиболее часто используемые, «горячие» данные в область DRAM для максимизации производительности. Общий объём DRAM и Optane при этом всё равно используется на 100%.

В основе Memory Machine лежит гипервизор на базе Linux, он-то и занимается виртуализацией всех ресурсов памяти в единый пул. Из этого пула приложения могут забирать необходимые ресурсы, а надстройка Memory Machine следит за тем, чтобы производительность была максимальной и поддерживает качество обслуживания (QoS). А в случае Advanced Edition, эта надстройка отвечает и за функции ZeroIO.

Новое ПО поддерживает зонирование памяти (tiering), снятие снэпшотов и репликацию в реальном времени

Обе редакции MemVerge Memory Machine можно заказать уже сейчас. Список поддерживающего режим выполнения in-memory программного обеспечения достаточно широк и включает в себя такие наименования как Autodesk Maya, TensorFlow, PyTorch, MySQL, MongoDB, KVM и ряд других. Список будет постоянно пополняться, также компания принимает отдельные заказы на обеспечение поддержки пользовательского приложения.

Аппаратные ограничения проистекают из самой природы Memory Machine: к сожалению, серверы на базе AMD EPYC не подходят, как не поддерживающие Optane DPCMM. Но подойдёт любой сервер с процессорами Intel Xeon Scalable второго поколения, поддерживающими такой тип модулей памяти. Поддерживаются гипервизоры VMware ESXi и QEMU-KVM, операционные системы CentOS и Red Hat Enterprise Linux, а также платформы контейнеризации на базе Kubernetes.

Напомним, что на самих платформах Intel память Optane DCPMM тоже может работать в режиме прозрачного расширения объёма DRAM. А на более ранних платформах с Xeon Scalable первого поколения доступна технология IMDT, которая позволяет расширить объём видимой в системе оперативной памяти за счёт NVMe-накопителей (в первую очередь, на базе той же Optane).

Участники конференции смогут услышать актуальные доклады, множество практических кейсов внедрения машинного обучения в бизнесе, подводных камней при разработке проектов, трендов в технологии.

В программе:

• Дмитрий Ветров * Фрактальность функции потерь, эффект двойного спуска и степенные законы в глубинном обучении - фрагменты одной мозаики.
• Станислав Кириллов * Новинки catboost: поддержка эмбеддингов, обучение на spark и это еще не всё!
• Татьяна Савельева * Как устроен умный робот, улучшающий колл-центры Яндекс
• и многие другие...

В конференции примут участие ведущие специалисты, инженеры, разработчики, готовые поделиться реальными кейсами с коллегами. Подробная информация на сайте мероприятия. Регистрация уже открыта.

Давние партнёры, Shell International Petroleum Company Limited и Microsoft Corporation, объявили о создании нового стратегического альянса с целью достижения прогресса в борьбе с выбросами CO₂. Как утверждают партнёры, этот тип стратегического альянса является моделью того, как компании могут работать вместе для достижения своих целей по выходу на нулевой уровень выбросов.

«Мы развиваем нашу работу с Shell, создавая более тесный альянс для дальнейшего ускорения инноваций в поддержку декарбонизации и преобразования энергетической отрасли, — сказал Джадсон Альтхофф (Judson Althoff), исполнительный вице-президент подразделения Microsoft Worldwide Commercial Business. — Подобное межотраслевое сотрудничество имеет основополагающее значение для того, чтобы помочь обществу достичь нулевых выбросов к 2050 году, и цифровая трансформация является ключом к решению этой важной проблемы как в энергетическом секторе, так и за его пределами».

Предполагается, что более тесное сотрудничество позволит Shell выйти к 2050 году на нулевой уровень выбросов. Поставка Shell энергии из возобновляемых источников поможет Microsoft достичь поставленных целей в области возобновляемой энергии и её более широких амбиций по снижению выбросов углекислого газа к 2050 году.

В рамках расширенного альянса:

• Shell будет поставлять Microsoft энергию из возобновляемых источников, помогая тем самым ей выполнить обязательство по использованию 100 % возобновляемой энергии к 2025 году;
• Обе компании продолжат совместную работу над искусственным интеллектом (ИИ), который помог трансформации операций Shell за счёт доступа к аналитическим данным в режиме реального времени, способствуя безопасности как рабочих, так и самих объектов, а также обеспечивая эффективность, позволившую Shell сократить выбросы углекислого газа;
• Shell и Microsoft будут работать вместе над новыми цифровыми инструментами, что позволит Shell предложить поставщикам и клиентам эффективную поддержку в сокращении их углеродного следа;
• Shell и Microsoft изучат возможности совместной работы по продвижению использования экологически безопасного авиационного топлива;
• Компании будут использовать систему облачных вычислений Microsoft Azure и данные с объектов Shell для повышения операционной безопасности за счёт улучшения анализа, прогнозирования и предотвращения рисков.