Материалы по тегу: aws

25.09.2020 [22:44], Игорь Осколков

ScaleMP vSMP MemoryONE для расширения RAM за счёт SSD теперь доступна в AWS EC2

Технология vSMP MemoryONE от ScaleMP позволяет прозрачно увеличить видимый в системе объём оперативной памяти за счёт использования SSD таким образом, что никакая модификация со стороны ОС и ПО не требуется. Для этого используется отдельный гипервизор, который и распределяет данные между DRAM и дисками. Последние, естественно, должны быть как можно более быстрыми.

Именно эта технология лежит в основе Intel IMDT, которая ещё на платформах первого поколения Xeon Scalable позволяла задействовать для расширения памяти накопители Intel Optane. Впоследствии она стала доступна и для других разработчиков. Например, Western Digital ещё пару лет назад показала соответствующий продукт Ultrastar DC ME200 Memory Extension Drive. Intel теперь позволяет устанавливать модули памяти Optane непосредственно в DIMM-слоты, а ScaleMP ищет новые, более широкие рынки для своей технологии.

На этой неделе ScaleMP объявила о доступности в AWS Marketplace vSMP MemoryONE для EC2 девятой и десятой версий. v9 работает только с bare-metal инстансами с локальными же NVMe-накопителями, а предварительная версия v10 научилась работать и в виртуализированном окружении. ScaleMP предлагает собственный AMI-образ для EC2.

Как и для локальных версий, ScaleMP обещает близкий к обычной RAM уровень производительности для пула из DRAM и SSD, возможность увеличения доступного объёма памяти от 2 до 12 раз и снижение итоговых затрат на память на 50% и более. vSMP MemoryONE подойдёт для крупных in-memory баз данных Apache Sark, MongoDB, MySQL и прочих нагрузок, требующих хранения больших объёмов данных в оперативной памяти.

Постоянный URL: http://servernews.ru/1021566
18.09.2020 [23:09], Алексей Степин

AWS Cloud Digital Interface позволит обрабатывать несжатое видео прямо в облаке

Облачные системы и сервисы сегодня необычайно популярны, поскольку позволяют пользоваться солидными мощностями, иметь единый источник данных для всех работников и при этом не тратить огромные суммы на содержание собственного ЦОД. Но не для любой задачи облака подходят хорошо — к примеру, редактирование несжатого видео требует устойчивых и высоких скоростей, которые часто в облаке недостижимы из-за сетевых ограничений. Но Amazon Web Services надеется преодолеть и этот барьер с помощью Cloud Digital Interface.

Редактирование видеоматериалов обычно производится в несжатом видео, либо с использованием методов сжатия без потерь, иначе не избежать многократного пересжатия с потерей качества. Однако даже формат 1080p при 60 кадрах в секунду требует устойчивой передачи данных на скорости 3 Гбит/с, а 2160p при той же частоте кадров перегрузит и 10-гигабитную сеть — битрейт составляет уже 12 Гбит/с. Обычно для передачи несжатого видео используют такие стандарты, как Serial Digital Interface (SDI), либо похожую выделенную сетевую инфраструктуру.

Но такой подход исключает работу с облаками для многих задач и рабочих процессов, связанных с видео, от цифрового сетевого вещания до вставок различных спецэффектов. Слишком высоки требования к таймингам, пропускной способности и синхронизации нескольких машин, задействованных в подобного рода задаче. Amazon Web Services заявила, что разрешила, как минимум, часть проблемы: в инстансах Elastic Compute Cloud (EC2) компания задействовала соединение 12G-SDI между виртуальными машинами, что позволяет передавать нежсатый поток видео в формате 2160p при 60 кадрах в секунду с глубиной цвета до 3 байт на пиксель.

AWS Elastic Fabric Adapter на уровне программного обеспечения

AWS Elastic Fabric Adapter на уровне программного обеспечения

Но речь идёт лишь о частичном решении с массой условий: во-первых, каждый инстанс EC2 должен быть снабжен адаптером EFA (Elastic Fabric Adapter), а во-вторых, системы, используемые в AWS CDI, должны располагаться неподалёку друг от друга, желательно в одном физическом кластере. Уже представлены библиотеки и драйверы AWS EFA как для Windows, так и для Linux; впрочем, тестовая конфигурация cdi_test под Windows пока не поддерживает разрешение 4K.

Передача видео в таком формате загружает примерно 80% одного процессорного ядра, так что компания рекомендует выбирать достаточно мощные инстансы EC2. Новый стандарт AWS Cloud Digital Interface нацелен на профессиональных видеопродюсеров и позволяет использовать несжатые видеоданные в любом формате. При этом CDI представляет собой открытый стандарт и сопровождается SDK, который можно загрузить с соответствующего репозитория на GitHub.

В портфолио AWS есть и другие инстансы с адаптерами EFA, которые обеспечивают скорость от 10 до 100 Гбит/с. Они ориентированы на создание кластеров для HPC, ИИ и других нагрузок, требующих обмена большими объёмами данных на высокой скорости и с низкой задержкой.

Постоянный URL: http://servernews.ru/1021020
16.09.2020 [22:34], Владимир Мироненко

AWS Outposts получил поддержку целого ряда поставщиков решений для хранения данных

Семь поставщиков решений для хранения данных объявили о поддержке AWS Outposts в рамках кампании по продвижению этого решения. AWS Outposts — полностью управляемый сервис, основанный на конвергентной инфраструктуре в стойке, устанавливаемой в ЦОД клиента. Фактически это кусочек облака AWS, который интегрирован с публичным облаком AWS для обеспечения единообразного взаимодействия.

Решение постепенно обрастает новыми возможностями и функциями. На днях было объявлено о возможности интеграции AWS Outposts с различными решениями по хранению и управлению данными от Clumio, Cohesity, Commvault, CTERA, Pure Storage, Qumulo и WekaIO.

Например, в Qumulo сообщили, что клиенты могут запускать и управлять рабочими нагрузками Qumulo с файловыми данными локально или запускать их в AWS Outposts с использованием файловой системы Qumulo. Они смогут согласовывать эти файловые данные с AWS и запускать такие сервисы, как Amazon SageMaker (AI) и AWS IoT Greengrass.

Другой вендор, Pure Storage, теперь предлагает FlashBlade для AWS Outposts: клиентам AWS доступна файловая и блочная СХД с низкими задержками, которое интегрируется с Amazon S3 и другими сервисами AWS, API и инструментами, включая и поддержку контейнеров. Аналогичную интеграцию в рамках возможностей своих продуктов предлагают и другие вышеупомянутые поставщики решения хранения данных.

Постоянный URL: http://servernews.ru/1020809
10.09.2020 [11:18], Владимир Мироненко

Gartner: AWS не может снизить цены, Microsoft «не может гарантировать доступность ресурсов», а у Google «разрушительные» сбои в работе сети

В своём последнем отчёте «Magic Quadrant», касающемся облачной инфраструктуры и платформ, исследовательская компания Gartner раскритиковала облачных провайдеров-гиперскейлеров. По оценкам Gartner, на рынке облачных услуг есть три лидера — AWS, Microsoft и Google. Остальные гиперскейлеры являются нишевыми игроками, включая Alibaba, Oracle, IBM и Tencent.

AWS постоянно находится на первом место в этих отчётах, причем в последнем Gartner отметила, что облако Amazon «очень хорошо работает в большинстве сценариев использования». На этот отзыв, кстати, AWS ссылалась в своем последнем иске по поводу проигрыша в тендере на получение контракта JEDI. Gartner также предупредила других игроков облачного рынка о том, что «AWS в будущем сосредоточится на попытках овладеть всё более крупными фрагментами цепочки создания стоимости, которая предоставляет облачные услуги клиентам».

Вместе с тем Gartner подвергла AWS критике из-за проблем с ценообразованием. По словам аналитической компании, «широкий спектр предложений AWS получил выгоду от программных средств с открытым исходным кодом (Open Source Software, OSS) без материального вклада со стороны AWS», что может оттолкнуть от неё разработчиков программного обеспечения.

Другая проблема заключается в том, что «заказчики продолжают ошибочно полагать, что AWS в целом снижает цены; однако снижение зачастую не применяется повсеместно ко всем услугам». В частности, на услуги хранения данных «цены не снижаются с 2014 года», несмотря на значительное снижение цен на компоненты СХД. Ещё одной проблемой является слабая согласованность обширного спектра услуг AWS.

Занявшая второе место Microsoft была охарактеризована как «сильная во всех сценариях использования». Gartner положительно отозвалась о подходе компании к открытому исходному коду, назвав Codespaces «первой привлекательной облачной средой для разработки приложений», несмотря на её бета-статус. Вместе с тем Gartner заявила, что у Azure «самый низкий показатель соотношения зон доступности к регионам среди всех поставщиков, указанных в этом отчёте Magic Quadrant».

Что ещё хуже, так это то, что «Microsoft не предоставляет клиентам никаких форм гарантирования мощности… когда в нескольких европейских регионах в течение нескольких недель наблюдалась нехватка мощностей, связанная с COVID-19, небольшая часть клиентов не смогла получить зарезервированные инстансы или мощность, за которую они уже заплатили».

Что касается Google, то по мнению Gartner, она также хороша для «всех вариантов использования», кроме периферийных вычислений, что является довольно серьезным предостережением. Благодаря Kubernetes и TensorFlow с открытым исходным кодом она завоевала популярность у разработчиков. Согласно Gartner, был также «закрыт ряд критических пробелов в совместимости GCP и Azure».

Однако аналитикам не понравились данные о доступности GCP. «Хвалёные сетевые возможности Google стали причиной ряда сбоев в работе GCP в прошлом году, что имело разрушительные последствия для клиентов», — отметила Gartner. Ещё один негативный момент, по мнению Gartner, заключается в том, что выручка GCP составляет «небольшую долю от общего дохода Google». И если материнская компания Alphabet решит сменить курс, её облачные сервисы больше не будут поспевать за конкурентами.

Если говорить о нишевых игроках рынка, то, как сообщает Gartner, Alibaba является лидером рынка в Китае, но её глобальное предложение не обладает «всеми возможностями китайского». Облако составляет всего 8 % доходов Alibaba Group, и аналитики говорят, что этот сегмент приносит убытки для бизнеса.

Oracle получила похвалу за «продуманную архитектуру гипермасштабируемого облака» и идеальное решение для Oracle E-Business Suite (EBS).

По словам Gartner, за Tencent стоит понаблюдать, так как она теперь больше, чем IBM и Oracle, и уже бросила вызов облаку Alibaba, которое в основном ориентировано на Китай.

Компания IBM, по утверждению Gartner, лучше всего подходит для сценариев перемещения (lift-and-ship) и гибридных сценариев, но она опоздала с выходом на рынок облачных программно определяемых сетей лет на 10.

Постоянный URL: http://servernews.ru/1020277
07.09.2020 [15:59], Владимир Мироненко

Создатели спецэффектов для «Аватара» и «Властелина колец» переедут в облако AWS

Компания Weta Digital из Новой Зеландии, ведущий разработчик визуальных эффектов и компьютерной анимации для кино и телевидения, заключила многолетнее соглашение о сотрудничестве с Amazon Web Services, Inc. (AWS), в рамках которого она перенесёт большую часть своей ИТ-инфраструктуры в облако AWS.

Сообщается, что Weta Digital, готовившая визуальные эффекты (VFX) для «Аватара» и «Властелина колец», планирует разработать новые решения для создания VFX в облаке. Речь идёт о наборе технологий для художников VFX, которые позволят поддерживать глобальное расширение студии, ускорят ключевые этапы производства фильмов и расширят деятельность Weta Digital в Новой Зеландии, обеспечивая команде художников возможность совместной удалённой работы над визуальными эффектами.

В частности, облако AWS будет поддерживать работу около 100 проприетарных инструментов Weta Digital и её виртуальный производственный сервис по созданию новых миров в фильмах. Кроме того, Weta Digital будет использовать AWS для создания и рендеринга оригинального контента недавно сформированного подразделения «Weta Animated» по выпуску анимационных фильмов.

«В марте из-за пандемии Weta перешла на удалённый рабочий процесс для совместной работы, чтобы без проблем продолжить работу над сиквелами Аватара и другими фильмами, — отметил гендиректор Weta Digital Прем Аккараю (Prem Akkaraju). — Используя практически неограниченные вычислительные мощности AWS, мы сможем предоставить нашим художникам возможность безопасно и надёжно работать в любом месте без технических ограничений. Кроме того, благодаря сервисам AWS нам будет легче тестировать новые идеи и технологии, поскольку мы продолжаем расширять границы возможностей в визуальных эффектах. Сервисы AWS, такие как машинное обучение и анализ данных, помогут Weta реализовывать проекты быстрее и с меньшими затратами, а наши клиенты будут пользоваться плодами непрерывных инноваций Weta Digital».

Постоянный URL: http://servernews.ru/1020042
24.08.2020 [13:43], Владимир Мироненко

Amazon построит в Ирландии третью ветряную ферму для питания ЦОД

Интернет-компания Amazon построит новую ветряную электростанцию в Арддерроо (графство Голуэй, Ирланидя) которая удвоит мощности компании по возобновляемым источникам энергии, когда будет запущена в эксплуатацию в 2022 году.

Новый проект ветряной электростанции компании Amazon, планирующей к 2025 году полностью перейти на возобновляемые источники энергии, включает 27 ветряных турбин общей мощностью 115 МВт. С 2022 года ветряная ферма будет обеспечивать электроэнергией центры обработки данных Amazon Web Services (AWS) по всей Ирландии.

После её ввода в эксплуатацию компания будет иметь в стране три ветряных электростанции суммарной мощностью 229 МВт, что, по прогнозам, позволит сократить выбросы CO2 в ЦОД на 366 000 тонн в год. В прошлом году компания объявила, что построит ветряную электростанцию мощностью 23 МВт невдалеке от Эска (графство Корк, Ирландия), которая будет запущена в конце этого года.

Еще одна ветряная ферма, строящаяся в Минбоге (графство Донегол, Ирландия), будет запущена в эксплуатацию в начале 2022 года. Как ожидается, после запуска всех проектов Amazon станет крупнейшим корпоративным потребителем возобновляемой энергии в стране.

Компания также планирует сделать дизайн будущих ЦОД более экологически дружественным, например, реконструировать их крыши, чтобы обеспечить сбор дождевой воды. Это позволит использовать меньше воды из местных источников для охлаждения дата-центров.

В июле Amazon объявила о планах увеличить штат сотрудников в Ирландии до 5000 человек в течение следующих двух лет с открытием нового кампуса в Дублине. В офисах компании в Дублине и Корке будет создано около 1000 новых рабочих мест.

Постоянный URL: http://servernews.ru/1018938
21.08.2020 [23:17], Владимир Мироненко

Mitiga обнаружила майнер криптовалюты в AMI-образах для AWS EC2, которыми пользовались более пяти лет

Компания Mitiga, специализирующаяся на вопросах реагирования на инциденты в сфере безопасности, выпустила глобальное предупреждение для клиентов AWS, использующих инстансы Elastic Cloud Compute (EC2) на базе образов Amazon Machine Images (AMI) от сообщества, о потенциальном присутствии в инстансах встроенного вредоносного кода.

Рекомендация клиентам AWS, использующим данные инстансы, проверять их на наличие потенциально вредоносного встроенного кода, поступила после обнаружения криптомайнера, спрятанного внутри одного из образов от сообщества.

AMI — это шаблон с готовой конфигурацией программного обеспечения: операционной системой, сервером приложений или приложениями. На базе AMI и создаются инстансы в облаке. Пользователи могут запускать несколько экземпляров из одного образа, когда им нужно несколько инстансов с одинаковой конфигурацией, или они могут использовать разные AMI, когда требуются разные конфигурации. 

Есть разные способы получения AMI. Например, на площадке AWS Marketplace пользователи могут покупать AMI или платить за их использование. Эти AMI проверены Amazon и могут быть опубликованы только предварительно одобренными пользователями. EC2 интегрируется с AWS Marketplace, что позволяет разработчикам взимать плату с других пользователей EC2 за использование их образов AMI. Amazon также позволяет пользователям создавать собственные AMI и делиться ими с другими пользователями. Любой из создателей AMI может разрешить использовать образ всем аккаунтам AWS или только нескольким избранным.

«Если мне нужен Windows Server, я могу получить новый чистый экземпляр Amazon EC2, установить на него Windows Server и сделать всё самостоятельно, а могу пойти и получить AMI, который сделает всё это за меня, и все что от меня требуется в этом случае — заплатить и запустить машину», — говорит Офер Маор (Ofer Maor), соучредитель и технический директор компании Mitiga. Пользователи могут выбрать AMI от сообщества как более экономичное решение, но это сопряжено с рисками, так как в отличие от AMI из Marketplace, образы сообщества не проверяются Amazon.

Проводя расследование для финансовой организации, эксперты Mitiga обнаружили, что один из исследуемых инстансов использует намного больше вычислительных ресурсов, чем было для этого необходимо. В итоге был выявлен активный криптомайнер Monero, работающий на одном из инстансов EC2 организации. По словам Маора, это «довольно крутая атака». «Таким образом, тот, кто запускал этот AMI <...> платил за вычисления, но добытая криптовалюта переходила к злоумышленнику», — объяснил эксперт. Более крупная компания, возможно, никогда и не обратила бы внимания на эти дополнительные «накладные расходы».

По оценкам Mitiga, этот образ существует уже пять лет, и криптомайнер присутствовал в нём с самого начала. Похоже, злоумышленники, опубликовавшие этот AMI, разработали его специально. Mitiga рекомендует получать AMI из надёжных источников. Маор отметил, что Marketplace — более безопасный источник, поскольку те, кто может размещать здесь AMI, должны быть верифицированы Amazon и участвовать в партнёрской программе.

Постоянный URL: http://servernews.ru/1018829
18.08.2020 [12:41], Владимир Мироненко

AWS поможет Toyota в создании облачных сервисов

Amazon Web Services, подразделение облачных вычислений Amazon, поможет японской автомобильной компании Toyota Motor Corp создать платформу для управления данными, поступающими от её глобального автопарка, а также для их монетизации. Об этом сообщило в понедельник агентство Reuters со ссылкой на заявление двух компаний.

REUTERS/Andrew Kelly

REUTERS/Andrew Kelly

Toyota заявила, что её будущая платформа для мобильных сервисов Mobility Services Platform позволит обрабатывать и анализировать данные, которые можно будет использовать для разработки транспортных сервисов: от предоставления услуг пассажирских перевозок и совместному использованию автомобилей до страховых услуг и предоставления уведомлений о техническом обслуживании на основе манеры вождения водителя.

Сделка позволит расширить существующие партнёрские отношения Amazon Web Services с Toyota, и представляет собой дальнейшую интеграцию интернет-компании в транспортную индустрию.

Ранее AWS объявила о расширении партнёрства с Volkswagen AG с целью оказания помощи в трансформации облачного программного обеспечения и портала данных немецкого автопроизводителя в отраслевую рыночную площадку, где бизнес-клиенты смогут покупать и продавать промышленные приложения.

В автомобильном секторе AWS ранее сотрудничала с такими поставщиками автомобильных компонентов, как Aptiv, Panasonic Corp и NVIDIA Corp, крупными поставщиками транспортных услуг, такими как Uber и Avis, а также стартапами по производству беспилотных тяжёлых грузовиков Embark и китайской TuSimple.

Постоянный URL: http://servernews.ru/1018489
16.08.2020 [14:17], Алексей Разин

AWS за два месяца удвоила географию доступности серверов на базе EPYC Rome

Компания AMD готовится до конца года представить процессоры EPYC с архитектурой Zen 3, но серверный сегмент отличается заметной инертностью принятия новинок. Подразделение AWS компании Amazon всего лишь два месяца назад начало предлагать клиентам доступ к серверам на основе процессоров поколения Rome, но сейчас география предложений расширилась вдвое.

Источник изображения: AMD

Источник изображения: AMD

По прогнозам аналитиков DigiTimes Research, в текущем квартале AWS сократит объёмы поставок серверов для собственных нужд, поэтому наблюдаемая положительная динамика экспансии систем на базе процессоров AMD EPYC с архитектурой Zen 2 вдвойне ценна. Как утверждает эксперт DA Davidson Бен Уилсон (Ben Wilson), присутствие серверов AWS на основе процессоров Rome за пару месяцев расширилось с семи до четырнадцати регионов, и это очень хороший знак для самой AMD. Именно наличие крупного клиента в лице Amazon позволит компании стабильными темпами увеличивать свою долю рынка в серверном сегменте. Главное, чтобы в конкретном случае спрос на облачные мощности не снижался.

Подобные новости уже оказали поддержку курсу акций AMD в среду, в результате чего он вырос на 7,5 %, но последующая динамика была отрицательной. Преодолев на короткое время планку капитализации в $100 млрд, компания AMD теперь оценивается в меньшую сумму. Специалисты Jefferies ранее уже отмечали, что трудности конкурента с освоением 7-нм технологии помогут AMD в ближайшие пять лет завоевать не менее 50 % рынка серверных процессоров. Сейчас сама компания оценивает свою долю примерно в 10 %, опираясь на данные IDC, а эксперты Mercury Research называют величину не более 5,8 % по состоянию на второй квартал текущего года.

Постоянный URL: http://servernews.ru/1018342
14.08.2020 [20:05], Владимир Мироненко

Квантовое облако: AWS объявила о доступности Braket для разработки и отладки квантовых алгоритмов

Amazon Web Services (AWS) объявила о доступности Braket — сервиса, который предоставляет как начинающим, так и опытным разработчикам квантовых вычислений среду для тестирования алгоритмов и инструментов, и апробирования различного квантового оборудования. Сильной стороной сервиса является то, что он позволяет ученым, исследователям и разработчикам приступить к экспериментам с квантовыми платформами D-Wave, IonQ и Rigetti.

Сервис Amazon Braket был анонсирован на конференции AWS Re:Invent в декабре прошлого года. «Облако будет основным способом доступа клиентов к квантовым компьютерам, и позволит сочетать их с высокопроизводительными классическими вычислениями для ресурсоемких исследований», — отметил Билл Васс (Bill Vass), вице-президент AWS по технологиям.

Amazon Braket позволяет быстро приступить к работе, используя знакомые инструменты вроде Jupyter. Есть доступ к предустановленным инструментам разработки, которые можно использовать для создания алгоритмов, визуализации результатов и совместной работы. Имеется и растущая библиотека готовых к использованию, предварительно созданных квантовых алгоритмов. Клиенты смогут запускать, тестировать и устранять баги своих алгоритмов на симуляторах квантовых компьютеров, использующих вычислительные ресурсы Amazon EC2.

«Когда всё будет готово, клиенты могут запустить свой алгоритм на [реальном] квантовом компьютере по своему выбору без необходимости привлекать нескольких поставщиков или использовать одну технологию. Сегодня клиенты Amazon Braket могут выбрать сверхпроводящие устройства для квантового отжига от D-Wave, процессоры захваченных ионах от IonQ или сверхпроводящие квантовые процессоры от Rigetti. Помимо запуска квантовых алгоритмов, клиенты также могут использовать Amazon Braket для запуска гибридных алгоритмов, где совместное использование квантовых и классических вычислительных систем может помочь преодолеть ограничения, присущие современным квантовым технологиям», — добавила компания.

Amazon Braket на данный момент доступен в регионах AWS US East (Северная Вирджиния), US West (Северная Калифорния) и US West (Орегон). Вскоре сервис будет доступен в других облачных регионах.

Постоянный URL: http://servernews.ru/1018288
Система Orphus