Материалы по тегу: aws

15.01.2018 [13:03], Константин Ходаковский

Исследование влияния Meltdown на AWS-инфраструктуру

3 января 2018 года мировая общественность узнала о возможности атак Meltdown и Spectre, обусловленных архитектурными особенностями современных процессоров. Это произошло примерно на неделю раньше запланированного срока из-за утечек. Мы много писали об этом, а потому повторяться не будем — достаточно сказать, что уязвимости являются самыми большими из вскрытых в последнее десятилетие и требуют полного переосмысления микропроцессорных архитектур, а также принципов взаимодействия ПО и CPU.

Публичные облачные компании вроде Amazon Web Services (AWS) были проинформированы об уязвимостях до обнародования информации и работали над подготовкой системных исправлений, которые предотвратили бы раскрытие информации в облачной инфраструктуре со множеством арендаторов. На данный момент нет универсального исправления для Spectre, поэтому большинство смягчающих мер на сегодняшний день прежде всего нацелены против более лёгкой для использования злоумышленниками уязвимости Meltdown.

Недавно в своём блоге SolarWinds решила поделиться опытом использования инфраструктуры AWS в течение последних недель в связи с Meltdown. Компания, как и многие другие в секторе SaaS (ПО как услуга), пострадала от частичного простоя, вызванного усилиями AWS по борьбе с Meltdown. Первым признаком предстоящих проблем стали полученные в середине декабря email-сообщения о необходимости перезагрузки всех паравиртуализированных (PV) хостов до 5 января. SolarWinds в основном работает с HMV-системами, но для поддержки устаревших платформ используют и несколько PV. Как видно из приведённой диаграммы, взятой из сервисного звена серверов Python, когда 20 декабря были перезагружены PV-системы, результатом стал рост нагрузки CPU на внушительные 25% — были и другие сообщения о схожих проблемах, связанных с производительностью или стабильностью работы серверов после их перезагрузки накануне 5 января:

Для HVM-серверов AWS смогла выпустить заплатку против Meltdown, не требующую перезагрузки. Судя по всему, для серверов HVM EC2 они начали развёртываться около 4 января 00:00 UTC по времени восточного побережья США и закончили в 20:00 UTC. Это очень быстро — очевидно, Amazon форсировала процесс из-за преждевременной утечки информации. Подобный рост нагрузки процессоров был замечен на нескольких сервисных звеньях:

В этот же период было зарегистрировано дополнительное увеличение нагрузки CPU на PV-серверах, которые уже были обновлены. По-видимому, они тоже получали какие HVM-исправления примерно в то же время, как и все полноценные HVM:

С точки зрения производительности, затронуты обновлением были почти все уровни платформы — как инфраструктура EC2, так и управляемые службы AWS (RDS, Elasticache, VPN Gateway). Например, SolarWinds активно использует Kafka для обработки потоков в Solarwinds Cloud. Рост нагрузки на CPU во время развёртывания обновления оказался умеренным, около 4 %:

Но в то же время частота обмена пакетами в том же кластере Kafka, снизилась на значение до 40 %. Пропускная способность при этом не уменьшилась, так что, по мнению SolarWinds, время отклика отдельных пользователей увеличилось, что привело к увеличению размеров пакетов данных и уменьшению количества небольших пакетов:

Звенья СУБД Cassandra, которые SolarWinds использует для хранения данных, тоже были затронуты по всем направлениям. Наблюдались всплески нагрузки CPU примерно на 25 % на экземплярах вроде m4.2xlarge и других типов. Даже если мощностей достаточно, это заставляет задуматься о расширении, чтобы компенсировать потенциальный рост нагрузки.

Влияние на производительность также наблюдалось и для внутренних звеньев SolarWinds. Например, задержки p99, связанные с записью в Cassandra, возрастали на значение до 45 %.

Также были обнаружены скачки в задержках в управляемых службах AWS, таких как AWS Elasticache Memcached. Например, на приведённом memcached-кластере при средней нагрузке на CPU в 8 % рост оказался почти двукратным:

Это привело к весьма существенному удлинению хвоста задержек (Tail latency) и таймаутов кеша, то есть для некоторых пользователей ожидание отклика возросло многократно:

Как видно из диаграмм, новый базовый уровень производительности систем существенно изменился после исправлений для борьбы с Meltdown. Заплатки KPTI необходимы для поддержки изоляции памяти, чтобы предотвратить использование уязвимостей в публичной облачной инфраструктуре, сдаваемой множеству арендаторов. Разработчикам ПО необходимо будет понять, как можно снизить возросшие накладные расходы ресурсов CPU от переключений между пользовательским адресным пространством и ядром, которые добавляют KPTI-исправления.

Приложения, часто делающие системные вызовы для чтения или записи данных по сети или из дисковых систем, должны быть оптимизированы. Небольшие операции ввода-вывода стали более «дорогими», и разработчикам придётся оптимизировать код, чтобы уменьшить частоту таких вызовов, объединяя несколько в один. Найти оптимальное значение между большими размерами пакетов и задержками сложно и потребует ПО, которое умеет адаптироваться под несколько переменных одновременно. Отрадно видеть, что потребительские библиотеки Kafka смогли динамически оптимизироваться по мере увеличения задержек сетевых вызовов.

Для оптимизации программистам потребуется доступ в реальном времени к точным и подробным измерениям, которые способны показать частоту системных вызовов, генерируемых их приложениями или базами данных. Активное отслеживание системных вызовов станет необходимостью.

Также неясно, к чему приведёт появление новых заплаток против Meltdown и Spectre, — можно лишь предположить, что они будут продолжать влиять на производительность любой масштабной бизнес-инфраструктуры. Придётся адаптировать принципы разработки программного обеспечения для распределённых систем, чтобы приспособиться к меняющимся условиям. Стоит добавить, что на общую производительность также повлияют исправления для клиентских систем. Впрочем, по состоянию на 12 января SolarWinds заметила существенное снижение CPU-нагрузки своих систем. Неясно, стало ли это следствием развёртывания дополнительных заплаток или были иные причины, однако уровни нагрузки процессоров возвращаются к уровням до появления HVM-исправлений.

Постоянный URL: http://servernews.ru/964080
21.11.2017 [12:57], Владимир Мироненко

Представлен облачный сервис AWS Secret Region для разведывательного сообщества и госструктур США

Amazon объявила о запуске службой облачных вычислений AWS нового сервиса Secret Region, специально разработанного для оказания помощи в выполнении задач разведывательного сообщества США.

Новый сервис AWS Secret Region сможет выполнять рабочие нагрузки вплоть до «секретного» уровня классификации безопасности, дополняя существующий контракт стоимостью $600 млн с ЦРУ и другими агентствами для управления рабочими заданиями уровня высшей степени секретности в своём облаке.

Анонс AWS Secret Region состоялся примерно через месяц после того, как Microsoft сделала аналогичную презентацию. С сервисом Azure Government Secret облачная платформа Microsoft Cloud for Government вскоре будет предоставлять услуги для госструктур и их партнёров, которые работают с данными, классифицируемыми как «секретные».

«Разведывательное сообщество США теперь может выполнять свои миссии с помощью общего набора инструментов, непрерывного потока новейших технологий и гибкости для быстрого масштабирования в рамках миссии», — заявила Тереза ​​Карлсон, вице-президент Amazon Web Services Worldwide Public Sector. Она отметила успешную работу сервиса AWS Top Secret Region, который был запущен три года назад. Благодаря своим возможностям он способствует лучшему сотрудничеству агентств, помогает быстрее получать критическую информацию для лиц, принимающих решения, и позволяет увеличить безопасность нации.

Следует отметить, что AWS Top Secret Region был создан как сервис лишь для спецслужб, а услугами Secret Region смогут пользоваться все государственные структуры США.

Постоянный URL: http://servernews.ru/961789
14.11.2017 [17:03], Владимир Мироненко

Amazon продаёт оборудование облачных сервисов в Китае в связи с ужесточением регулирования

В понедельник вечером стало известно о продаже Amazon.com Inc некоторого оборудования, используемого для функционирования облачного бизнеса компании в Китае, в связи с ужесточением регулирования, создающим препятствия для работы технологических фирм во второй по величине экономике в мире.

REUTERS/Carlos Jasso

REUTERS/Carlos Jasso

Компания Beijing Sinnet Technology, партнёр компании Amazon в Китае, сообщила о покупке активов подразделения сервисов облачных вычислений Amazon Web Services (AWS) в Китае на сумму до 2 млрд юаней ($301,2 млн).

«Чтобы соответствовать китайскому законодательству, AWS были проданы некоторые физические инфраструктурные активы компании Sinnet», — подтвердил эту новость во вторник представитель AWS, добавив, что компания остаётся владельцем интеллектуальной собственности, используемой для работы сервисов во всём мире.

Китайские регулирующие органы ужесточают правила в отношении зарубежных центров обработки данных и облачных сервисов, добавляют новые меры надзора и усиливают контроль трансграничной передачи данных. Вступившие в силу в Китае в июне законы требуют от компаний хранить данные локально.

У AWS есть в Китае отдельное предприятие аппаратного обеспечения, созданное в партнёрстве с правительством провинции Нинся на северо-западе страны. На своём сайте Amazon заявила, что её публичные облачные сервисы в стране управляются исключительно Sinnet.

Постоянный URL: http://servernews.ru/961497
23.05.2017 [14:42], Евгений Лазовский

Создатель Java Джеймс Гослинг присоединился к Amazon Web Services

Список сотрудников Amazon Web Services (AWS) пополнился ещё одним тяжеловесом мира компьютерных вычислений. Джеймс Гослинг (James Gosling), автор языка программирования Java, сообщил о том, что в качестве инженера будет работать над инфраструктурой платформ облачных веб-сервисов.

Stephen Chin/VentureBeat

Stephen Chin/VentureBeat

Гослинг представил оригинальную идею языка Java, создал первый компилятор и виртуальную машину, когда работал в Sun Microsystems. Он ушёл из американской компании в 2010 году, после того как её купила Oracle. Затем Гослинг немного поработал в Google, после чего создавал программное обеспечение для подводного робота в Liquid Robotics.

Amazon подтвердила, что наняла Гослинга, но не рассказала, чем он будет заниматься в компании. Изобретатель одного из самых популярных языков программирования присоединится к другим технологическим светилам: вице-президенту по облачной архитектуре Адриану Кокрофту (Adrian Cockroft), вице-президенту по искусственному интеллекту Свами Сивасубраманиану (Swami Sivasubramanian) и техническому директору и вице-президенту по инновациям Вернеру Фогельсу (Werner Vogels).

Гослинг отлично влился бы в команду AWS, которая работает над инструментами для Интернета вещей. У него есть опыт в развёртывании таких систем и решении связанных с этим проблем.

«В моём случае нет облачных провайдеров, которые [Liquid Robotics] может использовать, поэтому нам приходится всё создавать самим, и это по-настоящему трудно, — сказал Гослинг на IP Expo Europe 2016, обсуждая системы Интернета вещей. — Я имею в виду, что многие облачные провайдеры могли бы сильно упростить мне жизнь, но убедить случайную компанию из какой-нибудь страны в том, что она должна доверять Amazon, очень, очень сложно».

Постоянный URL: http://servernews.ru/952660
15.07.2016 [19:09], Владимир Мироненко

Amazon Web Services купила Cloud9 для расширения перечня инструментов разработки

Провайдер облачных сервисов Amazon Web Services (AWS) приобрёл компанию Cloud9. Базирующийся в Сан-Франциско стартап Cloud9 предлагает онлайн интегрированную среду разработки (integrated development environment, IDE), предоставляемую по облачной модели. Финансовые условия сделки не разглашаются.

Новость была обнародована самой Cloud9 в заявлении на своём сайте, в котором также говорится, что компания будет продолжать предлагать существующие услуги параллельно с работой по созданию новых инструментов для AWS.

Основанная в 2010 году Cloud9 имеет команду разработчиков в Амстердаме и штаб-квартиру в Сан-Франциско. Интегрированная среда разработки Cloud9 предлагает основанную на Ubuntu альтернативу традиционным средам разработки на базе десктопов.

В настоящее время Cloud9 поддерживает порядка 40 различных языков программирования и позволяет удалённым командам совместно работать над разработкой и редактированием кода (с возможностью использования её редактора кода или рабочего пространства Ubuntu), а затем тестировать его с использованием около 300 различных комбинаций браузеров и операционных систем.

Постоянный URL: http://servernews.ru/936228
26.02.2016 [00:14], Андрей Крупин

Ericsson вступила в облачный альянс с Amazon Web Services

Ericsson и Amazon Web Services (AWS) объявили о создании глобального альянса, целью которого является трансформация бизнеса телекоммуникационных компаний за счёт внедрения облачных технологий. Партнёры намерены ускорить распространение cloud-сервисов в корпоративной среде путём развития и популяризации соответствующих технологий и услуг, а также консолидации центров обработки данных.

В рамках сотрудничества специалисты Ericsson при поддержке AWS будут работать над проектом AWS Cloud, в рамках которого совместно с клиентами будут открываться центры инноваций с использованием облачных решений. Компания Ericsson предоставит 25 тысяч инженеров, специализирующихся в сфере исследований и разработок (R&D), а также 66 000 сотрудников, 17 000 из которых являются консультантами и специалистами в области системной интеграции. AWS, в свою очередь, будет предоставлять консультационные услуги.

Альянс планирует ежегодно реализовывать по 1500 проектов. Первым клиентом AWS Cloud стал австралийский оператор Telstra, запустивший совместно с Ericsson центр инноваций на базе своей исследовательской лаборатории Gurrowa Innovation Lab в Мельбурне.

Ericsson планирует использовать экспертизу AWS для разработки решений, позволяющих телекоммуникационным провайдерам предоставлять новые услуги на базе облачных технологий. Компания намерена сфокусироваться на комплексном управлении трафиком данных и обеспечении безопасности передачи данных из сотовых и локальных сетей в AWS Cloud, управлении рабочей нагрузкой в защищённой среде в рамках локальной инфраструктуры и в облаке AWS Cloud, а также организации шлюза для пользователей услуг AWS, являющихся клиентами телекоммуникационных компаний, в соответствии с нормативно-правовыми требованиями и требованиями местного законодательства.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/929074
08.10.2015 [18:12], Владимир Мироненко

Amazon представила Snowball, 50-Тбайт устройство для быстрой отправки данных в облако

Облачная служба Amazon Web Services (AWS) продемонстрировала Amazon Snowball — устройство с накопителем ёмкостью 50 Тбайт, предназначенное для транспортировки данных в облачное хранилище, минуя Интернет.

Этим устройством смогут воспользоваться компании, испытывающие сложности с загрузкой данных в облачное хранилище в связи с низкой скоростью доступа в Интернет — достаточно прислать в интернет-компанию Snowball с данными, который её специалисты напрямую подключат к ЦОД для передачи информации, сэкономив время и силы клиента. Услуга предоставляется в рамках сервиса AWS Import/Export. С его помощью можно было и раньше загрузить данные в облако, прислав Amazon накопитель с записью информации.

Стоимость услуги с использованием Snowball равна $200. На запись данных компании отводится 10 дней. С помощью данного сервиса компания сможет еженедельно отправлять до петабайта данных в облако для хранения.

Вес Snowball — 50 фунтов (23 кг). На его торце размещён E-Ink-экран/панель управления. Snowball устойчив к воздействию неблагоприятных погодных условий, не требует дополнительного контейнера или упаковки при транспортировке, способен выдержать давление с силой 6G. Допускается соединение нескольких Snowball вместе.

Постоянный URL: http://servernews.ru/921546
08.10.2015 [17:33], Сергей Юртайкин

Accenture занялась продвижением облаков Amazon

Международная компания Accenture, оказывающая услуги в области управленческого консалтинга, информационных технологий и аутсорсинга, начала продвигать облачные сервисы Amazon Web Services (AWS). О сотрудничестве было объявлено на конференции re:Invent, проведённой интернет-ретейлером в Лас-Вегасе.

bloomberg.com

bloomberg.com

Amazon и Accenture создали совместное предприятие Accenture AWS Business Group, которое сосредоточится на разработке новых технологических и консалтинговых сервисов, выведении их на рынок и продвижении в крупных компаниях. Для работы с AWS планируется за первый год обучить около 1000 консультантов Accenture и сертифицировать 500 специалистов.

Вкладывать ресурсы в совместный бизнес Amazon и Accenture намерены в течение нескольких лет. Особый упор будет сделан на создании технологических решений, связанных с миграцией и разработкой приложений, облачным корпоративным софтом, аналитическими инструментами и большими данными (Big Data). Финансовую сторону заключённого соглашения компании не раскрывают.

bloomberg.com

bloomberg.com

Как отмечает агентство Bloomberg, совместная работа с Accenture должна помочь Amazon увеличить число контрактов с крупными корпоративными клиентами, которые в последние годы ищут более дешёвые и эффективные методы аутсорсингого управления своими данными и сетями. Крупнейшими вендорами на этом рынке являются Hewlett-Packard и IBM.

Постоянный URL: http://servernews.ru/921532
25.12.2014 [09:40], Антон Тестов

Intel: половина процессоров Xeon для облачных ЦОД будет разработана на заказ

Как известно, владельцы крупных центров обработки данных, такие как Amazon Web Services (AWS), Microsoft и другие, выдвигают очень специфичные требования к серверам и аппаратному обеспечению. В последние годы как Intel, так и AMD, стали предлагать версии своих центральных процессоров, специально оптимизированные под требования крупных клиентов. Тенденция будет усиливаться: согласно заявлению Intel, в следующем году половина процессоров Xeon для крупных провайдеров облачных услуг будет создана на заказ.

«Мы никогда не говорили “нет” решениям, создаваемым на заказ», – сказала недавно Дайан Брайант (Diane Bryant), старший вице-президент и руководитель Data Center Group. «Мы получаем заказы на десятки и сотни тысяч специализированных микросхем».

Таким компаниям как Amazon, Google и Facebook требуются процессоры с пониженным энергопотреблением, а иногда и специальными возможностями ввода/вывода для эффективной работы в гиперкрупных ЦОД.

Intel Xeon: от стандартных до почти проприетарных

Intel Xeon: от стандартных до почти проприетарных

В настоящее время у Intel имеется ряд возможностей для создания серверных решений на заказ. Так, компания может внедрить в состав платформ или встроить в наборы микросхем собственные (специализированные) интерфейсы своих клиентов, чтобы поддержать определённые специфические контроллеры, программируемые логические матрицы (field-programmable gate array, FPGA) или даже контроллеры памяти. Кроме того, Intel может оптимизировать энергопотребление и производительность своих процессоров под нагрузки заказчиков. В настоящее время новейшая платформа Intel Xeon «Grantley» совместима с 35 специализированными чипами, созданными с учётом требований клиентов.

«Компании вроде AWS владеют миллионами серверов, они хотят оптимизировать всё, что возможно, включая занимаемую площадь, энергопотребление, охлаждение, количество персонала», – сказала госпожа Брайант. «Основное правило игры для них – создание решений под себя».

Тем не менее, такой уровень адаптации решения под конкретную задачу только начало.

Intel может установить программируемую логическую матрицу в корпус микропроцессора Xeon (на одну подложку с собственным кристаллом), если это будет ускорять какие-то специфические вычисления заказчиков. Кроме того, специфическая интеллектуальная собственность (intellectual property, IP) крупных клиентов может быть внедрена в стандартные микропроцессоры. В настоящее время процессоры Intel Xeon «Haswell-EP» включают четыре таких IP блока, а будущие микросхемы внедрят в себя еще два.

Intel Xeon E7

Intel Xeon E7

Крупнейший в мире производитель микропроцессоров также работает над центральными процессорными устройствами, созданными полностью на заказ (full custom CPU). Такие чипы будут обладать как оптимизациями производительности и энергопотребления, так и специализированными интерфейсами, а кроме того, включать в себя специфические IP-блоки разработки Intel (например, графические ядра для обработки мультипоточных данных) или её клиента. В настоящее время более десяти подобных микропроцессоров находятся в разработке. Intel не говорит, насколько далеко она готова пойти в области «затачивания» процессоров под требования заказчиков. В частности, неизвестно, планирует ли Intel как-то модифицировать сами вычислительные ядра, или же дело ограничивается исключительно «обвязкой».

Интересно отметить, что то, что в Intel называют full custom CPU, очень сильно напоминает подход, который компания AMD называет semi-custom (намекая на то, что большинство блоков – вычислительные ядра, графические процессоры, шины обмена данными и т.п. – внутри процессора остаются стандартными). Как и более крупный конкурент, AMD готова внедрять в свои процессоры специфические IP-блоки, специализированные интерфейсы и оптимизировать производительность и энергопотребление под конкретные типы рабочих нагрузок. К сожалению, в настоящий момент semi-custom бизнес AMD ограничен игровыми приставками Microsoft Xbox One и Sony PlayStation 4. Тем не менее, очевидно, что несмотря на колоссальную разницу между AMD и Intel сегодня, компании продолжают исповедовать аналогичные бизнес-подходы и практики.

Постоянный URL: http://servernews.ru/907228
08.09.2014 [11:51], Андрей Крупин

Softline стала российским реселлером Amazon Web Service

Компания Softline, работающая в области информационных технологий и предлагающая широкий спектр инфраструктурных и прикладных IT-решений для корпоративного рынка, объявила о получении статуса официального реселлера Amazon Web Service APN Standard Consulting Partner на территории 18 стран, в том числе России.

В пресс-службе компании подчеркивают, что Softline стала первым российским участником партнерской сети Amazon Partner Network. Как следствие, клиенты Softline получили возможность использовать вычислительные мощности и облачные сервисы многочисленных дата-центров AWS посредством переноса в них инфраструктуры с собственных серверов.

«Softline является первой отечественной организацией, с которой было заключено ресселерское соглашение со стороны AWS. Это подтверждает высокий уровень экспертизы, наработанный нами за пять лет развития облачного направления, — говорит Леонид Аникин, руководитель направления облачной IТ-инфраструктуры Softline. — Сейчас мы предлагаем заказчикам различные услуги по аутсорсингу базовой IТ-инфраструктуры: размещение серверов клиента в специализированных дата-центрах, аренду физических и виртуальных серверов из собственной инфраструктуры Softline или из глобальных облачных платформ. Сотрудничество с AWS позволяет нам говорить о предложении наиболее полной линейки облачных сервисов на российском рынке».

«Мы рады тому, что начали с Softline совместную работу и сможем предлагать клиентам в России доступ к облаку Amazon Web Services и возможность оплаты этих услуг в рублях, — прокомментировал старт сотрудничества Нико Микканен (Niko Mykkanen), директор по работе с партнерами в регионе EMEA компании AWS. — Поэтому мы приветствуем Softline в рядах партнеров AWS и довольны расширением спектра наших сервисов, предлагаемых российским компаниям».

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/901420
Система Orphus