Материалы по тегу: aws

27.01.2021 [16:27], Алексей Степин

Как появление Linux привело к созданию крупнейшего в мире облака AWS

Сегодня работа серверного оборудования под управлением Linux никого не удивляет: «пингвин» проник практически во все ИТ-сферы, включая HPC и облачные службы. Но так было не всегда. Если верить рассказам бывшего сотрудника Amazon, своим существованием столь популярная ныне облачная служба AWS (Amazon Web Services) обязана именно Linux.

В наши дни серверная архитектура в существенной степени унифицирована, как, впрочем, и «железная» инфраструктура — к так называемой «коммодизации» рынок стремился давно. Основой служит стандартная стоечная система с одним-двумя процессорами Intel Xeon или AMD EPYC, в нужных случаях дополненная ускорителями, «умными» сетевыми адаптерами, а в последнее время и DPU. В начале двухтысячных в этом мире доминировала вовсе не связка x86/Linux.

Как рассказал в своём Twitter бывший сотрудник Amazon, Дэн Роуз (Dan Rose), работавший в Amazon в период с 1999 по 2006 годы, основные затраты компании в то время приходились на ЦОД, оснащённые по последнему слову техники. Этим «последним словом» в то время являлись серверы Sun с SunOS, лучше всего отвечавшие девизу «get big fast» и обеспечивавшие высокую доступность запускаемых на них служб.

Недостатки у аппаратного и программного обеспечения Sun были характерными для любого проприетарного решения: стоимость и ориентация на закрытое фирменное программное обеспечение. Но таков был тогда рынок UNIX-систем: все крупные игроки вроде Sun, HP, IBM или SGI поддерживали свой вариант операционной системы, несовместимый с оборудованием соседнего поставщика.

2000-2003 годы: доля процессоров Sun SPARC довольно велика, победное шествие x86 только начинается

2000-2003 годы: доля процессоров Sun SPARC довольно велика, победное шествие x86 только начинается

Как мы знаем из истории, поздние девяностые годы ознаменовались первым интернет-бумом. Казалось, росту и развитию сетевых технологий не будет конца: всевозможные интернет-стартапы появлялись, как грибы после дождя; к 1999 году 39% венчурного капитала пришлось на такие компании. В таких условиях использование дорогого, но надёжного оборудования Sun было оправданной стратегией.

Однако в двухтысячных случилось то, что сегодня называют «крахом доткомов». К концу 2001 года индекс NASDAQ рухнул сразу на 62%. Доходы интернет-компаний обвалились, они стали разоряться одна за другой. Сказалось это и на рынке оборудования: часто новейшие серверы распродавались на eBay по цене в десять раз ниже изначальной, и это ударило по Sun, которая впоследствии так и не сможет оправиться от такого удара.

Sun Enterprise 10000: четыре процессора UltraSPARC-II, 400 МГц, 8 Мбайт кеша, 2 Гбайт оперативной памяти

Типичный сервер Sun Enterprise 10000: четыре процессора UltraSPARC-II, 400 МГц, 8 Мбайт кеша, 2 Гбайт оперативной памяти

Удар сказался и на Amazon. Теоретически, крах доткомов мог бы стать основанием для пересмотра договоров с Sun в более выгодную для Amazon сторону, но Безос выбрал более радикальный вариант. Вся инженерная часть компании была брошена на проект по переводу ИТ-инфраструктуры с Sun/SunOS на серверы HP, работающие под управлением Linux. По меркам 2000 года это было довольно смелое предприятие: ядро Linux 1.0.0 появилось лишь в 1994 году и ещё не успело снискать славы как основа для надёжной серверной системы.

Проект занял все силы Amazon. Разработка всех новых продуктов была приостановлена, успех означал снижение стоимости ИТ-инфраструктуры на 80% и более, но неудача грозила смертью компании. И к такому состоянию компания была близка в период 2000-2003 годов. Однако, как рассказывает Роуз, переход на Linux увенчался успехом и сайт вновь заработал надёжно; более того, выяснилось, что в распоряжении Amazon теперь имеется легко масштабируемая практически до бесконечности инфраструктура.

Linux 1.0.0, 1994 год

Как крупная торговая сеть, Amazon сталкивалась с сезонными пиками и падениями спроса, которые соответствующим образом отражались и на загрузке серверного оборудования. Если в период рождественских и новогодних праздников она была максимальной, то в остальное время года часть оборудования неизбежно простаивала. У основателя компании, Джеффа Безоса, родилась логичная мысль: почему бы не сдать эти мощности в аренду другим компаниям?

Этот момент и следует считать началом зарождения облачных служб AWS, какими мы их знаем сегодня. Переход на Linux сделал ИТ-инфраструктуру Amazon проще и однороднее, а крах доткомов для ряда сегментов сделал арендную модель существенно более выгодной, нежели строительство собственных ЦОД. По всей видимости, идея «облаков» зародилась бы и без Amazon, но, как считает Роуз, неизвестно, насколько позже это могло бы произойти в альтернативной истории.

AWS Graviton2: 64 ядра, 32 Мбайт L3, ARM Neoverse N1

AWS Graviton2: 64 ядра, 2,5 ГГц, 32 Мбайт L3, ARM Neoverse N1

Сегодня AWS — огромный бизнес, предоставляющий массу самых разнообразных ИТ-услуг. Возможно, очередная смена эпох и закат x86 на за горами: в распоряжении компании имеется собственный процессор Graviton2 на базе архитектуры ARM, но системы на его основе в любом случае будут функционировать под управлением Linux. Впрочем, с ростом популярности SaaS, managed-сервисов и serverless-решений конечному потребителю всё менее важно, на каком именно программно-аппаратном стеке работают системы.

Постоянный URL: http://servernews.ru/1031172
26.01.2021 [00:54], Андрей Галадей

Война лицензий: Amazon Web Services делает свободный форк Elasticsearch и Kibana

Компания Amazon создаcт собственный вариант платформы для поиска и анализа данных — форк Elasticsearch от компании Elasticsearch BV. Суть в том, что оригинальный проект будет переведён под лицензию SSPL (Server Side Public License), которая не отвечает требованиям предыдущей лицензии Apache 2.0, с одновременным сохранением собственной лицензии Elastic License.

По мнению Open Source Initiative, SSPL не является открытой. Если говорить упрощённо, то дело в том, что SSPL позволяет бесплатное и неограниченное использование ПО, а также его модификацию. Однако есть простое требование — если разработчик предоставляет продукт как услугу, то любые модификации, а также исходный код также наследует эту лицензию.

medium.com

medium.com

В Amazon же хотят оставить свой форк под свободной лицензией. Под ней же будет работать Kibana — платформа для визуализации данных. В рамках форка будет развиваться дистрибутив Open Distro for Elasticsearch, который является своеобразной надстройкой над Elasticsearch. Код будет находиться на GitHub. Новый дистрибутив будет использоваться в Amazon Elasticsearch Service.

Это не первая подобная смена лицензии в рамках крупного проекта с открытым исходным кодом. Например, в 2018 году MongoDB отказалась от AGPLv3 в пользу SSPL, а CockroachDB в 2019-ом перешла от Apache 2.0 к Business Source License (BSL). В обоих случаях основным мотивом стало предоставление продуктов в виде SaaS или managed-решений сторонними облачными провайдерами.

Формально исходные лицензии при этом не нарушались, однако никакой пользы проектам эти провайдеры не приносили. Смена лицензии, как правило, не слишком позитивно встречается сложившимся вокруг проекта сообществом, а создание форков размывает усилия разработчиков. Увы, универсального решения для подобных ситуаций, вероятно, так и не будет придумано.

Постоянный URL: http://servernews.ru/1030980
13.01.2021 [19:12], Юрий Поздеев

Aruba поможет автоматизировать подключение филиалов к облаку при помощи AWS Transit Gateway Connect

Aruba представила новые возможности своих решений SD-WAN (в которые входят Aruba SD-Branch и Silver Peak Unity EdgeConnect) по подключению филиалов к Amazon Web Services (AWS) через Transit Gateway Connect. Тесная интеграция решений Aruba SD-WAN и AWS позволяют организациям, использующим виртуальные частные облака Amazon (Amazon VPC) автоматизировать подключение, обеспечивая стабильную производительность сетевых решений.

Скорость, безопасность и простота подключения — вот, по словам Aruba, основные преимущества новых возможностей SD-WAN.  Дополнительно компания отмечает следующие важные улучшения для компаний с множеством филиалов:

  • Использование AWS Transit Gateway совместно с Aruba позволяет ИТ-подразделениям компаний экономить бюджет, поскольку автоматизирует подключение филиалов к ближайшему шлюзу AWS Transit Gateway. ИТ-службам больше не нужно вручную настраивать маршрутизацию VPC, что обеспечивает гибкость в управлении трафиком и подключениями.
  • Автоматизация и оркестрация подключений обеспечивает согласованную работу VPC, при этом AWS Transit Gateway служит концентратором, объединяя виртуальные частные облака AWS, расположенные в разных регионах, оптимизируя подключения между филиалами.
  • Виртуальные шлюзы Aruba и Silver Peak unity EdgeConnect позволяют клиентам сократить время на настройку филиальных сетей.

Aruba приводит пример удачного кейса компании Verisk Analytics, которая перенесла все свои основные рабочие процессы в облако, обеспечив бесперебойную работу своих сотрудников по всему миру. Используя решение Aruba SD-Branch с шлюзом AWS Transit Gateway, Verisk объединила все свои филиальные сети в единую архитектуру, что позволило упростить управление и улучшило доступность сети. Все вместе это помогло компании Verisk значительно экономить за счет отказа от собственных физических центров обработки данных, перенеся все нагрузки в AWS.

Новые возможности Aruba SD-WAN для AWS Transit Gateway уже доступны для использования и развертывания.

Постоянный URL: http://servernews.ru/1029991
13.01.2021 [14:34], Владимир Мироненко

AWS предупредила персонал об угрозе взрыва дата-центров

Компания Amazon предупредили персонал центров обработки данных о необходимости «проявлять бдительность» в отношении угроз для объектов и инфраструктуры после решения AWS прекратить оказывать услуги хостинга социальной сети Parler. В письме, направленном сотрудникам ЦОД вице-президентом AWS по управлению инфраструктурой Крисом Вондерхаром (Chris Vonderhaar), с которым ознакомился ресурс Business Insider, компания просит сотрудников сообщать о любой подозрительной деятельности.

«Мы все должны [быть] бдительными в течение этого времени, чтобы обеспечить безопасность друг друга и наших объектов, — говорится в электронном письме. — Если вы что-то заметили, сообщайте — любая такая ситуация или проблема не является слишком маленькой или незначительной». Вондерхаар отметил, что Amazon «внимательно следит за гражданскими беспорядками в Соединённых Штатах», и её облачное подразделение внесло ряд изменений, чтобы «обеспечить безопасность местных команд и объектов, включая центры обработки данных».

В целях безопасности компания также сделала понедельник и вторник «заблокированными днями» в некоторых регионах США. Это означает, что сотрудники не смогут в эти дни вносить важные обновления или изменения в продукты без одобрения высшего руководства. Этот шаг был предпринят после того, как в воскресенье Amazon сообщила платформе социальной сети Parler, что больше не будет предоставлять ей услуги хостинга. Впрочем, ещё до этого события стали появляться угрозы взрыва ЦОД AWS.

Постоянный URL: http://servernews.ru/1029961
06.01.2021 [22:27], Владимир Мироненко

Amazon потеряла права на бренд AWS в Поднебесной, но попытается обжаловать решение суда

В конце 2020 года стало известно о том, что компании Amazon запретили использовать логотип и торговую марку своего облачного сервиса AWS в Китае. Как сообщает ресурс The Wall Street Journal, муниципальный суд Пекина постановил, что товарный знак AWS принадлежит базирующейся в Пекине компании ActionSoft Science & Technology Development Co., которая тоже занимается облачными решениями, и что Amazon не может использовать это название и аналогичные логотипы в Китае.

Суд также обязал Amazon выплатить ActionSoft 76,5 млн юаней (около $11,8 млн) в качестве компенсации ущерба. Сообщается, что суд вынес постановление в мае, но не публиковал его до 30 декабря, что не является чем-то необычным для китайских судов.

По данным WSJ, ActionSoft подала в суд на Amazon в 2018 году, обвинив американскую компанию в нарушении прав на товарный знак и потребовав компенсации в размере $46 млн. Китайская фирма зарегистрировала товарный знак для своего собственного подразделения облачных вычислений AWS в 2004 году, примерно за восемь лет до того, как Amazon зарегистрировала в Китае свой товарный знак AWS с логотипом. Однако фактически Amazon использует свой бренд AWS с 2002 года.

Представитель Amazon заявил, что компания «категорически не согласна» с этим решением и подала апелляцию в Верховный народный суд Китая. Во вторник на китайском веб-сайте Amazon Web Services всё ещё оставалось название AWS, но внизу страницы было размещено примечание, в котором говорится, что это является аббревиатурой от Amazon Web Services, а не торговой маркой.

Для Китая такая ситуация является нормой — местные компании (не всегда умышленно и не только в области IT) регистриуют торговые марки, за передачу прав на которые при попытке зарубежных игроков выйти на китайский рынок требуют солидные суммы. Так, в 2012 году у Apple запросили порядка $1,5 млрд за право на бренд iPad. В итоге стороны сошлись на куда более скромной, но всё же существенной сумме в $60 млн.

Для Amazon же потеря прав на лого в Китае хоть и неприятна, но вряд ли станет причиной для сворачивания деятельности. На китайском облачном рынке в настоящее время доминируют местные фирмы, и AWS является здесь сравнительно небольшим игроком. По данным IDC, AWS была пятым по величине поставщиком облачных услуг в Китае в первой половине 2020 года с долей рынка 7,2 %. Лидирует на рынке Alibaba, за нею следуют Tencent, Huawei и China Telecom.

Постоянный URL: http://servernews.ru/1029420
30.12.2020 [16:24], Сергей Карасёв

Платформа AWS IoT EduKit поможет в разработке IoT-приложений на базе сервисов Amazon

Представлено программно-аппаратное решение AWS IoT EduKit, предназначенное для создания приложений Интернета вещей с использованием сервисов облака AWS. Изделие выполнено на чипе Espressif ESP32-D0WDQ6-V3. Говорится о наличии 8 Мбайт памяти PSRAM. Для хранения данных может быть задействована карта microSD вместимостью до 16 Гбайт.

Устройство оборудовано небольшим IPS-дисплеем. Эта 2" панель с разрешением 320 × 240 пикселей поддерживает сенсорное управление, что реализовано за счёт контроллера FT6336U.

Оснащение включает миниатюрный 1-ваттный динамик, микрофон, порты USB Type-C и USB Type-А. Предусмотрены адаптеры беспроводной связи Wi-Fi (диапазон 2,4 ГГц) и Bluetooth.

Устройство заключено в корпус с габаритами 54 × 54 × 24 мм, а вес составляет приблизительно 100 г. Имеется встроенная аккумуляторная батарея ёмкостью 500 мА·ч. 

Постоянный URL: http://servernews.ru/1029103
24.12.2020 [14:28], Юрий Поздеев

ИИ-инструменты NVIDIA доступны в магазине приложений AWS

2020 год запомнится многим не только пандемией COVID-19, но и ростом роли искусственного интеллекта (ИИ), который стал повсеместно использоваться в фармацевтической и нефтегазовой отрасли, в научно-исследовательских лабораториях, банковской сфере и многих других отраслях, где требуется глубокий анализ данных. Облачные сервисы – второй по популярности тренд 2020 года. Многие предприятия перенесли свои рабочие нагрузки в облака, а разработчики уже давно используют облачные сервисы, например, Amazon Web Services (AWS) для проектирования систем ИИ.

Одним из основных поставщиков решений для ИИ является NVIDIA, графические ускорители (GPU) которой используются в большинстве задач по анализу и обработке данных. NVIDIA предлагает инструменты для разработки приложений и готовые решения, которые упрощают процесс интеграции ИИ в такие отрасли, как распознавание речи, робототехника, построение теоретических моделей и многие другие.

NVIDIA и AWS объявили о партнерстве, предложив инструменты NVIDIA в магазине приложений AWS. Портфолио включает 21 бесплатный инструмент для помощи в создании ИИ-приложений с использованием GPU. Подобные инструменты особенно востребованы в здравоохранении, финансах, розничной торговле, построении систем умных городов и других применениях, где используется ИИ.

NVIDIA предлагает ПО с ускорением на GPU в своем каталоге NVIDIA GPU-optimize cloud (NGC) с 2017 года и некоторые отдельные инструменты были доступны в магазине приложений AWS, однако это первый случай, когда в AWS будут размещены все инструменты NVIDIA. Но как это реализовано?

NGC включает контейнеры с ПО, которое изначально оптимизировано для работы в облачных инстансах с GPU, такими как Amazon EC2 P4d на базе новейшего процессора NVIDIA A100. Разработчики получают все необходимое в одном готовом контейнере, поэтому они могут легко перемещать рабочие GPU-нагрузки между платформами.

NVIDIA утверждает, что 250 тыс. пользователей уже загрузили более 1 млн контейнеров, предварительно обученных моделей, фреймворков приложений, диаграмм Helm и других ресурсов машинного обучения из каталога NGC. В список самых популярных среди разработчиков ПО для ИИ вошли следующие инструменты:

  • NVIDIA AI: набор фреймворков и инструментов, таких как MXNet и TensorFlow;
  • NVIDIA Clara Imaging: оптимизированная для предметной обработки изображений платформа, с возможностью глубокого обучения и логических выводов в медицинской отрасли;
  • NVIDIA DeepStream SDK: мультиплатформенное ПО аналитики для развертывания на периферии и в любом облаке;
  • NVIDIA HPC SDK: набор библиотек и программных инструментов для высокопроизводительных вычислений;
  • NVIDIA Isaak Sim ML Training: набор инструментов для машинного обучения в сфере робототехники, с применением нейронных сетей для обнаружения и распознавания объектов;
  • NVIDIA Merlin: открытая бета-платформа для создания крупномасштабных платформ машинного обучения, для выдачи рекомендаций;
  • NVIDIA NeMo: набор инструментов Python с открытым исходным кодом для построения ИИ-моделей разговорного языка;
  • RAPIDS: набор открытых библиотек и программного обеспечения для анализа данных.

Благодаря партнерству с AWS NVIDIA хочет ускорить процесс внедрения и распространения своих инструментов ИИ для более широкого круга клиентов. Разработчики получат простое в развертывании ПО, снижение сложности проектируемых систем и единый магазин приложений со всеми необходимыми инструментами.

Постоянный URL: http://servernews.ru/1028645
21.12.2020 [21:29], Андрей Галадей

Стандарт LoRa получил новые спецификации и поддержку со стороны AWS IoT Core

Технология LoRa уже который год является одним из самых распространенных протоколов с низким энергопотреблением и большой зоной покрытия. Она используется во встраиваемых системах, датчиках «умного дома» и так далее. Карта нынешнего распространения выглядит так:

embedded.com

embedded.com

Недавно в рамках стандарта появился новый пакет спецификаций LoRaWAN TS1-1.0.4 Link Layer (L2) Specification, содержащий несколько элементов, которые вместе определяют эталонную реализацию для разработки готового продукта. В комплекте есть описание аппаратных и программных требований, инструменты тестирования и многое другое.

cnx-software.com

cnx-software.com

Наконец, на этот стандарт обратила внимание и облачная служба Amazon AWS. На прошлой неделе компания заявила о поддержке AWS IoT для LoRaWAN. Это означает, что облака теперь можно использовать для работы систем «Интернета вещей». Кроме того, это ускорит разработку приложений под IoT-системы.

Использование облака позволит объединить шлюзы IoT-систем между собой, централизовав управление и работу со всеми «умными» устройствами. Подробнее о подключении IoT-систем к облакам Amazon можно узнать здесь.

Постоянный URL: http://servernews.ru/1028380
16.12.2020 [21:06], Андрей Галадей

Облако на кончиках пальцев — в AWS появилась веб-консоль CloudShell

Иногда бывает, что нужно быстро проверить или изменить файл конфигурации, внести исправления или поэкспериментировать с некоторыми новыми сервисами или функциями AWS. Однако использование развесистого веб-интерфейса не всегда оправдано, хотя в большинстве случаев его хватает. Но теперь появилась поддержка интерфейса командной строки (CLI) для AWS, так что администраторам, которые привыкли к консоли, будет легче.

Оболочка CloudShell позволяет управлять сервисами AWS из терминала, писать скрипты и так далее. Веб-консоль доступна прямо в личном кабинете. Она поддерживает изменение тем оформления (тёмная/светлая) и размера шрифтов (пять размеров на выбор). Есть поддержка вкладок и сеансов с разделением окна по горизонтали и вертикали. Тайм-аут каждого сеанса составляет 20 минут, однако сеанс можно перезапустить без повторной авторизации. Поддерживается загрузка и выгрузка файлов на локальный ПК.

Среда оболочки основана на Amazon Linux 2, работающем в небольшом инстансе (1 vCPU, 2 Гбайт RAM). Там можно хранить до 1 Гбайт данных в домашнем каталоге, устанавливать в него же пакеты по необходимости, работать как обычный непривилегированный пользователь или через sudo. Прочие изменения за пределами домашнего каталога не сохраняются, а неиспользуемые данные удаляются через 120 дней. Предустановлены Python с pip, Node с npm, а также Bash, PowerShell, jq, git, ECS CLI, SAM CLI.

Одновременно можно бесплатно использовать до 10 оболочек в каждом облачном регионе. Оплата идёт только за другие ресурсы AWS, которые используются совместно с CloudShell. Аналогичные решения уже несколько лет предлагаются в Microsoft Azure и Google Cloud Platform, причём в обоих случаях пользователю доступно 5 Гбайт места для постоянного хранения данных.

Постоянный URL: http://servernews.ru/1028007
16.12.2020 [01:22], Андрей Галадей

У FreeRTOS появилась долгосрочная поддержка LTS-релизов от AWS

Операционная система FreeRTOS получила версию с длительной поддержкой от AWS. Эта ОС предназначена для встраиваемых систем и микроконтроллеров и представляет собой софт с открытым исходным кодом. Она упрощает программирование, развертывание, защиту, подключение и управление для небольших периферийных устройств с низким энергопотреблением.

freertos logo

Как утверждается, релизы версий LTS будут более стабильными, чем обычные, что должно увеличить надёжность системы в целом. Длительная поддержка будет добавлена не только ядру системы, но и сопутствующим библиотекам для Интернета вещей, включая TCP, coreMQTT, coreHTTP, corePKCS11, coreJSON и AWS IoT Device Shadow.

Что касается сроков поддержки, то для FreeRTOS 202012.00 она продлится как минимум до 31 декабря 2022 года. Исходники системы доступны на GitHub.

Постоянный URL: http://servernews.ru/1027929
Система Orphus