Материалы по тегу: aws

18.09.2021 [12:08], Сергей Карасёв

AWS запустила инстансы VT1 на базе FPGA Xilinx Alveo U30 для транскодирования видео

Облачная платформа Amazon Web Services (AWS) сообщила о запуске инстансов Amazon EC2 VT1, предназначенных для многопоточного транскодирования видеоматериалов в режиме реального времени. Услуга, как ожидается, будет востребована среди создателей контента, стримеров и пр.

Система работает на базе FPGA-ускорителей Xilinx Alveo U30. Это карта расширения PCIe в однослотовом исполнении с энергопотреблением 40 Вт. Она способна осуществлять одновременное транскодирование до двух потоков в формате 4K со скоростью 60 к/с.

AWS заявляет, что применение ускорителей Xilinx Alveo U30 позволяет на 30 % сократить затраты в расчёте на один поток по сравнению с вычислениями на базе GPU. Если же сравнивать с обработкой на основе CPU, то выигрыш в стоимости достигает 60 % в расчёте на один поток.

Реализована поддержка кодеков H.264/AVC и H.265/HEVC. Предлагаются варианты с использованием одного, двух и восьми ускорителей Xilinx Alveo U30 с возможностью одновременной обработки соответственно 8, 16 и 64 потоков в формате 1080p60.

Постоянный URL: http://servernews.ru/1049338
09.09.2021 [22:06], Алексей Степин

Анонсирована компактная платформа машинного зрения Lenovo ThinkEdge SE70

Сама специфика периферийных вычислений предъявляет к платформам этого класса особые требования: компактность, экономичность и повышенная защищённость от факторов среды. Новая платформа Lenovo ThinkEdge SE70 удовлетворяет всем современным требованиям и ориентирована на применение в системах машинного зрения нового поколения.

Само по себе машинное зрение (computer vision, CV) не является новой технологией, но лишь сравнительно недавно вычислительные технологии стали достаточно продвинутыми, чтобы развёртывать такие системы непосредственно на месте, без организации отдельного помещения с серверами. В настоящее время CV переживает настоящий бум; так, если верить опросам IDG, свыше 95% респондентов считают, что внедрение машинного зрения может повысить доходы, либо сэкономить время и ресурсы.

Новая система Lenovo ThinkEdge SE70 создана специально с прицелом на использование в CV-системах. В данном случае архитектура x86 не используется, хотя она и встречается в некоторых платформах для периферийных вычислений. Вместо этого сердцем ThinkEdge SE70 стал модуль NVIDIA Jetson Xavier NX, очень компактный, но при этом достаточно мощный.

Центральный процессор системы имеет шесть 64-бит ядер общего назначения с микроархитектурой Carmel (ARMv8.2), 384 графических ядра Volta и 48 тензорных ядер. В задачах распознавания образов, где широко используется формат INT8, его производительность оценивается в 21 Топс. Хотя процессор использует не самый новый 12-нм техпроцесс, конструкция ThinkEdge SE70, имеющая массивное оребрение корпуса, позволяет обойтись пассивным охлаждением, что для edge-платформы важно.

Для совсем уж суровых условий новинка не подойдёт, поскольку имеет лишь сертификат защиты IP51, но пыли или конденсата она не испугается и сможет работать в диапазоне температур от -20 до +60 °C. При этом поддерживается питание от любого источника постоянного тока с напряжением от 9 до 48 В. Стандартная сетевая подсистема представлена двумя портами 1GbE, а также последовательным портом и шинами CAN/DIO. Число сетевых портов можно нарастить до 8, причём с поддержкой PoE.

Lenovo ThinkEdge SE70 создавалась в содействии с Amazon Web Services, которая активно продвигает собственные наработки в области машинного зрения, в частности, программную платформу Panorama. Система будет поставляться с предустановленным SDK, позволяющим быстро превратить обычные IP-камеры в «умные». Начало поставок новой CV-платформы намечено на первую половину следующего года.

Постоянный URL: http://servernews.ru/1048695
09.09.2021 [21:17], Андрей Галадей

AWS будет закупать у Mitsubishi солнечную электроэнергию

Компания Amazon подписала с японской компанией Mitsubishi соглашение о закупке солнечной электроэнергии для облачных дата-центров AWS. Суммарная мощность, собираемая с 450 точек установки солнечных панелей в Токио и регионе Тохоку, составит около 22 МВт. Инфраструктура заработает в 2022-23 гг., и, как ожидается, сможет вырабатывать порядка 23 тыс. МВт·ч в год .

В Японии этот проект станет первым и крупнейшим межкорпоративным проектом по выработке и закупке солнечной электроэнергии. Он позволит ускорить переход Amazon к возобновляемой энергетике, хотя компания полностью планирует перейти на неё только к 2030 г. Ожидаемый срок окупаемости составляет 10 лет, причём с владельцев недвижимости, которые будут устанавливать батареи, будут взимать плату за установку оборудования в обмен на возможность продажи энергии Amazon.

energy.asia

energy.asia

Amazon является крупнейшим корпоративным покупателем возобновляемой энергии как в США, так и в Европе, с инвестициями в возобновляемые источники энергии: более 10 ГВт в 232 проектах по всему миру. В Азии у компании есть ещё два аналогичных проекта по закупке солнечной энергии — на 50 МВт в Сингапуре и 100 МВт в Китае.

Постоянный URL: http://servernews.ru/1048663
25.08.2021 [01:47], Андрей Галадей

Amazon EC2 исполнилось 15 лет

Сейчас у Amazon Web Services (AWS) есть 81 зона доступности в 25 облачных регионах, а на подходе ещё 21 зона и 7 регионов. Но поначалу всё было гораздо скромнее. 15 лет назад, вслед за появлением Amazon S3, состоялся запуск первой бета-версии Amazon ЕС2. Этот сервис позволяет арендовать виртуальный сервер (инстанс) с предварительно сконфигурированным образом ОС и ПО. Первоначально проект назвали Amazon Execution Service, имя Elastic Compute Cloud появилось позднее. Сейчас в AWS есть более 400 различных видов инстансов, но «классических» EC2 среди них уже нет.

На первом этапе Amazon ЕС2 имел единственный облачный регион (в Северной Вирджинии), где предлагался только один тип инстанса. На выбор был небольшой набор готовых ядер Linux, а IP-адреса выделялись при запуске инстансов. Для хранения использовался S3, а сами инстансы работали на базе Хеп. Все хранилища были временными, то есть существовали, пока работал сам инстанс. Такая схема позволила создать минималистичный сервис, который обрастал функциями в зависимости от внутренних нужд и требований клиентов.

Важным отличием от других сервисов аренды серверов стала повременная система оплаты, впоследствии доведённая до посекундной тарификации. Это было шагом вперёд по сравнению с годичными или месячными подписками. Изначально Amazon не раскрывала, какие именно CPU лежат в основе ЕС2, хотя и говорила, что инстанс m1.small обеспечивает вычислительную мощность, эквивалентную процессору Intel Хеоп с частотой 1,7 ГГц.

В 2008 году появилась поддержка постоянного блочного хранилища Amazon EBS, а годом позднее — функция динамического масштабирования и возможность создать виртуальное частное облако. В 2017 году началось внедрение Nitro System с целью полной перестройки всей инфраструктуры виртуализации для повышения производительности и безопасности. А ещё через год компания представила собственные Arm-процессоры Graviton.

Постоянный URL: http://servernews.ru/1047481
17.08.2021 [17:56], Алексей Степин

В AWS появились инстансы M6i на базе Intel Xeon Ice Lake-SP

10-нм архитектура Intel Ice Lake пришла в серверный сегмент довольно поздно. Инстансы на базе новых процессоров анонсировали практически все крупные облачные провайдеры, но доступными для конечных пользователей они становятся не сразу. Вчера были представлены инстансы Amazon EC2 M6i.

Пожалуй, первое, что стоит отметить — обязательное шифрование содержимого оперативной памяти во всех инстансах M6i. Сама компания позиционирует M6i как шестое поколение, по соотношению цена/производительность опережающее пятое поколение инстансов минимум на 15%. Во всех случаях в аппаратной части используются Xeon c турборежимом 3.5 ГГц.

Основные особенности Xeon Ice Lake-SP

Основные особенности Xeon Ice Lake-SP

Заказчикам предлагаются различные варианты, с количеством vCPU от 2 до 128 и пулами оперативной памяти объёмом от 8 до 128 Гбайт (4 Гбайт на vCPU). Производительность сетевой подсистемы и хранилища Amazon Elastic Block Store варьируется в зависимости от размера инстанса, в предельном случае составляя 50 и 40 Гбит/с соответственно. Также отмечается возросшая на 20% производительность подсистемы памяти (напомним, новые Xeon имеют 8 каналов памяти и поддерживают DDR4-3200).

Сочетание характеристик делает M6i подходящими практически для любой задачи — в качестве веб-серверов, серверов приложений, систем контейнеризации и т.д. Компания отдельно отмечает наличие для них сертификации SAP. Подойдут новые инстансы и для некоторых HPC-нагрузок, например, для расчётов в области вычислительной гидродинамики (CFD).

Пока шестое поколение инстансов не имеет bare metal версии с выделенными серверами и гарантированно низкой латентностью сети, но такой вариант запланирован на ближайшее будущее. Стоит отметить, что теперь AWS несколько изменила схему наименований инстансов. После номера поколения теперь идёт литера, обозначающая тип процессора — «i» для решений Intel, «a» для AMD EPYC и «g» для систем на базе процессоров AWS Graviton.

Постоянный URL: http://servernews.ru/1046903
06.08.2021 [23:52], Андрей Галадей

AWS Nitro позволяет практически уравнять производительность облачных инстансов и bare-metal систем

Высокопроизводительные вычисления (HPC) отличаются тем, что приложения как правило хорошо оптимизированы для достижения максимальной производительности на платформе. Само собой, при переносе их в облако AWS возникает вопрос: не будет ли система работать медленнее? В Amazon утверждают, что нет.

Как сообщается в блоге компании, гипервизор AWS Nitro может быть сравним по производительности с «голым» железом. AWS Nitro представляет собой комбинацию специально созданного оборудования и программного обеспечения, предназначенного для максимизации производительности и безопасности. Инстансы последнего поколения, которые включают, к примеру, c5, c5n, m5zn, c6gn и многие другие, основаны именно на Nitro.

При этом Nitro включает сразу несколько компонентов, среди которых главными являются DPU, выделенный чип безопасности с аппаратным RoT и легковесный гипервизор. Это позволяет разгрузить центральный процессор, поскольку теперь доступ к сети и ресурсам, вопросы безопасности и прочее зависят от выделенных аппаратных контроллеров. А гипервизор управляет только распределением памяти и вычислительных ресурсов.

Благодаря такой архитектуре, у хостов больше нет прямого доступа к другим ресурсам AWS — он есть только у DPU. В гипервизоре тоже есть только необходимые функции, и он используется только при работе с конкретным инстансом — если нет нагрузки, то система просто ждёт, а не выполняет даже фоновые задачи. Наконец, микросхемы безопасности Nitro обеспечивают проверку и контроль безопасности на аппаратном уровне.

Архитектура Nitro позволяет AWS предлагать инстансы, которые дают прямой доступ к «голому железу» хоста. На выходе всё это обеспечивает производительность практически на уровне обычного «железа», поскольку ресурсы почти не тратятся на другие задачи. В тесте Amazon оказалось, что два сервера одинаковой конфигурации: Intel Xeon Platinum с 18 ядрами и частотой до 3,5 ГГц, подключением 100 Гбит/сек и адаптером Elastic Fabric работают почти одинаково. При этом только один их них «крутил» гипервизор Nitro.

Для проверки применялись популярные HPC-тесты в области прогнозирования погоды (WRF), вычислительной гидродинамики (OpenFOAM), молекулярной динамики (GROMACS) и High Performance Linpack (HPL). Как оказалось, разница в производительности между системой с гипервизором Nitro (c5n.18xlarge) и bare-metal (c5n.metal) незначительна и не превышает 1%.

Постоянный URL: http://servernews.ru/1046157
04.08.2021 [14:38], Владимир Мироненко

AWS выведет из эксплуатации «классические» EC2-инстансы

Amazon Web Services (AWS) объявила об отказе от EC2-Classic, самой первой версии EC2-инстанса. «EC2-Classic сослужил нам хорошую службу, но мы собираемся подарить ему золотые часы и заслуженные проводы!», — сказал Джефф Барр (Jeff Barr), один из основателей AWS. Сервис Elastic Compute Cloud (EC2), запущенный в 2006 году, был одним из первых продуктов в портфолио AWS.

Инстансы EC2-Classic работают в единой плоской сети, совместно используемой с другими клиентами, тогда как современные инстансы EC2 работают изолированно. Компания намерена отключить EC2-Classic для учётных записей AWS, у которых нет активных ресурсов этого типа, 30 октября 2021 года. С этого момента компания также прекратит продажу зарезервированных инстансов EC2-Classic.

Учётные записи, созданные после декабря 2013 года, не поддерживают EC2-Classic, если только они не были специально включены по запросу пользователя. Это означает, что отказ от эксплуатации EC2-Classic повлияет только на очень давних клиентов AWS. Как ожидается, к августу 2022 года миграция на новые EC2-инстансы будет завершена, и в любой учетной записи AWS не останется ресурсов EC2-Classic. «Мы не планируем нарушать какие-либо рабочие нагрузки и сделаем все возможное, чтобы помочь вам уложиться в эти сроки», — пообещал Барр.

Постоянный URL: http://servernews.ru/1045938
01.08.2021 [23:45], Владимир Агапов

Австралийский университет RMIT получит облачный суперкомпьютер на базе AWS

Благодаря расширению присутствия гиперскейлеров в различных регионах мира всё больше пользователей могут быстро получать облачные ресурсы по требованию, вплоть до кластера для высокопроизводительных вычислений (HPC). Наиболее развитые сервисы предлагают лидеры рынка, такие как Amazon, Google и Microsoft. Широкомасштабная обкатка технологий компонуемых суперкомпьютеров на их площадках началась пару лет назад, а в этому году такой облачный кластер уже занял 41 место в рейтинге TOP500.

Новой вехой в наступлении эры облачных суперкомпьютеров стал проект Королевского института Мельбурна (RIMT) по развёртыванию специализированной системы на платформе AWS для расширения своих образовательных и исследовательских возможностей. Вычислительные ресурсы будут выделены исследователям и студентам отраслевых центров института по следующим направлениям: Индустрии 4.0, космос, финтех, цифровое здравоохранение и креативные технологии.

rmit.edu.au

rmit.edu.au

RMIT будет использовать AWS Direct Connect для высокоскоростных выделенных сетевых подключений напрямую к дата-центру Amazon, чтобы исследователи, студенты, сотрудники и промышленные партнеры получили эффективные возможности анализа больших массивов данных, необходимых в их экспериментах. Это позволит RIMT сократить время необходимое на прохождение всех этапов разработки новых продуктов — от концепции до готовых рыночных решений.

Также RIMT намерен привлечь провайдера AARNet, который предоставит «широкие» интернет-каналы, и компанию Intel, в портфеле которой имеются передовые решения для обработки, оптимизации, хранения и перемещения больших и сложных массивов данных. Похожий проект есть у метеослужбы Великобритании, которая получит гибридный суперкпомпьютер, часть которого будет работать в облаке Microsoft Azure.

itpro.co.uk

itpro.co.uk

По словам вице-президента по цифровым инновациям RMIT, профессора Александра Субика (Aleksandar Subic), HPC-решения на базе AWS дадут «практически неограниченную» вычислительную мощность, которая отвечает требованиям к инфраструктуре большинства приложений. Проект RMIT, создаваемый при поддержке Инвестиционного фонда высшего образования правительства штата Виктория, станет первым в Австралии облачным суперкомпьютерным комплексом и передовым примером инноваций в академическом секторе.

Центр цифровых инноваций и школа компьютерных технологий были открыты RMIT в прошлом году для поддержки исследований мирового уровня и осуществления образовательных программ в области науки, технологий, инженерии и математики и технологий. Центр будет поддерживать разработку и эксплуатацию облачного суперкомпьютера, а его управлением займутся сами исследователи и студенты. В числе первых задач для него значатся секвенирование генома и моделирование атмосферных процессов.

Постоянный URL: http://servernews.ru/1045702
30.06.2021 [16:05], Владимир Агапов

Облачный суперкомпьютер Descartes Labs на платформе AWS занял 41 место в рейтинге TOP500

Descartes Labs, занимающаяся автоматизацией анализа данных дистанционного зондирования Земли, смогла развернуть, при сотрудничестве с AWS облачную HPC-систему производительностью 9,95 Пфлопс. Нарастить вычислительную инфраструктуру без ущерба для производственных процессов компании позволили инстансы Amazon Elastic Compute Cloud (EC2), кластер которых образовал суперкомпьютер по требованию на 172,692 ядрах Intel Xeon Scalable.

Mike Warren

Благодаря эластичности EC2, компания также протестировала в HPL (High Performance LINPACK) и другие размеры кластера мощностью от 1 Пфлопс. Для итогового теста понадобилось 9 часов. Отмечается, что нагрузка, генерируемая HPL, приближена к реальным задачам, которые решаются Descartes Labs при анализе спутниковых снимков. Так что это не тест ради теста, и есть все основания ожидать, что продемонстрированная производительность позволит компании обрабатывать петабайты данных о Земле и предоставлять необходимую клиентам аналитику практически в реальном масштабе времени.

Возможность построить суперкомпьютер в облаке открывает новый путь для обработки больших объёмов данных и решения задач планетарного масштаба. Основным его достоинством является гибкость системы, которая оптимально соответствует сложности проводимой работы и использует для этого ровно столько ресурсов, сколько необходимо. Для создания классического суперкомпьютера требуются специальные знания, годы планирования, долгосрочная приверженность конкретной архитектуре и десятки миллионов долларов инвестиций.

В облачном суперкомпьютере клиенту достаточно приобрести необходимые ресурсы на определённое время и можно сразу же приступать к решению задачи. По словам Майка Уоррена, технического директора Descartes Labs, доступ к узлам в регионе AWS US-East 1 обошёлся компании примерно в $5000, в то время как стоимость оборудования для построения вычислительной системы подобной мощности составила бы порядка $25 млн., не говоря уже о времени на её создание.

Descartes Labs была основана в 2014 году выходцами из Лос-Аламосской национальной лаборатории (LANL). Компания начала использовать платформу AWS в 2019 году, сумев достигнуть производительности 1,93 ПФлопс. Новый рекорд был поставлен на временно свободных мощностях EC2 в течение 48 часов в начале июня. Сначала авторы сделали тесты на малом кластере из 1024 инстансов, а потом развернули кластер из 4096 инстансов C5, C5d, R5, R5d, M5 и M5d.

«Сегодня мы используем облако для анализа наборов данных наблюдения Земли на петамасштабах, в частности, выходя за рамки только оптических изображений и переходя к более специфическим видам наблюдения Земли, такими как радар, InSAR и данные AIS», — сказал Майк. Он также отметил важность инвестиций в сетевые технологии, без которых создание подобных HPC-кластеров в облаке было бы невозможно.

Ранее Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube в публичных облаках «большой тройки» было проведено два эксперимента по созданию временных сверхкрупных кластеров для расчётов. В первом удалось задействовать более 50 тыс. ускорителей NVIDIA, а во втором исследователи, основываясь на полученных ранее данных, использовали уже наиболее выгодные и эффективные инстансы. Правда, специфика задачи была такова, что не требовала действительно быстрого интерконнекта.

Облачная служба Microsoft Azure ещё в прошлом году показала кластер производительностью 5 Пфлопс, узлы которого были объединены посредством InfiniBand. А уже в этом сразу четыре новых кластера на базе инстансов NDv4 в разных облачных регионах заняли места c 26 по 29 в свежем рейтинге TOP500 — производительность каждого составила 16,6 Пфлопс.

Постоянный URL: http://servernews.ru/1043149
24.06.2021 [23:46], Владимир Мироненко

Конкурс AWS BugBust Challenge призван устранить 1 млн ошибок в ПО

Облачная служба Amazon Web Services анонсировала конкурс AWS BugBust Challenge — первый в мире глобальный конкурс для разработчиков, который позволит общими усилиями устранить 1 млн ошибок в программном обеспечении. Разработчики со всего мира смогут присоединиться к конкурсу, создав событие AWS BugBust для своей организации в консоли Amazon CodeGuru, и побороться за призы и признание среди коллег, выявляя и исправляя ошибки в своих приложениях.

Официальная цель состязания — не только сообща устранить 1 млн ошибок, но и избавиться от технического долга, который тянет на $100 млн. Наиболее активные участники могут получить эксклюзивные призы и шанс на оплачиваемую поездку для участия в AWS re: Invent 2021 в Лас-Вегасе. Естественно, таким образом компания хочет привлечь внимание не только к проблемному коду, но и к собственным продуктам.

Amazon CodeGuru — инструмент разработчика, который использует для выявления ошибок и поиска самых важных строк кода в приложениях. Сервис помогает автоматизировать проверку кода и профилирование приложений с помощью CodeGuru Reviewer, который использует машинное обучение для выявления распространённых проблем в коде и предоставления конкретных рекомендаций по исправлению, и CodeGuru Profiler — для определения наиболее ценных строк кода, тоже с помощью машинного обучения.

Постоянный URL: http://servernews.ru/1042824
Система Orphus