Материалы по тегу: azure

03.12.2019 [17:34], Алексей Степин

Microsoft тестирует технологию Seagate Mach.2 в Azure и Exchange

У традиционных жёстких дисков есть трудноустранимый недостаток — низкая производительность при распараллеливании нагрузки. Это физическое ограничение, связанное с традиционным наличием лишь одной подвижной системы с магнитными головками.

Компания Seagate представила прототип жёсткого диска с двумя актуаторами ещё в 2018 году, и, похоже, разработка, наречённая Mach.2, сейчас сдаёт один из главных экзаменов, могущих определить её дальнейшую судьбу — Microsoft тестирует новые диски Seagate Exos 2x14 на предмет возможности использования их в облачных сервисах Azure и Exchange.

Прототип с Computex 2018: отчетливо виден второй набор «рук» с магнитными головками

Прототип с Computex 2018: отчетливо виден второй набор «рук» с магнитными головками

Любое усложнение механики может понизить надёжность, вот почему Microsoft проводит стресс-тестирование новых накопителей с использованием утилиты Exchange Server Jetstress, имитирующей высокую нагрузку на дисковую подсистему. Также проводятся тщательные тесты на линейных и случайных операциях, симулируются сценарии потокового вещания, резервного копирования и ряд других — самые разные типы нагрузок.

Преимущества технологии Mach.2: производительность двух HDD в корпусе одного

Преимущества технологии Mach.2: производительность двух HDD в корпусе одного

Как утверждает Аарон Огус (Aron Ogus), один из архитекторов Microsoft Azure, производительность ввода-вывода у новинки Seagate практически вдвое превышает показатели традиционных жёстких дисков с одним актуатором. Линейная скорость достигает 520 Мбайт/с ‒ это уровень твердотельных накопителей с интерфейсом SATA/SAS 6Gbps. Удельная производительность составляет 1,8× от показателя классического Seagate Exos той же ёмкости.

Технология позволяет практически вдвое повысить удельный показатель IOPS

Технология позволяет практически вдвое повысить удельный показатель IOPS

Логически Exos 2X14 выглядит, как два диска объёмом 7 Тбайт, и каждый из двух актуаторов имеет собственный LUN, благо протокол SAS такое допускает; впрочем, нужна поддержка со стороны контроллера.

Но у технологии есть свои ограничения. К примеру, количество пластин в накопителе должно быть чётным, а у дисков объёмом 16 Тбайт их 9 (у Exos 2X14 каждый актуатор обслуживает блок из 4 пластин). Также требуется определённая оптимизация клиентского ПО для получения максимального выигрыша в производительности. Большинство ответов на возможные вопросы касательно технологии Mach.2 даёт в отдельном документе.

Поддержка Mach.2 со стороны контроллеров есть, но пока неполная

Поддержка Mach.2 со стороны контроллеров есть, но пока неполная

В планах Seagate упоминалась возможность создания HDD с тремя и даже четырьмя актуаторами, но такие конструкции могут получиться слишком громоздкими и, как и отвергнутые некогда индустрией диски формата 3,5″ двойной высоты, они не станут популярными из-за несовместимости со стандартными дисковыми полками. Кроме того, пока остаётся открытым и вопрос с надёжностью дисков Mach.2 — для наработки соответствующей статистики потребуется определённое время.

Постоянный URL: http://servernews.ru/998982
22.11.2019 [23:46], Алексей Степин

SC19: Microsoft показала серверы Open CloudServer — сердце Azure

Мы уже рассказывали нашим читателям об инициативе Microsoft по запуску высокопроизводительной инфраструктуры в облачном сервисе Azure. Новые виртуальные машины компании предназначены для тех, кому требуются самые интенсивные вычисления.

Анонсом дело не ограничилось, и на SC19 компания продемонстрировала новое высокопроизводительное аппаратное обеспечение Azure на базе ускорителей NVIDIA и Graphcore.

Новые серверы Microsoft Azure являются частью инициативы Open Compute Project. Платформа называется Open CloudServer (изначально MS Project Olympus) и частично является открытой; код инструментария управления будет выкладываться на GitHub. Аппаратный дизайн открыт полностью, стандартизирован и его описание можно найти по вышеприведённой ссылке, а также на ресурсе MSDN

Открывает серию сервер Azure NDv2, самый крупный из новинок. Его высота обусловлена применением 8 ускорителей NVIDIA Tesla V100 в формате SXM2, каждый из которых снабжён солидным радиатором. Неудивительно, поскольку каждый такой чип может выделять до 300 ватт тепла.

Основным процессором в этих серверах выступает Xeon Platinum 8168 (24C/48T, 205 Ватт TDP), его дополняет 672 Гбайт оперативной памяти, но основная мощь скрыта именно в ускорителях V100, каждый из которых несёт на борту 32 Гбайт быстрой памяти HBM2. Заказчикам новой услуги доступны кластеры, включающие до 100 таких серверов (до 800 ускорителей NVIDIA). В качестве межсоединений используется сеть InfiniBand, как обеспечивающая меньшую латентность, нежели Ethernet.

А вот серверы Azure HBv2 отличаются от NDv2 буквально всем. Они используют компактные корпуса и процессоры AMD серии EPYC 7002. Весьма любопытно выглядит система охлаждения с четырьмя тепловыми трубками на каждый процессор, но такое решение продиктовано желанием повысить плотность размещения вычислительных мощностей.

Виртуальные машины, которые будут размещаться на этих серверах, смогут предоставить заказчикам до 120 ядер AMD Rome (без SMT), до 480 Гбайт оперативной памяти и локальное хранилище данных объёмом до 1,6 Тбайт. Внутренняя сеть NDv2 на базе InfiniBand HDR будет использовать RDMA и работать на скорости 200 Гбит/с, внешняя сеть Azure ‒ на скорости 40 Гбит/с.

Максимальный объём кластера на базе NDv2 для одной задачи может достигать 36 тысячи ядер, крупнейшим клиентам Microsoft сможет предоставить до 80 тысяч ядер. Любопытно, что в выставочном экземпляре HBv2 явно видна установленная обычная видеокарта GIGABYTE, использовавшаяся, скорее всего, в демонстрационных целях.

Серверы Azure NDv3 используют более высокий корпус, что вызвано необходимостью размещения полноразмерных плат ускорителей на базе интеллектуального процессора (IPU) Graphcore C2. Об этом процессоре мы уже рассказывали, он имеет уникальную тайловую архитектуру и предназначен для ускорения задач машинного обучения.

Каждая виртуальная машина нового типа сможет предоставить в распоряжение заказчика 16 процессоров IPU, каждый из которых способен выполнять более 1200 потоков. Система межсоединений, задействованных в NDv3, обеспечит обучение больших нейросетей на крупномасштабных моделях. Объём доступной системной памяти составит 768 Гбайт, внутренней памяти IPU ‒ 300 Мбайт на чип.

Наконец, серверы Azure NVv4 представляют собой решения на базе процессоров AMD EPYC 7002 и ускорителей AMD Radeon Instinct. Выставочная модель была оснащена пакетами плат Instinct MI25. Пожалуй, это самое гибкое решение, поскольку заказчики смогут использовать виртуальные машины даже с 1/8 от ускорителя. Microsoft предлагает широкий выбор вариантов.

В отличие от NDv2, поддержка SMT в этой варианте будет включена. Данная версия сервера предназначается, главным образом, для сервисов удалённой визуализации и удалённых рабочих сред (virtual desktops). Поддерживаются протоколы RDP 10, Teradici PCoIP и HDX 3D Pro, пользователь сможет работать с API DirectX9 ‒ 12, OpenGL 4.6 или Vulkan 1.1. Максимально возможная конфигурация одной виртуальной машины NVv4 ‒ 32 процессора, 112 Гбайт памяти и 16 Гбайт памяти GPU. Скорость сети Azure для этих систем составляет 50 Гбит/с.

Постоянный URL: http://servernews.ru/998260
19.11.2019 [17:33], Константин Ходаковский

SC19: Microsoft представила виртуальные машины Azure NDv2 с сотнями ГП NVIDIA

NVIDIA и Microsoft сообщили о запуске нового типа ускоренного с помощью ГП суперкомпьютера в облаке Microsoft Azure. Эти новые виртуальные машины Azure NDv2 предназначены для самых сложных вычислений и высокопроизводительных задач ИИ. Пользователь может получить доступ к системе, объединяющей через единую сеть Mellanox InfiniBand до 800 графических ускорителей NVIDIA V100 с тензорными ядрами.

В результате пользователи Azure получили возможность арендовать настоящий суперкомпьютер для задач ИИ прямо на своём рабочем месте, избежав необходимости тратить месяцы на создание собственных громоздких локальных суперкомпьютеров. Ранее системы с подобными возможностями в области ИИ и HPC были доступны только для больших организаций.

Microsoft Azure NDv2 также предлагает гораздо более высокое соотношение производительности и цены по сравнению с традиционными решениями на базе ЦП — особенно в области искусственного интеллекта, машинного обучения и задач HPC. Исследователи могут развернуть сразу несколько виртуальных машин NDv2, чтобы обучить сложные диалоговые ИИ-модели буквально в течение часов.

Например, инженеры Microsoft и NVIDIA с помощью 64 виртуальных машин NDv2 на предварительной версии кластера обучили BERT — популярную диалоговую модель ИИ всего за три часа. Частично это было достигнуто благодаря оптимизациям для высокопараллельных расчётов с помощью множества ГП, достигнутых с помощью NCCL, библиотеки NVIDIA CUDA X и высокоскоростных интерфейсов Mellanox.

Пользователи также ощутят преимущества использования нескольких NDv2 при выполнении сложных вычислений HPC, например, в LAMMPS — популярном приложении молекулярной динамики, которое используется для моделирования материалов на уровне атомов в таких областях, как создание лекарств. Всего лишь одна виртуальная машина NDv2 обеспечивает производительность на порядок выше по сравнению с традиционным узлом HPC без ГП в приложениях такого типа, как глубинное обучение. Заявлено также, что производительность можно линейно увеличивать, объединяя сотни узлов для масштабного моделирования.

Все NDv2 оптимизированы для ускоренных с помощью ГП приложений HPC, ПО для машинного обучения и библиотек глубинного обучения, таких как TensorFlow, PyTorch и MxNet из репозитория контейнеров NVIDIA NGC и Azure Marketplace. Репозитарий также поддерживает пакеты Helm для установки ИИ-программ на кластерах Kubernetes.

NDv2 уже доступны в предварительном режиме. Виртуальные машины с восьмью ГП NVIDIA Tesla V100 (в каждом — 32 Гбайт памяти HBM2), 40-ядерным ЦП Intel Xeon Platinum 8168 и 672 Гбайт системной памяти можно объединять в кластеры.

Постоянный URL: http://servernews.ru/998009
17.11.2019 [17:39], Алексей Степин

Microsoft Azure начинает использование ИИ-ускорителей Graphcore

Компания Graphcore объявила о дальнейшем расширении сотрудничества с Microsoft. Речь идёт о внедрении разработанного этими компаниями интеллектуального сопроцессора (IPU, Intelligence Processing Unit) и использовании его в серверах облачного сервиса Microsoft Azure.

Проведённое партнёрами совместное тестирование образца сервера, укомплектованного восемью акселераторами на базе пары чипов Graphcore C2, показало впечатляющие результаты.

При использовании языковой модели BERT для предварительного обучения нейросетей в течение 56 часов производительность машины с ускорителями Graphcore оказалась в три раза выше в сравнении с обычной системой. Также наблюдалось улучшение латентности. Ускорение обработки естественных языков очень важно для Microsoft, что неудивительно, учитывая растущую популярность облачных платформ и разного рода голосовых и языковых сервисов.

Graphcore позиционирует свою разработку в качестве конкурента GPU, заявляя о 100-кратном превосходстве чипа C2 над классическими графическими процессорами в ряде специфических задач. Помимо самого процессора, компания разработала и специальную шину IPU-Link, позволяющую нескольким платам-ускорителям общаться друг с другом без задержек.

Уже существует договорённость c Dell Technologies и система DSS8440, оснащённая ускорителями Graphcore будет демонстрироваться на конференции SC19.

Архитектура у Graphcore C2 достаточно любопытная. Он содержит 1216 так называемых тайлов, каждый из которых, в свою очередь, состоит из вычислительного ядра и небольшого количества памяти (In-Processor Memory). Этой памяти немного, всего 300 Мбайт на весь чип, но совокупная скорость работы с ней составляет 45 Тбайт/с.

Всего процессор может выполнять 7296 потоков кода параллельно. Скорость работы межпроцессорной шины IPU-Link ‒ 320 Гбайт/с.

Компания разработала для своего детища и соответствующий программный стек ‒ Poplar, который легко интегрируется с такими популярными средствами разработки, как TensorFlow или Open Neural Network Exchange (ONNX). В ближайшее время планируется также внедрение начальной поддержки PyTorch, а полная поддержка ожидается уже в начале 2020 года.

Постоянный URL: http://servernews.ru/997859
14.11.2019 [15:46], Геннадий Детинич

Почти успех: Microsoft приступила к развёртыванию ARM-серверов в облаке Azure

Компания Marvell сообщила, что компания Microsoft приступила к развёртыванию серверов на ARM-процессорах ThunderX2 в составе облачной службы Azure. Процессоры ThunderX2 на базе архитектуры ARMv8.1 ― это сами по себе решения с непростой судьбой. Они зародились в недрах Broadcom, перешли в руки Cavium и только затем попали к компании Marvell.

К Microsoft они тоже попали по кривой дорожке. Первоначально в рамках проекта Microsoft Olympus планировалось создать ARM-серверы на процессорах Qualcomm Centriq 2400

Но процессоры Centriq 2400 умерли, вообще не приходя в сознание сразу после рождения. Весной 2017 года Microsoft пришлось срочно искать замену, и выбор был остановлен на, в общем-то, готовой платформе ThunderX2. Но до практической реализации проекта оставалось ещё более двух лет.

К концу 2017 года Marvell и Microsoft разработали спецификации серверов на ARM-процессорах под платформу ThunderX2. Разработка включала проектирование двухпроцессорной материнской платы, всех необходимых подсистем и интерфейсов, включая поддержку адаптеров-ускорителей на матрицах ПЛИС. Все разработки велись с учётом спецификаций и требований, созданных для открытых проектов OCP. К настоящему дню приложенные усилия вылились в появление штатных серверов с ThunderX2.

Производством серверов занимается дочернее предприятие Fii/Foxconn Technology Group компания Ingrasys. В Microsoft, как мы уже сказали выше, уже приступили к включению этих машин в состав облачной службы Azure.

Но пока на плечи этих решений упадут только внутренние служебные нагрузки. Платформа не будет напрямую обслуживать клиентов Microsoft Azure. Во всяком случае, на данном этапе. Тем не менее, для сообщества ARM и конкретно для процессоров ThunderX2 данное событие ― это веха на пути. Годы разработок не пропали даром и стали ступенькой для следующего шага в развитии серверной экосистемы ARM.

Постоянный URL: http://servernews.ru/997638
07.11.2019 [20:20], Андрей Галадей

В Microsoft Azure появились инстансы c AMD EPYC Rome

Облачный сервис Microsoft Azure и компания AMD расширили партнёрство в области корпоративных сервисов. В Редмонде анонсировали виртуальные машины Azure D-серии и E-серии на базе процессоров AMD EPYC 7452, а также Azure NVv4 с ускорителями Radeon Instinct.

Машины Azure Ea(s)_v4 предлагают до 96 vCPU, 672 Гбайт ОЗУ DDR4 и 2,4 Тбайт SSD. Da(s)_v4 поддерживают максимальный объём оперативной памяти до 384 Гбайт DDR4. Как утверждается, Ea(s)-системы обеспечивают на 22 % более высокую производительность на доллар в сравнении с конкурентами. Оба варианта инстансов уже публично доступны для заказа.

pexels.com

pexels.com

Azure NVv4 находятся в бета-тесте и станут публично доступны к концу года, в первую очередь в обеих Америках и Западной Европе. NVv4 базируются на процессорах AMD EPYC 7742 и ускорителях Radeon Instinct MI25 (архитектура Vega). Эти виртуальные машины станут первыми в Azure, которые используют технологию SR-IOV для общего доступа к одному GPU нескольких ВМ (максимум до 8). 

Наконец, доступны для тестирования HPC-инстансы HBv2 на базе EPYC 7742. Они отличаются поддержкой интерконнекта InfiniBand 200 Гбит/с и могут иметь до 80 000 ядер. 

Помимо прочего, Microsoft отметила, что более половины рабочих нагрузок в Azure исполняется в Linux. 

Постоянный URL: http://servernews.ru/997179
05.11.2019 [22:22], Игорь Савкин

Microsoft Azure Quantum переносит квантовые компьютеры в облако

В понедельник компания Microsoft заявила, что её платформа облачных вычислений скоро предложит доступ к самому экзотическому оборудованию из всех: квантовым компьютерам. Microsoft — один из немногих технологических гигантов, инвестирующих в квантовые вычисления, которые обещают беспрецедентную вычислительную мощность.

В настоящее время компания подготавливает свой сервис облачных вычислений Azure, для того чтобы предложить отдельным клиентам доступ к трем прототипам квантовых компьютеров — от инженерного конгломерата Honeywell и двух стартапов: IonQ Университета Мэриленда и QCI Йельского университета.

Microsoft не гарантирует, что эти квантовые компьютеры готовы к большим мощностям. Однако, подобно конкурентам IBM и Google, руководители Microsoft утверждают, что разработчикам и корпорациям необходимо начать взаимодействовать с квантовыми алгоритмами и аппаратным обеспечением уже сейчас, чтобы помочь индустрии понять, для чего нужны эти технологии.

Новый сервис Microsoft получил название Azure Quantum. Он включает инструменты квантового программирования, которые ранее были выпущены компанией, а также ПО 1QBit. Клиенты смогут запускать квантовый код на смоделированном или на реальном квантовом оборудовании. Сервис будет запущен в ближайшие месяцы. Партнеры компании пока не будут строить новые квантовые компьютеры, а подключат имеющиеся к облаку Microsoft через Интернет. У Microsoft есть собственная долгосрочная программа квантовых исследований, однако сама она не производит какого-либо оборудования для квантовых вычислений.

Azure Quantum имеет сходство с сервисом IBM, который предлагает бесплатный и платный доступ к прототипам квантовых компьютеров с 2016 года. Google также обещала вскоре предложить удалённый доступ к квантовому оборудованию некоторым компаниям. Программа Microsoft отличается тем, что она предлагает доступ к нескольким различным технологиям квантовых вычислений: Honeywell и IonQ кодируют данные, используя отдельные ионы в электромагнитных ловушках, а QCI использует сверхпроводящие схемы как IBM и Google.

Никаких подробностей о стоимости услуги, которая будет развернута в течение следующих нескольких месяцев, предоставлено не было. Представитель компании говорит, что он хочет получить обратную связь от ранних пользователей, прежде чем завершить стратегию ценообразования. Тем не менее, облачный доступ позволит получить разработчикам квантовых систем дополнительное финансирование.

Постоянный URL: http://servernews.ru/997015
26.10.2019 [12:55], Геннадий Детинич

«Джедайское» облако для Пентагона за $10 млрд построит Microsoft

В пятницу Министерство обороны США вынесло окончательное решение по тендеру с выбором ключевого поставщика облачных сред для нужд Пентагона.

Речь идёт о программе «JEDI» (Joint Enterprise Defense Infrastructure Cloud) по созданию распределённой облачной инфраструктуры для хранения и обработки данных разных уровней секретности военными США.

В борьбе за обеспечение программы JEDI схватились четыре крупнейших облачных сервиса в США, представленных компаниями Microsoft, Amazon, IBM и Oracle. Пятый потенциальный участник тендера ― компания Google ― столкнулась с протестами собственных сотрудников, которые и слышать не хотели о помощи милитаристам. В итоге Google, сославшись на этические причины, отказалась от участия в тендере. В других компаниях, кстати, также были попытки сотрудников протестовать, но их голоса никто не принял во внимание.

Компании IBM и Oracle первыми сошли с дистанции. Oracle сразу же включилась в судебный процесс по поводу её исключения из тендера, и сейчас ждёт решения по апелляции. На финишную прямую вышли Microsoft и Amazon. Причём у Amazon было больше шансов на победу, поскольку компания уже обслуживает ряд проектов Пентагона и первой прошла сертификацию Impact Level 6 (IL6), ещё в ноябре 2017 года.

К несчастью для Amazon, её публичные информационные ресурсы и лично глава Джефф Безос нелестно высказывались о Президенте США Дональде Трампе. Последний отвечал взаимностью и в свете споров о программе JEDI часто ссылался на «многочисленные жалобы» по поводу контрактов Пентагона и Amazon.

Участвовала ли в этом «рука Вашингтона» или нет, но Пентагон выбрал для программы JEDI компанию Microsoft. Это означает, что до 2029 года, когда система JEDI должна быть полностью введена в действие, подрядчик получит около $10 млрд. Система будет вводиться поэтапно с приёмкой каждого этапа комиссией. На первую фазу проекта отводится два года и финансирование примерно на уровне $210 млн с гарантийной суммой страховки в $1 млн.

В компании Amazon назвали выбор Пентагона «удивительным». По мнению конкурента Microsoft, если внимательно рассмотреть все детали тендера, то можно прийти к совершенно противоположному выводу, чем тот, который сделали ответственные лица Пентагона. Интересно, воплотятся эти фразы в иски или нет?

Постоянный URL: http://servernews.ru/996306
22.10.2019 [23:43], Сергей Юртайкин

SAP и Microsoft расширили сотрудничество на облачном рынке

SAP и Microsoft объявили о сотрудничестве, в рамках которого облачные сервисы немецкой компании будут объединены в отдельное предложение под названием Embrace. Оно будет продаваться американской корпорацией клиентам, которые будут запускать решения SAP в облачной инфраструктуре Azure.

В SAP утверждают, что эта сделка уже позволила компании удвоить количество заказов на поставку облачных решений.

Это сотрудничество не является эксклюзивным, и SAP сохранит партнёрские отношения с Google и Amazon. В SAP намерены развивать совместный бизнес с конкурентами Azure, чтобы упростить клиентам переход в облака.

Аналитик Constellation Research Хольгер Мюллер (Holger Mueller) говорит, что отсутствие привязки к какой-либо одной облачной среде очень важно для будущего SAP.

«Четыре года назад SAP заявила, что будет относиться к облачным вендорам так же, как и к производителям СУБД в прошлом: как к одному из вариантов, которые может выбрать клиент. Мы видим, что эта стратегия теряет силу», — отметил эксперт.

SAP и Microsoft стали облачными партнёрами несколько лет назад. Так, платформа SAP HANA Enterprise Cloud была интегрирована с сервисами Microsoft Azure и позволила заказчикам запускать SAP S/4HANA в безопасном управляемом облаке.

Кроме того, компании договорились о совместной разработке и продаже облачных решений и предоставлении сервисной поддержке.

Постоянный URL: http://servernews.ru/996055
11.09.2019 [10:41], Сергей Карасёв

В облаке Microsoft Azure появятся платформы IBM POWER9

Компания Skytap объявила о заключении нового соглашения о сотрудничестве с корпорацией Microsoft в рамках развития облачных сервисов.

Речь идёт о поставке решений на базе IBM POWER для платформы Microsoft Azure. Говорится о поддержке программных платформ AIX, IBM i и операционных систем на ядре Linux. POWER-решения в Azure позволит перенести устаревшие бизнес-приложения в облако. 

«За счёт данного сотрудничества сервисы Skytap на базе Microsoft Azure помогут корпоративным пользователям расширить полезность традиционных приложений без значительных затрат на внедрение новых платформ», — отмечается в сообщении.

Постоянный URL: http://servernews.ru/993881
Система Orphus