Проблема охлаждения ЦОД стоит остро ‒ недаром постоянно рождаются новые технологии, призванные справиться с отводами мегаватт тепловой энергии. Активно внедряется жидкостное охлаждение, в том числе, защищённое от протечек. Некоторые компании предлагают даже полностью автоматизированные иммерсионные системы.

Microsoft также внесла свой вклад в решение данной проблемы. Компания недавно запатентовала так называемые ЦОД «высокого давления».

Если верить опубликованному патенту за номером US10426062, новый метод позволяет улучшить охлаждение уже существующей инфраструктуры без установки дополнительных дорогостоящих компонентов.

Сравнение эффективности газов-теплоносителей при разных давлениях

Суть идеи Microsoft достаточно проста ‒ помещение ЦОД делается герметичным и наполняется газовой смесью под высоким давлением. Повышенное давление означает повышенную плотность, которая влияет на теплоёмкость. В патентной заявке указаны значения от 2 до 5 атмосфер.

Рассмотрена эффективность применения различных газов помимо традиционного воздуха. При давлении 2 атмосферы эффективность воздуха составляет 1,4 от обычной. Переход на углекислый газ позволяет поднять этот показатель до 1,8. А для гексафторида серы (элегаз) этот показатель равен 6,9 — и это при четверти мощности, затрачиваемой вентиляторами систем охлаждения.

Project Natick: перед помещением оборудования в контейнер

Несмотря на наличие фтора в формуле, гексафторид серы является весьма инертным и безопасным для оборудования соединением. При обычных температурах он не реагирует с водой и кислородом, а также с любыми компонентами, которые могут встретиться в серверном оборудовании.

Вещество проверенное, оно давно используется в электротехнике ‒ например, в высоковольтных разрывателях для предотвращения образования дуги. Применяется элегаз и в газовых системах пожаротушения.

Дверь откроется только после выкачки непригодной для дыхания атмосферы

Патент Microsoft не углубляется в проблему возможной утечки газа-теплоносителя, однако в нём описана система управления, автоматически отслеживающая давление и состав газа в герметичной серверной. Предусмотрены средства управления и безопасности обслуживающего персонала ‒ элегаз не токсичен для человека, но для дыхания он всё-таки не годится.

В результате для обслуживания такого ЦОД его атмосферу придётся откачивать и заменять обычным воздухом на всё время нахождения персонала в помещении.

Project Natick: контейнер собран и готов к установке на морское дно

Судя по всему, «газонаполненные ЦОД высокого давления» предназначены для сценариев с минимальным участием человека или там, где такое участие вообще исключено. Так, Project Natick предполагает размещение центров хранения и обработки данных на морском дне. Прототип такой «морской серверной» уже был протестирован в течение 105 дней. Рабочий вариант предусматривает 40-футовый (12,2 метра) цилиндрический контейнер с оборудованием, способный проработать без обслуживания 5 лет.

В таких системах применение гексафторида серы действительно может быть оправданным, но в случае с наземными ЦОД пока неясно, перевесит ли повышенная эффективность охлаждения целый ряд неудобств, связанных с необходимостью поддержания герметичности и обеспечения безопасности персонала.

NVIDIA и Microsoft сообщили о запуске нового типа ускоренного с помощью ГП суперкомпьютера в облаке Microsoft Azure. Эти новые виртуальные машины Azure NDv2 предназначены для самых сложных вычислений и высокопроизводительных задач ИИ. Пользователь может получить доступ к системе, объединяющей через единую сеть Mellanox InfiniBand до 800 графических ускорителей NVIDIA V100 с тензорными ядрами.

В результате пользователи Azure получили возможность арендовать настоящий суперкомпьютер для задач ИИ прямо на своём рабочем месте, избежав необходимости тратить месяцы на создание собственных громоздких локальных суперкомпьютеров. Ранее системы с подобными возможностями в области ИИ и HPC были доступны только для больших организаций.

Microsoft Azure NDv2 также предлагает гораздо более высокое соотношение производительности и цены по сравнению с традиционными решениями на базе ЦП — особенно в области искусственного интеллекта, машинного обучения и задач HPC. Исследователи могут развернуть сразу несколько виртуальных машин NDv2, чтобы обучить сложные диалоговые ИИ-модели буквально в течение часов.

Например, инженеры Microsoft и NVIDIA с помощью 64 виртуальных машин NDv2 на предварительной версии кластера обучили BERT — популярную диалоговую модель ИИ всего за три часа. Частично это было достигнуто благодаря оптимизациям для высокопараллельных расчётов с помощью множества ГП, достигнутых с помощью NCCL, библиотеки NVIDIA CUDA X и высокоскоростных интерфейсов Mellanox.

Пользователи также ощутят преимущества использования нескольких NDv2 при выполнении сложных вычислений HPC, например, в LAMMPS — популярном приложении молекулярной динамики, которое используется для моделирования материалов на уровне атомов в таких областях, как создание лекарств. Всего лишь одна виртуальная машина NDv2 обеспечивает производительность на порядок выше по сравнению с традиционным узлом HPC без ГП в приложениях такого типа, как глубинное обучение. Заявлено также, что производительность можно линейно увеличивать, объединяя сотни узлов для масштабного моделирования.

Все NDv2 оптимизированы для ускоренных с помощью ГП приложений HPC, ПО для машинного обучения и библиотек глубинного обучения, таких как TensorFlow, PyTorch и MxNet из репозитория контейнеров NVIDIA NGC и Azure Marketplace. Репозитарий также поддерживает пакеты Helm для установки ИИ-программ на кластерах Kubernetes.

NDv2 уже доступны в предварительном режиме. Виртуальные машины с восьмью ГП NVIDIA Tesla V100 (в каждом — 32 Гбайт памяти HBM2), 40-ядерным ЦП Intel Xeon Platinum 8168 и 672 Гбайт системной памяти можно объединять в кластеры.

Компания Marvell сообщила, что компания Microsoft приступила к развёртыванию серверов на ARM-процессорах ThunderX2 в составе облачной службы Azure. Процессоры ThunderX2 на базе архитектуры ARMv8.1 ― это сами по себе решения с непростой судьбой. Они зародились в недрах Broadcom, перешли в руки Cavium и только затем попали к компании Marvell.

К Microsoft они тоже попали по кривой дорожке. Первоначально в рамках проекта Microsoft Olympus планировалось создать ARM-серверы на процессорах Qualcomm Centriq 2400. 

Но процессоры Centriq 2400 умерли, вообще не приходя в сознание сразу после рождения. Весной 2017 года Microsoft пришлось срочно искать замену, и выбор был остановлен на, в общем-то, готовой платформе ThunderX2. Но до практической реализации проекта оставалось ещё более двух лет.

К концу 2017 года Marvell и Microsoft разработали спецификации серверов на ARM-процессорах под платформу ThunderX2. Разработка включала проектирование двухпроцессорной материнской платы, всех необходимых подсистем и интерфейсов, включая поддержку адаптеров-ускорителей на матрицах ПЛИС. Все разработки велись с учётом спецификаций и требований, созданных для открытых проектов OCP. К настоящему дню приложенные усилия вылились в появление штатных серверов с ThunderX2.

Производством серверов занимается дочернее предприятие Fii/Foxconn Technology Group компания Ingrasys. В Microsoft, как мы уже сказали выше, уже приступили к включению этих машин в состав облачной службы Azure.

Но пока на плечи этих решений упадут только внутренние служебные нагрузки. Платформа не будет напрямую обслуживать клиентов Microsoft Azure. Во всяком случае, на данном этапе. Тем не менее, для сообщества ARM и конкретно для процессоров ThunderX2 данное событие ― это веха на пути. Годы разработок не пропали даром и стали ступенькой для следующего шага в развитии серверной экосистемы ARM.

Три года назад компания Microsoft доложила об успешном завершении испытания полностью автономного модуля ЦОД, который в работоспособном состоянии провёл три месяца на дне океана.

Затем проект под кодовым именем Natick был расширен до 12 стоек в 12-метровом контейнере диаметром 2,4 метра. Контейнер погрузили на дно океана на глубину около 35 метров вблизи шотландского побережья в графстве Оркни. С тех пор прошло чуть больше года, но никаких новостей от Microsoft по этой теме нет.

«Эксперимент продолжается», ― прокомментировали в Microsoft запрос со стороны профильных журналистов. На основании ответа Microsoft и по другим признакам специалисты интернет-ресурса Datacenter Dynamics сделали вывод, что полностью автономные ЦОД придётся подождать.

Первый опытный автономный ЦОД Microsoft после 105 дней работы на дне океана

Между тем, концепция Интернета вещей требует снизить задержки при обработке массивов данных с датчиков, что означает развитие пограничных (периферийных) вычислений ― как можно ближе к этим самым датчикам. При этом всё должно быть автоматизировано. Экономически нецелесообразно тратить на администрирование огромнейшей массы датчиков людские ресурсы. Полностью автоматические ЦОД могут и должны стать центрами по обслуживанию сферы IoT.

Кроме очевидной экономии на зарплате персоналу, ЦОД также можно лишить комфорта, необходимого работникам и тоже затратного ― это расходы на кондиционирование и отопление для поддержания приятной телу температуры, широкие проходы между стойками, наконец, освещение рабочих помещений. Обслуживающие роботы могут перемещаться в узких пространствах в полной темноте и любых температурах.

Внутреннее устройство подводного ЦОД Project Natick (источник фото: Франк Бетермин)

Также многочисленные исследования (например, института Ponemon) показывают, что наиболее часто сбои в ЦОД происходят по вине обслуживающего персонала, тогда как оборудование становится всё надёжнее и надёжнее. Интеллектуальные системы контроля над серверным оборудованием могут работать быстрее и с меньшим количеством ошибок.

С идеей роботизированных ЦОД ранее активно носилась компания EdgeConneX ― специалист по ЦОД небольшого размера, и компания LitBit, которая обещала создать ИИ-платформу для автоматизированных ЦОД. Увы, отмечает источник, все они давно не проявляли признаков жизни на данном направлении. Вкупе с молчанием Microsoft по проекту Natick это заставляет подумать о том, что время полностью автономных ЦОД ещё не пришло и вряд ли придёт в обозримом будущем.

Процесс погружения ЦОД Project Natick (источник фото: Скотт Эклунд/Red Box Pictures)

Некоторые крупные корпорации категорически отвергают идею автономных ЦОД, предпочитая держать на площадках обученный персонал, хотя небольшие компании готовы отказаться от услуг специалистов, если автономные ЦОД вдруг появятся на горизонте.

В понедельник компания Microsoft заявила, что её платформа облачных вычислений скоро предложит доступ к самому экзотическому оборудованию из всех: квантовым компьютерам. Microsoft — один из немногих технологических гигантов, инвестирующих в квантовые вычисления, которые обещают беспрецедентную вычислительную мощность.

В настоящее время компания подготавливает свой сервис облачных вычислений Azure, для того чтобы предложить отдельным клиентам доступ к трем прототипам квантовых компьютеров — от инженерного конгломерата Honeywell и двух стартапов: IonQ Университета Мэриленда и QCI Йельского университета.

Microsoft не гарантирует, что эти квантовые компьютеры готовы к большим мощностям. Однако, подобно конкурентам IBM и Google, руководители Microsoft утверждают, что разработчикам и корпорациям необходимо начать взаимодействовать с квантовыми алгоритмами и аппаратным обеспечением уже сейчас, чтобы помочь индустрии понять, для чего нужны эти технологии.

Новый сервис Microsoft получил название Azure Quantum. Он включает инструменты квантового программирования, которые ранее были выпущены компанией, а также ПО 1QBit. Клиенты смогут запускать квантовый код на смоделированном или на реальном квантовом оборудовании. Сервис будет запущен в ближайшие месяцы. Партнеры компании пока не будут строить новые квантовые компьютеры, а подключат имеющиеся к облаку Microsoft через Интернет. У Microsoft есть собственная долгосрочная программа квантовых исследований, однако сама она не производит какого-либо оборудования для квантовых вычислений.

Azure Quantum имеет сходство с сервисом IBM, который предлагает бесплатный и платный доступ к прототипам квантовых компьютеров с 2016 года. Google также обещала вскоре предложить удалённый доступ к квантовому оборудованию некоторым компаниям. Программа Microsoft отличается тем, что она предлагает доступ к нескольким различным технологиям квантовых вычислений: Honeywell и IonQ кодируют данные, используя отдельные ионы в электромагнитных ловушках, а QCI использует сверхпроводящие схемы как IBM и Google.

Никаких подробностей о стоимости услуги, которая будет развернута в течение следующих нескольких месяцев, предоставлено не было. Представитель компании говорит, что он хочет получить обратную связь от ранних пользователей, прежде чем завершить стратегию ценообразования. Тем не менее, облачный доступ позволит получить разработчикам квантовых систем дополнительное финансирование.

Министерство обороны США вынесло окончательное решение по тендеру на строительство облачной инфраструктуры «JEDI» (Joint Enterprise Defense Infrastructure Cloud) для хранения и обработки данных, назвав победителем Microsoft, но её конкурент, компания Amazon, не собирается признавать поражение и потерю контракта на $10 млрд.

REUTERS/Pascal Rossignol

Amazon Web Services выражает удивление таким решением Пентагона. Информатор Reuters, знакомый с этим вопросом, сообщил новостному агентству, что компания рассматривает различные варианты протеста против получения контракта своим конкурентом. Отметим, что попытка получить у Amazon комментарий относительно её дальнейших шагов завершилась безрезультатно.

По словам экспертов по правовым вопросам, у компании есть два варианта. Она может обратиться в Счётную палату США (GAO), которая распорядиться приостановить процесс на период проведения аудита, или же направить иск в Федеральный суд США.

По словам адвоката Майкла Хорделла (Michael Hordell), работающего с юридической фирмой Barnes and Thornburg LLP, у Amazon осталось в запасе два дня для того, чтобы начать процесс разбирательства, в рамках которого правительство должно будет ознакомить компанию с подробностями процесса оценки и объяснить причины её поражения.

В пятницу Министерство обороны США вынесло окончательное решение по тендеру с выбором ключевого поставщика облачных сред для нужд Пентагона.

Речь идёт о программе «JEDI» (Joint Enterprise Defense Infrastructure Cloud) по созданию распределённой облачной инфраструктуры для хранения и обработки данных разных уровней секретности военными США.

В борьбе за обеспечение программы JEDI схватились четыре крупнейших облачных сервиса в США, представленных компаниями Microsoft, Amazon, IBM и Oracle. Пятый потенциальный участник тендера ― компания Google ― столкнулась с протестами собственных сотрудников, которые и слышать не хотели о помощи милитаристам. В итоге Google, сославшись на этические причины, отказалась от участия в тендере. В других компаниях, кстати, также были попытки сотрудников протестовать, но их голоса никто не принял во внимание.

Компании IBM и Oracle первыми сошли с дистанции. Oracle сразу же включилась в судебный процесс по поводу её исключения из тендера, и сейчас ждёт решения по апелляции. На финишную прямую вышли Microsoft и Amazon. Причём у Amazon было больше шансов на победу, поскольку компания уже обслуживает ряд проектов Пентагона и первой прошла сертификацию Impact Level 6 (IL6), ещё в ноябре 2017 года.

К несчастью для Amazon, её публичные информационные ресурсы и лично глава Джефф Безос нелестно высказывались о Президенте США Дональде Трампе. Последний отвечал взаимностью и в свете споров о программе JEDI часто ссылался на «многочисленные жалобы» по поводу контрактов Пентагона и Amazon.

Участвовала ли в этом «рука Вашингтона» или нет, но Пентагон выбрал для программы JEDI компанию Microsoft. Это означает, что до 2029 года, когда система JEDI должна быть полностью введена в действие, подрядчик получит около $10 млрд. Система будет вводиться поэтапно с приёмкой каждого этапа комиссией. На первую фазу проекта отводится два года и финансирование примерно на уровне $210 млн с гарантийной суммой страховки в $1 млн.

В компании Amazon назвали выбор Пентагона «удивительным». По мнению конкурента Microsoft, если внимательно рассмотреть все детали тендера, то можно прийти к совершенно противоположному выводу, чем тот, который сделали ответственные лица Пентагона. Интересно, воплотятся эти фразы в иски или нет?

Компании NVIDIA и Microsoft несколько дней назад объявили о технологическом сотрудничестве, ориентированном на интеллектуальные современные вычисления. Это, как утверждается, позволит улучшить логистику, системы «умных» городов, функционирование складов и так далее. Всё это будет реализовано за счёт внедрения искусственного интеллекта.

Технически это будет тесная интеграция между облачной платформой Microsoft Azure и аппаратными решениями NVIDIA EGX. В частности, речь идёт об использовании платформы приложений NVIDIA Metropolis для видеоаналитики. Её оптимизировали для взаимодействия с Microsoft Azure IoT Edge, системами машинного обучения Azure и другими устройствами на базе GPU NVIDIA T4. Кроме того, к делу подключились OEM-производители, включая Dell, Hewlett Packard Enterprise и Lenovo.

pixabay.com

Как заявил основатель и генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang), наступило время интеллектуальных вычислений и систем на базе ИИ. Это позволит объединить триллионы интеллектуальных датчиков, сенсоров и других конечных устройств. А генеральный директор Microsoft Сатья Наделла (Satya Nadella) отметил, что корпорациям и предприятиям требуется распределенная вычислительная структура, работающая в облаке.

Инфраструктура NVIDIA Metropolis включает в себя набор разработчика программного обеспечения NVIDIA DeepStream, который был принят более чем 100 поставщиками программного обеспечения для интеллектуального анализа видео. Среди них AnyVision, DeepVision, IronYun, Malong и RealNetworks, которые предоставляют решения для розничной торговли, производства и «умных» городов.

Это позволит создавать системы искусственного интеллекта различного назначения и масштаба.

SAP и Microsoft объявили о сотрудничестве, в рамках которого облачные сервисы немецкой компании будут объединены в отдельное предложение под названием Embrace. Оно будет продаваться американской корпорацией клиентам, которые будут запускать решения SAP в облачной инфраструктуре Azure.

В SAP утверждают, что эта сделка уже позволила компании удвоить количество заказов на поставку облачных решений.

Это сотрудничество не является эксклюзивным, и SAP сохранит партнёрские отношения с Google и Amazon. В SAP намерены развивать совместный бизнес с конкурентами Azure, чтобы упростить клиентам переход в облака.

Аналитик Constellation Research Хольгер Мюллер (Holger Mueller) говорит, что отсутствие привязки к какой-либо одной облачной среде очень важно для будущего SAP.

«Четыре года назад SAP заявила, что будет относиться к облачным вендорам так же, как и к производителям СУБД в прошлом: как к одному из вариантов, которые может выбрать клиент. Мы видим, что эта стратегия теряет силу», — отметил эксперт.

SAP и Microsoft стали облачными партнёрами несколько лет назад. Так, платформа SAP HANA Enterprise Cloud была интегрирована с сервисами Microsoft Azure и позволила заказчикам запускать SAP S/4HANA в безопасном управляемом облаке.

Кроме того, компании договорились о совместной разработке и продаже облачных решений и предоставлении сервисной поддержке.

На этой неделе появилась информация о проблеме совместимости между гипервизором VMware ESXi и Windows Server 2019. Отмечается, что из-за этого некоторые клиенты не смогут безопасно создавать снимки своих виртуальных машин. Это касается версий ESXi 6.7 и 6.5, причём проблема проявляется только в последней серверной ОС Microsoft.

Сбой происходит при использовании функции гипервизора под названием application quiescing. Эта функция готовит виртуальную машину к безопасной остановке, чтобы сделать снапшот. Создание «слепка» системы производится лишь после полной приостановки системы, иначе можно получить неполные или устаревшие данные: информацию из кэша, старые снапшоты и тому подобное.

theregister.co.uk

VMWare говорит, что проблема возникает из-за службы теневого копирования тома VSS, и в качестве временного решения предлагает отключить application quiescing перед созданием снапшота. Правда, как сказано выше, это, скорее всего, приведёт к потере данных. Запасной вариант — использование накопителей с MBR вместо GPT — не лучше.

Самое интересное, что на форумах поддержки VMware эта проблема периодически поднимается уже несколько месяцев. Однако решения пока нет. Возможной альтернативой является использование сторонних систем для создания снапшотов и работы с ними. Но это может оказаться дорогим удовольствием. Комментария от Microsoft пока не последовало.