Популярность идей машинного обучения и искусственного интеллекта приводит к тому, что многие страны и организации планируют обзавестись HPC-системами, специально предназначенными для этого класса задач. В частности, Токийский университет совместно с Fujitsu модернизировал существующую систему ABCI (AI Bridging Cloud Infrastructure), снабдив её новейшими процессорами Intel Xeon и ускорителями NVIDIA.

Как правило, когда речь заходит о суперкомпьютерах Fujitsu, вспоминаются уникальные наработки компании в сфере HPC — процессоры A64FX, но ABCI имеет более традиционную гетерогенную архитектуру. Изначально этот облачный суперкомпьютер включал в себя вычислительные узлы на базе Xeon Gold и ускорителей NVIDIA V100, объединённых 200-Гбит/с интерконнектом. В качестве файловой системы применена разработка IBM — Spectrum Scale. Это одна систем, специально созданных для решения задач искусственного интеллекта, при этом доступная независимым исследователям и коммерческим компаниям.

Так, 86% пользователей ABCI не входят в состав Японского национального института передовых технических наук (AIST); их число составляет примерно 2500. Но система явно нуждалась в модернизации. Как отметил глава AIST, с 2019 года загруженность ABCI выросла вчетверо, и сейчас на ней запущено 360 проектов, 60% из которых от внешних заказчиков. Сценарии использования самые разнообразные, от распознавания видео до обработки естественных языков и поиска новых лекарств.

Новые узлы ABCI 2.0 заметно отличаются по архитектуре от старых

Как и в большей части систем, ориентированных на машинное обучение, упор при модернизации ABCI был сделан на вычислительную производительность в специфических форматах, включая FP32 и BF16. Изначально в состав ABCI входило 1088 узлов, каждый с четырьмя ускорителями V100 формата SXM2 и двумя процессорами Xeon Gold 6148. После модернизации к ним добавилось 120 узлов на базе пары Xeon Ice Lake-SP и восьми ускорителей A100 формата SXM4. Здесь вместо InfiniBand EDR используется уже InfiniBand HDR.

Стойка с новыми вычислительными узлами ABCI 2.0

Согласно предварительным ожиданиям, производительность обновлённого суперкомпьютера должна вырасти практически в два раза на задачах вроде ResNet50, в остальных случаях заявлен прирост производительности от полутора до трёх раз. На вычислениях половинной точности речь идёт о цифре свыше 850 Пфлопс, что вплотную приближает ABCI к системам экза-класса. Разработчики также надеются повысить энергоэффективность системы путём применения специфических ускорителей, включая ASIC, но пока речь идёт о связке Intel + NVIDIA.

ABCI и сейчас можно назвать экономичной системой — при максимальной общей мощности комплекса 3,25 МВт сам суперкомпьютер при полной нагрузке потребляет лишь 2,3 МВт. Поскольку система ориентирована на предоставление вычислительных услуг сторонним заказчикам, модернизировано и системное ПО, в котором упор сместился в сторону контейнеризации.

Пентагон аннулировал облачный контракт Joint Enterprise Defense Infrastructure (JEDI) на сумму $10 млрд, заключённый в 2019 году с Microsoft и ставший предметов судебных исков ряда других соискателей, включая Amazon AWS. Amazon считалась главным претендентом на получение контракта JEDI, но получила его Microsoft, обойдя и других конкурентов, включая IBM и Oracle, которые пытались обжаловать формат проведения конкурса.

В заявлении военного ведомства указано, что «из-за меняющихся требований, увеличения доступности облачных вычислений и достижений отрасли контракт JEDI Cloud больше не отвечает его потребностям». Министерство обороны США будет придерживаться нового контракта под названием Joint Warfighter Cloud Capability (JWCC), который, как ожидается, будет заключён с Microsoft и Amazon и, возможно, с другими подрядчиками.

STAFF/AFP/Getty Images

Пентагон заявил, что поставщик облачных услуг для нового контракта должен будет соответствовать нескольким критериям, например, работать на всех трёх уровнях классификации (т.е. несекретно, секретно или совершенно секретно), быть доступным по всему миру и иметь средства контроля кибербезопасности высшего уровня. Последней каплей, вероятно, стала очередная судебная жалоба Oracle, поданная на прошлой неделе.

«Министерство обороны столкнулось с трудным выбором: продолжить судебную тяжбу, которая может длиться годами, или найти другой путь продвижения вперед, — пишет Тони Таунс-Уитли (Toni Townes-Whitley), президент Microsoft Regulated Industries. — Безопасность США важнее любого отдельного контракта, и мы знаем, что Microsoft преуспеет, когда у страны все будет хорошо <…> мы уважаем и принимаем решение Министерства обороны США двигаться вперёд по другому пути для обеспечения безопасности критически важных технологий».

Microsoft и Amazon жёстко конкурируют на рынке облачных вычислений. В прошлом году на конференции компании re: Invent бывший руководитель Amazon Web Services Энди Ясси (Andy Jassy), вступивший на этой неделе в должность генерального директора Amazon, представил статистику, согласно которой доля AWS на рынке облачной инфраструктуры составляет 45%, что более чем вдвое превышает долю Microsoft Azure.

Но Microsoft понемногу отвоёвывает долю рынка. В майском отчете Wedbush прогнозируется дальнейший рост Microsoft, поскольку облачные технологии Azure «все ещё находятся на начальном этапе», и компания «имеет твёрдые позиции для увеличения доли рынка по сравнению с AWS в этой гонке облачных вооружений».

Сервис Transfer Appliance, доступный в ряде регионов США, ЕС и Сингапуре, позволяет клиентам просто и безопасно перенести петабайты данных из их корпоративных ЦОД и других мест эксплуатации в Google Cloud. Сервис основан на одноимённой специализированной All-Flash СХД, которую клиент может запросить в Google Cloud Console, чтобы перенести на него свою информацию. На днях компания анонсировала новую версию Transfer Appliance.

Google Cloud проверяет потребности заказчика, такие как мощность и необходимая ёмкость, и отправляет полностью укомплектованное устройство, включая все необходимые кабели. Доступные для заказа ёмкости находятся в диапазоне от 40 до 300 Тбайт. Имеются также две базовые модификации Transfer Appliance: на 100 и 480 Тбайт. Благодаря встроенным средствам дедупликации и сжатия данных потенциально можно перенести до 1 Пбайт. Кроме того, предприятия могут выбрать вариант исполнения — для монтажа в стойку или автономное устройство.

Как только устройство прибывает к заказчику, его можно смонтировать как общий ресурс NFS и приступить к копированию данных. Затем устройство запечатывается для защиты от несанкционированного доступа при траспортировке и отправляется обратно Google. Перед переездом данные шифруются (AES-256), а клиент создаёт пароль и секретную фразу для их дешифровки. Это не только защищает информацию, но и позволяет соблюсти отраслевые стандарты ISO, SOC, PCI и HIPAA.

По прибытии устройства в Google специалисты компании осуществляют обратные операции, которые для краткости они называют «регидратацией». О её успешном завершении Google сообщает заказчику как правило в течении 1-2 недель. После миграции клиентам становятся доступны средства для анализа данных BigQuery и Vertex AI.

Google рекомендует предприятиям использовать сервис Transfer Appliance в тех случаях, когда для загрузки данных в облако через Интернет потребуется более недели, или когда необходимо перенести более 60 Тбайт данных. Ещё один вариант использования устройства — сбор данных в полевых условиях и на подвижных объектах, таких как корабли. По прибытии в порт их можно легко перенести в облако для последующей обработки или архивирования.

Следует отметить, что сервис особенно полезен в условиях недостаточной пропускной способности каналов передачи данных или отсутствия возможности подключения к Интернет. Несмотря на то, что данная концепция не нова и компании десятилетиями отправляли данные на физические устройства для архивирования и аварийного восстановления, она не утратила своей актуальности и сегодня. Аналогичные решения есть у всех крупных облачных провайдеров.

Корпорация Microsoft начала поставки любопытного серверного решения — центра обработки данных Azure Modular Data Center (MDC), все составляющие которого заключены в стандартный 40-футовый контейнер. Такое исполнение позволяет перевозить систему на различных видах транспорта и быстро вводить в эксплуатацию.

ЦОД может быть развёрнут в любом месте, где есть подходящая площадка для установки контейнера и электрическая сеть необходимой мощности. Более того, питание может подаваться от дизельных генераторов. ЦОД и всё его оборудование сконструированы так, чтобы пережить и транспортировку, и эксплуатацию в не самых благоприятных условиях.

Система позволяет получить доступ к вычислительным мощностям облака Azure. Контейнерный ЦОД может функционировать в суровом климате, обеспечивая бесперебойную работу критически важной инфраструктуры. Платформа MDC может использоваться, к примеру, в центрах гуманитарной помощи, передвижных пунктах управления, а также на территориях предприятий добывающей промышленности.

MDC может работать как полностью автономно, так и в связке с «большим» облаком Azure. Причём предусмотрена возможность использования спутниковых средств связи — на случай перебоев в основном интернет-канале. Собственно говоря, именно в рамках совместного со SpaceX проекта Azure Space и были анонсированы эти ЦОД.

Внутри контейнера размещены три серверных блока, каждый из которых содержит две стойки 42U с коммутаторами и контроллерами. На каждый блок приходится 8 серверов и 48 узлов хранения. Все они работают под управлением Azure Stack Hub. Доступ к такому ЦОД предоставляется на условиях аренды, как и в случае более простых и компактных устройств серии Azure Stack Edge.

Стало известно, что Oracle разворачивает новый облачный регион в Израиле. Он находится в высокозащищённом четырёхуровневом подземном объекте в Иерусалиме, где также размещена одна из наиболее засекреченных ИТ-инфраструктур страны.

Облачный регион Oracle в Иерусалиме находится в разработке с прошлого года. Многопользовательский ЦОД общей площадью 460 тыс. кв. футов (42,8 тыс. м²) был построен израильским провайдером ИТ-услуг Bynet Data Communications. Израиль стал вторым облачным регионом Oracle на Ближнем Востоке. Свои первые облачные площадки в этом регионе компания запустила в прошлом году в Дубае.

Другие облачные провайдеры тоже создают ЦОД в Израиле, что стимулирует строительство большого количества новых объектов в стране. Согласно публикации израильской деловой газеты Globes, здесь планируют запустить дата-центры Amazon Web Services и Microsoft Azure. Возможным подрядчиками в реализации проекта AWS названы риэлтерская компания Azrieli Group и американский разработчик ЦОД Compass Datacenters, в котором Azrieli недавно приобрела значительную долю.

Хотя подземные центры обработки данных имеются и в других регионах мира, Иерусалим, находящийся под постоянной угрозой нападения со стороны соседей Израиля, сделал выбор в пользу хранения критически важных инфраструктур под землёй по вполне очевидным причинам.

Фото: EZRA LEVY, The Jerusalem Post

Согласно данным израильского сайта CTech, верхний этаж объекта Bynet находится под пятиуровневым гаражом, который, в свою очередь, размещён под 17-этажным зданием. Потолок самого верхнего уровня ЦОД сделан из «бетона с покрытием из стальных пластин, способного противостоять взрыву автомобильной бомбы». Как сообщает CTech, «каждый этап строительства и монтажа» контролировали государственные регулирующие органы во главе с национальным киберуправлением и спецслужба Шин Бет.

Причина такого строгого надзора заключается в том, что Oracle — не единственный арендатор объекта. Он предназначен для размещения ИТ-инфраструктуры крупных банков, страховых и технологических компаний, а также государственных учреждений, включая оборонные. Отметим, что высокозащищённые подземные дата-центры также предлагают Cavern Technologies, Iron Mountain, Pionen, DEAC, Lefdal и др.

Компания IBM, изначально сделавшая себе имя благодаря выпуску корпоративного оборудования, делает ещё один шаг в сторону от этого наследия, углубляясь в мир облачных сервисов. Сегодня компания объявила о решении выделить подразделение управляемых инфраструктурных услуг в отдельную публичную компанию с годовой выручкой в $19 млрд, чтобы сосредоточиться на новых возможностях гибридных облачных приложений и искусственного интеллекта.

Как сообщил генеральный директор IBM Арвинд Кришна (Arvind Krishna), процесс создания новой компании с условным названием NewCo (новая компания) будет завершён к концу 2021 года. У неё будет 90 тыс. сотрудников, 4600 крупных корпоративных клиентов в 115 странах, портфель заказов в размере $60 млрд, «и более чем в два раза больше, чем у ближайшего конкурента» присутствие в области инфраструктурных услуг.

Gleb Garanich/Reuters

В число конкурентов новой компании входят BMC и Microsoft. Остающийся у IBM после выделения новой компании бизнес в настоящее время приносит её около $59 млрд годового дохода.

Услуги инфраструктуры включают в себя ряд управляемых сервисов, основанных на устоявшейся инфраструктуре и связанной с ней цифровой трансформации. Они включают в себя, в том числе тестирование и сборку, а также разработку продуктов и лабораторные сервисы.

Этот шаг является значительным сдвигом для компании и подчеркивает большие изменения в том, как ИТ-инфраструктура предприятия развивалась и, похоже, продолжит меняться в будущем.

IBM делает ставку на то, что устаревшая инфраструктура и ее обслуживание, продолжая приносить чистую прибыль, не будут расти, как это было в прошлом, и по мере того, как компания продолжит модернизацию или «цифровую трансформацию», она будет всё больше обращаться к внешней инфраструктуре и использованию облачных сервисов как для ведения своего бизнеса, так и для создания сервисов, взаимодействующих с потребителями.

Объявление было сделано через год после того, как IBM приобрела компанию Red Hat, предлагающую ПО с открытым исходным кодом, за $34 млрд, рассчитывая перевести большую часть своего бизнеса в облачные сервисы.

«Я очень рад предстоящему пути и огромной ценности, которую мы создадим, если две компании будут сосредоточены на том, что у них получается лучше всего, — отметил в своем заявлении Арвинд Кришна. — Это принесёт пользу нашим клиентам, сотрудникам и акционерам и выведет IBM и NewCo на траекторию улучшенного роста».

«IBM сосредоточена на возможности создания гибридного облака стоимостью $1 трлн, — сказал Кришна. — Потребности клиентов в покупке приложений и инфраструктурных услуг разнятся, в то время как внедрение нашей гибридной облачной платформы ускоряется. Сейчас подходящее время для создания двух лидирующих на рынке компаний, сосредоточенных на том, что у них получается лучше всего. IBM сосредоточится на своей открытой гибридной облачной платформе и возможностях ИИ. NewCo будет более гибко проектировать, управлять и модернизировать инфраструктуру самых важных организаций мира. Обе компании будут двигаться по траектории улучшенного роста с большей способностью сотрудничать и использовать новые возможности, создавая ценность для клиентов и акционеров».

Акции провайдера услуг хранилища данных для корпоративных клиентов Snowflake начали торговаться в среду на Нью-Йоркской фондовой бирже. Компания привлекла в ходе первичного размещения акций (IPO) порядка $3,36 млрд при оценке её рыночной стоимости в $33,6 млрд. Это было крупнейшее IPO для компании-разработчика программного обеспечения за все время существования софтверной индустрии.

Getty Images

Компания Snowflake, основанная в 2012 году, предоставляет специализированное облачное хранилище данных (Data Warehouse), работающее в AWS, Azure и Google. В Snowflake было инвестировано около $1,4 млрд венчурного капитала ещё до IPO, а в феврале в ходе G-раунда на $479 млн компания была оценена в $12,4 млрд. Тогда у компании насчитывалось более 3400 клиентов. К лету оценка стоимости выросла уже до $20 млрд.

Snowflake привлекла больше средств, чем изначально планировалось, продав 28 млн акций по $120 за штуку, что превысило целевой диапазон, находившийся в пределах от $100 до $110. Успешному IPO компании способствовало заявление Уоррена Баффета (Warren Buffet) о том, что его инвестиционный бизнес Berkshire Hathaway вложит $250 млн в Snowflake, а также известие о том, что нынешний инвестор Salesforce вкладывает в её акции ещё $250 млн.

Microsoft одновременно решает ряд инженерных задач с проектом Microsoft Azure Natick: снижает эксплуатационные расходы и обеспечивает меньшие задержки для дата-центров. Что же из себя представляет этот уникальный проект?

Начнем с истории: первый концепт Natick представлял собой стойку с серверами в стальной оболочке, которую опустили в океан, чтобы проверить работоспособность идеи. Попытка была удачной, Microsoft доказала, что можно использовать обычные серверы, развернутые в компактном корпусе на расстоянии 200 км в океане, что примерно давало задержку в 1 мс (2 мс в обе стороны). Видео с экспериментальным дата-центром Natick:

Первая версия Natick была развернута у берегов Калифорнии и проработала 105 дней, что подтвердило жизнеспособность концепта.

Два года спустя Microsoft Research погрузила под воду 14 стоек с серверами у побережья Шотландии. Этот регион был выбран не случайно: именно здесь используется множество возобновляемых источников энергии, что позволило сделать новый Natick еще более экологичным. Видео с демонстрацией Natick второго поколения:

После более чем года работы Natick второго поколения Microsoft поделилась некоторыми данными: с точки зрения эффективности энергопотребления Natick демонстрирует коэффициент PUE в 1,07 — это очень мало для текущего производственного центра обработки данных. Низкий PUE означает снижение эксплуатационных расходов, а также делает Natick более экологичным. Обычный наземный дата-центр использует 4,8 литра воды на кВт/ч, при этом Natick не потребляет воду для работы, однако использует ее по-другому (споры с экологами по поводу нагрева океана и влияния на окружающую среду не закончились какими-то конструктивными выводами, по информации от самой Microsoft, влияние Natick на окружающую среду ничтожно мало). Этот аспект особенно актуален для стран, в которых существует дефицит воды и охлаждение дата-центров превращается в существенную проблему.

Цилиндрический корпус Natick имеет вакуумную герметизацию, что означает, что серверы и ИТ оборудование избавлены от многих вредных факторов, таких как влажность и пыль. Кроме того, учитывая, насколько хорошо вода поглощает тепло и насколько велики океаны, можно утверждать, что на глубине 200 метров для дата-центра будет поддерживаться постоянная температура, без колебаний, свойственных наземным ЦОД (особенно это актуально для жарких регионов, где приходится использовать системы охлаждения с большим запасом). Natick 2 был рассчитан на эксплуатацию в течение пяти лет без технического обслуживания.

Так что же Microsoft может предложить сегодня?

Natick третьего поколения представляет собой множество цилиндрических корпусов, закрепленных на большой стальной раме, в которой проложены коммутационные кабели и кабели питания. Общий размер составляет более 90 м (300 футов), с каждой стороны конструкции есть балластные цистерны для транспортировки и упрощения установки. Natick 3 состоит из 12 цилиндрических корпусов, общая мощность системы достигает 5 МВт, при необходимости могут быть построены и более крупные структуры, так как конструкция модульная и позволяет легко масштабировать мощность при необходимости.

Microsoft не единственная компания, которая ведёт разработки в области подводных дата-центров, существуют еще разработки Nautilus Fata Technologies и более мелкие стартапы, однако они находятся только в самом начале пути и не имеют опыта промышленной эксплуатации дата-центров. Одно можно сказать точно: данное направление будет развиваться и в скором будущем мы увидим еще не одно подобное решение.

Компания Amazon анонсировала AWS Snowcone, нового представителя семейства устройств AWS Snow, предназначенных для периферийных вычислений, хранения и передачи данных из удалённых сред или мест, где отсутствует подключение к сети. Snowcone весит всего 2,1 кг и имеет габариты 227 × 148,6 × 82,65 мм.

Мини-облако поддерживает запуск малых инстансов Amazon EC2:

• snc1.micro (1 vCPU, 1 Гбайт RAM);
• snc1.small (1 vCPU, 2 Гбайт RAM);
• snc1.medium (2 vCPU, 4 Гбайт RAM).

Внутри у него неназванный x86-процессор c минимум двумя ядрами и 4 Гбайт оперативной памяти. Также у устройства имеется хранилище ёмкостью 8 Тбайт. AWS Snowcone можно подключать как к проводным, так и беспроводным сетям — у него есть два порта 1/10GbE и адаптер Wi-Fi 802.11a/b/g/n/ac. Питается устройство от порта USB Type-C (мин. 61 Вт), возможно подключение внешнего аккумулятора.

Устройство защищено от внешнего воздействия согласно стандарту IP65. Диапазон рабочих температур: 0°...38° C. Максимальный расчётный срок службы составляет 4 года.

Перед отправкой клиенту Amazon загрузит в устройство желаемый образ AMI, в том числе с IoT Greengrass. Для обмена данными с внешним миром используется NFSv4. Устройство можно использовать с существующими локальными серверами и файловыми приложениями для чтения и записи данных. Как и в случае других решений семейства Snow, Snowcone с загруженными клиентом данными можно отправить назад в Amazon, чтобы они были перемещены в S3-хранилище в выбранном клиентом облачном регионе.

В настоящий момент AWS Snowcone можно арендовать лишь в США: $60 за заказ + $6 за каждый день использования. В дальнейшем AWS будет предлагать эту услугу в других регионах.