Масштабный сбой в облаке Microsoft Azure, наложившийся на неудачное обновление защитного ПО компании CrowdStrike для ПК на Windows привели к нарушениям работы критически важной инфраструктуры по всему миру. По данным Datacenter Dynamics, в результате пришлось прекратить полёты некоторым авиалиниям, остановить работу банков, больниц, магазинов и других критически важных организаций и сервисов. В Сети в шутку предложили назначить 19 июля Международным днём Синего экрана смерти Windows. Эксперты уже назвали данное событие крупнейшим IT-сбоем за всю историю.

В Microsoft объявили, что облачный регион Central US спустя пять часов после сбоя вернулся к работе, хотя клиентам облака на восстановление работоспособности может понадобиться больше времени. Компания CrowdStrike, занимающаяся обеспечением кибербезопасности, также подтвердила, что выпущенное её обновление вызывало появление «экранов смерти» на компьютерах или бесконечной перезагрузке, а совпадение по времени двух не связанных с собой сбоев привело к тому, что клиентам теперь трудно определить, какая именно из причин вызвала неполадки в их инфраструктуре. Возможно, в некоторых случаях оказали влияние оба фактора.

Источник изображения: Vitaly Gariev/unsplash.com

Сбои привели к тому, что авиакомпании приостановили полёты, частично прекратили функционировать аэропорты, железные дороги, банковские приложения и даже сервис Xbox Live прекратил работу на несколько часов. Пострадали и некоторые телеком-операторы и СМИ. Проблемы коснулись жителей США, Великобритании и Австралии, а также других стран, от Европы до Индии и Японии.

CrowdStrike «откатила» дефектное обновление ПО Falcon Sensor, включавшее некорректный драйвер. В качестве временной меры предлагается удалить файлы вида C-00000291*.sys в директории C:WindowsSystem32driversCrowdStrike, загрузив Windows в безопасном режиме или режиме восстановления. Для облачных инстансов предлагается сделать то же самое, отмонтировав тома и сняв резервную копию. При наличии BitLocker понадобится ключ для дешифровки данных. Причём это не первая массовая проблема с ПО компании за последний месяц — более ранний апдейт приводил к 100 % загрузке одного из ядер CPU.

Источник изображения: Microsoft Azure

Акции компании в преддверии сегодняшних торгов в США уже упали на 19 %. Аналитики полагают, что CrowdStrike в её нынешнем виде, возможно, перестанет существовать. По некоторым оценкам, поражено до 15 % корпоративных Windows-систем. Ситуация осложняется тем, что при отсутствии OOB придётся вручную исправлять проблему на каждом ПК. По неподтверждённым данным, в некоторых случаях помогает многократная последовательная перезагрузка ПК (до 15 раз подряд).

Microsoft в свою очередь пояснила, что автоматизированный процесс управления внёс изменения в конфигурацию серверов, в результате чего была заблокирована связь между некоторыми хранилищами данных и вычислительными ресурсами в регионе US Central. Это привело к тому, что инстансы потеряли связь с виртуальными дисками, уходя в циклическую перезагрузку. Большинство сервисов сейчас восстановлено, но некоторые ещё испытывают «остаточное воздействие», клиенты получат поддержку на профильном портале Azure. В частности, проблемы всё ещё могут быть у пользователей и администраторов Microsoft 365.

Компания Microsoft обратила внимание на ценный источник редкоземельных элементов — отслужившие своё жёсткие диски. По данным Datacenter Dynamics, канадский стартап Cyclic Materials получил инвестиции в акционерный капитал от подконтрольной Microsoft структуры — Climate Innovation Fund. Условия финансирования не разглашаются.

Основанная в 2021 году компания Cyclic Materials занимается переработкой металлов. Она разработала и запатентовала технологию CC360, позволяющую извлекать редкоземельное сырьё из HDD. Списанные жёсткие диски часто отправляются на утилизацию, в рамках которой в лучшем случае из комплектующих извлекаются преимущественно драгоценные металлы вроде золота и серебра, говорит стартап. Технология CC360 позволит отделять некоторые компоненты HDD для извлечения редкоземельных элементов, а оставшиеся фрагменты обрабатывать в обычном порядке.

Источник изображения: Art Wall - Kittenprint/unsplash.com

По словам представителя Climate Innovation Fund, в Microsoft работают над достижением нулевых выбросов к 2030 году переходу к «экономике замкнутого цикла». При этом важность редкоземельных элементов продолжает расти, а новые инвестиции помогут обеспечить их экобезопасные поставки. Поддержка Microsoft позволит Cyclic Materials ускорить внедрение коммерческих мощностей. Но технология будет полезна и другим крупным операторам дата-центров.

Весной 2023 года Cyclic Materials закрыла раунд финансирования серии А, получив $27 млн. Раунд возглавили BMW i Ventures (BiV) и Energy Impact Partners (EIP), также в нём приняли участие Fifth Wall, Bioindustrial Innovation Canada (BIC) и инвестор Planetary Capital. Кроме того, в том же году т.н. Sustainable Development Technology Council of Canada (SDTC) вложил в стартап CA$3,6 млн ($2,6 млн).

Источник изображения: Cyclic Materials

Недавно Cyclic Materials открыла в Кингстоне (Онтарио, Канада) завод Hub100 — первую в Северной Америке площадку для получения смеси редкоземельных оксидов (rMREO) с использованием проприетарной гидрометаллургической технологии REEPure. Hub100 ежегодно может перерабатывать до 100 т магнитных материалов в концентрат rMREO. Кроме того, попутно добываются соединения никеля и кобальта. Все их можно повторно использовать для создания новых продуктов.

Впрочем, жёсткие диски можно не перерабатывать, а восстанавливать, очищать и снова продавать — именно этим с недавних пора занимается Seagate. Другими альтернативными методами переработки отходов занимается не только Microsoft. Например, Meta✴ и Mycocycle ещё в прошлом году начали эксперимент по утилизации отходов после строительства ЦОД с помощью грибов.

Семейство одноплатных компьютеров Orange Pi 5 пополнилось новой моделью, получившей название Orange Pi 5 Max. Изделие подходит для создания устройств с функциями ИИ и поддержкой видео в формате 8К: это могут быть edge-системы, оборудование машинного зрения, VR-продукты и пр.

В основу Orange Pi 5 Max положен 8-нм процессор Rockchip RK3588: он содержит по четыре ядра Cortex-A76 (2,4 ГГц) и Cortex-A55 (1,8 ГГц), а также графический блок Arm Mali-G610 с поддержкой OpenGL ES1.1/2.0/3.2, OpenCL 2.2 и Vulkan 1.2. Имеется NPU (INT4/INT8/INT16/FP16) производительностью до 6 TOPS.

Источник изображений: Orange Pi

Объём памяти LPDDR5 может составлять 4, 8 или 16 Гбайт. Возможна установка чипа eMMC вместимостью 32, 64, 128 или 256 Гбайт. Плюс к этому имеются слот microSD и коннектор M.2 M-Key для NVMe SSD (PCIe 3.0 х4). В оснащение входят сетевой контроллер 2.5GbE (Realtek RTL8125BG), адаптеры Wi-Fi 6E и Bluetooth 5.3/BLE (AP6611), звуковой кодек ES8388.

Одноплатный компьютер оборудован двумя интерфейсами HDMI 2.1 с поддержкой видео 8К (60 кадров в секунду), гнездом RJ-45 для сетевого кабеля, двумя портами USB 3.0 и двумя портами USB 2.0, 3,5-мм аудиогнездом, а также коннектором USB Type-C для подачи питания. Упомянута 40-контактная колодка GPIO, интерфейсы MIPI-DSI и MIPI-CSI (×2).

Изделие имеет размеры 89 × 57 мм. Говорится о совместимости с Orange Pi OS (Android или Arch Linux), Ubuntu, Debian и Android 12. Цена версии Orange Pi 5 Max с 8 Гбайт ОЗУ составляет около $95, с 16 Гбайт — $125.

Компания Gigabyte, по сообщению ресурса Tom's Hardware со ссылкой на ServeTheHome, готовит к выпуску двухпроцессорный сервер R283-ZK0 типоразмера 2U на аппаратной платформе AMD EPYC Genoa. Особенность данной модели заключается в наличии 48 слотов (24 на процессор) для модулей оперативной памяти DDR5, размещённых в уникальной конфигурации.

Сервер допускает установку двух чипов в исполнении SP5: в частности, говорится о возможности использования изделий со 128 ядрами (256 потоков) с показателем TDP до 300 Вт. Из-за ограниченного пространства внутри корпуса сформировать систему с 12 каналами DDR5 на процессорный сокет, располагая слоты ОЗУ рядом друг с другом, оказалось невозможно.

Gigabyte R283-ZK0

Поэтому соответствующие разъёмы на материнской плате Gigabyte MZK3-LM0 выполнены лесенкой: с одной стороны каждого процессора они имеют трёхступенчатую конфигурацию 6-2-4, с другой — четырёхступенчатую вида 4-2-2-4. Таким образом, удалось расположить 48 слотов DDR5 в стандартном форм-факторе 2U.

Сервер R283-ZK0 оснащён восемью фронтальными отсеками для SFF-накопителей NVMe, четырьмя посадочными местами для SFF-устройств в тыльной части и двумя внутренними коннекторами М.2. Есть четыре слота FHHL для карт расширения с интерфейсом PCIe 5.0 x16, два слота OCP 3.0 и два порта 1GbE. За питание отвечают два блока мощностью 2700 Вт с сертификатом 80 Plus Titanium.

Gigabyte R283-ZK0

Прочие характеристики сервера и сроки его поступления в продажу пока не раскрываются. Нужно отметить, что Gigabyte также готовит схожую модель R183-ZK0 в форм-факторе 1U, которая отличается от 2U-версии наличием всего четырёх слотов SFF NVMe, одного слота FHHL и БП мощностью 2000 Вт.

Поставщик сетевых решений Cornelis Networks объявил о назначении с 15 августа гендиректором Лизы Спелман (Lisa Spelman, на фото ниже). Она сменит на этом посту Филипа Мерфи (Philip Murphy), который займёт должность президента и главного операционного директора. Спелман переходит в Cornelis Networks из Intel, где она занимала руководящие должности на протяжении более двух десятилетий.

До недавнего времени Спелман была корпоративным вице-президентом группы DCAI (ЦОД и ИИ) и генеральным менеджером подразделения Xeon Products and Solutions. Она также занимала ряд руководящих должностей в других подразделениях Intel. Как сообщил Мерфи, Спелман обладает беспрецедентной широтой и глубиной знаний во всех аспектах построения и масштабирования успешного бизнеса. По его словам, клиенты компании уже знают Спелман и верят в её способность помочь им создать необходимую инфраструктуру следующего поколения.

Источник изображения: Cornelis Networks

Интерконнект Omni-Path, от которого в своё время отказалась Intel и который в итоге достался Cornelis Networks, используется научными, академическими, государственными и коммерческими организациями по всему миру. Впрочем, в последнем рейтинге TOP500 доля систем с этим интерконнектом составляет всего 6,4 %, а на решения именно Cornelis приходится и вовсе менее 1 %. Сейчас компания готовится к старту поставок решений следующего поколения CN5000, разработанных специально для сред ИИ и HPC и позволяющих удовлетворить растущие требования к масштабируемости сетевой инфраструктуры.

Спелман отметила, что одной из самых серьёзных проблем, с которой компании сталкиваются при развитии ИИ-инфраструктуры — это наличие высокоэффективного интерконнекта, объединяющего CPU, GPU и ускорители: «Способность объединить эти ресурсы высокоэффективным способом влияет на конкурентоспособность организации в мире ИИ».

Согласно прогнозу аналитической компании TrendForce, высокий спрос на ИИ-серверы со стороны крупных провайдеров облачных услуг и других клиентов сохранится до конца 2024 года. Постепенное расширение производства компаниями TSMC, SK hynix, Samsung и Micron позволило значительно уменьшить дефицит во II квартале и, как следствие, время выполнения заказа на NVIDIA H100 сократилось с прежних 40–50 недель до менее чем 16.

По оценкам TrendForce, поставки ИИ-серверов во II квартале выросли почти на 20 % по сравнению с предыдущим кварталом. Аналитики в своём свежем отчёте пересмотрели прогноз поставок на весь год до 1,67 млн ИИ-серверов (рост на 41,5 % в годовом исчислении). Объём рынка ИИ-серверов в 2024 году в денежном выражении, как ожидают в TrendForce, превысит $187 млрд при темпах роста 69 %, что составит 65 % от рыночной стоимости всех поставленных серверов.

В отчёте также отмечено, что в этом году крупные провайдеры облачных услуг продолжают концентрироваться на закупке ИИ-серверов, что негативно отражается на темпах роста поставок серверов общего назначения. У последних ежегодные темпы роста поставок составят всего 1,9 %. Как ожидают в TrendForce, доля ИИ-серверов в штучном выражении в общем объёме поставок достигнет 12,2 %, что больше на 3,4 п.п. по сравнению с 2023 годом.

Аналитики отметили, что североамериканские гиперскейлеры постоянно расширяют выпуск собственных ASIC, впрочем, как и китайские компании, такие как Alibaba, Baidu и Huawei. Ожидается, что благодаря этому доля ASIC-серверов на рынке ИИ-серверов вырастет до 26 % в 2024 году, в то время как у ИИ-серверов с ускорителями доля будет около 71 %. При этом NVIDIA сохранит абсолютное лидерство с около 90 % рынка ИИ-серверов с ускорителями, в то время как доля AMD составит лишь около 8 %.

Если же учитывать вообще все чипы, используемые в ИИ-серверах (GPU, ASIC, FPGA), то доля рынка NVIDIA в этом году составит около 64 %, ожидают в TrendForce. По оценкам аналитической фирмы Tech Insights, NVIDIA в 2023 году отгрузила приблизительно 3,76 млн серверных ускорителей на базе GPU, захватив 98 % рынка GPU для ЦОД.

TrendForce считает, что спрос на передовые ИИ-серверы сохранится и в 2025 году, учитывая тот факт, что NVIDIA Blackwell (включая GB200, B100/B200) заменит Hopper. Это также будет стимулировать спрос на CoWoS (2.5D-упаковка от TSMC) и память HBM. Производственная мощность TSMC в области CoWoS, по оценкам TrendForce, достигнет 550–600 тыс. единиц к концу 2025 года, при этом темпы роста достигнут 80 %.

Источник изображения: TrendForce

Тем не менее, ускоритель H100 получит в 2024 году наибольшее распространение. К 2025 году такие ускорители, как Blackwell Ultra от NVIDIA или MI350 от AMD, будут оснащены HBM3e ёмкостью до 288 Гбайт, что утроит количество компонентов памяти. Ожидается, что общее предложение HBM удвоится к 2025 году на фоне высокого спроса на ИИ-серверы.

При этом не все уверены в светлом будущем ИИ. Так, венчурный фонд Sequoia Capital и аналитики Goldman Sachs указывают на сверхвысокие расходы на ИИ-оборудование и вместе с тем отсутсвие реальной финансовой отдачи от вложений в ИИ-решения. С другой стороны, венчурный фонд Andreessen Horowitz (a16z) уверен, что ИИ не станет очередным финансовым пузырём и сам закупает ИИ-ускорители, чтобы привлечь стартапы. А некоторые ИИ-стартапы сами приходят к крупным игрокам, поскольку не способны окупить затраты на оборудование.

NVIDIA приобрела стартап, помогающий ИИ-разработчикам найти среди предложений облачных провайдеров наиболее подходящий по соотношению цена/качество доступ к ускорителям. Как сообщает портал CRN, это уже четвёртая заметная покупка NVIDIA с начала года. Представитель NVIDIA подтвердил, что сделка по приобретению Brev.dev действительно состоялась, но сумму и условия сделки не сообщил.

Brev.dev предоставляет платформу для создания, обучения и внедрения ИИ-моделей в облаках. Целью Brev.dev, по словам самого стартапа, является поиск простейшего способа использования ускорителей для разработчиков систем ИИ и машинного обучения. Сотрудничество с NVIDIA обеспечит выполнение этой миссии, с комбинацией максимально возможно производительной аппаратной составляющей с самым передовым программным обеспечением.

На сайте Brev.dev официальными партнёрами стартапа названы NVIDIA, Intel и AWS. Там же говорится, что платформа служит единым интерфейсом для взаимодействия AWS, Google Cloud Platform, Fluidstack и прочими облаками с ИИ-ускорителями. Это позволяет разработчикам искать подходящие инстансы на основе их цены и доступности. Хотя NVIDIA поставляет GPU и ИИ-ускорители облачным провайдерам более десяти лет, в последние годы компания уделяет немало внимания расширению собственного бизнеса в сфере облачных инфраструктур.

Источник изображения: NVIDIA

В прошлом году компания запустила сервис DGX Cloud, который развёрнут в облачной инфраструктуре других провайдеров и на собственных мощностях и ИИ-суперкомпьютерах. Ранее в этом году NVIDIA купила ещё два стартапа для развития возможностей DGX Cloud. В конце апреля компания анонсировала покупку израильского стартапа Run:ai, занимающегося решениями для оркестрации ИИ-инфраструктур. Его планируется интегрировать в DGX Cloud, а также с DGX- и HGX-серверами. По имеющимся данным, покупка Run:ai обошлась в $700 млн.

Практически одновременно с Run:ai компания приобрела ещё один израильский стартап — Deci, предлагающий ПО, способное на любом железе ускорить инференс ИИ-моделей, сохраняя точность данных. Сделку, по слухам, оценили приблизительно в $300 млн. Наконец, месяц назад NVIDIA купила калифорнийский стартап Shoreline.io, основанный бывшим управленцем AWS — компания разрабатывает ПО для автоматического устранения проблем в инфраструктуре ЦОД. По некоторым данным, команда Shoreline присоединилась к DGX Cloud, а покупка обошлась в $100 млн.

Облачный провайдер CoreWeave намерен внедрять топливные ячейки Bloom Energy в одном из своих дата-центров. Datacenter Dynamics сообщает, что речь идёт о твёрдооксидных топливных элементах (SOFC), которые будут генерировать энергию непосредственно на территории ЦОД Chirisa Technology Parks (CTP) в Иллинойсе.

Топливные элементы должны ввести в эксплуатацию в III квартале 2025 года, но масштаб внедрения технологии пока не разглашается. По словам представителя Bloom Energy, выбор решений компании одним из лидеров ИИ-рынка свидетельствует о зрелости топливных элементов и их важности для ИИ. В самой CoreWeave добавляют, что гордятся новым сотрудничеством, которое поспособствует достижению целей экоустойчивости.

SOFC работают при высоких температурах, из-за чего требуют больше времени на запуск в сравнении с низкотемпературными PEMFC-элементами. Однако запуск SOFC всё равно быстрее, чем газовых турбин или дизельных генераторов, говорит разработчик, а при частичных нагрузках ещё и эффективнее турбин.

Топливные ячейки Bloom могут применяться как параллельно с магистральной энергосетью, дополняя её, так и самостоятельно питать дата-центр, когда это необходимо. В числе клиентов Blool уже есть Intel, Equinix, JPMorgan Chase, Nxtra и AWS. К началу 2024 года компания поставила элементов на 5 ГВт по всему миру. Одним из крупных проектов должно стать оснащение ирландского ЦОД.

Кампус CTP, расположенный на участке площадью 20 га, включает объект YLO-01 (14 МВт, 14,8 тыс. м²), который будет дополнен точно таким же объектом YLO-02. Ещё 13,9 тыс. м², судя по данным на сайте компании, будет построено в будущем.

Источник изображения: Bloom Energy

CoreWeave в настоящее время управляет несколькими регионами: US East (LGA1) в Нью-Джерси, US West (LAS1) в Неваде и US Central (ORD1) в Иллинойсе. Также сообщается о регионах в Рино (RNO2) и US East-02. Ожидается, что концу 2024 года она будет распоряжаться 28 ЦОД, для сравнения — в конце 2023 года речь шла о 14 объектах. Соглашения об аренде заключены с Lincoln Rackhouse, Chirisa, Flexential, TierPoint, Digital Realty, и Core Scientific в США. Также компания расширяет бизнес в материковой Европе, а также Великобритании. Пока имеется подтверждённая информация о сотрудничестве с провайдером EdgeConneX в Испании.

Компания Google обещала облачным бизнесам из Евросоюза компенсацию в объёме €470 млн ($512 млн) в попытке убедить их не отказываться от претензий к Microsoft. В своё время ассоциация CISPE пожаловалась на гиганта из Редмонда регуляторам ЕС, но позже стороны достигли соглашения, а жалоба была отозвана. Сама Google тоже жаловалась на поведение Microsoft регулятором ЕС.

От своих претензий Cloud Infrastructure Services Providers in Europe (CISPE) отказалась на прошлой неделе — компании жаловались на проблемы с лицензированием ПО Microsoft при использовании в облаках вне Azure. Ранее в CISPE сетовали, что Microsoft чрезвычайно затруднила клиентам смену облачных провайдеров, фактически привязав своё ПО к сервисам Azure.

Microsoft и CISPE урегулировали дело, но буквально за несколько дней до этого Google выдвинула встречное предложение — не отказываться от жалобы за крупную компенсацию. При этом Google предлагала в основном не деньги, а лицензии на облачное ПО на сумму €455 млн сроком на 5 лет и только €14 млн в виде реальной финансовой помощи. В своё время жалобу на Microsoft поддержала и AWS, но ничего не смогла сделать несмотря на то, что сама является членом CISPE.

Источник изображения: Blogging Guide/unsplash.com

Ассоциация, куда входит множество малых провайдеров, решила пойти навстречу Microsoft, пообещавшей финансовую компенсацию в эквиваленте $22 млн и расширение возможностей по использованию приложений Microsoft в сторонних облаках. Компаниям будет обеспечен доступ к платформе Azure Stack HCI, что позволит запускать ПО Microsoft, по тем же ценам, что предлагает сам IT-гигант в Azure.

Хотя Google долгое время отставала от Microsoft и AWS на облачных рынках, компания добилась значительных успехов в этой сфере. В I квартале облачный бизнес принёс компании $900 млн прибыли, при этом эксперты прогнозировали её на уровне $672,4 млн. Облачное подразделение Google рассматривается компанией как один из перспективных векторов для роста. Показатели можно было бы дополнительно улучшить, стимулировав интерес регуляторов к деятельности Microsoft — расследование в ЕС могло привести к оборотному штрафу в 10 % от глобальной выручки конкурента.

У Microsoft большой опыт урегулирования подобных споров. Например, в 2004 году она выплатила более $9,75 млн поддерживаемой Google группе Computer and Communications Industry Association для того, чтобы та отказалась от претензий к Редмонду в ЕС. Хотя одной проблемой для Microsoft пока стало меньше, она ещё находится в поле зрения европейских властей в связи с вложением $13 млрд в OpenAI — под вопросом законность привилегированного использования последней облачных технологий Редмонда.

Кроме того, Microsoft грозит в Евросоюзе крупный штраф за злоупотребление доминирующим рыночным положением — из-за привязки приложения Teams к другому ПО. Наконец, всё ещё ведутся антимонопольные расследования в Великобритании и США. В Соединённом Королевстве регулятор CMA изучает облачный рынок с 2023 года, а в США Microsoft и вовсе является фигурантом двух расследований. Первое начато в январе 2024 года и связано с изучением деятельности провайдеров ИИ-сервисов, второе посвящено Microsoft, OpenAI и NVIDIA — исследуется влияние трёх ключевых игроков на ИИ-индустрию.

Нидерландская Yandex N. V. (бренд Nebius), бывшая материнская компания «Яндекса», планирует расширить дата-центр в Мянтсяля (Финляндия) в два раза, пишет ТАСС со ссылкой на финское агентство STT.

«Мы можем сообщить вам, что изначально этот участок планировался как четырёхсекционный, два из которых уже построены. Сейчас мы завершаем работу над планами и увеличим его до четырёх секций, чтобы разместить больше GPU для нашего облака на основе искусственного интеллекта», — сообщили агентству STT в Nebius, не назвав сумму инвестиций в расширение объекта.

Источник изображения: «Яндекс»

Построенный в 2014 году дата-центр в Мянтсяля в регионе Уусимаа был одним из пяти ЦОД «Яндекса». Выделяемое его оборудованием тепло используется для обогрева домов. Здесь применяется технология естественного охлаждения, когда серверы остужают воздухом с улицы. Как сообщает ТАСС, дата-центр является крупнейшим налогоплательщиком муниципалитета Мянтсяля.

В декабре 2019 года стало известно о договоре «Яндекса» со строительной компанией Lehto Tilat Oy на строительство дополнительного корпуса дата-центра площадью 10 тыс. м². В июле 2024 года российский «Яндекс» объявил о завершении реструктуризации и закрытии сделки с нидерландской компанией Yandex N.V. по продаже ряда активов, включая дата-центр в Финляндии.