Huawei поступательно улучшает качество своих чипов. По последним данным, уже 40 % экземпляров новейших ускорителей Ascend пригодны к эксплуатации, а их производство впервые стало для компании прибыльным, говорят отраслевые эксперты. Компания намерена повысить показатель годности до 60 % в соответствии со стандартами индустрии, сообщает The Financial Times. Год назад речь шла якобы лишь о 20 %.

Это чрезвычайно важно для компании, поскольку Ascend 910C значительно производительнее 910B. Это очередной шаг на пути Китая к строительству независимой вычислительной инфраструктуры, не подверженной санкциям. Местную полупроводниковую отрасль активно поддерживает государство. Пекин постоянно призывает китайские компании покупать местные альтернативы продуктов NVIDIA, которая до сих пор остаётся лидером рынка ускорителей в КНР.

По данным отраслевых источников, в этом году Huawei намерена выпустить 100 тыс. чипов 910C и 300 тыс. 910B. В 2024 году последних выпустили 200 тыс. экземпляров, а массовый впуск 910С ещё не был налажен. Впрочем, компании придётся постараться, чтобы убедить потенциальных покупателей отказаться от продукции NVIDIA. Отмечается, что программная экосистема NVIDIA CUDA намного удобнее и производительнее ПО Huawei. Кроме того, бизнес и сама Huawei признают, Ascend 910B недостаточно хороши для обучения больших моделей. Эту проблему компания попыталась решить в модели 910C.

Источник изображения: Huawei

В 2020 году США буквально заставили тайваньскую TSMC прекратить производство для Huawei ускорителей Ascend и чипсетов для смартфонов компании. Выпуском ускорителей Huawei занимается китайская SMIC, которая тоже находится под американскими санкциями. Компания использует техпроцесс N+2, позволяющий выпускать высокопроизводительные чипы без EUV-литографии. В Китай запрещено продавать соответствующее оборудование нидерландской ASML.

Так или иначе, Huawei является единственным конкурентом, способным состязаться с NVIDIA при производстве чипов для инференса. Правда, как отмечают многие китайские заказчики, компания не может обеспечить действительно масштабных поставок для всех желающих, отдавая приоритет крупным облачным провайдерам, за которыми стоит государство, например, China Mobile. По мнению экспертов, на Huawei сегодня приходится более ¾ общего производства ИИ-чипов в Китае, мелким соперникам трудно конкурировать с техногигантом из-за того, что тот имеет доступ к самым передовым технологическим процессам SMIC.

Предполагается, что NVIDIA всё равно будет продавать больше ускорителей в Китае, чем Huawei, несмотря на то что американской компании разрешено поставлять только урезанные модели H20. По оценкам SemiAnalysis, выручка NVIDIA за продажу только в 2024 году в Китай 1 млн ускорителей составила $12 млрд. Триумф ИИ-моделей DeepSeek только подстегнул спрос на чипы NVIDIA H20 в Китае.

Китайская ByteDance намерена потратить в 2025 году более $12 млрд на ИИ-инфраструктуру. Она делает ставку на использование передовых технологий для роста, хотя и находится под давлением американских властей, намеренных заставить её продать часть популярной социальной сети TikTok, сообщает The Financial Times. Правда, огромный бюджет на новые закупки планировали до последних изменений американской политики.

В частности, по данным источников, компания намерена выделить ¥40 млрд ($5,5 млрд) на покупку ИИ-чипов в 2025 году. Это вдвое больше, чем было потрачено на эти же цели в 2024-м. Около 60 % заказов компании на чипы в Китае придётся на местных производителей вроде Huawei и Cambricon (в основном для инференса), остальное достанется NVIDIA. По некоторым данным, Пекин неофициально рекомендовал китайским бизнесам закупать не менее 30 % чипов у производителей из Поднебесной.

За первые три квартала выручка NVIDIA в Китае, включая Гонконг, составила $11,6 млрд, или 13 % от общих денежных поступлений. ByteDance является крупнейшим покупателем в Китае, но может приобретать для китайских ЦОД только модели H20, соответствующие американским экспортным ограничениям. По данным Omdia, в 2024 году компания заказала около 230 тыс. чипов NVIDIA, в основном именно H20. Ещё столько же купила Tencent. Для сравнения — в тот же период Microsoft приобрела 485 тыс. чипов семейства Hopper, а Meta✴ — 224 тыс.

Источник изображения: Danie LIU/unsplash.com

Также ByteDance планирует инвестировать около $6,8 млрд за пределами Китая, чтобы нарастить возможности обучения ИИ-моделей с использованием передовых чипов NVIDIA. Но с этим могут возникнуть проблемы из-за недавнего ужесточения США экспортного контроля, призванного сдержать технологическое развитие Китая. В любом случае компания является одним из лидеров ИИ-гонки в Китае и активно наращивает соответствующую инфраструктуру. Она уже развернула вычислительные мощности в Юго-Восточной Азии (в частности, Малайзии).

Хотя китайским компаниям сильно ограничен доступ к ИИ-чипам NVIDIA, они сохранили доступ к ним, арендуя мощности в «нейтральных» странах. Эту лазейку закрыла предыдущая администрация США. Хотя Трамп может пересмотреть эти правила, если их всё же будут строго придерживаться, это серьёзно ограничит доступ ByteDance к вычислениям. По данным источников, в этом году ByteDance заключила много соглашений об аренде вычислительных мощностей. Их должно хватить для обеспечения большинства потребностей компании в 2025 году, но что может случиться после, пока неизвестно.

Судьба TikTok в США пока остаётся под вопросом. У соцсети есть 75 дней, чтобы определиться со стратегией работы или уйти из страны. Власти США хотят, чтобы американское подразделение TikTok продало долю в 50 %, пригрозив новыми санкциями в случае отказа. Ситуация может помешать планам ByteDance по выходу на биржу (IPO). Не так давно компания предварительно оценила себя приблизительно в $300 млрд.

UPD: По данным Reuters, капитальные затраты компании в 2025 году составят ¥150 млрд ($20,64 млрд). Срос на ресурсы привёл к тому, что компания стала одним из крупнейших клиентов Microsoft в Азии в сфере облачных вычислений.

Ведущим приложением компании является чат-бот Duobao с 75 млн пользователей, имеется бот для преобразования текстов в видео Jimeng, а также инструмент Kouzi для разработчиков ботов и сервис Maoxing, обеспечивающий эмоциональную поддержку людям. Некоторые приложения компании доступны за рубежом — Duobao известен на международном рынке как Cici, а Jimeng — как Dreamina.

Хотя на китайском рынке ИИ-ускорителей по-прежнему доминирует NVIDIA, Huawei намерена отнять у неё значительную его долю. Для этого китайский разработчик намерен помочь китайским ИИ-компаниям внедрять чипы собственного производства для инференса, сообщает The Financial Times. Для обучения ИИ-моделей китайские производители в массе своей применяют чипы NVIDIA. Huawei пока не готова заменить продукты NVIDIA в этом деле из-за ряда технических проблем, в том числе из-за проблем с интерконнектом ускорителей при работе с крупными моделями.

Предполагается, что в будущем именно инференс станет пользоваться большим спросом, если темпы обучения ИИ-моделей замедлятся, а приложения вроде чат-ботов будут распространены повсеместно. Если инференс нужен постоянно, то к обучению ИИ-моделей прибегают лишь время от времени. По словам сотрудников и клиентов Ascend, компания сосредоточена на менее сложном, но, возможно, более прибыльном пути. Но поскольку ускорители NVIDIA и Huawei используют разные программные экосистемы, последняя предлагает бизнесам ПО для обеспечения совместимости.

Продукция Huawei продвигается при поддержке китайского правительства, внутри страны именно эта компания считается наиболее серьёзным конкурентом NVIDIA. И хотя китайские компании всё более ограничены в доступе к аппаратным решениям NVIDIA из-за санкций, они охотно покупают даже урезанные чипы H20, которые всё равно считают более предпочтительным вариантом, чем китайские альтернативы.

Источник изображения: Huawei

Задача Huawei — убедить разработчиков отказаться от платформы CUDA, во многом благодаря которой NVIDIA и смогла добиться успеха на рынке. От проблем с ПО страдает и AMD — по словам экспертов, именно оно не позволяет раскрыть потенциал ускорителей Instinct MI300X. Впрочем, готовящаяся к релизу версия Huawei Ascend 910C должна решить эти проблемы, поскольку новое поколение ускорителей получит ПО, упрощающее работу разработчиков. Тем временем китайские Baidu и Cambricon добились определённых успехов в разработке собственных ИИ-ускорителей, а ByteDance обратилась за помощью к Broadcom.

По оценкам SemiAnalysis, в прошлом году NVIDIA заработала $12 млрд на продажах своей продукции в Китае, поставив 1 млн ускорителей H20, т.е. вдвое больше, чем Ascend 910B. Впрочем, отрыв, по словам экспертов, быстро сокращается, поскольку Huawei наращивает производство. Отмечается, что рост доли Huawei на рынке ИИ-ускорителей отчасти сдерживается лишь недостаточным предложением её продукции. По мнению экспертов, наращивать производство будет трудно, поскольку Китайское вынужден использовать устаревшее оборудование из-за санкций США.

Специализация на инференсе может свидетельствовать и об особом векторе развития китайских ИИ-систем, отличающемся от американского. Китайские компании не участвуют в гонке Meta✴, xAI и OpenAI по созданию мегакластеров на базе решений NVIDIA. Зато большей эффективности в задачах инференса можно добиться даже с более слабыми чипами. Снизив стоимость работы ИИ-моделей, можно будет сохранять конкурентоспособность даже в таких условиях.

В прошлом месяце китайский стартап DeepSeek представил ИИ-модель V3, обеспечивающую низкие затраты на обучение и инференс в сравнении с сопоставимыми по возможностям моделями из США. DeepSeek утверждает, что Huawei успешно адаптировала V3 к Ascend. Ранее сообщалось, что Huawei охотно направляет к клиентам специалистов для помощи с переходом с NVIDIA на Ascend.

Администрация действующего президента США Джо Байдена (Joe Biden) намерена внести в чёрный список компанию из КНР, якобы разработавшую и заказавшую у TSMC чипы, использовавшиеся в ИИ-решениях Huawei. Последняя применяла их в ускорителях Ascend 910B, сообщает Reuters.

Речь идёт о китайской Sophgo, дочерней структуры поставщика оборудования для майнинга Bitmain. Это последняя в списке компаний, которые США намерены наказать за помощь Huawei. Сейчас она находится на очереди для включения в «чёрный список» Entity List, куда отправляются компании, например, угрожающие национальной безопасности или внешнеполитическим интересам Соединённых Штатов. В этом месяце Министерство торговли США уже внесло в чёрный список ряд других компаний, посчитав их частью «теневой сети» китайского техногиганта.

Представители американских властей ситуацию не комментируют, а Sophgo ещё в октябре заявляла, что никогда не была прямо или косвенно вовлечена в дела с Huawei. Согласно открытым данным, компания является поставщиком китайских органов власти и государственных компаний вроде China Telecom. Также её ИИ-чипы закупались государственными университетами для разработки ИИ-инструментов и полицией для совершенствования систем видеонаблюдения.

Источник изображения: Huawei

Компания TechInsights разобрала ИИ-ускоритель Huawei 910B и помимо прочего обнаружила в нём чип производства TSMC, а тот уже донёс сведения до Министерства торговли США. После того как выяснилось, что собственно разработкой занималась Sophgo, TSMC прекратила её поставки. С Huawei сотрудничество TSMC прекратилось ещё в 2020 году.

В TSMC отказываются комментировать результаты расследования, но, по данным Reuters, 11 ноября США просто приказали компании прекратить поставки в Китай передовых чипов, выполненных в соответствии с техпроцессом до 7 нм включительно — те модели, которые можно использовать для ИИ. В октябре Huawei объявила, что не выпускала никаких чипов с помощью TSMC с 2020 года и отказалась комментировать последние новости.

Ускоритель компании Ascend 910B, выпущенный в 2022 году, считается её самым передовым вариантом. В начале 2025 года Huawei намерена начать выпуск чипов модели Ascend 910C, конкурента NVIDIA H100. В феврале сообщалось, что Sophgo договорилась с российской Softlogic о поставках последней тензорных ИИ-процессоров.

Компания Huawei получила в своё распоряжение 2 596 148 429 267 413 814 265 248 164 610 048 адресов IPv6 — более 2,5 дециллионов (один дециллион — 10³³). Столько выделил китайскому техногиганту азиатский интернет-регистратор Asia Pacific Network Information Center (APNIC), сообщает The Register.

Это своего рода рекорд для APNIC. Для удовлетворения потребностей Huawei регистратор обратился к организации Internet Assigned Numbers Authority (IANA), контролирующей распределение адресов по всему миру. Для удовлетворения запроса APNIC запросила второй блок /12. Он состоит из более 83 дециллионов адресов. Впрочем, на долю Huawei приходится лишь подмножество — блок /17. Всего пространство IPv6 вмещает более 340 ундециллионов адресов (340∙10³⁶), но многие зарезервированы или не могут использоваться по разным причинам.

Хотя выделенное Huawei количество адресов выглядит невероятно большим, но в общем объёме адресного пространства оно практически теряется. Конечно, у компании вряд ли когда-нибудь будет такое количество устройств для подключения. Впрочем, даже если из общего числа будут использоваться далеко не все, можно предположить, что у компании большие планы. По данным APNIC, в Huawei намерены использовать выделенные IPv6 для «глобального внедрения облачных сервисов и CDN».

Истчоник изображения: engin akyurt/unsplash.com

Сейчас Китай активно продвигает использование устройств Интернета вещей. Пара миллиардов из них уже функционирует, а в ближайшие годы их число должно вырасти до 30 млрд. Huawei Cloud управляет 33 облачными регионами, поэтому в его распоряжении имеется немало физических устройств и виртуальных машин. Впрочем, имеющихся в запасе компании адресных ресурсов теперь с лихвой хватит на покрытие её потребностей. Фактически даже если бы каждое интернет-устройство на Земле получило бы адрес IPv6, Huawei не смогла бы потратить и малой доли своих невообразимых ресурсов.

Примечательно, что буквально в ноябре главный научный сотрудник APNIC (Asia Pacific Network Information Centre) Джефф Хьюстон (Geoff Huston) заявил, что перспективы перехода на протокол IPv6 не особенно привлекательны из-за меняющейся структуры сети. По словам эксперта, переход от IPv4 к IPv6 не обеспечит принципиально новых функциональных возможностей. Однако некоторые всё равно запасаются адресами. Так, в октябре прошлого года американский регистратор ARIN выделил банку Capital One блок 2630::/16. Банк получил вдвое больше адресов, чем Huawei, отмечает The Register.

Huawei сообщила об успешных результатах совместной проверки с Zain KSA из Саудовской Аравии концепции решения Superlink Microwave. Прошедшее тестирование было выполнено в рамках программы Фонда универсального обслуживания (USF) Министерства связи и информационных технологий (MCIT) Саудовской Аравии.

В ходе тестирования была достигнута пропускная способность соединения 3,5 Гбит/с на расстоянии 35 км с доступностью до 99,999%. В будущем скорость можно будет постепенно повысить до 8 Гбит/с. Это знаменует собой первое коммерческое применение решения Superlink от Huawei с универсальными ODU (наружными блоками).

Источник изображения: Huawei

Как сообщается, критически важным компонентом устройства является инновационная четырёхдиапазонная антенна, разработанная для поддержки всех каналов в диапазонах частот 6/7/8/11 ГГц одновременно. Использование универсальных ODU позволяет широко развертывать решение с высокой эффективностью и низкими затратами. Новинка позволяет решить критические проблемы, связанные с развёртыванием микроволновых линий связи.

Джеймс Цзэн (James Zeng), президент линейки микроволновых продуктов Huawei, отметил большую роль Zain KSA в запуске инновационного решения, которое значительно повышает пропускную способность и надёжность сети, а также «устанавливает новый стандарт в микроволновой технологии, обеспечивая надёжную производительность и масштабируемость для телекоммуникационных сетей следующего поколения».

Huawei, по сообщению Blocks​&​Files, разрабатывает технологию хранения больших объёмов данных на основе так называемых магнитоэлектрических дисков (MED). Фактически речь идёт о совмещении SSD и ленточных накопителей в одном корпусе, что позволит объединить преимущества «горячего» и «холодного» хранения. Необходимость создания СХД нового типа обусловлена жёсткими санкциями со стороны США — Huawei опасается возможных перебоев с закупками традиционных HDD.

Концепция MED заключается в объединении в одном герметичном корпусе носителей разных типов. Это твердотельный накопитель на основе флеш-памяти NAND и ленточная система, включающая привод, катушки с лентой и головки чтения-записи. Таким образом, для работы с «горячими» данными может использоваться SSD, обеспечивающий низкие задержки и высокие скорости чтения/записи, а с «холодными» — ленточный модуль. Длина ленты приблизительно вдвое меньше, чем в LTO-картриджах, т.е. около 480 м вместо 960 м.

Конструктивно MED напоминает кассету для магнитофона и содержит две катушки для ленты, электромотор и головки. MED имеет блочный интерфейс и два слоя трансляции. При записи информация попадает сначала на SSD, а после переупорядочивания последовательно записывается на ленту. При чтении накопитель, опираясь на метаданные во флеш-памяти, считывает данные либо с SSD («тёплые»), либо с ленты («холодные»). В последнем случае задержка доступа может составлять до двух минут.

Источник изображения: Blocks & Files

В составе платформы MED не используются технологии ленточных накопителей IBM, Fujifilm или Sony. Вместо этого Huawei разработала необходимые компоненты совместно с китайскими партнёрами, а чипы NAND и так производятся в КНР. Это обеспечивает независимость от зарубежных изделий, которые могут подпасть под санкции. Шасси MED не нуждается в роботизированных манипуляторах и обеспечивает высокую плотность размещения накопителей.

MED первого поколения вмещает 72 Тбайт информации, потребляя при этом всего 10 % электроэнергии, необходимой обычному жёсткому диску. Совокупная стоимость владения (TCO) примерно на 20 % ниже по сравнению с другими ленточными системами эквивалентной ёмкости. Стойка MED первого поколения обеспечивает скорость передачи данных на уровне 8 Гбит/с, вмещает более 10 Пбайт информации и потребляет менее 2 кВт. Системам MED не грозит перегрев, поскольку они в основном рассчитаны на хранение архивных данных.

На систему MED и её компоненты компанией Huawei получен ряд патентов. Решения первого поколения, как ожидается, выйдут в 2025 году. А на 2026–2027 гг. запланирован выпуск устройств второго поколения с отсеками формата 3,5″ (LFF). Нечто похожее предложила и Western Digital — компания запатентовала высокоинтегрированный LTO-картридж в корпусе HDD. Что касается дальнейших планов Huawei, то сейчас она разрабатывает собственные SSD вместимостью 60 Тбайт на основе флеш-памяти QLC NAND с SLC-кешированием.

На выставке-конференции MWC 2023 компания Huawei демонстрирует не только телекоммуникационные новинки, но и новые решения в области хранения данных. Именно в Барселоне Huawei представила свои новые СХД — OceanStor Dorado 2000 и OceanProtect X3000, предназначенные для малых и средних предприятий.

Как и старшие собратья, OceanStor Dorado 2000 являет собой хранилище класса all-flash, но сама система несколько проще в сравнении с Dorado 3000 и поддерживает только Fibre Channel (FC32) и iSCSI (25GbE). Объём системного кеша может варьироваться от 128 до 512 Гбайт, но SCM нет. Типичная конфигурация начального уровня содержит до 25 накопителей (SAS-3) общим объёмом 10–50 Тбайт. Максимальное количество контроллеров в системе сокращено с 16 до 8.

При этом система может обслуживать до 400 SSD и поддерживает не только RAID 5/6, но и фирменный RAID-TP, выдерживающий одновременный выход из строя трёх накопителей. Также поддерживаются фирменные алгоритмы сжатия и дедупликации данных. OceanStor Dorado 2000 гарантирует доступность данных на уровне 99,9999 %.

К решениям начального уровня относится и система защиты данных OceanProtect X3000, также построенная на архитектуре Active-Active (по характеристикам аналогична Dorado 200) и позволяющая восстанавливать потерянные в результате сбоя данные в крайне сжатые сроки. Как и все системы OceanProtect она предлагает современную продвинутую защиту от кибер-вымогателей.

Комплексные программно-аппаратные решения одного производителя практически всегда превосходят похожие по параметрам, но более разнородные системы. Высокая степень интеграции и продуманная многоуровневая оптимизация всех компонентов не только позволяют добиться более высоких технических показателей, но и существенно упрощают и удешевляют внедрение и поддержку такого оборудования. Компанию Huawei можно назвать лидером в области таких решений, и особенно ярко это проявилось в шестом поколении СХД OceanStor Dorado.

Их Huawei позиционирует как СХД высшего класса, обладающие не только высочайшей производительностью, но и надёжностью класса минимум «шесть девяток», то есть 99,9999%. Достаточно привести лишь один факт: Dorado 18000 V6 остаётся работоспособной при выходе семи контроллеров из восьми в каждой стойке, а также легко переживает одновременный выход из строя трёх накопителей в массиве. Для сравнения, классический RAID6 может пережить потерю лишь двух накопителей в массиве.

По результатам тестирования, проведённого Storage Performance Council в октябре 2020 года, СХД Huawei OceanStor Dorado 18000 V6 признана быстрейшим в мире флеш-хранилищем. На случайных операциях данное решение способно развивать 21 млн IOPS. Не удивительно, что разработками Huawei заинтересовались крупные финансовые организации, нуждающиеся не просто в надёжных, но и быстрых системах хранения данных. Уже 8 из 20 крупнейших мировых банков пользуются системами OceanStor Dorado и этот «клуб» будет только расти. Компания разместила на своём сайте подробный вебинар, посвящённый особенностям шестого поколения СХД OceanStor Dorado.

Высочайший уровень производительности OceanStor Dorado 18000 V6 обуславливается монолитностью и отлаженностью платформы, которая целиком построена на высокинтегрированных между собой собственных разработках Huawei в области процессоров, ускорителей и сетевых контроллеров. «Умные технологии» в шестом поколении Dorado начинаются уже на уровне отдельного накопителя.

Платформа Dorado V6 целиком базируется на собственных разработках Huawei

Такие SSD сами следят за износом фонда ячеек NAND, используют продвинутые методы коррекции ошибок LDPC и SmartFSP 3.0 и обеспечивают базовый уровень надёжности, поскольку контроллер Hi1812e работает с NAND как с динамическим RAID-массивом. Такие накопители на 20% долговечнее обычных и на 50% отзывчивее в плане задержек.

В качестве основного процессора используется Kunpeng 920, 48-ядерный чип с архитектурой ARMv8.2, имеющий набор движков-ускорителей и собственные контроллеры SAS 3.0 и 100GbE (с RoCE, конечно). Четыре таких процессора умещаются в 1U-шасси. Им может помогать устанавливаемый дополнительно ИИ-ускоритель Ascend 310, отвечающий за обслуживание массива NVMe-накопителей и оптимизацию дисковых кешей.

Унифицированная симметричная архитектура обеспечивает предсказуемый и постоянный уровень производительности

За сеть отвечает чип ASIC Hi1822, который полностью совместим с RoCE и NVMe-oF. Адаптеры на базе этого чипа могут иметь различную конфигурацию портов — от двух 25GbE SFP28 до двух 100GbE QSFP28 — и обеспечивают латентность всего лишь 80 мкс против 160 мкс у конкурентов. В дисковых полках Dorado 18000 V6 таких адаптеров несколько, заменять их можно без остановки системы.

Даже контроллер управления (BMC) у СХД Huawei свой, Hi1710. Высокая интеграция всех программмно-аппаратных компонентов системы (а кто ещё может лучше знать, как задействовать весь потенциал «железа», кроме самих разработчиков) обеспечивает не только высокую производительность и надёжность, но и быстрое восстановление системы при сбоях — десятки минут для OceanStor Dorado V6 против нескольких часов у обычных СХД.

Распределённая архитектура OceanStor Dorado V6

Архитектурно OceanStor Dorado 18000 V6 представляет собой симметричную распределённую меш-сеть, в которой на уровне стоек контроллеров все компоненты соединены со всеми, что и обеспечивает беспрецедентный уровень надёжности. Компания называет эту технологию SmartMatrix. С «умными» дисковыми полками бэкенды контроллеров общаются посредством NVMe-oF, а с внешней сетью — либо через NVMe-oF/RoCE (100 Гбит/с на порт), либо через NVMe-oF/FC 32G.

У Dorado V6 нет привилегированных контроллеров, что упрощает балансировку нагрузки

Huawei вполне справедливо считает, что за сочетанием NVMe-oF и RoCE лежит будущее высокопроизводительных систем хранения данных. Данные технологии к настоящему моменту хорошо проработаны и полностью описываются стандартами, которые обеспечивают гибкость и взаимозаменяемость элементов инфраструктуры. Некоторые производители всё ещё поддерживают SAS, но время старых дисковых стандартов уходит.

Технология Huawei FLASHLINK отвечает за распределение вычислительных ресурсов

Симметрия архитектуры СХД данной серии выражена в том числе и в том, что все логические тома (LUN) не привязаны к главному контроллеру (ownership), вместо этого они «нарезаются» системой на сегменты (shards в терминологии Huawei), которые равномерно распределяются по всем активным в системе в настоящий момент контроллерам. Сами контроллеры работают с едиными пулами кеша и SSD, из которого и черпают необходимые ресурсы.

За распределение обработки сегментов по процессорным ядрам отвечает фирменная технология FLASHLINK, которая работает в динамическом режиме: высокоприоритетные задачи получают больше ядер из выделенной группы. При этом каждое ядро выполняет IO-запросы только своей назначенной задачи, чтобы избежать конфликтов.

Глубокая интеграция ускорителей экономит процессорное время и ускоряет перестройку массивов

Дисковые полки Dorado V6 имеют свой «интеллект» и не загружают CPU контроллеров низкоуровневыми задачами, а это позволяет, по словам разработчиков, повысить производительность СХД на 30% по сравнению с классическими архитектурами с «глупыми» полками. Этот же подход существенно ускоряет процесс восстановления данных — Huawei говорит о двукратном превосходстве в скорости, при этом влияние этого процесса на производительность СХД минимально и не превышает 5% против десятков процентов у СХД классической архитектуры.

Более того, архитектура Dorado V6 такова, что производительность дисковых массивов в ней не зависит от типа используемого RAID и всегда одинаково высока как в простом режиме RAID10, так и в куда более сложных в плане нагрузки на контроллеры режимах RAID-6 или RAID-TP.

Модельный ряд и позиционирование СХД Huawei OceanStor Dorado

Что касается более высокоуровневых программных компонентов, то в серии Dorado V6 все сложные процессы, от драйвера NVMe и управления пулом ресурсов до клиентских дополнений выполняются в пространстве пользователя (user space), что позволяет избежать лишних задержек, так как обращений в пространство ядра практически нет.

За NVMe и RDMA over Converged Ethernet — будущее

В настоящее время Huawei предлагает заказчикам СХД нового поколения в двух вариациях: Dorado 8000 V6 и Dorado 18000 V6. Отличаются они только количеством модулей в максимальной комплектации (ну и габаритами, массой, количеством ядер в процессорах контроллера). 18000 V6 поддерживает до 32 контроллеров и до 32 Тбайт пула кеширования. Оба варианта могут работать с фронтендами 10/25/40/100GbE RoCE или FC-8/16/32G, поддерживая протоколы FC, iSCSI, NFS и CIFS.

Каждый блок контроллеров может иметь до 28 IO-модулей и до 96 сетевых портов. Максимальное количество SSD в системе также одинаково и составляет 6400. Они могут работать в разных режимах RAID, включая фирменный RAID-TP, способный вынести одновременный отказ трёх накопителей. Максимальный объём флеш-хранилища составляет 98,3 Пбайт для модели Dorado 8000 V6, а у Dorado 18000 V6 он достигает 196,6 Пбайт.

Поскольку речь идёт о комплексных системах, способных обеспечить доступностью класса «шесть девяток» (99,9999%) и производительность на уровне свыше 20 млн IOPS при непревзойдённом уровне надёжности, стоимость конечной реализации вырабатывается в процессе проработки сертифицированными партнёрами Huawei проекта, создаваемого под нужды конкретного заказчика. Ознакомиться с OceanStor Dorado 8000/18000 V6 можно на сайте Huawei, там же можно найти подходящего партнёра для разработки законченного решения с учётом нужд заказчика.

Перефразируя старую поговорку: люди делятся на тех, кто ещё не делает бэкапы, на тех, кто уже делает, и на тех, кто делает их правильно. Хотя, казалось бы, с начала пандемии первая категория должна стремительно уменьшаться, это происходит не везде, несмотря на совершенно неприличные для современной IT-индустрии — как по активности злоумышленников, так и по беспомощности жертв — атаки на бизнес любого размера.

Впрочем, даже в тех индустриях, где резервное копирование делать привыкли, есть области с особыми требованиями. Это в первую очередь финансовые институты, энергетика, телекоммуникации, управление производством, ретейл и т.д. Во всех этих областях минута простоя обходится более чем $1 млн, а в случае финансовых учреждений эта цифра достигает почти $6,5 млн.

Huawei OceanProtect X8000 и X9000

По оценкам экспертов, отсутствие катастрофоустойчивости, важнейшим элементом которой является именно резервное копирование, в более чем половине случае приводит к банкротству в течение 2-3 лет после первого падения IT-систем. А причин такого падения масса — от природных бедствий и человеческого фактора до неумышленного (сбой оборудования) или умышленного (атака) вмешательства в работу систем.

Вместе с тем в последние годы поменялись и сами данные, и требования к работе с ними. Никого уже не удивляет необходимость поддержки надёжности в семь «девяток», резкий рост объёмов «горячих» и «тёплых» данных и постепенный переход от петабайтных хранилищ к экзабайтным, а также изменение самой сути хранимой и обрабатываемой информации — структурированные данные становятся всё менее заметными на фоне растущих как снежный ком неструктурированных.

Всё это кардинальным образом меняет требования и к «боевым» СХД, и в особенности к системам резервного копирования. Без бэкапа «тёплых» данных кое-где уже не обойтись, но такие СХД должны обладать уникальным набором характеристик: достаточно высокое быстродействие, причём не только на получение, но и на отдачу данных; повышенная надёжность; универсальность, то есть работа и с SAN, и с NAS; масштабируемость по ёмкости и производительности.

Ровно те же требования предъявляются и к основным СХД, однако для задач бэкапа нужно соблюсти ещё два очень важных условия. Во-первых, доступное пространство должно значительно превышать ёмкость резервируемых СХД, чего, не раздувая размеры системы, можно добиться лишь правильным использованием дедупликации и компрессии, которые при этом должны происходить на лету и минимально влиять на производительность. Во-вторых, такая система должны быть выгоднее, чем просто установка дубля основной СХД.

И у Huawei есть именно такое уникальное решение. Весной компания анонсировала новую серию СХД с говорящим названием OceanProtect. Наиболее интересными в ней являются модели X9000 и X8000, относящиеся к высокому и среднему сегменту соответственно. «Хитрость» в том, что основой для них является всё та же современная OceanStor Dorado, которую лишили части некритичных для задач резервного копирования функций и оснастили исключительно SAS SSD.

И, конечно, добавили ряд специфичных для работы с бэкапом оптимизаций. Например, в OceanProtect наряду с RAID-5/6 доступен и фирменный массив RAID-TP, сохраняющий работоспособность при потере до трёх накопителей сразу. Однако в данном случае данные агрегируются в длинные непрерывные блоки в кеше, сливаются воедино и записываются с использованием RoW (redirect-on-write) целыми страйпами.

Такой подход отчасти связан с используемыми в OceanProtect алгоритмами дедупликации и компрессии, которые вместе позволяют достичь коэффициента сжатия вплоть до 55:1. Для этого используется несколько техник. В частности, мета✴-данные выявляются и отделяются от остальных, подвергаясь только компрессии. Для основных же данных используется динамически подстраиваемая системой дедупликация с сегментами переменной длины. После неё данные снова анализируются и делятся на те, которые хорошо подвергаются компрессии и для которых используются стандартные алгоритмы сжатия, и на те, которые просто так сжать не удастся.

Контроллер Huawei OceanProtect X9000

Для последних применяется фирменный алгоритм сжатия, который, к слову, является детищем российского подразделения исследований и разработок компании — Huawei регулярно проводит конкурс по созданию именно таких алгоритмов среди отечественных вузов, так что некоторые наработки попадают в столь заметные продукты. Сжатые данные побайтно выравниваются для компактности и отправляются на запись. Таким образом достигается и эффективное использование дискового пространства, и снижение нагрузки на накопители.

Контроллер Huawei OceanProtect X8000

Повышение надёжности СХД достигается несколькими механизмами на различных уровнях. Так, непосредственно внутри SSD из чипов памяти формируются массивы RAID 4. Сами SSD представляются системе не как «монолиты», а в виде групп RAID 2.0+ из блоков фиксированного размера. Это позволяет не только повысить надёжность без потери производительности, но и сбалансировать нагрузку, выровнять износ и значительно сократить время на пересборку массивов.

Дисковая полка Huawei OceanProtect X8000/X9000

Для подключения дисковых полок используются 4-портовые (Mini-SAS) интерфейсные модули SAS-3, для контроллеров — 25/100GbE с RDMA, а для хостов — модули FC8/16/32 и 10/25/40/100GbE с RDMA. Ethernet-контроллеры поддерживают разгрузку стека TCP/IP, избавляя CPU от лишней нагрузки. Посадочных мест для модулей достаточно для того, чтобы объединить контроллеры с резервированием подключения без использования внешнего коммутатора. Для SAN доступна поддержка Fibre Channel и iSCSI, а для NAS — NFSv3/4.1, SMB/CIFS 2.0/3.0 и NDMP.

Дисковый бэкенд и IO-фронтенд подключаются к контроллерам по схеме «каждый-с-каждым» с дополнительным резервированием, да и сами контроллеры провязаны между собой по той же схеме. Таким образом формируется полноценная mesh-сеть из всех компонентов и линков. Это даёт всё те же отказоустойчивость, производительность и сбалансированность. Ну и поддержку горячей замены или обновления (что программного, что аппаратного) практически любого из компонентов системы без её остановки.

На программном уровне доступны различные варианты репликации и работы со снапшотами, «умные» квоты и классы обслуживания (по скорости, IOPS и задержке), расширенная система мониторинга, прогнозная аналитика по состоянию системы в целом и отдельных её компонентов, в том числе по производительности и ёмкости. Для задач безопасности доступно шифрование на уровне дисков, безопасное затирание данных по международным стандартам, а также аппаратный RoT, формирующий цепочку доверия для всего ПО.

Huawei OceanProtect X9000

Всё вышесказанное относится к обеим моделям, X8000 и X900. Но различия между ними, конечно, есть. У OceanProtect X9000 в отдельном 4U-шасси находятся четыре контроллера Active-Active, каждый из которых может иметь до четырёх CPU и до 1 Тбайт памяти для кеширования. Система сохраняет работоспособность при выходе из строя трёх из четырёх контроллеров. На шасси приходится 28 интерфейсных модулей и четыре БП, которые являются общими для всех. Можно объединить два шасси, то есть получить восемь контроллеров, связанных между собой 100GbE-подключениями.

Huawei OceanProtect X8000

OceanProtect X8000 объединяет в 2U-шасси два контроллера Active-Active, 25 накопителей SAS-3 и два БП. Каждый контроллер имеет до 2 CPU, до 512 Гбайт памяти для кеширования и шесть интерфейсных модулей. Можно объединить два шасси (четыре контроллера) посредством 25GbE-подключений. Дисковые полки одинаковые для обеих моделей — 2U-шасси на 25 накопителей с четырьмя портами Mini-SAS и двумя БП. Пока что доступны только накопители объёмом 3,84 и 7,68 Тбайт, но в будущем появятся и более ёмкие модели.

В серии OceanProtect есть и СХД попроще. Так, модель A8000 похожа на X8000, но имеет более скромные показатели производительности и предлагает только 10/25GbE-интерфейсы. А линейка Huawei DPA использует уже SATA-накопители и 1/10GbE-подключения. В будущем появится и серия оптических библиотек OceanArchive для «холодных» данных. Таким образом, продукты компании покроют все ключевые задачи в этом сегменте. Huawei ожидает, что рынок СХД для резервного копирования вырастет к 2025 году до $14,7 млрд и рассчитывает «отъесть» от него примерно половину.