Компания International Data Corporation (IDC) обнародовала статистику по мировому рынку внешних OEM-систем хранения данных корпоративного класса.

Сообщается, что объём отрасли в третьей четверти уходящего года достиг $6,6 млрд. Это только на 1,3 % больше по сравнению с третьим кварталом 2018-го.

В плане выручки лидером является Dell Technologies с долей в 31,5 %. Иными словами, этот поставщик контролирует практически треть мировой отрасли.

На втором месте находится NetApp с результатом в 9,9 %. Незначительно отстаёт HPE/New H3C Group, замыкающая тройку с показателем в 9,6 %.

Кроме того, в рейтинг ведущих производителей входят Huawei, Hitachi и IBM с долями соответственно 7,0 %, 6,2 % и 6,0 %.

Все прочие поставщики сообща контролируют около 30 % глобального рынка внешних корпоративных систем хранения данных.

Отмечается также, что в сегменте хранилищ на основе флеш-памяти All Flash Array (AFA) отмечен рост на 11,7 % в годовом исчислении. Объём соответствующего сектора составил приблизительно $2,58 млрд. Гибридные хранилища принесли $2,54 млрд — на 1,7 % меньше по сравнению с третьей четвертью прошлого года. 

По сообщению сайта Data Centre Dynamics, компания British Petroleum (BP) останавливает серверы в двух европейских дата-центрах, нагрузку с которых переносит в облако AWS. Дата завершения миграции в облако не определена. О запуске процесса было заявлено на днях на мероприятии Amazon re: Invent в Лас-Вегасе.

В настоящее время BP владеет серверами в двух европейских ЦОД, которые, как считается, эксплуатируются компанией HPE (Hewlett Packard Enterprise). Перед тем как их выключить, придётся перенести в облако AWS около 900 приложений и огромный массив накопленных данных.

Отметим, что сотрудники компании Amazon критически относятся к обслуживанию нефтегазодобывающих компаний. В апреле работники Amazon опубликовали открытое письмо, в котором призвали своё руководство прекратить обслуживание контрактов с компаниями нефтегазовой отрасли. В письме отмечается, что в составе Amazon есть подразделение, которое занимается вопросами ускорения поиска и расширения добычи нефти и газа для таких клиентов. Аналогичный протест также был обнародован сотрудниками облачных служб компании Google.

В оправдание своих действий Amazon обращается в сторону использования электроэнергии из возобновляемых источников. К 2024 году, заявили в Amazon, компания будет использовать до 80 % «зелёной» энергии. Компания BP, со своей стороны, обещает поставлять Amazon в Европе до 170 МВт электричества, добываемого из энергии ветра и солнца.

Что это даст BP? На базе AWS компания планирует создать «озеро данных» ― набор данных для анализа на основе Amazon Simple Storage Service и использовать для сбора, и анализа потоковых данных в режиме реального времени такой инструмент, как Amazon Kinesis. Всё это должно помочь BP с мониторингом выбросов и для контроля над работой насосов на АЗС.

Компания International Data Corporation (IDC) обнародовала статистику по мировому рынку серверов в третьем квартале уходящего года.

Сообщается, что отрасль сокращается как в денежном выражении, так и в штучном. Суммарная выручка поставщиков за трёхмесячный период составила приблизительно $22,0 млрд. Это на 6,7 % меньше по сравнению с результатом за третью четверть прошлого года.

Если рассматривать рынок в штуках, то отгрузки уменьшились на 3,0 %, оказавшись на уровне 3,069 млн единиц. Для сравнения: годом ранее в глобальном масштабе было реализовано 3,164 млн устройств.

Ведущим поставщиком является Dell Technologies с результатом 17,2 % в денежном выражении. На втором месте находится HPE/New H3C Group с долей в 16,8 %. Замыкает тройку Inspur/Inspur Power Systems — 9,0 %.

В штучном выражении доля Dell Technologies по итогам прошлого квартала составила 16,4 %. HPE/New H3C Group занимает 14,7 % отрасли, Inspur/Inspur Power Systems — приблизительно 10,3 %. 

С выдержками из отчёта IDC можно ознакомиться здесь.

Сегодня компания Huawei официально представила в России новое семейство твердотельных СХД OceanStor Dorado V6. 

Во всех системах семейства применены процессоры Kunpeng 920 с архитектурой ARM v8.2, ИИ ускорители Ascend 310, а также SSD и прочие контроллеры Huawei — всё собственной разработки. Компонентов производства США в Dorado V6 нет вовсе.

OceanStor Dorado V6 ‒ обширное семейство СХД нового поколения, покрывающее все возможные ценовые сегменты ‒ от сравнительно малых и доступных систем до сверхъёмких комплексов высшего класса.

Открывает серию система OceanStor Dorado 3000 V6. Она может иметь от 2 до 16 контроллеров в корпусах 2U, оснащённых 24-ядерными процессорами. Объём кеша составляет 192 Гбайт на пару контроллеров, а максимальное количество накопителей в этой системе — 1200.

Средний класс представлен моделями Dorado 5000 V6 и 6000 V6: в них увеличено количество процессоров, поддерживаемых дисков и объёмы кешей. 

Самые дорогие и мощные системы OceanStor Dorado 8000 V6 и 18000 V6 используют более мощные контроллеры в корпусах 4U и поддерживают рекордно большое количество накопителей ‒ 3200 и 6400 дисков соответственно.  Внушает уважение и объём кеша, который может достигать 2 Тбайт.

Архитектура контроллера на примере Dorado 5000/6000 V6

У младшего варианта есть поддержка только накопителей SAS 3.0 (12 Гбит/с). Более производительные и ёмкие варианты предусматривают использование как SAS, так и NVMe. При этом бэкплейна как такового нет, что улучшает продуваемость шасси.

Типы интерфейсных модулей

С внешним миром новинки общаются либо посредством Fibre Channel, либо с помощью Ethernet со скоростями от 10 до 100 Гбитс/с, либо через SAS 3.0 (для полок, в первую очередь). Интерфейсные модули представлены в широком ассортименте.

Дисковые полки Dorado v6 имеют собственные процессоры, что разгружает процессоры контроллеров

Архитектура OceanStor Dorado V6 разительно отличается от более ранних СХД.  Весь комплекс делится на три «фабрики»: фронт-энд, бэк-энд и контроллеры, между которыми могут устанавливаться перекрёстные связи. По сути, любой накопитель может быть подключен к любому из портов, даже будучи расположенным в соседнем шасси.

OceanStor Dorado v6 не имеют фиксированных связей между компонентами

Такая архитектура обеспечивает и низкие задержки: время доступа не превышает 106 микросекунд. Данные не будут потеряны, даже если из строя выйдут одновременно два контроллера или даже одна из стоек полностью, поскольку система Global Cache предусматривает тройное резервирование данных.

Отказоустойчивость у Dorado v6 находится на очень высоком уровне

Дисковые полки теперь тоже имеют собственные процессоры, так что поддерживается фоновая дедупликация данных. Причём они в Dorado v6 поддерживают как традиционные фиксированные блоки, так и блоки с переменной длиной.

Новые системы поддерживают фоновую дедупликацию данных при разных размерах блоков

Даже в младшей модели Dorado 3000 V6 предусмотрено наличие одного батарейного блока (BBU) на контроллер. Дисковая полка предусматривает установку 25 накопителей формата 2,5″ ёмкостью до 30,72 Тбайт на диск. В более мощных Dorado 5000 V6 и 6000 V6 BBU интегрированы с блоками питания.

Различные варианты новых умных дисковых полок Huawei

А вот дисковая полка может быть и иной ‒ помимо описанного выше варианта системы могут поставляться с полками, рассчитанными на 36 NVMe-накопителей формата Palm (до 15,36 Тбайт на диск). Это собственный стандарт Huawei, который компания надеется популяризировать. Применение такого формата позволяет повысить плотность хранения данных, поскольку высота модулей Palm составляет всего 9,5 мм. 

Твердотельные накопители Palm позволяют повысить плотность хранения данных

Но самыми уникальными являются старшие модели. В корпусе высотой 4U расположено сразу четыре контроллера, которые могут общаться с 28 интерфейсными модулями. В наиболее мощном варианте, Dorado 18000 V6, поддерживается подключение 32 дисковых полок SAS или 23 дисковых полок NVMe.

Самый производительный контроллер в новом семействе и его архитектура

Поскольку все операции с сетью и накопителями происходят в пространстве пользователя (user space), а не ядра (kernel), это резко уменьшает накладные расходы. В сетевых адаптерах применён чип HiSilicon Hi1822 c модифицированным микрокодом.

В сетевых адаптерах Dorado v6 исключён уровень ядра

Все СХД оснащены сопроцессорами Ascend 310 с производительностью 16 Топс (INT8). Эти чипы не только разгружают центральные процессоры, но наделяют новые СХД возможностью самообучения ‒ по мере накопления ими статистики, улучшается процент попаданий в кеш и предсказаний выхода из строя дисков, а также их заполнения. Поддерживается интеграция с облачной платформой AI@Cloud для дообучения на данных о работе других СХД по всему миру (в РФ, скорее всего, будут данные только от местных СХД). 

Сопроцессоры Ascend 310 помогают основным Kunpeng 920

Помимо прочего, OceanStor Dorado V6 поддерживают обновление «на лету» не только без перезагрузки, но и практически без влияния на рабочие сценарии. В течение 30 минут, требующихся для обновления ПО, производительность СХД просаживается не более чем на секунду.

OceanStor Dorado 18000 V6: крупный масштаб

Как говорит производитель, новые системы хранения по праву претендуют на звание самых надёжных в индустрии. Они также предлагают ёмкости от 4 до 32 петабайт и могут работать совместно с любыми операционными системами, включая не только Windows и Linux, но и HP-UX, AIX и Solaris.

Новинки поступят в продажу в начале 2020 года. Но это не касается 3000 V6 — она доберётся до России только к лету. 

Ранее мы уже сообщали, что в рамках новой стратегии на рынке корпоративных HDD Toshiba планирует расширить ассортимент накопителей для систем видеонаблюдения. Сегодня же компания представила новую серию жестких дисков DT02-V форм-фактора 3,5 дюйма для систем DVR/NVR.

Для дисков серии DT02-V, идущим на смену семейству MD04ABA-V образца 2014 года, характерно использование последних технологий Toshiba для достижения максимальной плотности записи и скорость вращения шпинделя 5400 об/мин. Новые накопители будут выпускаться в версиях ёмкостью от 2 до 6 Тбайт.

Серия DT02-V отличается возможностью  одновременнойзаписи до 32 потоков видео с камер высокого разрешения в системах наблюдения DVR/NVR с корзинами ёмкостью до восьми жестких дисков.

Накопители серии DT02-V рассчитаны работу в режиме 24/7 при температуре до +40° C и с нагрузкой до 600 тысяч циклов / 180 Тбайт в год. Накопители оснащены интерфейсом SATA 6 Гбит/с, кэш-памятью 128 Мбайт. Заявленная наработка на отказ (MTTF) заявлена на уровне 1 млн часов.

Образцы накопителей Toshiba DT02-V ёмкостью 4 Тбайт доступны уже сегодня. Вариант ёмкостью 6 Тбайт будет представлен в январе 2020 года, версия на 2 Тбайт будет доступна с марта 2020 года.

Количество мест, в которых Google строит свои дата-центры, сейчас является рекордным для компании. В такие проекты американский интернет-гигант планировал инвестировать $13 млрд в 2019 году.

Google открыл новые ЦОДы в Северной Вирджинии и Теннесси в 2019 году и начал строить объекты в Техасе, Огайо и Неваде. Также компания объявила о планах развернуть облачный вычислительный центр в штате Небраска, но еще не подтвердила точное его местоположение. Кроме того, Google договорилась с властями о субсидиях при строительстве центра обработки данных в Аризоне.

Компания строит не только у себя на родине. В сентябре 2019 года она объявила о планах вложить 3 млрд евро в расширение своей сети дата-центров на европейском рынке в течение двух лет, а также запустила 10 новых проектов по созданию возобновляемых источников энергии.

В настоящее время у Google насчитывается 19 комплексов с дата-центрами: 11 находятся в США, пять в Европе, два в Азиатско-Тихоокеанском регионе и один в Южной Америке. На каждой из таких зон размещены несколько зданий с серверами и системами хранения данных. Обычно компания тратит более $1 млрд на создание одного комплекса ЦОДов, а в некоторых случаях инвестиции превышают $2 млрд. Упомянутые выше $13 млрд инвестиций позволят резко нарастить число дата-центров.

Toshiba обнародовала стратегию работы на рынке накопителей. Компания намерена догнать конкурентов в части хранения корпоративных неструктурированных и nearline-данных.

Toshiba производит 2,5-дюймовые жёсткие диски для потребителей и 3,5-дюймовые решения корпоративного класса. В первом сегменте компания лидирует, а во втором — уступает Seagate и Western Digital, отмечает издание Blocks and Files.

Как сообщил генеральный директор Toshiba Electronic Device and Storage Corporation Хироши Фукучи (Hiroshi Fukuchi) на встрече с инвесторами в ноябре, продажи HDD операторам гипермасштабируемых дата-центров начали расти в первом квартале 2019 года. Ожидается восстановление этого рынка во второй половине финансового года (завершится в конце марта 2020-го календарного) благодаря инвестициям американских операторов в 5G-сети и новые сервисы.

В 2018 и 2019 финансовых годах Toshiba заработала на продаже жёстких дисков 578 млрд иен ($5,31 млрд) и 480 млрд иен ($4,41 млрд) соответственно. По итогам 2021 фингода компания ожидает выручку на уровне 570 млрд иен ($5,23 млрд), а в 2023-м — 650 млрд ($6,05 млрд).

Toshiba стремится увеличить свою долю на корпоративном рынке путём разработки nearline-накопителей  высокой ёмкости — от 20 Тбайт. Пока на такой класс оборудования приходится менее 10 % поставок корпоративных накопителей. Компания рассчитывает увеличить этот показатель не менее чем до 50 %. Кроме того, компания планирует увеличить число моделей накопителей для систем видеонаблюдения, а также для средних и малых ЦОД. 

Совсем недавно мы сообщали о новой разработке Amazon ― втором поколении серверных SoC на архитектуре ARM Neoverse N1, а сегодня компания официально представила новинку под именем Graviton2.

Также на базе процессоров Graviton2 представлены три новых инстанса. Тем самым Amazon сделала ещё один шаг в область платформ, давно и прочно оккупированных x86-совместимыми платформами Intel.

AnandTech

Новые SoC Graviton2 призваны заменить предыдущее поколение однокристальных сборок Graviton с числом ядер до 16 штук. Процессоры Graviton2 (как и Graviton) разработаны инженерами Amazon с использованием новейших ядер ARM Neoverse N1. При создании решений разработчики Amazon воспользовались максимально допустимой конфигурацией ядер, число которых теперь достигает 64 штук ― в четыре раза больше, чем раньше.

Добавим, на каждое ядро приходится по 1 Мбайт кеш-памяти L2, а на SoC ― 32 Мбайт кеш-памяти L3. Ядра соединяет ячеистая сеть с общей пропускной способностью 2 Тбайт/с. Graviton2 выпускается с использованием 7-нм техпроцесса и содержит 30 млрд транзисторов. Площадь кристалла с таким содержанием логических элементов может достигать 350 мм².

По словам Amazon, новые процессоры Graviton2 обеспечивают 7-кратный прирост производительности, если сравнивать возможности новых инстансов со старыми A1 на Graviton первого поколения. Производительность в пересчёте на ядро выросла в 2 раза, а доступ к пулу памяти ускорился в 5 раз. 

AnandTech

Подсистема памяти Graviton2 реализована в виде восьми каналов с поддержкой модулей DDR4-3200. Доступ к памяти аппаратно шифруется по алгоритму AES-256. Максимальный объём памяти в составе инстансов на Graviton2 достигает 512 Гбайт.  Периферийный интерфейс представлен 64 линиями PCIe 4.0. 

Представлено три варианта машин: M6g, R6g and C6g. Сетевое подключение к инстансам осуществляется на скорости 25 Гбит/с. Скорость шины EBS (Elastic Block Storage) ― 18 Гбит/с. 

Наконец, о сравнительной производительности. Компания Amazon представила несколько бенчмарков, в которых она сравнила новинку с возможностями инстансов на процессорах Intel Xeon Platinum 8175 (2,5 ГГц).

AnandTech

Как нетрудно заметить, в зависимости от задач SoC Graviton2 могут быть быстрее x86-совместимых процессоров Intel на величину до 50 % и выше. В общем случае Amazon говорит о превосходстве новинок над решениями Intel по показателю производительность на доллар, которое достигает 40 %.

Однако ложкой дёгтя в этой бочке мёда остаётся то, что инстансы на ARM-процессорах и, в том числе, новые инстансы на Graviton2 предназначены для рабочих нагрузок непроизводственного характера. Иначе говоря, для служебных задач.

Компания Huawei и исследовательская лаборатория Пэн Чэн (Peng Cheng Laboratory, PCL) совместно представили первую фазу проекта суперкомпьютера Peng Cheng Cloud Brain II. Данная система ориентирована на вычисления, связанные с искусственным интеллектом, и её проектная производительность составит порядка 1000 Пфлопс FP16.

Суперкомпьютер Cloud Brain II построен на кластерах Huawei Atlas 900 AI, в которых используются фирменные ARM-процессоры Huawei Kunpeng и ускорители ИИ-вычислений Huawei Ascend 910. К сожалению, информация о том, сколько кластеров и процессоров использовано в Cloud Brain II, пока что не раскрывается.

Однако отмечается, что на текущий момент, то есть по завершению первой стадии строительства системы, производительность Cloud Brain II составляет 100 Пфлопс. Но уже в следующем году планируется поднять производительность выше 1000 Пфлопс. 

Как отмечают представители Huawei, они очень горды тем, что именно их платформа легла в основу суперкомпьютера Cloud Brain II. В свою очередь представители лаборатории PCL отмечают, что по завершению строительства системы она имеет все шансы стать самой производительность в мире платформой для исследований, связанных с искусственным интеллектом. В целом, Cloud Brain II ориентирован на исследования в области ИИ, в том числе связанные с машинным зрением, беспилотными автомобилями и т.д.

У традиционных жёстких дисков есть трудноустранимый недостаток — низкая производительность при распараллеливании нагрузки. Это физическое ограничение, связанное с традиционным наличием лишь одной подвижной системы с магнитными головками.

Компания Seagate представила прототип жёсткого диска с двумя актуаторами ещё в 2018 году, и, похоже, разработка, наречённая Mach.2, сейчас сдаёт один из главных экзаменов, могущих определить её дальнейшую судьбу — Microsoft тестирует новые диски Seagate Exos 2x14 на предмет возможности использования их в облачных сервисах Azure и Exchange.

Прототип с Computex 2018: отчетливо виден второй набор «рук» с магнитными головками

Любое усложнение механики может понизить надёжность, вот почему Microsoft проводит стресс-тестирование новых накопителей с использованием утилиты Exchange Server Jetstress, имитирующей высокую нагрузку на дисковую подсистему. Также проводятся тщательные тесты на линейных и случайных операциях, симулируются сценарии потокового вещания, резервного копирования и ряд других — самые разные типы нагрузок.

Преимущества технологии Mach.2: производительность двух HDD в корпусе одного

Как утверждает Аарон Огус (Aron Ogus), один из архитекторов Microsoft Azure, производительность ввода-вывода у новинки Seagate практически вдвое превышает показатели традиционных жёстких дисков с одним актуатором. Линейная скорость достигает 520 Мбайт/с ‒ это уровень твердотельных накопителей с интерфейсом SATA/SAS 6Gbps. Удельная производительность составляет 1,8× от показателя классического Seagate Exos той же ёмкости.

Технология позволяет практически вдвое повысить удельный показатель IOPS

Логически Exos 2X14 выглядит, как два диска объёмом 7 Тбайт, и каждый из двух актуаторов имеет собственный LUN, благо протокол SAS такое допускает; впрочем, нужна поддержка со стороны контроллера.

Но у технологии есть свои ограничения. К примеру, количество пластин в накопителе должно быть чётным, а у дисков объёмом 16 Тбайт их 9 (у Exos 2X14 каждый актуатор обслуживает блок из 4 пластин). Также требуется определённая оптимизация клиентского ПО для получения максимального выигрыша в производительности. Большинство ответов на возможные вопросы касательно технологии Mach.2 даёт в отдельном документе.

Поддержка Mach.2 со стороны контроллеров есть, но пока неполная

В планах Seagate упоминалась возможность создания HDD с тремя и даже четырьмя актуаторами, но такие конструкции могут получиться слишком громоздкими и, как и отвергнутые некогда индустрией диски формата 3,5″ двойной высоты, они не станут популярными из-за несовместимости со стандартными дисковыми полками. Кроме того, пока остаётся открытым и вопрос с надёжностью дисков Mach.2 — для наработки соответствующей статистики потребуется определённое время.