На прошлой конференции Selectel TechDay, которой посвящён отдельный материал, много говорилось о развитии гибридных облаков вообще и в России в частности, а также о развитии услуг Selectel в этом направлении. Нынешняя, уже третья по счёту конференция продолжает тему облачных технологий, но с акцентом на другие направления: парадигму multi-cloud и обеспечение безопасности в таких смешанных средах.

Стратегия мультиоблака в целом является развитием идей облачных сервисов как таковых и подразумевает одновременное использование услуг нескольких разных cloud-провайдеров. Актуальна она в первую очередь для крупных компаний. Конкретные сценарии могут заметно отличаться друг от друга, но по данным RightScale, во-первых, 81 % крупных организаций выбирают именно multi-cloud, а, во-вторых, из этих 80 с лишним процентов более половины приходится на системы из гибридных облаков. Например, в рамках одного провайдера может жить частное изолированное облако компании, которое провязано с разрозненными системами, живущими уже у других провайдеров. Более специфические варианты вроде создания нескольких виртуальных ЦОД у разных поставщиков или использование исключительно публичных сервисов редки.

Почему мультиклауд становится популярней? Причин несколько. Облака в принципе как подход к работе с IT-инфраструктурой давно доказал свою состоятельность, это просто удобно, хотя не всегда и не для всех. Но есть и важные нюансы. Во-первых, с одним провайдером очень легко попасть в vendor lock-in, что в принципе происходит, например, с AWS, где очень легко (и даже приятно) масштабироваться и разрастаться, но после некоторого момента очень трудно сбежать. Во-вторых, встаёт вопрос надёжности и доступности. Речь не только о работе самого провайдера, но и всяческих политических и юридических аспектах, которые могут внезапно привести к недоступности сервисов в различных регионах. В-третьих, мультиоблако в теории позволяет более разумно расходовать деньги, выбирая оптимальные по всем параметрам облачные службы. Крупные организации по статистике чаще всего используют минимум двух поставщиков облачных услуг, более 40 % — от четырёх и более, а в относительно редких случаях используются более двадцати (20!) облаков.

Это всё, конечно, хорошо, но и проблем хватает. Самая очевидная — это резкий рост размера периметра безопасности и его размытие. Отсюда проистекает и вторая проблема: как вообще настроить работу с разными облачными поставщиками, как ей управлять и как её мониторить? Как адаптировать или перенести имеющиеся программные системы в разнородные облака? И, что главное: как не потерять деньги, которые в теории как раз можно сэкономить, раскидав задачи между несколькими провайдерами? При планировании мультиоблака, например, забывают о расходах на трафик между облаками, которые могут съесть всю выгоду. Отдельный вопрос: разница в законодательстве стран, где физически расположены облака. Глобально все эти проблемы сводятся к одной — отсутствие опыта и компетенции, отсутствие людей, которые могут создавать и контролировать такие мультиоблачные структуры. Вещи вроде бы очевидные, но о них регулярно забывают.

Безопасность является самой важной составляющей успешного перехода в смешанные окружения. Во многом этот вопрос сводится к доверию к конкретным провайдерам. Чем глубже происходит погружение в облачные сервисы, тем больше теряется контроль над компонентами всей системы и тем больше ответственности переносится с плеч заказчика на плечи провайдера. Ситуация осложняется тем, что все облачные решения имеют свойство динамически изменяться. Как на уровне развёртывания и свёртывания сервисов самим клиентом, например, в зависимости от нагрузки, так и на уровне собственно облачного провайдера — клиент может даже не знать, что его виртуальные машины и прочие службы физически перемещаются не только внутри, но и между ЦОД.

На TechDay Selectel рассказала о своём варианте решения проблемы безопасности — услуге защищённого сегмента ЦОД. Технически это всё те же выделенные серверы (+ собственные машины заказчика) или частное облако для ВМ, предлагаемые по стандартной модели IaaS. Однако хитрость в том, что зона ответственности самого провайдера ограничивается лишь физическим уровнем, а за всё остальное отвечает заказчик. Это несколько контринтуитивно, но для целого ряда клиентов именно такой подход более оптимален. Для кого именно? Для компаний, работающих в госсекторе, где предъявляются особые требования к безопасности. Для зарубежных игроков, которым с одной стороны для работы в РФ требуется соблюдение закона «О персональных данных», а с другой — уже есть выстроенные (и выстраданные) годами собственные политики безопасности. Для B2B-сегмента, где хочется и гибкости, и безопасности — например, для тех, кто делает уже собственный SaaS. Ну и для различных компаний, так или иначе вынужденных хранить и обрабатывать конфиденциальные или коммерческие данные и сохранять разного рода тайны. Вы знали, что в законах РФ прописано более 60 видов различных типов тайн?

Как это реализовано? Машины в защищённом сегменте буквально отделены от остальных машин в ЦОД. Selectel отвечает за их физическую защиту — за доступ к машинам с дополнительным периметром безопасности и контроля, в том числе белые списки персонала. На сетевом уровне также организованы изоляция и сегментирование: защищённые машины подключаются к выделенным коммутаторам и через межсетевые экраны. Клиентам доступны, в том числе, комплексные средства защиты самой платформы Intel Trusted Infrastructure. Диски могут быть зашифрованы, а доступ к серверам — физическим ли, виртуальным — осуществляется строго по зашифрованному каналу. Естественно, доступны и все стандартные внешние услуги: защита от DDoS, Web Application Firewall, ПО Veeam для хранения резервных копий и так далее. Систему, развёрнутую в защищённом сегменте, заказчик при желании может самостоятельно аттестовать на соответствие различным требованиям. Часть документации предоставит Selectel, так как ЦОД уже имеют сертификаты PCI-DSS, РКН, ФСТЭК и ФСБ России.

Помимо прочего, Selectel, конечно, рассказала и о новых услугах и возможностях: 4-сокетных серверах Intel SkyLake, повременной оплате выделенных серверов (актуально для аренды сотен ядер и GPU на несколько дней), бета-версии кластеров Kubernetes, услуге DRaaS (Disaster Recovery as a Service), расширении собственной CDN, новых возможностях SDN, доступности создания частного облака VMWare и других. Подробности доступны на сайте мероприятия.

21 сентября в Санкт-Петербурге прошла конференция SelectelTechDay #2, организованная компанией Selectel — крупнейшим в РФ IaaS-провайдером. Среди клиентов Selectel есть и частные лица, и международные корпорации. Для первых компания предлагает сервис VScale, а среди вторых наиболее знаком обывателю, пожалуй, «ВКонтакте ». За десять лет компания построила в РФ шесть крупных ЦОД и стала одним из лидеров этого рынка в стране. И ей есть, что рассказать и показать текущим и потенциальным заказчикам, партнёрам и даже конкурентам. Свои доклады представили Broadcom, Brocade, HGST, Juniper, Kingston, Microsemi, Supermicro и, конечно, Intel — ключевой партнёр Selectel. Сама же Selectel организовала экскурсию по дата-центру, рассказала о тенденциях развития рынка и, самое главное, представила проект Selectel Lab, который даёт уникальную возможность самостоятельно и, что важно, бесплатно опробовать в деле новейшее оборудование Intel. Selectel по итогам тестов получает обратную связь и лучше понимает задачи клиентов, чтобы в будущем предложить им именно то, что нужно.

Сейчас производители высокотехнологичного оборудования активно развивают свои продуктовые линейки, ежеквартально представляя новые решения. Вместе с тем новинки эти хоть и привлекательны, однако массово недоступны — либо просто дороги, либо вообще выпускаются крайне ограниченными партиями. Узость круга «избранных», которые всё-таки имеют к ним доступ, не позволяет достаточно полно оценить все недостатки и достоинства этих новинок. Естественно, что наугад вкладывать большие деньги в недостаточно изученные решения, а потом ещё и ждать их поставок никому не хочется. Но в таком случае все эти новые технологии так и могут остаться неизвестными и неизученными.

Selectel Lab как раз и создан для преодоления этой проблемы. Одним из ключевых продуктов, доступ к которому предоставляется участникам проекта, является новейшая серверная платформа Intel Purley. Машины на её базе появились в Selectel буквально через неделю после официального запуска — компания до сих пор остаётся единственным в РФ сервис-провайдером, предлагающим клиентам серверы с новыми CPU Intel Xeon Skylake-SP. Подробнее об этих процессорах и платформе написано здесь, а тут отметим лишь самые важные её особенности: процессоры с числом ядер до 28 (56 потоков) и возможностью создания 8-сокетных машин, поддержка до 1,5 Тбайт RAM на каждый CPU, встроенный в CPU адаптер Intel Omni-Path, поддержка AVX-512, аппаратные ускорения компрессии и шифрования, 40-Гбит контроллер Ethernet с поддержкой iWARP RDMA и целый ряд новых функций и технологий, обеспечивающих высокую скорость вычислений в сочетании с безопасностью.

Серверы на базе процессоров Intel Xeon Platinum, Gold и Silver можно протестировать бесплатно. В Selectel Lab доступен один из самых мощных CPU нового поколения: Intel Xeon Platinum 8170. Двухсокетная машина на базе этого процессора входит в TOP-10 аналогичных систем в рейтинге GeekBench. Кроме того, в рамках Selectel Lab доступные и другие уникальные процессоры Intel — Xeon Phi Knights Landing (KNL). Эти CPU имеют до 72 привычных x86-64 ядер (исполнение до 288 потоков) и также поддерживают технологии AVX-512 и Intel Omni-Path. Обычно такие процессоры используются в суперкомпьютерах или мощных рабочих станциях, но теперь они доступны и всем остальным. Использование массивно-параллельной архитектуры Xeon Phi позволяет значительно ускорить исполнение целого ряда задач, причём подготовка кода для них требует минимальных затрат, особенно в сравнении с некоторыми другими ускорителями.

То же самое можно сказать и про другой продукт, доступный в Selectel Lab — универсальный FPGA-ускоритель серии Эйлер, сделанный на базе чипсета Intel Arria 10GX. Устройство имеет производительность на уровне 1,5 Тфлопс при этом потребляет не более 50 Вт. Оно оснащено собственной памятью DDR4 4 Гбайт и обладает тремя встроенными сетевыми интерфейсами со скоростью 1, 10 и 40 Гбит/с. Ускорение расчётов на некоторых задачах может достигать 50-200 раз. Причём для того, чтобы эффективно использовать всю эту мощь, не требуется долгое обучение (есть SDK для OpenCL), а специалисты Selectel помогут в этом деле. Сама плата ускорителя и ПО для него разработаны в России компанией «Алмаз-СП».

Наконец, последнее по счёту, но не по важности решение, доступное участникам Selectel Lab — это инновационные модули памяти Intel Optane на базе технологии 3D XPoint. Мы уже знакомились с этой технологией на примере модулей для ПК. По производительности 3D XPoint находится между оперативной памятью и твердотельными накопителями, при этом Intel Optane значительно дешевле DRAM и в то же время значительно надёжнее любого SSD. В Selectel Lab можно испытать Intel Optane P4800X и в качестве отдельного накопителя (например, для работы базы данных), и в качестве интеллектуального посредника между RAM и обычными накопителями в режиме Intel Memory Drive — в этом случае работа Intel Optane абсолютно прозрачна для системы и не требует никакого дополнительного управления данными.

Все эти новейшие серверные технологии Intel можно совершенно бесплатно протестировать в Selectel Lab — достаточно оставить заявку на сайте проекта.

Компания Broadcom сегодня является одним из самых известных производителей и поставщиков различных контроллеров для решений СХД. Но история Broadcom весьма непроста, и она не всегда владела такими брендами, как LSI и 3Ware. Сама компания основана в 1991 году, но лишь в 2007-м ей удалось завладеть активами LSI, которая к тому времени уже владела такими активами, как Lucent, 3Ware и Agere Systems. В 2014-м произошло слияние LSI и Avago, а в 2016 году, наконец, владелец всех активов, изображённых на диаграмме, стал единым.

Теперь под брендом Broadcom выпускается целая масса самых разнообразных контроллеров и микросхем, но в докладе, прозвучавшем на мероприятии SelectelTechDay #2, речь шла главным образом о решениях, предназначенных для сферы хранения данных, что неудивительно: СХД сейчас развиваются очень активными темпами, поскольку год от года объём информации, генерируемый нашей цивилизацией, лишь возрастает. И темпы роста отнюдь не линейные. Надо сказать, что компания со своей задачей справляется хорошо, что демонстрируют объёмы выручки за 2015 и 2016 годы — они выросли с $6,8 миллиардов до $13,2 миллиардов.

В этой сфере Broadcom владеет наработками таких известных компаний, как LSI, PLX Technology и Emulex, и продолжает активно развивать их наследие. Компания удерживает первое место по поставкам таких устройств, как коммутаторы PCIe, RAID-процессоры и чипы HBA, разветвители SAS/SATA/NVMe и прочих решений подобного характера, включая программное обеспечение. Среди клиентов Broadcom множество громких имён: Cisco, Dell, Lenovo, IBM, Microsoft, Baidu, Facebooк и множество других, поскольку СХД и их компоненты необходимы практически всем, кто связан с рынком ИТ.

Доклад содержал данные о том, что количество подключённых к серверу накопителей увеличивается с каждым годом, и если в 2014 году этот показатель колебался между 6 и 7 накопителями на корпус, то в 2017-м дисков в системе стало более 8, а в 2019 году среднее число накопителей достигнет 10. Данные о соотношении SSD и HDD соотносятся с докладом HGST: со временем будет расти доля как SSD, так и ёмких HDD, а вот количество производительных жёстких дисков (с высокой скоростью вращения шпинделя и малым диаметром пластин) будет падать. Будет нарастать также популярность накопителей, использующих PCIe x4 (форм-факторы U.2 и M.2), что неудивительно ввиду возрастающих требований к производительности серверных SSD.

Компания унаследовала от LSI и сохранила узнаваемый на рынке систем хранения данных бренд MegaRAID и под этим именем выпускает целую линейку высокоскоростных контроллеров, как в виде простых HBA, так и в виде мощных RAID-сопроцессоров. Обновление серии 9300 получило новое имя Intruder и порядковый номер 9305, и в ней появились модели с поддержкой 16 и даже 24 портов SAS 12 Гбит/с. Минимальный объём кеша теперь составляет 2 Гбайт, а у старшей модели он возрос до 4 Гбайт, все контроллеры поддерживают подключение батареи суперконденсаторов, удерживающих состояние кеша в случае сбоев по питанию. Система защиты гибридная, суперконденсаторы дают контроллеру время сбросить критические данные в установленную на борту флеш-память.

Но это не самая интересная серия дисковых продуктов Broadcom. В настоящее время SAS продолжает оставаться основным стандартом в системах хранения данных, поскольку стандарт этот является устоявшимся, он хорошо описан, и все «подводные камни», свойственные ему, известны. Но он разрабатывался для работы с традиционной «механикой», поэтому по мере роста популярности SSD ему на смену идёт стандарт NVMe, оптимизированный именно с учётом особенностей функционирования энергонезависимой памяти типа NAND (а в ближайшем будущем — и новых типов, обещающих более высокую надёжность, таких, как Intel 3D XPoint).

Популярны в настоящее время и системы на базе HDD с кешированием с помощью SSD. Тут-то и пригодится новая серия LSI 9400 Tri-Mode, включающая в себя как HBA, так и мощные решения RAID с аппаратным ускорением под брендом MegaRAID. Первые используют чипы 3416 (Crusader) и 3408 (Tomcat), последние две цифры означают количество поддерживаемых портов. Даже процессоры 34xx имеют многоядерную архитектуру, что позволяет избежать «бутылочных горлышек». Самое интересное в серии 9400 — это возможность одновременного использования устройств SAS и NVMe, благо, физический разъём при этом со стороны адаптера используется один и тот же. К примеру, процессор 3416 позволяет подключить четыре жёстких диска и два SSD с интерфейсом PCIe x2, но он может работать и с двумя скоростными накопителями в режиме PCIe x8.

Серия MegaRAID 9400 Tri-Mode ещё более интересна. Только в младшей модели используется программная обработка режимов RAID, характерная для моделей с порядковыми номерамии серии xx40. Модели 9460 и 9480 используют уже полноценные RAID-сопроцессоры 3508 (Harpoon) и 3516 (Ventura). Это пятое поколение процессоров RAID-on-Chip (ROC), в котором Broadcom отказалась от архитектуры PowerPC и перешла на использование ядер ARM. Каждый из новых процессоров имеет два ядра ARM Cortex-A15 с частотой 1,2 ГГц, которые используют разделяемый кеш объёмом 1 Мбайт, но в дополнение к ним в составе кристалла имеется блок аппаратного ускорения RAID (операции типа XOR и так далее), который к тому же содержит и 72-битный (ECC) контроллер DDR3/4.

Новые устройства серии 9400 обеспечивают также низкий уровень энергопотребления: для чипа 3408 оно составляет около 10 Ватт, самый же мощный 16-канальный 3516 потребляет в типовом режиме чуть более 17 Ватт. Этого удалось достигнуть за счёт перевода производства чипов на 28-нм техпроцесс и использования архитектуры ARM вместо PowerPC. При этом производительность новых HBA при операциях последовательной записи увеличилась на 74 % в сравнении с предыдущим поколением, а у RAID-моделей этот прирост составляет около 44 % (для режима RAID 5), и это вдобавок к возможностям использовать одновременно HDD по протоколу SAS или даже SATA и высокоскоростные твердотельные накопители с интерфейсом NVMe.

Решения Broadcom/LSI/Avago всегда можно было похвалить за мощную и продуманную аппаратную часть, но интерфейс управления контроллерами вызывал у многих пользователей и администраторов недоумение — он был некрасив и не слишком удобен в использовании. В отличие от удобного веб-интерфейса более ранних контроллеров 3Ware он требовал использования специальной утилиты. Теперь всё иначе. Вместе с серией 9400 компания представила и новое поколение программного обеспечения — LSI Storage Authority. Теперь управление осуществляется через веб-интерфейс, что автоматически даёт кроссплатформенную совместимость. Но сохранилось и всё богатство консольных настроек StorCLI, а BIOS контроллеров получили новые функции, такие, как возможность прошивки без загрузки ОС.

С поддержкой операционных систем у Broadcom всё обстоит отлично: поддерживаются все основные версии Windows и довольно широкий «зоопарк» ОС на базе ядра Linux, от RedHat до Ubuntu. Совместимы новые решения и с FreeBSD, а также с решениями Citrix и VMware. Можно сказать, что компании удалось охватить практически весь сегмент используемых в современных СХД операционных систем. Существуют специализированные решения, но чаще всего их основой является тот или иной вариант Linux или BSD, а значит, высока вероятность, что контроллеры Broadcom будут работать и в этих системах.

При этом предыдущее поколение контроллеров 9300 на базе чипа Fury продолжает оставаться недорогим решением для бюджетных СХД с производительностью до 1,45 миллиона IOPS и линейной скоростью до 6 Гбайт/с. Но даже серия 9305 может предложить, не считая большего количества портов, быстродействие на уровне 1,5 миллиона IOPS и 6,4 Гбайт/с, а аппаратные ускорители серии 9400 и вовсе способны развить до 1,7 миллиона IOPS на контроллер при максимальной пропускной способности 6840 Мбайт/с. Фактически линейная производительность новых решений Broadcom ограничена возможностями шины PCIe 3.1 x8, которая составляет 64 Гбит/с. Следующим шагом является переход на шину PCIe с 16 линиями.

И такие решения в арсенале Broadcom есть. Это наиболее мощные контроллеры 9405W-16e и 9405-16i. Они располагают всеми возможностями серии 9400, включая смешанное подключение устройств SAS/SATA и NVMe, но при этом имеют вдвое более широкий интерфейс «общения» с хост-системой, что позволяет добиться пропускной способности уже на уровне 128 Гбит/с. Эти устройства предназначены для самых мощных СХД, используемых для хранения видео ультравысокого разрешения, либо в приложениях класса Big Data. Все адаптеры Broadcom поддерживают как инфраструктуру SFF-8639, так и набирающий популярность разъём типа OcuLink; для последнего выпускаются специальные кабели.

Продолжает выпускать Broadcom и решения с поддержкой Fibre Channel. Этот стандарт далеко не нов, но в последнем поколении обеспечивает скорости передачи данных в диапазоне от 3200 до 12800 Мбайт/с. У производителя имеются как простые адаптеры HBA с поддержкой этого стандарта, так и модели с функциями аппаратного ускорения работы дисковых массивов. Все решения, как Fibre Channel, так и SAS/NVMe проходят тщательнейший процесс тестирования — у Broadcom имеется целых четыре тестовых центра. В результате, по словам разработчика, гарантируется бесперебойная работа и совместимость с множеством имеющихся на рынке решений. В списке официально совместимых компонентов на данный момент содержатся 450 моделей HDD, 180 моделей SSD, 75 моделей дисковых полок и корзин и 70 моделей готовых серверов.

Компания HGST, образованная в 2003 году слиянием дискового подразделения IBM и Hitachi, и в настоящее время принадлежащая Western Digital, выступила на конференции SelectelTechDay #2 с докладом, посвящённым современному состоянию индустрии накопителей — как традиционных механических жёстких дисков, так и твердотельных решений на базе энергонезависимой памяти.

По состоянию на 2017 год Western Digital принадлежит как HGST, так и SanDisk, а по объёму квартальной выручки компания занимает первое место среди конкурентов ($4,7 миллиарда против $4,2 млрд у ближайшего соперника — Samsung), так что она имеет все основания для того, чтобы оценивать индустрию накопителей в целом. Более того, по количеству баллов Western Digital (8694) уступает только Google (18554) и Apple (10545), занимая третье место в списке рейтинга IEEE Power Six, который отражает инновационность, ценность и оригинальность новых патентов компании за год.

Многие считают, что уход традиционных механических HDD в историю уже не за горами, и их заменят более удобные, экономичные, а главное — более быстрые на случайных операциях SSD. Однако Western Digital так не считает. Да, тенденция к замене HDD на SSD есть, но проявляется она в основном на рынке клиентских решений, и то не везде и не всегда, а вот в секторе корпоративных решений жёсткие диски будут жить ещё очень долго, и объём поставок таких дисков к 2020 году продолжит расти. А вот в клиентском секторе объёмы продаж HDD будут падать, а SSD — быстро расти.

Компания приводит любопытное сравнение: если выразить объём данных, генерируемых нашей цивилизацией в год — а это 1000 экзабайт — как Землю, то SSD в настоящее время на этом фоне выглядит не больше Луны. Твердотельные решения не покрывают и 10 % требуемого объёма хранения. Более того, развеивается представление о жёстком диске, как о чём-то простом: на самом деле это одна из самых точных механических машин, которые производятся в нашем мире серийно. Если верить докладчику, в современных моделях HDD точность позиционирования головок составляет порядка 10 нм — величина, сопоставимая с размерами транзистора в соответствующем техпроцессе. Интересно, что экологические ниши HDD со скоростью вращения шпинделя 10‒15 тысяч оборотов стремительно сокращаются.

Такие диски весьма совершенны, но обычно не имеют большого объёма и активно вытесняются SSD, но для HDD остаётся одна огромная ниша — та, где требуется именно большой объём. Фактически, большая часть данных земной цивилизации ещё долго будет лежать на плечах классических HDD со скоростью вращения шпинделя 7200 об/мин, что потребует увеличения их объёмов. Тут, однако, вступает в дело так называемая «трилемма магнитной записи». Критический предел плотности записи (1 Тбит на кв. дюйм) уже практически достигнут и уменьшать размеры частиц магнитного слоя практически некуда. С уменьшением их размера падает термостабильность — нужны новые материалы, на которых при повышении температуры упорядоченная запись не будет превращаться в хаос.

Такие материалы есть или разрабатываются. В теории они позволят нарастить ёмкость одного HDD до 40 Тбайт или даже более. Но стандартной классической головке HDD просто не хватит силы развиваемого ею магнитного поля, чтобы нормально намагничивать зону записи, а ведь если верить докладу, речь идёт о плотности магнитного потока порядка 1 Тесла. Это огромная величина. Для сравнения, ряд аппаратов МРТ имеет плотность от 1,5 до 3 Тесла (правда, речь идёт о гораздо более крупных магнитах). Таким образом, возникает тупиковая ситуация.

Вариантов решений и выхода из вышеописанной ситуации здесь несколько, большая часть эволюционных версий уже освоена: это и увеличение количества пластин на шпиндель, и использование гелиевых гермоблоков, и новые типы записи — двухмерная (TDMR) и черепичная (SMR). Есть вариант с введением форм-фактора 3,5″ двойной высоты, но он, скорее всего, не «взлетит», поскольку потребует переделки всех корпусов дисковых полок, серверов и СХД. Корпоративный сектор довольно консервативен и предпочитает придерживаться проверенных временем форм-факторов. HGST создала прототипы таких дисков, но в массовое производство они не пошли. А стандартный трёхдюймовый вариант ограничен по количеству пластин: более восьми в него уместить невозможно чисто физически.

С эволюционными решениями всё хорошо: гелиевые гермоблоки находятся массово в эксплуатации уже 4 года и доказали свою надёжность, несмотря на то, что этот газ обладает таким неприятным свойством, как чрезвычайно высокая способность к диффузии — проникновению между молекулами других веществ. К текущему моменту отгружено уже более 20 миллионов HDD с такими гермоблоками, они установлены и активно используются в крупнейших мировых ЦОД. Заявленный показатель наработки на отказ в 2,5 миллиона часов подтверждён, что называется, в полевых условиях. Лучшим диском HGST называет Ultrastar He12, и не зря: он обладает огромной ёмкостью, потребляет меньше, чем решения с классическим гермоблоком, и при этом весьма надёжен.

Черепичная запись (SMR) тоже активно используется в современных жёстких дисках большой ёмкости. Суть её проста и видна из слайда: дорожки при такой записи формируются как бы «наползающими» друг на друга, что экономит поверхность пластины HDD, а значит, повышает плотность записи. Особенно сложных технологий SMR не требует, а значит, снижается и удельная стоимость хранения данных. Но у SMR есть недостатки: в силу самой технологии информацию с таких дисков можно читать как последовательно, так и случайными блоками, а вот запись обязательно должна вестись последовательно, иначе пострадают соседние дорожки. Это существенно снижает скоростные характеристики таких решений, так что ниша дисков с SMR — это системы архивации (холодная зона) и «тёплая» зона (nearline storage). В последнем случае нагрузка должна носить потоковый, линейный характер.

Есть в области магнитной записи и революционные решения, среди них ближе всего к реализации так называемая термомагнитная запись (HAMR). О ней мы писали ещё несколько лет назад. Принцип HAMR открывает дорогу к созданию HDD объёмом 20 и более Тбайт, но технология «головок с лазерным подогревом зоны записи» до сих пор не может выйти за пределы лабораторий. Сама по себе она работоспособна и это доказано экспериментально. Но выявлен ряд проблем: так, например, пока не получается сфокусировать лазерный луч с пятном диаметром менее 50 нм (а точность позиционирования головки, напоминаем, составляет около 10 нм).

Пока достигнута точность фокусировки порядка 120‒130 нанометров, но этого недостаточно. Поэтому систему «подогрева» пришлось существенно усложнить: теперь лазер не облучает магнитную пластину непосредственно. Передача энергии осуществляется с помощью цепочки «лазер‒волновод‒плазмонная антенна». Антенна выполнена из золота, которое хорошо проводит частоты порядка терагерц, её геометрия такова, что возникает стоячая волна, которая и позволяет достичь нужного размера подогреваемого пятна на магнитной пластине. Система работает, но, например, тонкая плазмонная антенна быстро оплавляется, так что лабораторный срок службы головки пока в разы меньше необходимого. Кроме того, мировое производство твердотельных лазеров нужных габаритов и мощности недостаточно велико для массового выпуска HAMR-дисков.

Существуют и более экзотические технологии: так, вместо лазерного излучения для подогрева зоны записи предлагается использовать микроволновый пучок (MAMR), но создание столь компактных микроволновых излучателей под вопросом. Есть направления так называемой «битовой литографии» и записи «на подогретые точки», но о последних пока мало что известно, и судя по всему, данные технологии пока не вышли дальше закрытых лабораторных исследований.

С жёсткими дисками всё более-менее понятно: поставки в клиентском секторе будут падать, но корпоративный сегмент по-прежнему будет в основном полагаться на всё более ёмкие модели HDD. Относительно NAND тоже был сделан ряд интересных заявлений. Во-первых, производителей флеш-памяти в мире осталось не так много: WDC/SanDisk, Toshiba, SK Hynix, Micron, Samsung и Intel, причём на долю альянса WDC‒Toshiba приходится 40 % мирового производства NAND-устройств, вторую строчку занимает Samsung с 38 %. Однако спрос на рынке флеш-памяти по-прежнему превышает предложение, хотя все производители стараются как можно быстрее нарастить производственные мощности в этой области.

Кроме того, нехватка NAND вызвана задержкой производителей, вызванной переходом с производства планарной флеш-памяти на объёмную 3D NAND. В игру собирается вступить КНР, а именно компания XMC, но поставки 32-слойной 3D NAND, выполненной по технологиям Spansion, ожидаются не ранее следующего года, да и на проектную мощность 300 тысяч пластин в месяц фабрика выйдет лишь к 2020 году. Есть в области производства флеш-памяти и свои проблемы, в чём-то они похожи на проблемы, описанные выше применительно к развитию технологий HDD.

До появления 3D NAND рост ёмкости чипов флеш-памяти шёл за счет применения всё более тонкой литографии и увеличения количества хранимых в одной ячейке бит. Напомним, каждый бит требует двух уровней заряда, определяющих, хранится ли в данной ячейке 0 или 1. MLC требует уже четырёх уровней заряда, а TLC и вовсе восьми уровней, что отнюдь не ведёт к повышению надёжности, ведь заряды имеют свойство дрейфовать. В переход на более тонкие техпроцессы вкладывались огромные деньги, но одновременно «ударными темпами» вновь падала надёжность. Если для ранней 32-нм SLC количество электронов на уровне составляло порядка 200, то для 15-нм TLC этот показатель равен всего 8 электронам! Именно их объём определяет надёжность хранения бита в ячейке флеш-памяти, ведь чем меньше электронов — тем больший негативный эффект могут оказать шумы и дрейф заряда, а значит, требуются более сложные и ресурсоёмкие схемы коррекции ошибок.

Но с появлением 3D NAND эволюцию планарной NAND можно считать законченной. Произошла революция, и эта революция решила практически все проблемы, связанные с уменьшением норм техпроцессов. Существенно возросло количество электронов на уровень записи — до 900 в случае SLC-варианта, а это более чем в два раза надёжнее даже планарной 45-нм SLC. Снизилось количество взаимных помех между ячейками, а для программирования страницы (блока) теперь требуется меньше времени и энергии. Конечно, по мере внедрения более тонких техпроцессов количество электронов на уровень будет падать и у 3D NAND, но запас прочности у нового типа памяти очень велик, что подтверждают ресурсные испытания, проведённые нами.

Рост цен на флеш-память похоже, объясняется ещё и тем, что 2017 год является переходным для всех производителей NAND. Впервые объём произведённой 3D NAND превысил объёмы производства классической 2D NAND. Начался лавинообразный переход всех производств с планарной на трёхмерную флеш-память, а мгновенно такие масштабные действия не совершаются. Перестройка фабрик и переналадка производственных линий требуют времени и денег. По некоторым прогнозам, дефицит несколько снизится к третьему кварталу 2018 года, но с этими прогнозами согласны не все, хотя и другие аналитики считают, что такого взрывообразного дефицита больше не будет.

В целом, состояние индустрии, описанное HGST, выглядит вполне логичным и закономерным. Жёсткие диски не умирают, но все усилия разработчиков фокусируются в области увеличения их объёма, поскольку по прочим характеристикам HDD уже не могут конкурировать с SSD. Продолжится внедрение гелиевых гермоблоков и SMR, но появления революционных технологий, таких как HAMR, похоже, откладывается — разработчикам предстоит увеличить срок службы лазерных головок на несколько порядков. Что касается SSD, то здесь всё просто: 2D NAND тотально вытесняется 3D NAND — последняя не только надёжна, но и выгодна, особенно в новых поколениях с увеличенным количеством слоёв. Прогнозируется массовое появление таких монстров, как SSD ёмкостью 8 и более Тбайт. Снизится показатель DPWD, но на фоне увеличения ёмкости проблемы это не представляет: перезаписать 25 раз в день в течение пяти лет такой накопитель практически невозможно физически, утверждается в докладе HGST. Нормой будет показатель DPWD в пределах 3‒10 перезаписей в день.