На конференции Sanford C. Bernstein Operational Decisions Conference компания Micron сообщила, что у нее есть планы по развитию SSD и DIMM-модулей на базе технологии 3D XPoint. Формально это прямая заявка на конкуренцию с Intel Optane через пару лет, когда Micron запустит свою серию продуктов 3D XPoint.

По заявлениям финансового директора Micron Дэйва Зинснера, компания будет продолжать создавать портфолио для 3D XPoint, он также отметил, что данная технология будет очень востребована в области искусственного интеллекта. В настоящее время Micron производит 3D XPoint для продуктов Intel Optane PMem 200 и твердотельных накопителей Micron X100, представленных в октябре 2019 года.

В ближайшие пару лет Micron планирует начать выпуск собственных накопителей 3D XPoint второго поколения, а также модулей DIMM 3D XPoint. По словам Дэйва Зинснера, у Micron до сих пор нет значительного дохода в этом сегменте, если не считать пластин 3D XPoint, которые они продают Intel. Кроме того, производственные линии 3D XPoint недостаточны загружены, что  прямо влияет на расходы Micron.

Над всеми современными компьютерными архитектурами довлеет одно проклятие — разделение всех ресурсов памяти на быструю (оперативную) и медленную (дисковую). Несмотря на весь прогресс в области микроэлектроники, сам принцип остаётся фундаментальным и по сей день, однако есть и те, кто решается бросить вызов этой системе. Компания MemVerge, летом этого года заявившая о том, что делает ставку на вычисления в памяти (in-memory), официально представила разработанное ей специально для этой цели программное обеспечение под названием Memory Machine.

Модуль Optane DCPMM без радиатора. Виден контроллер и один из чипов Optane

Как и все инициативы подобного рода, Memory Machine нуждается в достаточно быстром, но при этом энергонезависимом типе памяти: обычная DRAM не подходит и по цене, и по невозможности надёжно хранить данные. К счастью, сейчас такая «промежуточная» память есть, и это, разумеется, Intel Optane. Успешно доказана возможность Optane дополнять обычную память, и в тех случаях, где объём важнее пропускной способности, такие системы показывают впечатляющие результаты.

Архитектурные устои современных серверов и кластерных систем, однако, приходится преодолевать, и именно с этой целью MemVerge разработала специальную программную прослойку, существенно упрощающую построение комбинированных пулов памяти, сочетающих в себе DRAM и Optane DCPMM (PMEM, Persistent Memory). В основе Memory Machine лежит идея прослойки виртуализации между приложениями и различными API доступа к памяти и хранилищам данных.

Концепция in-memory, реализованная MemVerge. Для связи между узлами кластера используется RDMA over Converged Ethernet

Благодаря этой прослойке, все имеющиеся сочетания DRAM и Optane DCPMM в пределах сервера или различных узлах кластера представляются, как единое объектное пространство памяти (Distributed Memory Objects), а приложения воспринимают это пространство как обычный объём памяти, с которым можно работать стандартными средствами. Прослойка с точки зрения приложений полностью прозрачна, а значит, приложения не нуждаются в модернизации. Для внедрения вычислений in-memory без модернизации ПО достаточно приобретения Memory Machine Standard Edition.

MemVerge Memory Machine включает в себя удобные средства мониторинга и управления

Но существует и расширенная версия, Memory Machine Advanced Edition, ещё более продвинутая и выводящая идею единого быстрого пространства памяти на новый уровень. Ключевым отличием от стандартной версии можно назвать поддержку ZeroIO, технологии моментальных снимков памяти. Если верить MemVerge, ZeroIO позволяет полностью отказаться от операций ввода-вывода с традиционными блочными накопителями (SSD и HDD) и хранить всё в пределах PMEM.

Загрузка объемных рабочих сценариев (сотни гигабайт или единицы терабайт) при этом занимает секунды против минут и часов при традиционном подходе. Поддерживается практически мгновенное клонирование объёмных баз данных, что обязательно порадует разработчиков. Также реализована функция Time Travel, позволяющая быстро откатываться к любому из сделанных ранее снимков.

Memory Machine состоит из гипервизора памяти и надстроек, работающих непосредственно с приложениями

Разумеется, Memory Machine представляет собой весьма непростое программное обеспечение. При всех своих достоинствах, память Optane DCPMM всё же уступает традиционным модулям DRAM DIMM в производительности. Но Memory Machine дирижирует имеющимися в её распоряжении ресурсами интеллектуально, перемещая наиболее часто используемые, «горячие» данные в область DRAM для максимизации производительности. Общий объём DRAM и Optane при этом всё равно используется на 100%.

В основе Memory Machine лежит гипервизор на базе Linux, он-то и занимается виртуализацией всех ресурсов памяти в единый пул. Из этого пула приложения могут забирать необходимые ресурсы, а надстройка Memory Machine следит за тем, чтобы производительность была максимальной и поддерживает качество обслуживания (QoS). А в случае Advanced Edition, эта надстройка отвечает и за функции ZeroIO.

Новое ПО поддерживает зонирование памяти (tiering), снятие снэпшотов и репликацию в реальном времени

Обе редакции MemVerge Memory Machine можно заказать уже сейчас. Список поддерживающего режим выполнения in-memory программного обеспечения достаточно широк и включает в себя такие наименования как Autodesk Maya, TensorFlow, PyTorch, MySQL, MongoDB, KVM и ряд других. Список будет постоянно пополняться, также компания принимает отдельные заказы на обеспечение поддержки пользовательского приложения.

Аппаратные ограничения проистекают из самой природы Memory Machine: к сожалению, серверы на базе AMD EPYC не подходят, как не поддерживающие Optane DPCMM. Но подойдёт любой сервер с процессорами Intel Xeon Scalable второго поколения, поддерживающими такой тип модулей памяти. Поддерживаются гипервизоры VMware ESXi и QEMU-KVM, операционные системы CentOS и Red Hat Enterprise Linux, а также платформы контейнеризации на базе Kubernetes.

Напомним, что на самих платформах Intel память Optane DCPMM тоже может работать в режиме прозрачного расширения объёма DRAM. А на более ранних платформах с Xeon Scalable первого поколения доступна технология IMDT, которая позволяет расширить объём видимой в системе оперативной памяти за счёт NVMe-накопителей (в первую очередь, на базе той же Optane).

Сегодня Intel провела небольшой виртуальный брифинг, посвящённый промежуточному отчёту об успехах и планах в области памяти и твердотельных накопителей для центров обработки данных. За год продажи в этом сегменте выросли на впечатляющие 46%.

Intel продолжает заниматься продвижением своего видения иерархии памяти, которая в представлении компании включает промежуточный слой SCM-памяти — в данном случае это Optane DCPMM + Optane SSD — между DRAM и дисковой подсистемой, а сами диски должны быть представлены исключительно накопителями на базе 3D NAND. Жёстким дискам и «ленточкам» отведена роль внешнего «холодного» хранилища. Впрочем, LTO и так им является, а на смену HDD должны прийти накопители на базе QLC-памяти, а впоследствии и PLC.

Планы относительно QLC-накопителей не поменялись — в этом году должно стартовать массовое производство 144-слойной памяти данного типа, а в следующем компания начнёт переводить на неё свои основные продукты. Intel всё так будет продвигать форм-фактор EDSFF E1.L (рулер) для компактных и ёмких хранилищ. На днях, к слову, она, наконец, выпустила в этом форм-факторе накопители «старой» серии DC P4510 ёмкостью 15,36 Тбайт. Ожидается, что в ближайшие годы крупные производители серверов и СХД начнут массово переходить на стандарт EDSFF, но конкуренцию «рулерам» составят U.3 и E3.S. Что касается SSD на базе 3D XPoint, то следующее поколение под кодовым именем Alder Stream всё так же ожидается в этом году.

Несколько слов было сказано и втором поколении Intel Optane PMem 200 (кодовое имя Barlow Pass), представленной пару недель назад. Заявленный прирост производительности на 25% был получен благодаря новому контроллеру, обновлению протокола обмена данными и некоторыми улучшениями самой памяти 3D XPoint. Также было переработано управление питанием, что привело к снижению среднего TDP. Речь идёт о нескольких ваттах, однако новая память работает с Intel Xeon Cooper Lake, которые ориентированы на плотные 4- и 8-сокетные системы с большим числом DIMM-модулей. Новая память Optane будет поддерживаться и в системах на базе следующего поколения процессоров Intel Xeon Ice Lake.

Пример расчёта стоимости платформы с Intel Optane DCPMM и RAM

А вот о клиентских решениях прямо пока ничего не говорится, хотя в этом году ожидается некий анонс для несерверных продуктов. Впрочем, формально к таковым относятся и рабочие станции на базе тех же Xeon. Сейчас Optane DCPMM позиционируется как решение для ЦОД и периферийных вычислений. Intel отмечает интерес к такой памяти: более 200 компаний из списка Fortune 500 уже тестируют её или используют в рабочих нагрузках, 30+ крупных разработчиков ПО адаптировали софт для Optane DCPMM, а из «большой семёрки» (Super 7) — Facebook , Google, Microsoft, Amazon, Baidu, Alibaba и Tencent — её используют пять гигантов.

Китайский производитель гиперконвергентных решений SmartX выпустил решение Halo P, использующее для кеширования Optane PMem, что позволяет выдать 1,2 миллиона IOPS с задержкой не более 100 мкс и пропускную способность до 25 Гбайт/с. Стенд для демонстрации решения был построен на основе трехузловой системы Lenovo и с использованием накопителей NVMe.

Каким образом SmartX удалось снизить задержку доступа до такой малой величины? Ответ простой — использование собственной ОС SMTX и модулей Optane DCPMM в режиме App Direct (DAX).

Это решение позволяет сохранять данные любого узла в кеше из модулей памяти Optane, при этом на другие узлы данные так же реплицируются с использованием протокола RDMA, который уменьшает задержку до подтверждения записи данных. Далее данные из кеша записываются на твердотельные накопители и хранятся там, пока снова не потребуются.

OC SMTX использует 64-байтовое выравнивание для журнала блоков, вместо 4 Кбайт (для SSD), таким образом решается проблема с лишними операциями записи (когда не набирается блок в 4 Кбайта). Кроме этого, виртуализованное хранилище передается в программный стек ВМ через отдельный протокол SMTX ELF, что позволяет избежать снижения производительности, вызванного запросами ввода-вывода от виртуальных машин.

Память системы хранения и виртуальной машины разделяется, чтобы избежать репликации памяти и замедления операций ввода-вывода. RDMA over Converged Ethernet (RoCE) используется для ускорения сетевых запросов ввода-вывода через сетевые карты (работа с разными узлами хранилища).

SmartX заявляет, что это самое быстрое в мире решение с гиперконвергентной системой. SmartX позиционирует свое решение HaloP для работы с базами данных OLTP и машинного обучения.

В понятие «платформа» как таковое входят три компонента: процессор, память и устройства хранения данных, хотя с появлением Optane DCPMM грань между последними двумя понятиями и стала размываться. Вместе с анонсом Xeon Scalable Cooper Lake Intel представила второе поколение памяти Optane DCPMM, которе и предназначено для новых CPU.

Рост популярности систем машинного интеллекта и периферийной обработки данных приводит и к тому, что от подсистем памяти требуются большие, нежели ранее, объёмы. DRAM, однако, всё ещё очень дорогое удовольствие, когда речь заходит о терабайтах и десятках терабайт, а обычная флеш-память NAND не может похвастаться высокой производительностью на мелкоблочных и случайных операциях в силу своей структуры.

Intel не первый год продвигает концепцию Optane DCPMM: сам тип микросхем Optane (3D XPoint) хорошо подходит в качестве «продолжения» системной памяти, порой не критически уступая DRAM в производительности. При этом модули DCPMM энергонезависимы и могут быть весьма солидных объёмов, заведомо превышающих объёмы, достигаемые «чистой» DRAM.

DCPMM позволяет снизить стоимость владения при увеличении объёмов памяти и лучшей производительности

В прошлом году мы опубликовали заметку, рассказывающую о том, насколько хорошо смешанные системы на базе Optane DCPMM + DRAM показывают себя в научно-технических расчётах. И они доказали свою полезность, хотя речь шла о первом поколении модулей DCPMM. А сейчас компания Intel представила модули на базе Optane второго поколения, обладающие улучшенными техническими характеристиками.

Они носят название Optane 200 и, по замыслу разработчика, эти модули должны составить компанию платформе Cooper Lake-SP, третьему поколению Xeon Scalable. Максимальная ёмкость модуля по-прежнему составляет 512 Гбайт.

Эффективность новой DCPMM в сравнении с серверами трёхлетней давности

Общий объём смешанной памяти у систем на базе Cooper Lake может достигать внушительной цифры 4,5 Тбайт на процессорный разъём, хотя для этого и требуется процессор Xeon с суффиксом HL в названии. Отличный выбор для нагрузок вроде баз данных in-memory, аналитики в реальном времени, да и системы виртуализации от такого только выиграют — один сервер сможет вместить больше инстансов.

Новые модули имеют невысокий теплопакет, остающийся в рамках 12 ‒ 15 Ватт, но при этом они могут быть на четверть производительнее Optane DCPMM предыдущего поколения. По разным оценкам надёжность новинок варьируется в пределах 75 — 363 Пбайт, записанных в течение пятилетнего гарантийного срока. Поддерживаются частоты DDR4 1866, 2133, 2400 и 2666 МГц, тогда как сами процессоры Cooper Lake-SP получили поддержку и более быстрой DDR4-3200.

Вместе с новой памятью и процессорами компания также анонсировала накопители Intel D7-P5500 и D7-5600 с интерфейсом PCIe 4.0 и новую FPGA Intel Stratix 10 NX.

Наряду с ускорением вычислений (GPU, FPGA) и совершенствованием шин (NVLink, CXL), технологии класса in-memory computing станут частью высокопроизводительных систем нового поколения. Речь идёт о переносе как можно больших объёмов данных в RAM, что должно решить целый спектр проблем, вызываемый достаточно высокой латентностью традиционных накопителей.

Молодой стартап MemVerge согласен с этим видением, но полагает, что для достижения наилучшего результата потребуется соответствующая программная прослойка.

Хранить данные в оперативной памяти всегда было заманчивой идеей, поскольку такая память на порядки быстрее традиционных накопителей. Однако до недавних пор реализация этой идеи была достаточно ограниченной. С одной стороны, DRAM является достаточно дорогим удовольствием, а с другой — её объёмы ограничены и в ряде случаев их может оказаться недостаточно. С появлением новых типов энергонезависимой памяти класса SCM, главным из которых пока является Intel Optane, ситуация начинает понемногу меняться. Этого потребует и сам рост объёмов данных, получаемых в реальном времени, считает MemVerge.

Концепция in-memory computing в версии MemVerge

Согласно исследованию, проведенному IDC, в следующие пять лет четверть всех данных, обрабатываемых вычислительными системами планеты, будут составлять данные реального времени. Следовательно, от машин нового поколения потребуется не только скорость работы с памятью, но и солидные её объёмы. MemVerge полагает, что для оптимальной реализации вычислений in-memory потребуется сочетание DRAM, энергонезависимой SCM-памяти и специальной программной прослойки. Последнюю компания называет Memory Machine. 

Основой, как уже было сказано, считается память Intel Optane DCPMM, поскольку пока только эта технология позволяет создавать массивы памяти нужного для воплощения концепции memory centric объёма. MemVerge надеется занять нишу первопроходца в программной части реализации Memory Machine и стать основополагателем соответствующего стандарта. На сегодняшний день Optane хотя и опробована большинством крупных владельцев ЦОД, но единого стандарта на реализацию in-memory computing нет, что сдерживает широкое распространение концепции.  Однако к 2022 году ситуация может измениться и у Optane появится 3 ‒ 4 конкурирующих типа энергонезависимой памяти. Одним из них может стать MRAM — рабочие образцы такой памяти уже существуют, но по объёму пока не могут сравниться с Optane.

Ещё в 2019 году Microsoft Azure анонсировала инстансы SAP HANA Large. В основу платформы легли процессоры Intel Xeon Scalable второго поколения, поддерживающие, в числе прочего, модули Optane DCPMM. Теперь же Azure объявила о доступности новых, ещё более крупных с точки зрения объёма памяти вариантов ВМ.

Нагрузки SAP HANA создаёт весьма серьёзные, особенно в случаях, когда речь идёт о задачах класса high availability/disaster recovery (HA/DR). Здесь нуждающимся в подобного масштаба услугах должна прийти на помощь новая услуга HANA Large with Intel Optane PMem.

Инстансы на базе S224: четыре варианта из семи используют Optane PMem

Разработка новой платформы для SAP HANA велась совместными силами троих разработчиков: SAP, Intel и Microsoft Azure. Помимо того, что упростилась программная архитектура, удалось снизить и стоимость владения (TCO) за счёт того, что Optane дешевле того же объёма DRAM. Всего MS Azure теперь предлагает семь вариантов S224 HANA Large, с объёмами памяти от 3 до 9 Тбайт; объём памяти Optane — 3 или 6 Тбайт.

Узел с Optane ускоряет загрузку данных в случае сбоя и уменьшает стоимость владения в целом

Соотношение DRAM к DCPMM может составлять 1:1, 1:2 или 1:4, так что заказчик может сконфигурировать инстанс в соответствии со своими потребностями. В задачах, требующих быстрого аварийного восстановления, новым инстансам нет равных: если классический вариант после системной перезагрузки восстанавливался за 44 минуты, то версия на базе Optane справлялась за 2 минуты, то есть в 22 раза быстрее — за счёт отказа от необходимости заново загружать данные с обычных накопителей.

Новая услуга доступна в тех же регионах, что и предыдущие реализации HANA Large. DCPMM-модули SAP HANA поддерживает с версии 2.0 SPS 03, но к использованию рекомендуется версия 2.0 SPS 04, которую нужно соответствующим образом сконфигурировать, чтобы она распознала наличие в системе памяти Optane DCPMM.

Сами модули в режиме Application Direct поддерживаются операционными системами Red Hat Enterprise Linux версии от 7.6 и выше, а также SUSE Linux Enterprise Sever версий 12 SP4, 15 и выше. Руководство по использованию SAP в облачных системах Azure можно скачать с сайта Azure.

Ещё весной прошлого года Intel анонсировала новый тип модулей памяти на базе технологии 3D XPoint — Optane DCPMM. Технология заинтересовала всех, кому нужны большие объемы оперативной памяти, и кто готов при этом мириться с некоторой потерей производительности.

Японский национальный институт передовых технических наук и технологии (AIST) опубликовал результаты сравнительного тестирования DCPMM, в котором эти модули сравнивались с традиционной памятью DRAM.

Модуль DCPMM объёмом 128 Гбайт. Фото StorageReview.

В отличие от блочных накопителей Optane, существует не так уж много доступных результатов тестирования DCPMM, вот почему данные AIST представляют существенную ценность, о чём говорят и сами авторы проекта.

Для тестирования они использовали инструментарий собственной разработки и вот каких результатов им удалось достичь: при чтении латентность DCPMM составила порядка 374 наносекунд, в режиме случайной записи write-back она возросла до примерно 390 наносекунд.

Пропускная способность при этом составила 38 и 3 Гбайт/с, соответственно. Иными словами, задержки DCPMM примерно в четыре раза выше, нежели у DRAM, однако при этом такие модули способны обеспечить 37% пропускной способности обычной памяти. Это не так уж мало и, во всяком случае, на операциях чтения — намного быстрее любых традиционных блочных накопителей. Также подтвердилась польза от включения чередования (interleaving).

Любопытно, что для точного измерения задержек японским учёным пришлось пойти на ряд ухищрений, поскольку, по их словам, большинство современных архитектур используют предвыборку (prefetch) и внеочередное исполнение (out-of-order execution), что позволяет минимизировать негативные последствия, вызываемые задержками при обращении к оперативной памяти. Полностью ознакомиться с методикой и результатами тестирования можно по этой ссылке.

Огромные объёмы данных генерируют не только пользователи социальных сетей; как мы уже рассказывали читателям, сервис «ВКонтакте» вынужден прибегать к использованию новых технологий Intel Optane, чтобы справиться с такой нагрузкой.

Не меньших, а то и сопоставимых ресурсов требуют некоторые научные задачи. Некоторые из них просто нуждаются в чудовищных объёмах оперативной памяти. Использование гибридных решений на базе памяти Intel Optane позволяет решить данную проблему.

Оценка сравнительной эффективности таких решений была представлена в докладе на SC19, сделанным c.н.с. к.ф.-м.н. химического факультета МГУ имени М. В. Ломоносова Владимиром Мироновым. Работа подготовлена при участии зав. лаб. Суперкомпьютерного моделирования ИВМИМГ СО РАН, к.ф.-м.н. Игоря Черных.

Традиционный ответ на задачу заключается в использовании гибридных систем хранения данных или, в случае массивных параллельных вычислений, систем распределённой памяти. Но оба варианта ответа имеют свои недостатки: СХД, даже гибридные, могут оказаться недостаточно быстры, а работа с распределённой памятью существенно усложняет программное обеспечение и, опять-таки, в некоторых случаях приводит к неприемлемому проседанию производительности.

Технология IMDT позволяет расширять память за счёт накопителей Optane

Кроме того, затраты на создание подобных инфраструктур бывают весьма велики ‒ достаточно сравнить стоимость гигабайта DRAM и флеш-памяти. Существует третий ответ, который заключается в применении гибридной памяти на базе микросхем Intel Optane. Сама технология Optane позволяет говорить об априори более высокой производительности, нежели у SSD, и тем более, HDD, а стоимость гигабайта продолжает оставаться ниже аналогичного показателя для DRAM.

Принципы функционирования IMDT

Одно из предлагаемых Intel решений носит название IDMT (Intel Memory Drive Technology), причём, оно вовсе не обязательно требует применения модулей NVDIMM Optane DC Persistent Memory. Благодаря развитым средствам виртуализации, которые могут быть доступны ещё на этапе инициализации UEFI, становится возможным расширять объём оперативной памяти с помощью классических PCIe-накопителей Optane DC P4800X. 

Другой вариант базируется на применении модулей Optane DC PMM, он тоже позволяет расширять память за счет нового типа энергонезависимой памяти. Однако реализация DCPMM проще: она не требует установки накопителей с интерфейсом PCIe и лишена потенциального узкого места в виде пропускной способности PCI Express.

Вычисление полиномов. По мере роста интенсивности вычислений эффективность решений на базе Intel Optane приближается к уровню DRAM

В обоих сценариях память выглядит для рабочей задачи единым пространством; переделка программного обеспечения не требуется. Конечно, даже чипы Optane не столь быстры, как DRAM, но, как показывают результаты проведённых исследований, даже на задачах, чувствительных к пропускной способности подсистемы памяти, можно получить 25 ‒ 40% от производительности «только DRAM». В своей работе российский учёный использовал обе схемы, IMDT и DCPMM. Он оценил их эффективность в различных научных задачах и сравнил с показателями эталонной системы, использующей только классическую память DRAM.

Результаты тестирования: дискретные преобразования Фурье. IMDT справляется со сложными схемами доступа к памяти лучше, нежели DCPMM

В тех случаях, когда приложение не критично к ПСП, но чувствительно к объёмам, потери могут быть совсем незначительными, а выигрыш за счёт упрощения ПО ‒ весьма существенным. Обычно это задачи со сложными, но предсказуемыми схемами доступа к памяти. Есть свои выгоды и у схемы с использованием модулей Optane DCPMM ‒ она лучше всего показывает себя при простых алгоритмах доступа к данным.

Результаты тестирования: квантовая химия. Эффективность DCPMM выше, нежели IMDT

Для проведения экспериментов, доказавших надёжность и преимущества решений на базе Intel Optane, были использованы двухпроцессорные системы на базе Xeon Gold 6254. В конфигурации IMDT в системе присутствовало 192 Гбайт DDR4 и 4 накопителя Optane DC P4800X ёмкостью 375 Гбайт каждый (суммарно 1,5 Тбайт).

Результаты тестирования: моделирование динамики астрофизических объектов. Код не оптимален, потеря эффективности у обеих систем Optane

Сценарий DCPMM предусматривал установку 12 модулей DDR4 ECC по 16 Гбайт (192 Гбайт суммарно) и 12 модулей Optane DC PMM по 128 Гбайт (1,536 Тбайт суммарно); можно представить себе стоимость системы с таким объёмом памяти, построенной полностью на DRAM. «Контрольный» сервер использовал конфигурацию с 24 модулями объёмом 64 Гбайт ‒ те же 1,536 Тбайт суммарно.

Создано в России: программный комплекс HydroBox3D позволяет моделировать астрофизические феномены

В числе прочего стоит упомянуть использование отечественной разработки ‒ программного комплекса HydroBox3D для моделирования сложных гидродинамических процессов на базе технологии вложенных свёрток, применяющегося в астрофизике (проект AstroPhi). Авторство принадлежит сотрудникам Института вычислительной математики и математической геофизики СО РАН.

Сочетание неоптимального кода и плохой балансировки между NUMA-узлами. Оптимизация кода или политик NUMA улучшают ситуацию

По итогам проведённого эксперимента становится очевидно, что использование технологий Intel Optane в научных расчётах полностью оправдано как с точки зрения достигаемой ёмкости подсистемы памяти, так и с точки зрения затрат на оборудование. В настоящий момент доступны модули Optane объёмом до 512 Гбайт и производительностью в районе 2,3 Гбайт/с при записи и 6,8 Гбайт/с при чтении данных. Массовые DIMM пока ограничены значением 64 Гбайт, хотя и более производительны.

«ВКонтакте» имеет 97 млн активных пользователей в месяц. Каждый день они просматривают 9 млрд постов, ставят 1 млрд лайков, пишут 10 млрд сообщений, 650 млн раз просматривают видео и генерируют трафик 3,5 Тбит/с. Общий объём пользовательских данных достиг 1,1 экзабайта. 

За всем этим стоит немалая IT-инфрастуктура: 19 тыс. серверов, 3 связанных между собой ЦОД, 30 CDN-узлов и дополнительных точек присутствия по всему миру. Малейшая возможность повысить их эффективность выливается в миллионы долларов экономии ежегодно. На мероприятии Intel Experience Day 2019 VK рассказала о такой возможности. 

До недавних пор имелись два основных типа машин: 1U-сервер приложений на базе пары Intel Xeon 2660v4 и четырёх HDD + 4U-сервер хранения данных с двумя Xeon 2620v4 и 36 HDD. То есть фактически было лишь два уровня хранения информации: DRAM и жёсткие диски. Разделение между «горячими» и «холодными» данными простое, но далеко не самое эффективное, так как с ростом объёма информации итоговая производительность падает, а стоимость хранения, напротив, растёт день ото дня. 

В результате проведённых экспериментов было принято решение по изменению серверной инфраструктуры с учётом новых технологий хранения данных, имеющихся на рынке. Это снижает стоимость владения инфраструктурой на величину от 65% до 90%.

Проект получился комплексный: число уровней хранения информации выросло до четырёх, не считая DRAM. Для наиболее «горячих» данных используются модули Intel Optane DC Persistent Memory (DCPMM) объёмом 1 Тбайт (8 × 128 Гбайт) в сочетании с PCIe-накопителями Intel Optane P4800X ёмкостью 750 Гбайт. Использование DCPMM и DRAM вместо одной только оперативной памяти снизило капитальные затраты в два раза. 

Появился новый уровень, «тёплый», где данные хранятся на 8 SSD Intel P4320 с интерфейсом NVMe (QLC 7,68 Тбайт). Так что все эти 1U-сервера работают исключительно с твердотельными накопителями. Лишь на самом «холодном» уровне по-прежнему используются традиционные HDD. Но и тут плотность размещения резко возросла — в 4U-шасси с вертикальной загрузкой теперь помещается 102 жёстких диска. 

Но даже при новой системе разделения слоёв содержание более 1 экзабайта данных стоит очень дорого. Компания решила провести опыт по оптимизации хранения изображений, которых на серверах VK хранится несколько сотен петабайт, причём часто в нескольких форматах и разрешениях. 

Наилучшим решением проблемы стало использование серверов с восемью ускорителями Intel на базе ПЛИС Arria 10 GX, производящих при отдаче контента преобразование изображений на лету в нужную пользователю форму. По итогу удалось уменьшить объём хранимых изображений на 20%, сэкономив десятки петабайт места. В настоящее время компания рассматривает возможность применения FPGA для других типов нагрузок. 

Все новые серверы построены на базе двух процессоров Intel Xeon Gold 6230  (20/40, 2,1/3,9 ГГц, 27,5 Мбайт, 125 Вт), так что вычислительные мощности существенно возросли. Сеть подверглась модернизации c 10GbE на 25GbE. Пересмотр структуры хранения и передачи данных позволил увеличить среднюю плотность размещения в три раза, что положительно сказывается на затратах на содержание.