«ВКонтакте» имеет 97 млн активных пользователей в месяц. Каждый день они просматривают 9 млрд постов, ставят 1 млрд лайков, пишут 10 млрд сообщений, 650 млн раз просматривают видео и генерируют трафик 3,5 Тбит/с. Общий объём пользовательских данных достиг 1,1 экзабайта. 

За всем этим стоит немалая IT-инфрастуктура: 19 тыс. серверов, 3 связанных между собой ЦОД, 30 CDN-узлов и дополнительных точек присутствия по всему миру. Малейшая возможность повысить их эффективность выливается в миллионы долларов экономии ежегодно. На мероприятии Intel Experience Day 2019 VK рассказала о такой возможности. 

До недавних пор имелись два основных типа машин: 1U-сервер приложений на базе пары Intel Xeon 2660v4 и четырёх HDD + 4U-сервер хранения данных с двумя Xeon 2620v4 и 36 HDD. То есть фактически было лишь два уровня хранения информации: DRAM и жёсткие диски. Разделение между «горячими» и «холодными» данными простое, но далеко не самое эффективное, так как с ростом объёма информации итоговая производительность падает, а стоимость хранения, напротив, растёт день ото дня. 

В результате проведённых экспериментов было принято решение по изменению серверной инфраструктуры с учётом новых технологий хранения данных, имеющихся на рынке. Это снижает стоимость владения инфраструктурой на величину от 65% до 90%.

Проект получился комплексный: число уровней хранения информации выросло до четырёх, не считая DRAM. Для наиболее «горячих» данных используются модули Intel Optane DC Persistent Memory (DCPMM) объёмом 1 Тбайт (8 × 128 Гбайт) в сочетании с PCIe-накопителями Intel Optane P4800X ёмкостью 750 Гбайт. Использование DCPMM и DRAM вместо одной только оперативной памяти снизило капитальные затраты в два раза. 

Появился новый уровень, «тёплый», где данные хранятся на 8 SSD Intel P4320 с интерфейсом NVMe (QLC 7,68 Тбайт). Так что все эти 1U-сервера работают исключительно с твердотельными накопителями. Лишь на самом «холодном» уровне по-прежнему используются традиционные HDD. Но и тут плотность размещения резко возросла — в 4U-шасси с вертикальной загрузкой теперь помещается 102 жёстких диска. 

Но даже при новой системе разделения слоёв содержание более 1 экзабайта данных стоит очень дорого. Компания решила провести опыт по оптимизации хранения изображений, которых на серверах VK хранится несколько сотен петабайт, причём часто в нескольких форматах и разрешениях. 

Наилучшим решением проблемы стало использование серверов с восемью ускорителями Intel на базе ПЛИС Arria 10 GX, производящих при отдаче контента преобразование изображений на лету в нужную пользователю форму. По итогу удалось уменьшить объём хранимых изображений на 20%, сэкономив десятки петабайт места. В настоящее время компания рассматривает возможность применения FPGA для других типов нагрузок. 

Все новые серверы построены на базе двух процессоров Intel Xeon Gold 6230  (20/40, 2,1/3,9 ГГц, 27,5 Мбайт, 125 Вт), так что вычислительные мощности существенно возросли. Сеть подверглась модернизации c 10GbE на 25GbE. Пересмотр структуры хранения и передачи данных позволил увеличить среднюю плотность размещения в три раза, что положительно сказывается на затратах на содержание. 

Весной вместе с анонсом процессоров Intel Xeon Scalable под кодовым названием Cascade Lake компания также выпустила память Optane DCPMM в форм-факторе DIMM-модулей, которая способна ускорить работу, например, баз данных без лишних трат на закупку обычной DRAM. 

А на днях Intel выпустила первый релиз эталонного стека ПО для баз данных, заранее оптимизированного для использования в системах с Optane DCPMM.

Intel Database Reference Stack 1.0 представляет собой ещё одну инициативу с использованием ОС Linux. В качестве операционной системы применяется ОС Clear Linux собственной разработки, которая «из коробки» оптимизирована для аппаратных решений Intel. 

Первый релиз стека поддерживает только Apache Cassandra и Redis. Kubernetes применяется для оркестрации и управления системой. А для упрощения развёртывания экземпляры баз данных  и сопутствующий набор ПО запускаются в контейнерах Kata или Docker. 

Память Intel Optane DC Persistent Memory (DCPMM) в виде DIMM-модулей позволяет обойти ограничения, которые накладывают на серверные системы высокая цена и сравнительно низкая плотность оперативной памяти DRAM и относительная удалённость от процессоров классических SSD. 

Память Intel Optane DCPMM обеспечивает существенно большую ёмкость за те же деньги, чем может позволить оперативная память. Это открывает путь к росту объёмов баз данных в памяти (in-memory) и к сокращениям задержек при обращении к таким базам. 

Как сообщает нам официальный пресс-релиз компании Intel, китайский гигант электронной коммерции, компания Baidu, внедряет платформы с процессорами Intel Xeon Scalable второго поколения и памятью Intel Optane DCPMM. В частности, эти платформы Intel используются для обслуживания рекомендательных сервисов Baidu для поиска интересной пользователям информации в облачном сервисе Feed Stream.

Для этого Baidu разработала in-memory БД Feed-Cube. Проверка на практике показала, что в случае использования гибридной подсистемы памяти из DRAM и Intel Optane DCPMM поисковый запрос обрабатывается быстрее даже «под давлением одновременного доступа [к данным]».

Если вместо Intel Optane DCPMM использовать обычный пул памяти и NVMe SSD, то SSD создают «серьёзные задержки при обработке очереди команд», что снижает качество обслуживания. При размещении базы Feed-Cube только лишь в памяти DRAM этого не происходит, но высокая стоимость и сравнительная низкая плотность традиционной оперативной памяти не позволяет бесконечно наращивать объём пула. С памятью Intel Optane DCPMM масштабирование происходит намного проще.

Это не первый и не последний опыт сотрудничества Intel и Baidu. Компании являются стратегическими партнёрами во многих проектах в течение вот уже почти 10 лет. Последним значимым событием стало заключение в начале августа стратегического соглашения между Intel и Baidu на почве развёртывания ИИ-платформ с использованием решений Intel Nervana для машинного обучения (Intel NNP-T).

Intel и SAP объявили о многолетнем технологическом сотрудничестве, в рамках которого американская корпорация оптимизирует свои платформы для взаимодействия с корпоративным программным обеспечением немецкого партнёра.

В частности, партнёрство касается доработки поддержки процессоров Intel Xeon Scalable и энергонезависимой памяти Intel Optane DCPMM для работы с системой автоматизации бизнес-процессов SAP S/4HANA.

Партнёры утверждают, что использование SAP HANA с Intel Optane «существенно уменьшает сложности и риски запуска приложений в оперативной памяти в режиме реального времени за счёт использования постоянных данных, которые более устойчивы к компьютерным сбоям».

Сотрудничество Intel и SAP направлено на то, чтобы помогать клиентам внедрять высокопроизводительные и высокооптимизированные приложения в облаке, корпоративных дата-центрах и на периферии.

Планируется создание центра передовых технологий (Center of Excellence), в котором заказчики смогут оценивать, развивать инновации и применять технологии, оптимизированные компаниями Intel и SAP.

«Расширение технологического сотрудничества с SAP означает, что наши общие клиенты смогут быстрее понять самые серьезные проблемы с данными, получая конкурентное преимущество», — заявил Навин Шеной (Navin Shenoy), исполнительный вице-президент и генеральный менеджер группы центров обработки данных в корпорации Intel.

Корпорация Intel достаточно подробно обсуждала свои планы на недавнем мероприятии для инвесторов, и это позволило нам узнать, что первые 7-нм продукты марки найдут применение в серверном сегменте. В 2021 году выйдет дискретный графический процессор, который будет применяться для ускорения вычислений в серверной среде, следом за ним должен быть представлен первый 7-нм центральный процессор Intel. Ещё в середине апреля китайская компания Huawei, имя которой в эти дни чаще упоминается совсем в другом контексте, провела для партнёров мероприятие в Санкт-Петербурге, и имеющиеся в открытом доступе презентации докладчиков позволяют обнаружить упоминания о планах Intel по выпуску серверных процессоров на ближайшие годы.

Источник изображения: Huawei

Действительно, судя по появлению в этих материалах процессоров Sapphire Rapids-SP в привязке к первому кварталу 2021 года, они могут оказаться первыми 7-нм продуктами для платформы Intel с двумя процессорными разъёмами на сервер. Платформа Eagle Stream предложит поддержку скоростного интерфейса CXL (Compute Express Link), восьмиканальной памяти типа DDR5 и шины PCI Express 5.0. В 2022 году в рамках этой же платформы выйдут процессоры Granite Rapids-SP. Вполне возможно, что их предшественники в 2021 году будут выпускаться по 10-нм технологии, а уже в 2022 году Intel представит 7-нм процессоры для серверного применения, поскольку другими причинами столь быструю смену поколений объяснить трудно. Тем более, что первый квартал 2021 года — это слишком рано для дебюта центральных процессоров Intel, выпускаемых по 7-нм технологии. На мероприятии для инвесторов Навин Шеной (Navin Shenoy), который в Intel отвечает за решения для центров обработки данных, однозначно указал на последовательность выхода 7-нм продуктов в серверном сегменте: сперва выйдет графический процессор, и только потом центральный.

Ежегодно будет обновляться и поколение памяти семейства Optane DC. Если в 2021 году дебютирует Crow Pass, то годом позже будет представлена память семейства Donahue Pass. Оба поколения Optane DC, по всей видимости, будут разработаны Intel без участия Micron, не говоря уже о самом производстве этой памяти. Совместное предприятие с Micron будет расформировано 31 октября текущего года, когда Intel получит деньги от бывшего партнёра за свою долю.

Не менее интересными выглядят планы по выпуску 10-нм процессоров Intel Ice Lake-SP. Нам уже доводилось слышать предположения о том, что даже к 2020 году 10-нм техпроцесс Intel не позволит создавать процессоры с высокими частотами или большим количеством ядер. В планах Intel в изложении Huawei этим процессорам, которые выйдут ближе ко второму кварталу следующего года, достаются лишь 26 ядер максимум, зато поддержкой PCI Express 4.0 они наделены без ограничений, в отличие от делящих с ними платформу Whitley процессоров Cooper Lake-SP, которые выйдут чуть раньше и будут выпускаться по 14-нм технологии.

В двухпроцессорных серверах семейство Cooper Lake сможет предложить до 48 ядер включительно, поддержку памяти Optane DC поколения Barlow Pass и PCI Express 3.0, а также восьмиканальной памяти типа DDR4. Возможности 10-нм процессоров Ice Lake-SP в плане поддерживаемых типов памяти будут идентичны. В версии для систем с четырьмя или восемью процессорными разъёмами количество ядер у Cooper Lake сможет достигать лишь 26 штук, а количество каналов памяти типа DDR4 будет ограничено шестью. Судя по ссылкам на продолжительность жизненного цикла процессоров Cooper Lake, он будет не таким уж длинным, и к середине 2022 года Huawei начнёт сворачивать поставки серверов на основе этих процессоров.

В начале апреля компания Intel представила самое большое, по её словам, обновление платформы для серверов и дата-центров, которое касается выхода новых процессоров Intel Xeon Cascade Lake, памяти Intel Optane DC Persistent Memory, SoC серии Xeon D, а также FPGA и сетевых контроллеров. А в середине месяца состоялся официальный анонс новинок в России, и, как уже было отмечено, часть компаний представила свои решения в рамках этого мероприятия, а часть решила провести собственные презентации продуктов на базе обновлённой платформы Intel. Fujitsu пошла по второму пути.

Пожалуй, наиболее мощным и наиболее интересным стал выход нового поколения серверов серии PRIMEQUEST — 3800E2. Как и прежде, это высокоплотное решение для обеспечения бесперебойной работы критичных для бизнеса задач. Оно подходит для больших баз данных, для обработки транзакций, для виртуализации, для систем аналитики, а также для переноса и консолидации уже имеющихся в компании решений.

Шасси высотой 7U с унифицированным питанием и IO-модулями вмещает четыре двухсокетных узла и две дисковые полки (24 × 2,5” SAS). Узлы поддерживают CPU Xeon Cascade Lake серии Platinum, а также серию Gold. В последнем случае возможна работа и четырёхсокетных конфигураций. Вариант с использованием самых старших моделей процессоров позволяет получить до 224 ядер в составе одной машины в связке с 24 Тбайт ОЗУ или 36 Тбайт при использовании Optane DC Persistent Memory — по 28 ядер и 12 модулей памяти на каждый сокет — и до 56 слотов PCI-E.

Сценариев использования 3800E2 несколько. Первый и самый очевидный — это резервирование критических систем с помощью физического разделения (physical partitioning, PPAR):  один или несколько узлов отправляются в резерв. При сбое одного из активных узлов он отключается, а вся нагрузка автоматически переносится на резервный узел, что значительно сокращает время простоя и при сохранение достаточного уровня надёжности позволяет сэкономить на лицензировании ПО. Инициализация резерва зависит от конфигурации, но для узла с 6 Тбайт ОЗУ указывается срок в 2 минуты. Остальные компоненты — питание, охлаждение, IO-модули, карты PCI(E) — либо зарезервированы по умолчанию, либо поддерживают горячее подключение и динамическую реконфигурацию.

Второй  вариант с использованием собственной «фишки» Fujitsu, расширенного разделения ресурсов (extended partitioning, XPAR), подходит для простого и быстрого переноса имеющихся приложений с устаревших систем на PRIMEQUEST. XPAR позволяет изолировать нагрузки не на уровне узлов, а на уровне отдельных сокетов. Это не виртуализация, а именно физическое разделение. Таким образом можно избавиться от устаревшего оборудования и консолидировать имеющиеся ресурсы и системы в одной, сэкономив на питании, охлаждении и пространстве, не потеряв при этом в производительности и управляемости. 

Для универсального 2U-шасси PRIMERGY CX400 M4 Fujitsu также выпустила обновлённые узлы серии CX25x0 M5. Оно обеспечивает гибкость конфигурации и масштабируемость благодаря поддержке различных вариантов как самих узлов, так и их компоновки. Поэтому его зачастую выбирают те, кто полагается на гиперконвергентные системы. В серии CX25x0 M5 есть конфигурации, оптимизированные для «тяжёлых» вычислений, для создания классических универсальных и облачных серверов, для GPU-задач. Все новые узлы поддерживают второе поколение платформы  Purley и DDR-модули Optane, а также имеют версии с интегрированной СЖО.

Ровно то же можно сказать и про обновление стоечных решений серии PRIMERGY RX25x0 M4/M5, а также RX4770 M5: все они получили поддержку новых процессоров и памяти. Вообще говоря, это самая популярная серия продуктов Fujitsu, так что суммарный список обновлений и дополнений для всех моделей сразу не так уж мал. По словам разработчиков, машины этой серии отличаются «одними из самых лучших в отрасли характеристик отказоустойчивости» в сочетании с масштабируемостью и производительностью. 

Из любопытного отметим, что для ряда продуктов появилась опция СЖО (как у старших семейств), часть шасси теперь предлагает сразу множество вариантов набора дисковой подсистемы, более активно внедряется поддержка M.2-накопителей для установки ОС, появились новые опции питания от сетей 48 В DC и 380 В. Ну и в целом появилось больше возможностей для тонкого конфигурирования машин под нужды конкретных заказчиков. 

Наконец, младшие модели PRIMERGY TX/RX 1330 M4, ориентированные на сектор SMB и филиальные системы, тоже не остались без внимания. В обоих вариантах исполнения — башенном и стоечном — используются процессоры Intel Xeon E-2100 с поддержкой до 64 Гбайт ОЗУ. Данная платформа отличается широким набором возможных конфигураций дисковой подсистемы, поддержкой карт PCI для сохранения совместимости с уже имеющимся оборудованием,  улучшенным охлаждением, низким уровнем шума и дополнительными опциями питания. Вместо традиционного резервного БП в тот же самый слот можно установить внутреннюю резервную батарею, способную обеспечить до 1 часа автономной работы. Такой встроенный ИБП прозрачно интегрируется с системой управления Fujitsu ISM.

Собственно сама ISM теперь тоже стала доступнее для пользователей серверов Fujitsu. Базовая бесплатная версия ISM Essential будет доступна для скачивания с конца апреля. Отличия от версии Advanced заключаются в наборе функций. ISM предлагает единую точку мониторинга и обслуживания всей IT-инфраструктуры, причём эти возможности не ограничиваются только серверами компании и продукцией Fujitsu вообще — есть поддержка ряда сторонних хранилищ и сетевых компонентов.

Ранее в этом месяце компания Intel представила целый ряд продуктов, предназначенных для серверов и центров обработки данных, в том числе и процессоры Cascade Lake. А на днях состоялась российская презентация новинок, на которой помимо рассказа о них самих, речь также зашла и об отечественных компаниях, использующих новое оборудование Intel.

Кликните по изображению продукта для перехода в соответствующий раздел/материал

Так, компания «Яндекс», а точнее её облачный сервис «Яндекс.Облако», является крупнейшим российским заказчиком и потребителем процессоров Intel Xeon поколения Cascade Lake. Также это первая облачная платформа в России, которая предоставляет своим клиентам возможность использования новых чипов. «Яндекс» отмечает значительный прирост производительности и скорости работы с памятью у новых чипов по сравнению с чипами Broadwell.

Mail.ru Group в свою очередь отмечает более низкую совокупную стоимость владения (Total Cost of Ownership, TCO) серверами на базе процессоров Cascade Lake по сравнению с системами на базе чипов Broadwell и Haswell. Также компания даёт весьма интересный и важный вывод: процессор с минимальной стоимостью одного ядра очень часто не является оптимальным решением.

Российский разработчик AxxonSoft, создающий системы видеонаблюдения с функциями искусственного интеллекта — например, для распознавания лиц, трекинга и подобных задач реального времени, также отмечает преимущества чипов Cascade Lake. Здесь упоминается значительный рост скорости работы ИИ благодаря инструкциям DL Boost. Другие компании также отметили значительный рост скорости работы ИИ при использовании процессоров Cascade Lake. 

Компания SAP отметила преимущества использования нового типа памяти с процессорами Cascade Lake — Intel Optane DC Persistent Memory (DCPMM). За счёт того, что эта память используется в режиме AppMode, восстановление после сбоев происходит намного быстрее, так как данные остаются в энергонезависимой Optane.

И ещё преимущества использования памяти DCPMM отмечают компании VMware и МТС. Первая говорит о повышении производительности приложений, ускорении ввода/вывода, а также увеличении плотности. МТС в свою очередь приводит графики, отражающие повышение производительности в режиме расширения оперативной памяти (Memory Mode).

Наконец, представитель Объединённого института ядерных исследований (ОИЯИ) отметил, что суперкомпьютер данной научной организации также полностью построен на платформе Intel. Заметим, что сейчас это вторая по мощности вычислительная система, обрабатывающая данные с Большого адронного коллайдера (БАК).

В рамках мероприятия партнёры и клиенты компании помимо презентаций представили в демо-зоне различные решения на базе новых продуктов Intel. Отметим, что часть вендоров планирует провести в ближайшее время отдельные презентации и анонсы собственных решений на базе новой платформы Intel. 

Компания Intel поделилась своими планами по выпуску 14-нм серверных процессоров Cascade Lake-AP. Помимо старших моделей серии AP ожидаются и более простые CPU с индексом SP, а также X-процессоры для энтузиастов. Полноценный запуск всего семейства намечен на первый квартал 2019 года, а часть информации будет представлена на SC18, хотя поставки новинок заказчикам начнутся уже в этом квартале. На текущий момент в Санта-Кларе подтвердили, что 48-ядерные Cascade Lake-AP будут иметь MCP-компоновку — «склейку» из нескольких процессоров под одной крышкой. Впервые мультичиповая сборка (в виде MCM) появилась в Xeon семейства Paxville, то есть более 10 лет назад, но со временем от неё отказались. Более того, во время продвижения CPU Skylake Intel отдельно подчёркивала преимущества монолитной компоновки в сравнении с CCX-модулями Zen. Что же, в данном случае для связи между кристаллами старших Cascade Lake, как и между сокетами, будет использоваться шина UPI. EMIB-упаковка применяться не будет.

Cascade Lake-AP получат обещанные ранее аппаратные заплатки против некоторых уязвимостей класса Spectre/Meltdown и им подобных. Относительно Skylake-SP в новых CPU оптимизирована структура кеш-памяти, повышены рабочие частоты и внедрены инструкции AVX-512/VNNI (vector neural network instructions). Последние предназначены для ускорения вычислений в рамках глубинного обучения и приложений с использованием искусственного интеллекта (ИИ).

Область применения 48-ядерного процессора Cascade Lake ограничена только 2S-серверами. Масштабирование до 4- и 8-сокетных систем будет доступно для других представителей семейства. Учитывая потенциальные размеры и тепловыделение новых «монстров», можно смело предположить, что AP- и SP-модели (вместе с -X) получат разные сокеты. Ранее проскальзывала информация о возможном использовании 5903-контактной площадки наряду с привычным разъёмом LGA3647.

Контроллер памяти также изменился — теперь у каждого CPU есть 12 каналов, причём имеется нативная поддержка модулей Optane DC Persistent Memory в отличие от Skylake-SP, который требует дополнительной программной прослойки для совместной работы классической DRAM и Optane. Новые модули доступны для избранных партнёров Intel с августа этого года. На днях Microsoft продемонстрировала преимущества новой гибридной памяти на примере запуска 312 ВМ на 12 узлах под управлением бета-версии Windows Server 2019. В целом Intel акцентирует внимание потенциальных заказчиков на существовании целой экосистемы «интерфейс — хранилище данных — процессор», и в каждом её сегменте чипмейкеру есть, что предложить покупателю.

Кроме того, компания напомнила о Xeon-E для недорогих однопроцессорных серверов и рабочих станций. Это семейство CPU было представлено летом и может предложить только шестиядерные модели. Все они используют архитектуру Coffee Lake, возможности которой хорошо изучены. Intel особо подчёркивает наличие расширений SGX, поскольку у процессоров Coffee Lake отсутствует нативная защита от Meltdown и Spectre. Упомянутую на слайде поддержку 128 Гбайт RAM вместо текущих 64 Гбайт эти чипы получат в начале 2019 года путём обновления BIOS.

Intel объявила о начале коммерческих поставок модулей NVDIMM на базе энергонезависимой памяти 3D XPoint избранным клиентам. Модули Optane DC Persistent Memory предназначены для установки в слоты для оперативной памяти и используют протокол работы памяти DDR4 с целью максимизировать производительность находящегося в непосредственной близости от микропроцессора накопителя данных. Клиенты, получившие модули, уже сообщают об их рекордной производительности.

«Мы осуществили наши первые коммерческие поставки накопителей Optane DC Persistent Memory компаниям Google, Microsoft и Alibaba, получив отличные отзывы», — сказал Роберт Суон (Robert Swan) финансовый директор Intel, временно исполняющий обязанности исполнительного директора, в ходе телеконференции с инвесторами и финансовыми аналитиками. «Microsoft уже сообщила о рекордной производительности [сервера на базе Xeon Scalable и Optane DC Persistent Memory] в 13,7 млн IOPS, уровень, которого они никогда не достигали ни на какой другой платформе».

Сервер на базе Intel Xeon Scalable поколения Cascade Lake

Как сообщалось ранее в этом году, семейство модулей Optane DC Persistent Memory будет включать в себя накопители ёмкостью 128, 256 и 512 Гбайт. По сообщению AnandTech, накопитель Optane DC Persistent Memory 512 Гбайт несёт на борту 10 многослойных микросхем памяти 3D XPoint, таким образом используя 640 Гбайт памяти и имея вдвое больше «избыточной» памяти, чем модули DDR4 SDRAM с ECC (коррекцией ошибок).

Компания Intel не раскрывает точные характеристики своих продуктов до их официального выпуска. Однако уровень производительности сервера с несколькими накопителями Optane DC Persistent Memory в том, что касается случайных операций чтения и записи, впечатляет. Для сравнения, типичный серверный SSD с шиной PCI Express имеет производительность в 550–750 тысяч IOPS. Таким образом, несколько накопителей Optane DC Persistent Memory могут предложить не меньшую скорость, чем несколько серверных SSD, при этом предлагая куда более высокую надежность.

Основные преимущества памяти 3D XPoint

Руководство Intel предпочитает не распространяться о том, когда именно компания начнёт продажи модулей Optane DC Persistent Memory, но, судя по всему, поставки данных устройств начнутся одновременно с продажами серверов на базе процессоров Intel Xeon Scalable поколения Cascade Lake.