Год назад на Intel Experience Day 2019 «ВКонтакте» поделилась результатами первых экспериментов по использованию FPGA-ускорителей для обработки изображений на лету. За прошедшее время компания внедрила ПЛИС в свою инфраструктуру, ускорив работу и сэкономив место в хранилище, где уже находится 1,2 Эбайта различного контента.

У «ВКонтакте» почти 100 млн активных пользователей, которые ежеминутно загружают порядка 100 Гбайт изображений. Для каждого из них после загрузки генерируется более десятка копий различных формата и размера, которые используются в разных частях социальной сети. Основная проблема в том, что на таких масштабах все эти дополнительные изображения отъедают очень много места — до двух третей от общего объёма.

Оптимальнее было бы генерировать их на лету, однако это очень существенная вычислительная нагрузка. Тестовые машины с Intel Xeon E5-2620 v4, которые на тот момент составляли значительную часть серверного парка, могли обработать до 200-220 изображений в секунду, чего явно было недостаточно. Поэтому и было принято решение попробовать для решения этой задачи FPGA, в данном случае это Arria 10.

Теперь изображения с нужными характеристиками можно сформировать, указав параметры в URL. Если оно уже не закешировано на одной из конечных точек для отдачи контента, то запрос уходит «вниз» и из хранилища (а это более 10 тыс. серверов) извлекается оригинал и отправляется на FPGA-ферму, которая состоит всего из 20 серверов с ПЛИС, которых достаточно для удовлетворения всех запросов. На FPGA изображения конвертируются и отправляются «наверх», где кешируются и отдаются клиенту.

Основными форматами, с которыми работает FPGA-ферма, являются JPEG и WebP, но компания рассматривает и другие, более современные. Кроме того, VK планирует изучить возможности FPGA для декодирования медиафайлов, сжатия данных (zstd) со стороны хранилища, а также опробовать в деле более современные модели ПЛИС.

«ВКонтакте» имеет 97 млн активных пользователей в месяц. Каждый день они просматривают 9 млрд постов, ставят 1 млрд лайков, пишут 10 млрд сообщений, 650 млн раз просматривают видео и генерируют трафик 3,5 Тбит/с. Общий объём пользовательских данных достиг 1,1 экзабайта. 

За всем этим стоит немалая IT-инфрастуктура: 19 тыс. серверов, 3 связанных между собой ЦОД, 30 CDN-узлов и дополнительных точек присутствия по всему миру. Малейшая возможность повысить их эффективность выливается в миллионы долларов экономии ежегодно. На мероприятии Intel Experience Day 2019 VK рассказала о такой возможности. 

До недавних пор имелись два основных типа машин: 1U-сервер приложений на базе пары Intel Xeon 2660v4 и четырёх HDD + 4U-сервер хранения данных с двумя Xeon 2620v4 и 36 HDD. То есть фактически было лишь два уровня хранения информации: DRAM и жёсткие диски. Разделение между «горячими» и «холодными» данными простое, но далеко не самое эффективное, так как с ростом объёма информации итоговая производительность падает, а стоимость хранения, напротив, растёт день ото дня. 

В результате проведённых экспериментов было принято решение по изменению серверной инфраструктуры с учётом новых технологий хранения данных, имеющихся на рынке. Это снижает стоимость владения инфраструктурой на величину от 65% до 90%.

Проект получился комплексный: число уровней хранения информации выросло до четырёх, не считая DRAM. Для наиболее «горячих» данных используются модули Intel Optane DC Persistent Memory (DCPMM) объёмом 1 Тбайт (8 × 128 Гбайт) в сочетании с PCIe-накопителями Intel Optane P4800X ёмкостью 750 Гбайт. Использование DCPMM и DRAM вместо одной только оперативной памяти снизило капитальные затраты в два раза. 

Появился новый уровень, «тёплый», где данные хранятся на 8 SSD Intel P4320 с интерфейсом NVMe (QLC 7,68 Тбайт). Так что все эти 1U-сервера работают исключительно с твердотельными накопителями. Лишь на самом «холодном» уровне по-прежнему используются традиционные HDD. Но и тут плотность размещения резко возросла — в 4U-шасси с вертикальной загрузкой теперь помещается 102 жёстких диска. 

Но даже при новой системе разделения слоёв содержание более 1 экзабайта данных стоит очень дорого. Компания решила провести опыт по оптимизации хранения изображений, которых на серверах VK хранится несколько сотен петабайт, причём часто в нескольких форматах и разрешениях. 

Наилучшим решением проблемы стало использование серверов с восемью ускорителями Intel на базе ПЛИС Arria 10 GX, производящих при отдаче контента преобразование изображений на лету в нужную пользователю форму. По итогу удалось уменьшить объём хранимых изображений на 20%, сэкономив десятки петабайт места. В настоящее время компания рассматривает возможность применения FPGA для других типов нагрузок. 

Все новые серверы построены на базе двух процессоров Intel Xeon Gold 6230  (20/40, 2,1/3,9 ГГц, 27,5 Мбайт, 125 Вт), так что вычислительные мощности существенно возросли. Сеть подверглась модернизации c 10GbE на 25GbE. Пересмотр структуры хранения и передачи данных позволил увеличить среднюю плотность размещения в три раза, что положительно сказывается на затратах на содержание. 

Социальная сеть «ВКонтакте» рассказала об устройстве своего центра обработки данных — площадки ИЦВА, расположенной в Ленинградской области.

ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. «ВКонтакте» получила в своё распоряжение ангары с потолками на уровне пятого этажа и ряд помещений со стенами толщиной в метр.

Соцсеть оперирует четырьмя машинными залами, в которых размещены 640 стоек: это более 20 000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. При пиковой нагрузке дата-центр генерирует более 1 Тбит/c внешнего трафика.

Одним из важнейших элементов центра является система питания. Все элементы резервируются, и в случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка.

Разумеется, предусмотрена система бесперебойного энергоснабжения. При полной потере внешнего питания в дело вступают аккумуляторные блоки, задача которых — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки. Кроме топливных баков, установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все генераторы. Запаса горючего хватит как минимум на сутки, а в случае необходимости цистерна с дизельным топливом прибудет в течение двух часов.

Ещё один комплексный элемент дата-центра — это система охлаждения. Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.

Предусмотрена система автоматического пожаротушения. Все показатели работы дата-центра отслеживаются в режиме реального времени. Более подробно о вычислительной площадке можно узнать здесь. 

Основатель «ВКонтакте» Павел Дуров продал дата-центр социальной сети компании Mail.ru Group почти за 1 млрд рублей. Это следует из отчёта Mail.ru за первое полугодие.

ЦОД был продан в мае 2015 года за 919 млн рублей, наличные средства выплачены компании ICVA, владеющей этим объектом, с целью повышения независимости «ВКонтакте» от сторонних хостинговых сервисов. До сделки Mail.Ru Group использовала услуги ICVA на основе рыночной стоимости, сообщили в интернет-компании.

appleapple.top

Центр обработки данных ICVA, находящийся в Ленинградской области, хранит большую часть данных пользователей соцсети «ВКонтакте», которая на 100 % принадлежит Mail.ru. О продаже дата-центра в июне сообщил пресс-секретарь «ВКонтакте» Георгий Лобушкин, но сумму не уточнил. «Ведомости» писали, что стоимость сделки составила около 1 млрд рублей.

В 2013 году Павел Дуров продал свою долю в соцсети (12 %) гендиректору «МегаФона» Ивану Таврину, который впоследствие перепродал акции Mail.ru. Дуров ушёл с поста главы «ВКонтакте» в 2014 году, занявшись мессенджером Telegram, на который и собирается потратить деньги, вырученные от продажи дата-центра в Ленобласти.

bloomberg.com

Стоит отметить, что спустя пару месяцев после продажи дата-центра ICVA соцсеть несколько раз давала сбой: частично или полностью она была не доступна пользователям в конце июля и начале августа.

Социальная сеть «ВКонтакте» выкупила основной дата-центр у своего основателя и бывшего генерального директора Павла Дурова. Об этом сообщил пресс-секретарь компании Георгий Лобушкин.

«"ВКонтакте" закрыла сделку по приобретению у компаний Павла Дурова расположенного в Ленинградской области дата-центра "ИЦВА". Стоимость сделки не комментируем», — написал на своей странице Лобушкин.

Как сообщают «Ведомости» со ссылкой на источник, знакомый с участниками сделки, её стоимость составила около 1 млрд рублей, что в два раза больше цены, о которой писала газета «Известия» в конце 2014 года. Продажу актива подтвердил сам Павел Дуров.

«Дата-центр продан по оценке независимой аудиторской компании из "большой четвёрки". Мне или Telegram этот актив не нужен, зато "ВКонтакте" он позволит снизить расходы и зависимость от сторонних поставщиков», — сказал «Ведомостям» основатель крупнейшей в России соцсети.

Напомним, в начале 2014 года Дуров продал свою долю во «ВКонтакте» главе «МегаФона» Ивану Таврину, который спустя три месяца перепродал пакет холдингу Mail.ru Group за 12,4 млрд рублей. В результате последний стал 100-процентным владельцем «ВКонтакте». После избавления от акций «ВКонтакте» и до сегодняшнего дня у Павла Дурова оставался один актив, связывающий его с сервисом — дата-центр «ИЦВА», хранящий основной массив данных пользователей.