Материалы по тегу: вконтакте
24.11.2020 [18:54], Илья Коваль
«ВКонтакте» использует FPGA Intel Arria для обработки изображений на летуГод назад на Intel Experience Day 2019 «ВКонтакте» поделилась результатами первых экспериментов по использованию FPGA-ускорителей для обработки изображений на лету. За прошедшее время компания внедрила ПЛИС в свою инфраструктуру, ускорив работу и сэкономив место в хранилище, где уже находится 1,2 Эбайта различного контента. У «ВКонтакте» почти 100 млн активных пользователей, которые ежеминутно загружают порядка 100 Гбайт изображений. Для каждого из них после загрузки генерируется более десятка копий различных формата и размера, которые используются в разных частях социальной сети. Основная проблема в том, что на таких масштабах все эти дополнительные изображения отъедают очень много места — до двух третей от общего объёма. Оптимальнее было бы генерировать их на лету, однако это очень существенная вычислительная нагрузка. Тестовые машины с Intel Xeon E5-2620 v4, которые на тот момент составляли значительную часть серверного парка, могли обработать до 200-220 изображений в секунду, чего явно было недостаточно. Поэтому и было принято решение попробовать для решения этой задачи FPGA, в данном случае это Arria 10. Теперь изображения с нужными характеристиками можно сформировать, указав параметры в URL. Если оно уже не закешировано на одной из конечных точек для отдачи контента, то запрос уходит «вниз» и из хранилища (а это более 10 тыс. серверов) извлекается оригинал и отправляется на FPGA-ферму, которая состоит всего из 20 серверов с ПЛИС, которых достаточно для удовлетворения всех запросов. На FPGA изображения конвертируются и отправляются «наверх», где кешируются и отдаются клиенту. Основными форматами, с которыми работает FPGA-ферма, являются JPEG и WebP, но компания рассматривает и другие, более современные. Кроме того, VK планирует изучить возможности FPGA для декодирования медиафайлов, сжатия данных (zstd) со стороны хранилища, а также опробовать в деле более современные модели ПЛИС.
01.11.2019 [21:42], Алексей Степин
ВКонтакте осваивает Intel Optane DCPMM и FPGA Arria 10 GX«ВКонтакте» имеет 97 млн активных пользователей в месяц. Каждый день они просматривают 9 млрд постов, ставят 1 млрд лайков, пишут 10 млрд сообщений, 650 млн раз просматривают видео и генерируют трафик 3,5 Тбит/с. Общий объём пользовательских данных достиг 1,1 экзабайта. За всем этим стоит немалая IT-инфрастуктура: 19 тыс. серверов, 3 связанных между собой ЦОД, 30 CDN-узлов и дополнительных точек присутствия по всему миру. Малейшая возможность повысить их эффективность выливается в миллионы долларов экономии ежегодно. На мероприятии Intel Experience Day 2019 VK рассказала о такой возможности. До недавних пор имелись два основных типа машин: 1U-сервер приложений на базе пары Intel Xeon 2660v4 и четырёх HDD + 4U-сервер хранения данных с двумя Xeon 2620v4 и 36 HDD. То есть фактически было лишь два уровня хранения информации: DRAM и жёсткие диски. Разделение между «горячими» и «холодными» данными простое, но далеко не самое эффективное, так как с ростом объёма информации итоговая производительность падает, а стоимость хранения, напротив, растёт день ото дня. В результате проведённых экспериментов было принято решение по изменению серверной инфраструктуры с учётом новых технологий хранения данных, имеющихся на рынке. Это снижает стоимость владения инфраструктурой на величину от 65% до 90%. Проект получился комплексный: число уровней хранения информации выросло до четырёх, не считая DRAM. Для наиболее «горячих» данных используются модули Intel Optane DC Persistent Memory (DCPMM) объёмом 1 Тбайт (8 × 128 Гбайт) в сочетании с PCIe-накопителями Intel Optane P4800X ёмкостью 750 Гбайт. Использование DCPMM и DRAM вместо одной только оперативной памяти снизило капитальные затраты в два раза. Появился новый уровень, «тёплый», где данные хранятся на 8 SSD Intel P4320 с интерфейсом NVMe (QLC 7,68 Тбайт). Так что все эти 1U-сервера работают исключительно с твердотельными накопителями. Лишь на самом «холодном» уровне по-прежнему используются традиционные HDD. Но и тут плотность размещения резко возросла — в 4U-шасси с вертикальной загрузкой теперь помещается 102 жёстких диска. Но даже при новой системе разделения слоёв содержание более 1 экзабайта данных стоит очень дорого. Компания решила провести опыт по оптимизации хранения изображений, которых на серверах VK хранится несколько сотен петабайт, причём часто в нескольких форматах и разрешениях. Наилучшим решением проблемы стало использование серверов с восемью ускорителями Intel на базе ПЛИС Arria 10 GX, производящих при отдаче контента преобразование изображений на лету в нужную пользователю форму. По итогу удалось уменьшить объём хранимых изображений на 20%, сэкономив десятки петабайт места. В настоящее время компания рассматривает возможность применения FPGA для других типов нагрузок. Все новые серверы построены на базе двух процессоров Intel Xeon Gold 6230 (20/40, 2,1/3,9 ГГц, 27,5 Мбайт, 125 Вт), так что вычислительные мощности существенно возросли. Сеть подверглась модернизации c 10GbE на 25GbE. Пересмотр структуры хранения и передачи данных позволил увеличить среднюю плотность размещения в три раза, что положительно сказывается на затратах на содержание.
07.07.2017 [13:03], Сергей Карасёв
«ВКонтакте» показала центр обработки данныхСоциальная сеть «ВКонтакте» рассказала об устройстве своего центра обработки данных — площадки ИЦВА, расположенной в Ленинградской области. ![]() ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. «ВКонтакте» получила в своё распоряжение ангары с потолками на уровне пятого этажа и ряд помещений со стенами толщиной в метр. ![]() ![]() Соцсеть оперирует четырьмя машинными залами, в которых размещены 640 стоек: это более 20 000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. При пиковой нагрузке дата-центр генерирует более 1 Тбит/c внешнего трафика. ![]() Одним из важнейших элементов центра является система питания. Все элементы резервируются, и в случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. ![]() ![]() Разумеется, предусмотрена система бесперебойного энергоснабжения. При полной потере внешнего питания в дело вступают аккумуляторные блоки, задача которых — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки. Кроме топливных баков, установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все генераторы. Запаса горючего хватит как минимум на сутки, а в случае необходимости цистерна с дизельным топливом прибудет в течение двух часов. ![]() Ещё один комплексный элемент дата-центра — это система охлаждения. Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале. ![]() Предусмотрена система автоматического пожаротушения. Все показатели работы дата-центра отслеживаются в режиме реального времени. Более подробно о вычислительной площадке можно узнать здесь. ![]()
20.08.2015 [23:50], Сергей Юртайкин
Павел Дуров продал дата-центр «ВКонтакте» за 1 млрд рублейОснователь «ВКонтакте» Павел Дуров продал дата-центр социальной сети компании Mail.ru Group почти за 1 млрд рублей. Это следует из отчёта Mail.ru за первое полугодие. ЦОД был продан в мае 2015 года за 919 млн рублей, наличные средства выплачены компании ICVA, владеющей этим объектом, с целью повышения независимости «ВКонтакте» от сторонних хостинговых сервисов. До сделки Mail.Ru Group использовала услуги ICVA на основе рыночной стоимости, сообщили в интернет-компании. ![]() appleapple.top Центр обработки данных ICVA, находящийся в Ленинградской области, хранит большую часть данных пользователей соцсети «ВКонтакте», которая на 100 % принадлежит Mail.ru. О продаже дата-центра в июне сообщил пресс-секретарь «ВКонтакте» Георгий Лобушкин, но сумму не уточнил. «Ведомости» писали, что стоимость сделки составила около 1 млрд рублей. В 2013 году Павел Дуров продал свою долю в соцсети (12 %) гендиректору «МегаФона» Ивану Таврину, который впоследствие перепродал акции Mail.ru. Дуров ушёл с поста главы «ВКонтакте» в 2014 году, занявшись мессенджером Telegram, на который и собирается потратить деньги, вырученные от продажи дата-центра в Ленобласти. ![]() bloomberg.com Стоит отметить, что спустя пару месяцев после продажи дата-центра ICVA соцсеть несколько раз давала сбой: частично или полностью она была не доступна пользователям в конце июля и начале августа.
02.06.2015 [16:44], Сергей Юртайкин
Павел Дуров продал дата-центр «ВКонтакте» за 1 млрд рублейСоциальная сеть «ВКонтакте» выкупила основной дата-центр у своего основателя и бывшего генерального директора Павла Дурова. Об этом сообщил пресс-секретарь компании Георгий Лобушкин. «"ВКонтакте" закрыла сделку по приобретению у компаний Павла Дурова расположенного в Ленинградской области дата-центра "ИЦВА". Стоимость сделки не комментируем», — написал на своей странице Лобушкин. ![]() Как сообщают «Ведомости» со ссылкой на источник, знакомый с участниками сделки, её стоимость составила около 1 млрд рублей, что в два раза больше цены, о которой писала газета «Известия» в конце 2014 года. Продажу актива подтвердил сам Павел Дуров. «Дата-центр продан по оценке независимой аудиторской компании из "большой четвёрки". Мне или Telegram этот актив не нужен, зато "ВКонтакте" он позволит снизить расходы и зависимость от сторонних поставщиков», — сказал «Ведомостям» основатель крупнейшей в России соцсети. ![]() Напомним, в начале 2014 года Дуров продал свою долю во «ВКонтакте» главе «МегаФона» Ивану Таврину, который спустя три месяца перепродал пакет холдингу Mail.ru Group за 12,4 млрд рублей. В результате последний стал 100-процентным владельцем «ВКонтакте». После избавления от акций «ВКонтакте» и до сегодняшнего дня у Павла Дурова оставался один актив, связывающий его с сервисом — дата-центр «ИЦВА», хранящий основной массив данных пользователей. |
|