VK выпустила продукт для социализации и управления опытом сотрудников – VK People Hub Social Box. Решение может располагаться как на серверах заказчика, так и в облаке VK Cloud Solutions.

Коробочное решение VK People Hub Social Box позволяет клиентам развернуть цифровую среду, в которой сотрудники будут следить за событиями и новостями компании, вести тематические блоги, проектные группы или профессиональные сообщества, общаться и получать быстрый доступ к необходимой корпоративной информации.

Изображение: VK

«По опыту VK и наших клиентов, инструменты социализации и управления опытом сотрудников позволяют на 20% увеличить производительность команды при росте вовлеченности на 10%», — комментирует директор по развитию HR Tech компании «VK Цифровые технологии» Алексей Дмитриев.

Решение разработано на базе платформы VK People Hub, которая развивается с 2019 года и зарегистрирована в Едином реестре российского ПО. В состав платформы входят модули Social Agent (корпоративная соцсеть, модуль нативных коммуникаций), Service Agent (универсальный модуль доступа к HR-системам), Talent Agent (инновационный модуль развития талантов). Ей уже пользуются такие компании как СИБУР, «Лукойл», «Росатом», «Газпромбанк», НКО «Россия — страна возможностей». Продукт масштабируется, поддерживая высоконагруженные сервисы для бизнеса с численностью в сотни тысяч сотрудников.

На российском IT-рынке наметился дефицит серверов, СХД и комплектующих для соответствующего оборудования — зачастую отсутствует возможность приобрести даже бывшие в употреблении компоненты. На этом фоне, как сообщает «Коммерсантъ» крупнейшие компании обратились к государству за помощью в закупках — причём речь в первую очередь идёт не о деньгах, а о самой возможности приобрести серверное железо.

Издание сообщает, что группа VK на фоне растущего спроса на сервисы ВКонтакте и наплывом посетителей обратилась с просьбой к Минцифры о поиске вендора, способного продать буквально «десятки тысяч серверов». Компания постоянно наращивает мощности для обработки и хранения данных — ежегодный прирост парка составлял не менее 5 тыс. машин. Кроме того, в прошлом году VK сообщила о подготовке к строительству третьего по счёту собственного ЦОД, который разместится в подмосковном Домодедово.

Источник: VK

По состоянию на конце прошлого года она владела порядка 60 тыс. серверов. У компании есть два дата-центра, в Москве и Санкт-Петербурге. Остальная инфраструктура размещается на арендованных площадках. Последние события и рост числа активных пользователей вынуждает VK расширять мощности при отсутствии компонентной базы. В группу VK помимо ВКонтакте входит множество крупных российских сервисов от социальной сети «Одноклассники» до Mail.RU, Ситимобил, Delivery Club и т. д.

При этом VK предъвляет весьма строгие требования к поставляемому оборудованию, поскольку для инфраструктуры такого масштаба на первый план выходит совокупная стоимость владения, определяемая по массе параметров (Total Cost of Ownership, TCO). Хотя, как сообщает «Коммерсантъ», в самой VK заявляют, что располагают резервами для обеспечения работы сервисов в течение долгого времени, VK попросила у Минцифры в помощи в приобретении «десятков тысяч» серверов, поскольку якобы невозможно полноценное обслуживание уже существующих мощностей и масштабирование проектов.

Источник: VK

Как сообщает «Коммерсант», в Минпромторге «не видят причин для нагнетания обстановки» и «проблем с наличием продукции на складе не выявлено», хотя по данным источников издания купить процессоры и серверы в «коммерческих масштабах» уже нельзя, поскольку оборудование скуплено ещё в начале прошлого месяца, в том чисое б/у. Издание предполагает, что аналогичные трудности испытывает и другой российский гиперскейлер, «Яндекс». Эта компания тоже сообщила, что сейчас резервы для поддержки работы сервисов у неё есть.

Кроме того, по данным издания, истощаются запасы российских процессоров семейств «Байкал» и «Эльбрус», выпускавшихся на TSMC. По словам представителей компаний, занимающихся выпуском серверов в России, запасов компонентов остаётся на сотни серверов. По слухам, у некоторых вендоров оборудования остаются запасы «Эльбрус 8СВ», но точные данные об их количестве отсутствуют.

Год назад на Intel Experience Day 2019 «ВКонтакте» поделилась результатами первых экспериментов по использованию FPGA-ускорителей для обработки изображений на лету. За прошедшее время компания внедрила ПЛИС в свою инфраструктуру, ускорив работу и сэкономив место в хранилище, где уже находится 1,2 Эбайта различного контента.

У «ВКонтакте» почти 100 млн активных пользователей, которые ежеминутно загружают порядка 100 Гбайт изображений. Для каждого из них после загрузки генерируется более десятка копий различных формата и размера, которые используются в разных частях социальной сети. Основная проблема в том, что на таких масштабах все эти дополнительные изображения отъедают очень много места — до двух третей от общего объёма.

Оптимальнее было бы генерировать их на лету, однако это очень существенная вычислительная нагрузка. Тестовые машины с Intel Xeon E5-2620 v4, которые на тот момент составляли значительную часть серверного парка, могли обработать до 200-220 изображений в секунду, чего явно было недостаточно. Поэтому и было принято решение попробовать для решения этой задачи FPGA, в данном случае это Arria 10.

Теперь изображения с нужными характеристиками можно сформировать, указав параметры в URL. Если оно уже не закешировано на одной из конечных точек для отдачи контента, то запрос уходит «вниз» и из хранилища (а это более 10 тыс. серверов) извлекается оригинал и отправляется на FPGA-ферму, которая состоит всего из 20 серверов с ПЛИС, которых достаточно для удовлетворения всех запросов. На FPGA изображения конвертируются и отправляются «наверх», где кешируются и отдаются клиенту.

Основными форматами, с которыми работает FPGA-ферма, являются JPEG и WebP, но компания рассматривает и другие, более современные. Кроме того, VK планирует изучить возможности FPGA для декодирования медиафайлов, сжатия данных (zstd) со стороны хранилища, а также опробовать в деле более современные модели ПЛИС.

«ВКонтакте» имеет 97 млн активных пользователей в месяц. Каждый день они просматривают 9 млрд постов, ставят 1 млрд лайков, пишут 10 млрд сообщений, 650 млн раз просматривают видео и генерируют трафик 3,5 Тбит/с. Общий объём пользовательских данных достиг 1,1 экзабайта.

За всем этим стоит немалая IT-инфрастуктура: 19 тыс. серверов, 3 связанных между собой ЦОД, 30 CDN-узлов и дополнительных точек присутствия по всему миру. Малейшая возможность повысить их эффективность выливается в миллионы долларов экономии ежегодно. На мероприятии Intel Experience Day 2019 VK рассказала о такой возможности.

До недавних пор имелись два основных типа машин: 1U-сервер приложений на базе пары Intel Xeon 2660v4 и четырёх HDD + 4U-сервер хранения данных с двумя Xeon 2620v4 и 36 HDD. То есть фактически было лишь два уровня хранения информации: DRAM и жёсткие диски. Разделение между «горячими» и «холодными» данными простое, но далеко не самое эффективное, так как с ростом объёма информации итоговая производительность падает, а стоимость хранения, напротив, растёт день ото дня.

В результате проведённых экспериментов было принято решение по изменению серверной инфраструктуры с учётом новых технологий хранения данных, имеющихся на рынке. Это снижает стоимость владения инфраструктурой на величину от 65% до 90%.

Проект получился комплексный: число уровней хранения информации выросло до четырёх, не считая DRAM. Для наиболее «горячих» данных используются модули Intel Optane DC Persistent Memory (DCPMM) объёмом 1 Тбайт (8 × 128 Гбайт) в сочетании с PCIe-накопителями Intel Optane P4800X ёмкостью 750 Гбайт. Использование DCPMM и DRAM вместо одной только оперативной памяти снизило капитальные затраты в два раза.

Появился новый уровень, «тёплый», где данные хранятся на 8 SSD Intel P4320 с интерфейсом NVMe (QLC 7,68 Тбайт). Так что все эти 1U-сервера работают исключительно с твердотельными накопителями. Лишь на самом «холодном» уровне по-прежнему используются традиционные HDD. Но и тут плотность размещения резко возросла — в 4U-шасси с вертикальной загрузкой теперь помещается 102 жёстких диска.

Но даже при новой системе разделения слоёв содержание более 1 экзабайта данных стоит очень дорого. Компания решила провести опыт по оптимизации хранения изображений, которых на серверах VK хранится несколько сотен петабайт, причём часто в нескольких форматах и разрешениях.

Наилучшим решением проблемы стало использование серверов с восемью ускорителями Intel на базе ПЛИС Arria 10 GX, производящих при отдаче контента преобразование изображений на лету в нужную пользователю форму. По итогу удалось уменьшить объём хранимых изображений на 20%, сэкономив десятки петабайт места. В настоящее время компания рассматривает возможность применения FPGA для других типов нагрузок.

Все новые серверы построены на базе двух процессоров Intel Xeon Gold 6230 (20/40, 2,1/3,9 ГГц, 27,5 Мбайт, 125 Вт), так что вычислительные мощности существенно возросли. Сеть подверглась модернизации c 10GbE на 25GbE. Пересмотр структуры хранения и передачи данных позволил увеличить среднюю плотность размещения в три раза, что положительно сказывается на затратах на содержание.

Социальная сеть «ВКонтакте» рассказала об устройстве своего центра обработки данных — площадки ИЦВА, расположенной в Ленинградской области.

ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. «ВКонтакте» получила в своё распоряжение ангары с потолками на уровне пятого этажа и ряд помещений со стенами толщиной в метр.

Соцсеть оперирует четырьмя машинными залами, в которых размещены 640 стоек: это более 20 000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. При пиковой нагрузке дата-центр генерирует более 1 Тбит/c внешнего трафика.

Одним из важнейших элементов центра является система питания. Все элементы резервируются, и в случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка.

Разумеется, предусмотрена система бесперебойного энергоснабжения. При полной потере внешнего питания в дело вступают аккумуляторные блоки, задача которых — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки. Кроме топливных баков, установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все генераторы. Запаса горючего хватит как минимум на сутки, а в случае необходимости цистерна с дизельным топливом прибудет в течение двух часов.

Ещё один комплексный элемент дата-центра — это система охлаждения. Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.

Предусмотрена система автоматического пожаротушения. Все показатели работы дата-центра отслеживаются в режиме реального времени. Более подробно о вычислительной площадке можно узнать здесь.

Основатель «ВКонтакте» Павел Дуров продал дата-центр социальной сети компании Mail.ru Group почти за 1 млрд рублей. Это следует из отчёта Mail.ru за первое полугодие.

ЦОД был продан в мае 2015 года за 919 млн рублей, наличные средства выплачены компании ICVA, владеющей этим объектом, с целью повышения независимости «ВКонтакте» от сторонних хостинговых сервисов. До сделки Mail.Ru Group использовала услуги ICVA на основе рыночной стоимости, сообщили в интернет-компании.

appleapple.top

Центр обработки данных ICVA, находящийся в Ленинградской области, хранит большую часть данных пользователей соцсети «ВКонтакте», которая на 100 % принадлежит Mail.ru. О продаже дата-центра в июне сообщил пресс-секретарь «ВКонтакте» Георгий Лобушкин, но сумму не уточнил. «Ведомости» писали, что стоимость сделки составила около 1 млрд рублей.

В 2013 году Павел Дуров продал свою долю в соцсети (12 %) гендиректору «МегаФона» Ивану Таврину, который впоследствие перепродал акции Mail.ru. Дуров ушёл с поста главы «ВКонтакте» в 2014 году, занявшись мессенджером Telegram, на который и собирается потратить деньги, вырученные от продажи дата-центра в Ленобласти.

bloomberg.com

Стоит отметить, что спустя пару месяцев после продажи дата-центра ICVA соцсеть несколько раз давала сбой: частично или полностью она была не доступна пользователям в конце июля и начале августа.

Социальная сеть «ВКонтакте» выкупила основной дата-центр у своего основателя и бывшего генерального директора Павла Дурова. Об этом сообщил пресс-секретарь компании Георгий Лобушкин.

«"ВКонтакте" закрыла сделку по приобретению у компаний Павла Дурова расположенного в Ленинградской области дата-центра "ИЦВА". Стоимость сделки не комментируем», — написал на своей странице Лобушкин.

Как сообщают «Ведомости» со ссылкой на источник, знакомый с участниками сделки, её стоимость составила около 1 млрд рублей, что в два раза больше цены, о которой писала газета «Известия» в конце 2014 года. Продажу актива подтвердил сам Павел Дуров.

«Дата-центр продан по оценке независимой аудиторской компании из "большой четвёрки". Мне или Telegram этот актив не нужен, зато "ВКонтакте" он позволит снизить расходы и зависимость от сторонних поставщиков», — сказал «Ведомостям» основатель крупнейшей в России соцсети.

Напомним, в начале 2014 года Дуров продал свою долю во «ВКонтакте» главе «МегаФона» Ивану Таврину, который спустя три месяца перепродал пакет холдингу Mail.ru Group за 12,4 млрд рублей. В результате последний стал 100-процентным владельцем «ВКонтакте». После избавления от акций «ВКонтакте» и до сегодняшнего дня у Павла Дурова оставался один актив, связывающий его с сервисом — дата-центр «ИЦВА», хранящий основной массив данных пользователей.