Материалы по тегу: facebook

07.09.2019 [11:55], Сергей Тверье

Инженер Facebook предлагает повысить эффективность управления памятью в ядре Linux

Роман Гущин (Roman Gushchin) из команды разработчиков ядра Linux в Facebook предложил новый метод управления slab-блоками памяти для ядра Linux.

Роман обнаружил то, что он называет «очень серьезным недостатком», в существующей реализации контроллера slab, который на реальных нагрузках приводит к неэффективной утилизации памяти cgroup'ами.

Инженер Facebook Роман Гущин предложил патч для оптимизации работы контроллера памяти Slab в ядре Linux

Инженер Facebook Роман Гущин предложил патч для оптимизации работы контроллера памяти Slab в ядре Linux, который может сэкономить до 30-40% памяти

Главная причина, по которой существующая архитектура приводит к неэффективному использованию памяти, проста: slab-блоки эксклюзивно используются cgroup'ами. А современные системы на базе systemd имеют тенденцию плодить их. Набор патчей, предложенный Романом и его коллегами, обеспечивает новую реализацию контроллера, которая направлена ​​на совместное использование slab-блоков сразу несколькими cgroup'ами.

Во время внутреннего тестирования этого кода в Facebook он сохранил «огромные объемы памяти»: до 650–700 МБ для веб-фронтенда, 750–800 МБ для кэша базы данных и около 700 МБ для DNS-сервера. В среднем новый контроллер должен помочь сэкономить около 30-40 % slab-памяти по сравнению с существующей реализацией, иногда больше. Побочный эффект — уменьшение фрагментации памяти. 

Подробнее об этой серии патчей вы можете прочитать в рассылке LKML. Новый контроллер всё ещё обсуждается разработчиками, так что посмотрим, к чему это приведёт дальше. Роман говорит, что они не столкнулись с какими-либо заметными регрессиями при его использовании, но потребуется более широкое тестирование (особенно безопасности), прежде чем новый контроллер можно будет включить в основную ветвь разработки ядра Linux. Если всё пойдет хорошо, мы сможем увидеть его в составе ядра где-то в 2020 году.

Постоянный URL: http://servernews.ru/993705
30.08.2019 [16:14], Сергей Карасёв

Google и Facebook могут запретить прокладку кабеля между США и Китаем из-за Huawei

Министерство юстиции США, по сообщениям сетевых источников, может заблокировать проект по прокладке подводного интернет-кабеля между Лос-Анджелесом (штат Калифорния) и Гонконгом.

Инициативу, о которой идёт речь, намерены реализовать американские гиганты Google и Facebook, а также китайская Dr. Peng Telecom & Media Group Co.

Предполагается, что кабель протяжённостью около 13 тыс. километров пройдёт через Тихий океан. Проект призван обеспечить высокоскоростное интернет-соединение между Соединёнными Штатами и Азией. Стоимость выполнения работ оценивается в $300 млн.

Однако, как теперь сообщается, американские власти могут заблокировать инициативу. В качестве официальной причины называются «соображения национальной безопасности», а поводом стало то, что среди партнёров китайской стороны оказалась Huawei. 

Впрочем, пока есть вероятность, что прокладка подводного интернет-кабеля между Лос-Анджелесом и Гонконгом всё же не будет заблокирована. К тому же основная часть этой линии — без малого 11 тыс. километров — уже проложена.

Постоянный URL: http://servernews.ru/993278
06.09.2018 [12:04], Владимир Мироненко

Facebook инвестирует $1 млрд в свой первый ЦОД в Азии

Компания Facebook сообщила в четверг о планах направить более $1 млрд в строительство своего первого центра обработки данных в Азии, который будет расположен в Сингапуре.

ЦОД Facebook будет построен на западе острова, невдалеке от дата-центров Google, инвестировавшей в их расширение $850 млн в связи с ростом в регионе спроса на мобильные услуги, электронную коммерцию и облачные вычисления.

«Это будет наш первый центр обработки данных в Азии», — заявил Томас Фарлонг (Thomas Furlong), вице-президент Facebook по инфраструктуре ЦОД, на пресс-конференции с местными властями в Сингапуре. Он сообщил, что объект должен быть открыт в 2022 году, хотя всё будет зависеть от скорости строительства.

REUTERS/Charles Platiau

REUTERS/Charles Platiau

В вышедшем по этому поводу заявлении Facebook указано, что в строительство объекта площадью 170 тыс. м2 будет инвестировано более 1,4 млрд сингапурских долларов ($1 млрд), что позволит создать сотни новых рабочих мест в регионе.

У Facebook есть несколько ЦОД в Соединенных Штатах, а также в Ирландии и Швеции. Сейчас компания занимается строительством ЦОД в Дании.

«Центр обработки данных не привязан территориально к стране, где находятся пользователи. Это динамический процесс», — отметил Фарлонг.

Постоянный URL: http://servernews.ru/975019
06.06.2017 [17:39], Сергей Юртайкин

Facebook увеличит число дата-центров

Социальная сеть Facebook планирует построить больше центров обработки данных по всему миру для запуска новых сервисов, сообщает DigiTimes со ссылкой на собственных информаторов.

По их сведениям, новые дата-центры Facebook появятся в Европе и Азиатско-Тихоокеанском регионе. Для некоторых проектов планируется привлечь региональных партнёров.

wsj.com

wsj.com

Пока у Facebook есть лишь один ЦОД в Европе. В скором времени компания намерена построить вторую такую площадку — в Дании. Кроме того, будет построен дата-центр в Японии для обслуживания пользователей, проживающих в Северо-Восточной Азии, и налажено сотрудничество с местными операторами.

Источники издания говорят, что Facebook проявляет достаточно активную позицию в части увеличения числа дата-центров и планирования закупок серверов для этих объектов.

По данным DigiTimes, Facebook готовит какое-то устройство, оснащённое экраном среднего или большого размеров и ориентированное на работу с пользователями сервисов компании. Отчасти из-за этого продукта Facebook решила увеличить сеть дата-центров. Текущие заказы на серверное оборудование на 2018 год показывают, что компания довольно оптимистично настроена на новые проекты, отмечает источник.

Постоянный URL: http://servernews.ru/953475
25.04.2017 [12:25], Сергей Карасёв

Intel и Facebook повысят производительность платформы глубокого обучения Caffe2

По оценкам экспертов, к 2020 году в мире будут работать более 50 миллиардов машин и устройств, способных подключаться к Интернету и обмениваться информацией между собой. Эти устройства будут генерировать огромные объёмы данных, для анализа которых потребуются передовые системы искусственного интеллекта и глубокого обучения. Учитывая это, Intel и Facebook сотрудничают над увеличением производительности открытого фреймворка глубокого обучения Caffe2.

Большинство вычислительных нагрузок, связанных с глубоким обучением, включают в себя непосредственно обучение (training) и построение логических выводов (inference). Для обучения обычно требуется многочасовая или даже многодневная работа. Логические выводы, как правило, осуществляются за миллисекунды или секунды и зачастую являются частью более объёмного процесса. Хотя вычислительная нагрузка при построении логических выводов намного меньше, чем при обучении, логические выводы строятся по намного более объёмному набору данных. Поэтому совокупный объём вычислительных ресурсов, необходимых для построения логического вывода, вероятнее всего, будет несопоставимо больше, чем ресурсы, необходимые для обучения.

Для повышения эффективности платформы Caffe2 специалисты Intel и Facebook работают над интеграцией средств Intel MKL — библиотеки математических функций Math Kernel Library. Она обеспечит максимальную производительность процессоров Intel при построении логических выводов.

Кроме того, повышению быстродействия будет способствовать появление общедоступных чипов Intel Xeon следующего поколения под кодовым названием Skylake. В них будут представлены 512-битные инструкции умножения-сложения с однократным округлением Fused Multiply Add (FMA) в рамках 512-битного семейства векторных инструкций Intel AVX-512, что обеспечивает значительный прирост производительности по сравнению с прежними 256-битными инструкциями AVX2, реализованными в процессорах Haswell/Broadwell как в задачах по обучению, так и в задачах по построению логических выводов. Использование 512-битных инструкций FMA позволяет фактически удвоить количество операций с плавающей точкой, которое выполняет процессор Skylake за одну секунду, и значительно увеличить скорость матричной арифметики одинарной точности, используемой в свёрточных и рекуррентных нейронных сетях. 

Постоянный URL: http://servernews.ru/951270
20.01.2017 [11:15], Владимир Мироненко

Facebook построит новый центр обработки данных в Дании

Facebook выбрала Оденсе в Дании в качестве места для строительства своего третьего центра обработки данных за пределами США. У Facebook уже есть ЦОД в Лулео (Швеция) и Клоне (Ирландия).

REUTERS/Dado Ruvic

REUTERS/Dado Ruvic

Умеренный климат Дании позволит использовать наружный воздух и косвенное испарительное охлаждение для поддержания надлежащей температуры в центре обработки данных, серверы которого будут использовать полностью возобновляемую энергию, говорится в сообщении Facebook, опубликованном в четверг.

Большая часть возобновляемой энергии в Дании поступает от использования энергии ветра, очень изменчивого ресурса. Одно время с её помощью удовлетворялась полностью потребность страны в энергии, в другое время — лишь четверть спроса, указано в данных Евростата, статистического агентства Европейского союза.

Другими факторами, привлекающими Facebook в Оденсе, третьем по величине городе Дании, является имеющийся доступ к высокопроизводительной интернет-магистрали и местный кадровый резерв для строительства и эксплуатации центра обработки данных. Предполагается, что персонал нового ЦОД составит порядка 150 человек. Его строительство обойдётся в $100 млн, запуск намечен на 2020 год.

По данным Fyens.dk, ЦОД Facebook будет состоять из двух больших зданий для обработки данных, здания для администрации и службы логистики, а также ряда других технических объектов.

Постоянный URL: http://servernews.ru/946184
04.10.2016 [23:31], Владимир Мироненко

Facebook построит крупный ЦОД в Дании

Новостной сайт fyens.dk сообщил о планах Facebook построить свой третий центр обработки данных (ЦОД) за пределами США, на этот раз в Дании. Он станет восьмым по счёту ЦОД гиганта социальных медиа.

Социальная сеть, как сообщается, намерена начать строительство ЦОД с тремя серверными залами ЦОД в промышленной зоне вблизи Оденса, который является третьим по величине городом в Дании.

Благодаря строительству ЦОД, вести которое поручено британской фирме Mace, будет создано 1200 рабочих мест. Строительная площадка на 500 тыс. м2 была приобретена для социальной сети компанией Cassin Networks Aps за 68 млн датских крон ($10 млн). Площадь самого ЦОД составит 184 тыс. м2.

ЦОД Facebook в Лулео

ЦОД Facebook в Лулео

Как сообщает fyens.dk, будущий ЦОД в Дании будет больше размерами дата-центра Facebook стоимостью $450 млн в Лулео (Швеция), открытого в 2013 году. Facebook также находится в процессе строительства еще одного центра обработки данных в Клони (Ирландия) стоимостью $220 млн (£170 млн), начатого в январе 2016 г.

Центры обработки данных являются жизненно важными для Facebook в связи с постоянно растущим объёмом информации на ее платформе. Эти огромные серверные парки используются для вычислений и обработки данных, отправляемых ежедневно пользователями Facebook по всему миру.

Постоянный URL: http://servernews.ru/940427
30.09.2016 [12:32], Евгений Лазовский

Марк Цукерберг поделился снимками «холодного» дата-центра Facebook

Высокий уровень энергопотребления дата-центров, благодаря которым функционируют различные интернет-сервисы, для технологических корпораций всегда были настоящей головной болью. Различные компании пытались решить эту проблему разными путями: например, Google использует для снижения затрат на электричество искусственный интеллект, а Microsoft даже рассматривала возможность постройки подводных дата-центров. Facebook же нашла более простое решение: она просто разместила свой центр в стране с холодным климатом.

Дата-центр социальной сети находится в городе Лулео, что в северной Швеции, всего примерно в 112 км к югу от полярного круга. Он был построен уже достаточно давно, однако это не означает, что генеральный директор Facebook Марк Цукерберг (Mark Zuckerberg) стал меньше гордиться своим детищем. Так, недавно он поделился с пользователями социальной сети набором фотографий из дата-центра, заявив, что он хотел «показать ряд редких фото наиболее продвинутой технологии, которую Facebook использует по всему миру».

Лучшее слово, которое подходит для описания сооружения — «окоченевший» (особенно если сравнивать с разноцветными трубками в серверных шкафах Google). Создаётся ощущение, что холод проник во все части дата-центра Facebook — на картинках преобладают серые и синие цвета. Тем не менее, несомненно, за такими дата-центрами — будущее.

Постоянный URL: http://servernews.ru/940216
25.01.2016 [13:45], Владимир Мироненко

Facebook построит второй ЦОД в Европе

Социальная сеть Facebook объявила о планах по строительству в Европе второго центра обработки данных (ЦОД). Он будет находиться в посёлке Клони, расположенном в получасе езды от столицы Ирландии. Напомним, что в Дублине находится международная штаб-квартира Facebook.

Это будет шестой ЦОД компании в мире и второй за пределами США. Ещё один ЦОД в Европе был открыт в 2011 году вблизи города Лулео в Швеции.

Новый ЦОД будет оснащён серверами и системами хранения Open Compute Project (OCP), включая Yosemite — модульное шасси для построения мощных микросерверов, разработанное Facebook. Проект OCP с открытым кодом был запущен по инициативе Facebook в качестве ресурса для обмена решениями в области дизайна и технологий для создания облачных сервисов, что позволяет значительно снизить себестоимость работ при повышении энергоэффективности.

По словам Джея Париха (Jay Parikh), вице-президента Facebook по конструкторским и технологическим вопросам, ЦОД в Клони будет работать на полностью возобновляемой энергии благодаря частым ветрам, характерным для этой местности. «Это поможет нам достичь намеченной цели обеспечить до 50 % питания нашей инфраструктуры с использованием чистой и возобновляемой энергии к концу 2018 года», — подчеркнул Джей Парих.

Постоянный URL: http://servernews.ru/927223
06.01.2016 [10:20], Андрей Крупин

Panasonic в сотрудничестве с Facebook разработала СХД на оптических дисках для дата-центров

Компания Panasonic в сотрудничестве с Facebook завершила работу над новым решением freeze-ray — системой архивного хранения данных на оптических дисках. Разработка призвана удовлетворить растущий спрос на надёжные инструменты для хранения и доступа к так называемым «холодным» данным — редко или никогда не используемой информации, размещённой в дата-центрах во всех регионах мира.

По словам разработчиков, freeze-ray позволяет снизить эксплуатационные расходы и энергопотребление ЦОД, обеспечивая при этом сохранность и целостность информации. Особые характеристики оптических дисков — их долговечность, совместимость с предыдущими версиями, низкое энергопотребление и устойчивость к изменениям внешней среды — делают их оптимальным решением для «холодного» хранения. Panasonic и Facebook полагают, что freeze-ray станет эффективным инструментом для дата-центров.

При создании системы хранения данных freeze-ray были задействованы разработки Panasonic: технология оптических дисков высокой плотности, оборудование (оптические диски, приводы и соответствующая автоматика), а также программное обеспечение, облегчающее контроль над библиотеками данных в ЦОД. Специалисты Facebook поделились своим опытом в проектировании, развёртывании, управлении и обслуживании систем хранения в дата-центрах, а также предоставляли подробные технические и пользовательские отзывы на каждом этапе реализации проекта. Стороны работали сразу над двумя поколениями freeze-ray. В настоящее время Facebook внедряет в своих центрах обработки данных системы хранения первого поколения на 100 гигабайтных Blu-Ray дисках и рассматривает возможность установки систем второго поколения на базе 300-гигабайтных дисков Archival Disc позже в 2016 году.

Компании Panasonic и Facebook рассчитывают на продолжение совместных разработок, в ходе которых могут появиться системы хранения следующего поколения на основе дисков высокой плотности объёмом 500 Гбайт и один терабайт. С их помощью могут быть созданы системы для «холодного» хранения данных суммарным объёмом в несколько петабайт.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/926216
Система Orphus