Тайная жизнь ЦОД Google: будут ли Борги ассимилированы Kubernetes?

 

Такие технологии, как контейнеризация, виртуализация и оркестрация не всегда были массовыми — владельцы сверхкрупных ЦОД активно использовали собственные решения для более эффективного использования ресурсов. Среди таковых числится и Google, которая уже очень давно развивает систему менеджемента кластеров Borg, названную в честь расы киборгов-ассимиляторов из популярной вымышленной вселенной Star Trek.

Несмотря на то, что многие идеи для Kubernetes были позаимствованы из Borg, такие кластеры продолжают работать и сейчас, оставаясь проприетарным решением Google, которая крайне неохотно делится подробностями о них. 

Внутри помещения Борг-кластера: вы будете ассимилированы

Внутри помещения Борг-кластера: вы будете ассимилированы

Впрочем, иногда компания всё же отдаёт исследователям оносительно небольшие, но весьма детальные наборы данных о работе Borg. Впервые на такой поступок Google пошла ещё в 2011 году. Она опубликовала 29-дневную статистику по Борг-кластерам, описывающую каждое запущенное задание, распределение задвч и потребление вычислительных ресурсов. 

На этот раз компания предлагает аналогичную статистику за май 2019 года сразу по восьми кластерам. В неё добавлена информация о нагрузке на центральные процессоры — с точностью до пяти минут. Дамп очень объёмный и содержит 350 Гбайт данных с каждого из кластеров. Это серьёзный прирост — в 2011 году вес статистики для единственного кластера составлял всего около 40 Гбайт.

Эффективность использования ресурсов у Борг-кластеров редко превышает 0,6

КПД Борг-кластеров редко превышает 0,6

Помимо «сырых» данных Google также опубликовала и их анализ, проведённый совместно с учеными из Гарвардского университета, университета Карнеги Мэллон и Сент-Эндрюсского университета. Дополнительно доступен документ, описывающий работу внутренних систем масштабирования, которые Google называет «Автопилотом» (Autopilot).

В нём рассказывается о том, что размер кластера Google в среднем составляет около 10 тысяч физических серверов, но сообщается также и о том, что система Autopilot далека от идеала.

Схема функционирования Google Autopilot

Схема функционирования Google Autopilot

Она редко нагружает подсистемы памяти кластера более чем на 50%, а, к примеру, аналогичные кластеры Alibaba могут утилизировать память существенно эффективнее, на 80%. В последнее время Борг-кластеры получили ряд усовершенствований именно в области распределения ресурсов, но всё равно эффективность использования процессорных ресурсов и памяти редко превышает 60%.

Получить доступ к статистике и документации Google по Борг-кластерам можно на GitHub. Что касается ассимиляции, то как скоро Kubernetes и другие открытые и универсальные технологии вытеснят борг-подобный подход, сказать трудно, но год от года популярность таких технологий явно растёт.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER. | Можете написать лучше? Мы всегда рады новым авторам.

Источник:

Постоянный URL: https://servernews.ru/1009786
Поделиться:  

Комментарии

Система Orphus