Облачная платформа Amazon Web Services (AWS) сообщила о том, что система синхронизации часов Time Sync теперь доступна в виде публичного NTP-сервиса. Ранее данная функция действовала только в рамках серверов AWS.

Сервис Amazon Time Sync представляет собой высокоточный, надёжный и доступный источник времени для сервисов AWS, включая инстансы EC2. Система компенсирует отклонения, синхронизируя часы с парком резервных спутниковых и атомных часов в каждом регионе AWS. Синхронизация часов важна, в частности, при ведении журналов: дело в том, что сравнение двух файлов журналов на серверах с рассинхронизированными часами делает устранение неполадок гораздо сложнее.

Изображение: Markus Kammermann/Pixabay

Доступность Time Sync в виде публичного NTP-сервиса означает, что воспользоваться системой могут любые серверы и устройства Интернета вещей. Время синхронизируется с точностью до нескольких миллисекунд относительно всемирного координированного времени (UTC). Однако, как отмечается, сервис значительно менее точен, чем у конкурирующего Google, а Meta* начала полностью отказываться от NTP.

Владелец Facebook* заявил, что перейдёт на протокол точного времени (PTP), что обеспечит точность в пределах наносекунд. При этом всем компаниям приходится иметь дело с дополнительной секундой, которая иногда добавляется в шкалу UTC для согласования со средним солнечным временем UT1. Эта практика, действующая с 1972 года, привела к ряду проблем, поэтому с 2000-х годов в международных организациях обсуждается отказ от введения дополнительной секунды.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

В отличие от широко известного протокола сетевой координации времени NTP, разработанный изначально для локальных сетей, PTP (Precision Time Protocol, IEEE 1588) способен обеспечивать точность синхронизации в пределах десятков наносекунд, тогда как у NTP это значение находится в диапазоне единиц или десятков миллисекунд.

С точки зрения владельцев крупных ЦОД возможность повысить точность синхронизации может представлять существенный интерес, поскольку позволяет точнее привести серверы к единому времени. И такой возможностью заинтересовалась компания Meta*, которая в течение некоторого времени тестировала PTP локально, а в настоящее время заявила о переводе всех серверов на новый стандарт синхронизации.

Поскольку масштабы сети серверов Meta* действительно велики, влияние неточностей при использовании NTP может накапливаться и приводить к задержкам, сбоям или даже сетевым отказам. Тем более сверхточная синхронизация важна для проекта метавселенной, в котором огромная виртуальная вселенная должна функционировать как единое целое.

Однако внедрение PTP требует поддержки со стороны не только программного, но и аппаратного обеспечения, поэтому компания разработала в рамках OCP систему Open Time Server, в основе которой лежит плата точного времени Facebook* Time Card с приёмником сигналов GNSS. Требований со стороны сервера немного: использование сетевых интерфейсов с поддержкой PPS и Hardware Timestamps и процессоров с VT-d.

Facebook* Time Card

Программная часть состоит из ОС Linux с драйвером ocp_ptp и демонов Chrony/NTPd и ptp4u/ptp4l, работающих с устройствами dev/ptpX карты времени и сетевого адаптера. В официальном репозитории Open Time Server приведена подробная информация на этот счёт. На уровне ЦОД это означает появление выделенных стоек PTP, оснащённых соответствующим оборудованием.

Подчёркивается также важность наличия качественной антенны для приёма GNSS-сигналов, гарантирующей точность позиционирования менее 10 м — лишь при такой точности можно вести речь о наносекундном уровне синхронизации. Каждая стойка PTP также содержит устройство Calnex Sentinel 2.0, ответственное за мониторинг состояния системы: расхождение между Time Card и сетевым адаптером должно укладываться в окно размером не более 50 нс.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Такой масштабный проект, как метавселенная, создаваемая ныне Meta*, будет включать в себя огромное количество серверов в дата-центрах по всей планете, которые будут обслуживать единое виртуальное пространство. Функционирование столь сложного проекта, естественно, не может не зависеть от точной синхронизации часов, и чем точнее этот процесс, тем лучше.

С целью обеспечения идеальной точности синхронизации Meta* будет использовать в своих серверах «карты времени» Orolia. Они используют открытый протокол и разработаны в сотрудничестве с самой Meta*. Модули Orolia Spectratime mRO-50 пользуются компактными рубидиевыми атомными часами, чья точность уступает лишь гораздо более дорогим цезиевым собратьям, используемым в качестве первичного стандарта частоты.

Плата Orolia/Meta имеет форм-фактор FHHL и интерфейс PCI Express x4

Благодаря использованию новых плат синхронизации Meta* надеется добиться снизить максимальное расхождение часов в разных ЦОД до уровня менее 100 мкс. Ранее Meta* удалось снизить этот параметр с 10 мс до 100 мкс благодаря использованию сигналов GNSS. В 2021 году был показан прототип PCIe-адаптера, которым компания поделилась с инициативой Time Appliance Project (TAP), действующей в рамках Open Compute Project (OCP).

Модуль рубидиевых атомных часов Orolia mRO-50

На основе разработок Meta* Time Card в итоге и был создан адаптер точного времени Orolia ART Card. Сейчас пришло время для второго поколения, которое получило название ART2. Сам модуль Orolia Spectratime mRO-50 генерирует стабильный сигнал частотой 10 МГц, отклонения которой не превышают 4×10^-10 при изменении температуры и 1×10^-11 в день в процессе трёхмесячной эксплуатации.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Серверы и службы точного времени играют существенную роль в современной ИТ-индустрии, как обеспечивающие синхронизацию и корректную работу многих миллионов устройств в едином временном пространстве.

Компания Facebook*, обладатель огромной ИТ-инфраструктуры, при запуске собственной аналогичной службы отказалась от использования традиционного демона ntpd в пользу более современной и лучше интегрированной с аппаратной инфраструктурой разработкой под названием chrony.

Структура службы времени Facebook*

Как правило, источниками точного времени занимаются правительственные организации, такие, как Национальный институт стандартов и технологий (NIST), располагающие высокоточными атомными часами. Данные с серверов точного времени можно получить через Интернет, используя стандартный протокол NTP (Network Time Protocol).

Однако в крупных ЦОД зачастую используют локальный источник точного времени, берущий данные от навигационных спутников или атомных часов. Наиболее важные узлы и стойки оснащаются отдельными адаптерами для синхронизации, да и многие современные сетевые карты имеют отдельные разъёмы для этой же цели.

Существуют и частные службы NTP — например, таковыми располагают Apple и Google, а теперь к ним присоединилась и Facebook*. Её NTP-сервисы доступны по адресу time.facebook.com, они бесплатны. Впрочем, публичный сервис — это скорее побочный продукт внутренней разработки.

Точность службы точного времени Facebook* сопоставима с точностью аналогичных служб других провайдеров

Facebook* владеет огромной армией серверов и прочих устройств, причём, компания активно внедряет распределённые службы и базы данных. В этом случае временная синхронизация особенно важна. Источник самого времени у Facebook* классический, это атомные часы (обычно цезиевые, но Facebook* использует рубидиевый вариант). Но программная часть отличается от обычной.

Обычно в качестве демона точного времени используют ntpd (Network Time Protocol Daemon), но с анонсом собственного источника Facebook* перешла на использование более совершенного chrony. Более оптимизированный код chrony позволяет использовать меньше оперативной памяти и процессорного времени, а значит, уменьшить и энергопотребление, что в масштабах Facebook* весьма чувствительно.

Одна из тестовых NTP-платформ Facebook*

Помимо экономичности и лучшей интеграции с аппаратным обеспечением, позволяющим chrony использовать временные метки, генерируемые сетевыми адаптерами, это ПО отличается повышенным уровнем безопасности. Точность в сравнении с ntpd так же повысилась, причём, весьма существенно, от 10 до 100 раз.

Показатели новой службы Facebook*, как минимум, не уступают показателям аналогичных служб Apple и Google. В ней скачущая секунда «размывается» вместо «замирания»: дополнительное время, компенсирующее разницу между всемирным и средним солнечным временем, добавляется или вычитается небольшими порциями на протяжении нескольких часов.

Впрочем, есть одно «но» — ни одна из служб точного времени, принадлежащих частным компаниям, таким как Google, Apple или Facebook*, не имеют сертификации Coordinated Universal Time (UTC), а именно этим стандартом пользуются крупные провайдеры и банковские сети. Но инженеры Facebook* уже рассматривают возможность внедрения протокола Precision Time Protocol (PTP), который существенно точнее NTP.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».