Сотрудник Национального института стандартов и технологий США (NIST) попытался отключить резервные генераторы, питающие часть инфраструктуры, обеспечивающей поддержку протокола сетевого времени (NTP), после того как отключение электроэнергии в минувшую субботу в районе Боулдера (Boulder, штат Колорадо) из-за плохих погодных условий, привело к ошибкам в работе атомных часов, пишет The Register. Ошибка часов на станции в Боулдере на тот момент составляла <4,8 мкс.

«Шкала времени, генерируемая на основе ансамбля атомных часов в нашем кампусе в Боулдере вышла из строя из-за длительного отключения электроэнергии», — пояснил Джеффри Шерман (Jeffrey Sherman), физик-руководитель NIST, ответственный за обслуживание атомных часов института, добавив, что из-за этого «службы интернет-времени Боулдера больше не имеют точной привязки времени».

NIST использует свои атомные часы, в частности, для предоставления NTP-сервиса, используемого для синхронизации работы устройств Сети. Если NTP не работает, это может привести к трудностям с аутентификацией между системами и нестабильной работе приложений. Впрочем, крупные игроки используют собственные NTP-сервисы. А для синхронизации нередко используются сигналы GNSS.

Шерман также рассказал, что резервный генератор включился и продолжил поддерживать работу серверов, в связи с чем он попытается его отключить, «чтобы избежать распространения неверного времени». Но сделать это оказалось проблемой, поскольку буря, вызвавшая сбой электроэнергии, была настолько сильной, что объект было разрешено посещать только сотрудникам экстренных служб.

Источник изображения: KWON JUNHO/unsplash.com

Учёный отметил, что, судя по всему, из-за погодных условий вышел из строя один из основных генераторов. «В другом здании кампуса находятся дополнительные часы, резервные источники питания которых обеспечиваются другим генератором; если они останутся работоспособными, это позволит нам перенастроить основную шкалу времени, когда восстановится стабильность работы станции, без использования внешних часов или опорных сигналов», — добавил он.

«Чтобы представить отклонение в несколько микросекунд в контексте, следует отметить, что шкала времени NIST обычно работает примерно в пять тысяч раз лучше на наносекундном уровне, используя специальное статистическое среднее многих часов», — указал Шерман в сообщении. «Такая точность важна для научных приложений, телекоммуникаций, критической инфраструктуры и контроля целостности систем позиционирования. Но такая точность недостижима при передаче времени через общедоступный интернет; более типичны неопределённости порядка 1 мс из-за асимметрии и колебаний задержки пакетов», — добавил он.

Компания Xcel Energy, местный поставщик электроэнергии, объяснила отключение электроэнергии сильным ветром. NIST сообщил ресурсу CBS News, что предупредил своих пользователей, включая телекоммуникационные и аэрокосмические организации, о возможных проблемах из-за погодных условий в районе Боулдера, рекомендовав им использовать другие источники информации о времени. 22 декабря, в 06:00 UTC (9:00 мск) NIST сообщил, что все службы времени, предоставляемые кампусом в Боулдере, снова доступны и отдают точное время.

Облачная платформа Amazon Web Services (AWS) сообщила о том, что система синхронизации часов Time Sync теперь доступна в виде публичного NTP-сервиса. Ранее данная функция действовала только в рамках серверов AWS.

Сервис Amazon Time Sync представляет собой высокоточный, надёжный и доступный источник времени для сервисов AWS, включая инстансы EC2. Система компенсирует отклонения, синхронизируя часы с парком резервных спутниковых и атомных часов в каждом регионе AWS. Синхронизация часов важна, в частности, при ведении журналов: дело в том, что сравнение двух файлов журналов на серверах с рассинхронизированными часами делает устранение неполадок гораздо сложнее.

Изображение: Markus Kammermann/Pixabay

Доступность Time Sync в виде публичного NTP-сервиса означает, что воспользоваться системой могут любые серверы и устройства Интернета вещей. Время синхронизируется с точностью до нескольких миллисекунд относительно всемирного координированного времени (UTC). Однако, как отмечается, сервис значительно менее точен, чем у конкурирующего Google, а Meta✴ начала полностью отказываться от NTP.

Владелец Facebook✴ заявил, что перейдёт на протокол точного времени (PTP), что обеспечит точность в пределах наносекунд. При этом всем компаниям приходится иметь дело с дополнительной секундой, которая иногда добавляется в шкалу UTC для согласования со средним солнечным временем UT1. Эта практика, действующая с 1972 года, привела к ряду проблем, поэтому с 2000-х годов в международных организациях обсуждается отказ от введения дополнительной секунды.

В отличие от широко известного протокола сетевой координации времени NTP, разработанный изначально для локальных сетей, PTP (Precision Time Protocol, IEEE 1588) способен обеспечивать точность синхронизации в пределах десятков наносекунд, тогда как у NTP это значение находится в диапазоне единиц или десятков миллисекунд.

С точки зрения владельцев крупных ЦОД возможность повысить точность синхронизации может представлять существенный интерес, поскольку позволяет точнее привести серверы к единому времени. И такой возможностью заинтересовалась компания Meta✴, которая в течение некоторого времени тестировала PTP локально, а в настоящее время заявила о переводе всех серверов на новый стандарт синхронизации.

Поскольку масштабы сети серверов Meta✴ действительно велики, влияние неточностей при использовании NTP может накапливаться и приводить к задержкам, сбоям или даже сетевым отказам. Тем более сверхточная синхронизация важна для проекта метавселенной, в котором огромная виртуальная вселенная должна функционировать как единое целое.

Однако внедрение PTP требует поддержки со стороны не только программного, но и аппаратного обеспечения, поэтому компания разработала в рамках OCP систему Open Time Server, в основе которой лежит плата точного времени Facebook✴ Time Card с приёмником сигналов GNSS. Требований со стороны сервера немного: использование сетевых интерфейсов с поддержкой PPS и Hardware Timestamps и процессоров с VT-d.

Facebook✴ Time Card

Программная часть состоит из ОС Linux с драйвером ocp_ptp и демонов Chrony/NTPd и ptp4u/ptp4l, работающих с устройствами dev/ptpX карты времени и сетевого адаптера. В официальном репозитории Open Time Server приведена подробная информация на этот счёт. На уровне ЦОД это означает появление выделенных стоек PTP, оснащённых соответствующим оборудованием.

Подчёркивается также важность наличия качественной антенны для приёма GNSS-сигналов, гарантирующей точность позиционирования менее 10 м — лишь при такой точности можно вести речь о наносекундном уровне синхронизации. Каждая стойка PTP также содержит устройство Calnex Sentinel 2.0, ответственное за мониторинг состояния системы: расхождение между Time Card и сетевым адаптером должно укладываться в окно размером не более 50 нс.

Такой масштабный проект, как метавселенная, создаваемая ныне Meta✴, будет включать в себя огромное количество серверов в дата-центрах по всей планете, которые будут обслуживать единое виртуальное пространство. Функционирование столь сложного проекта, естественно, не может не зависеть от точной синхронизации часов, и чем точнее этот процесс, тем лучше.

С целью обеспечения идеальной точности синхронизации Meta✴ будет использовать в своих серверах «карты времени» Orolia. Они используют открытый протокол и разработаны в сотрудничестве с самой Meta✴. Модули Orolia Spectratime mRO-50 пользуются компактными рубидиевыми атомными часами, чья точность уступает лишь гораздо более дорогим цезиевым собратьям, используемым в качестве первичного стандарта частоты.

Плата Orolia/Meta✴ имеет форм-фактор FHHL и интерфейс PCI Express x4

Благодаря использованию новых плат синхронизации Meta✴ надеется добиться снизить максимальное расхождение часов в разных ЦОД до уровня менее 100 мкс. Ранее Meta✴ удалось снизить этот параметр с 10 мс до 100 мкс благодаря использованию сигналов GNSS. В 2021 году был показан прототип PCIe-адаптера, которым компания поделилась с инициативой Time Appliance Project (TAP), действующей в рамках Open Compute Project (OCP).

Модуль рубидиевых атомных часов Orolia mRO-50

На основе разработок Meta✴ Time Card в итоге и был создан адаптер точного времени Orolia ART Card. Сейчас пришло время для второго поколения, которое получило название ART2. Сам модуль Orolia Spectratime mRO-50 генерирует стабильный сигнал частотой 10 МГц, отклонения которой не превышают 4×10^-10 при изменении температуры и 1×10^-11 в день в процессе трёхмесячной эксплуатации.

Серверы и службы точного времени играют существенную роль в современной ИТ-индустрии, как обеспечивающие синхронизацию и корректную работу многих миллионов устройств в едином временном пространстве.

Компания Facebook✴, обладатель огромной ИТ-инфраструктуры, при запуске собственной аналогичной службы отказалась от использования традиционного демона ntpd в пользу более современной и лучше интегрированной с аппаратной инфраструктурой разработкой под названием chrony.

Структура службы времени Facebook✴

Как правило, источниками точного времени занимаются правительственные организации, такие, как Национальный институт стандартов и технологий (NIST), располагающие высокоточными атомными часами. Данные с серверов точного времени можно получить через Интернет, используя стандартный протокол NTP (Network Time Protocol).

Однако в крупных ЦОД зачастую используют локальный источник точного времени, берущий данные от навигационных спутников или атомных часов. Наиболее важные узлы и стойки оснащаются отдельными адаптерами для синхронизации, да и многие современные сетевые карты имеют отдельные разъёмы для этой же цели.

Существуют и частные службы NTP — например, таковыми располагают Apple и Google, а теперь к ним присоединилась и Facebook✴. Её NTP-сервисы доступны по адресу time.facebook✴.com, они бесплатны. Впрочем, публичный сервис — это скорее побочный продукт внутренней разработки.

Точность службы точного времени Facebook✴ сопоставима с точностью аналогичных служб других провайдеров

Facebook✴ владеет огромной армией серверов и прочих устройств, причём, компания активно внедряет распределённые службы и базы данных. В этом случае временная синхронизация особенно важна. Источник самого времени у Facebook✴ классический, это атомные часы (обычно цезиевые, но Facebook✴ использует рубидиевый вариант). Но программная часть отличается от обычной.

Обычно в качестве демона точного времени используют ntpd (Network Time Protocol Daemon), но с анонсом собственного источника Facebook✴ перешла на использование более совершенного chrony. Более оптимизированный код chrony позволяет использовать меньше оперативной памяти и процессорного времени, а значит, уменьшить и энергопотребление, что в масштабах Facebook✴ весьма чувствительно.

Одна из тестовых NTP-платформ Facebook✴

Помимо экономичности и лучшей интеграции с аппаратным обеспечением, позволяющим chrony использовать временные метки, генерируемые сетевыми адаптерами, это ПО отличается повышенным уровнем безопасности. Точность в сравнении с ntpd так же повысилась, причём, весьма существенно, от 10 до 100 раз.

Показатели новой службы Facebook✴, как минимум, не уступают показателям аналогичных служб Apple и Google. В ней скачущая секунда «размывается» вместо «замирания»: дополнительное время, компенсирующее разницу между всемирным и средним солнечным временем, добавляется или вычитается небольшими порциями на протяжении нескольких часов.

Впрочем, есть одно «но» — ни одна из служб точного времени, принадлежащих частным компаниям, таким как Google, Apple или Facebook✴, не имеют сертификации Coordinated Universal Time (UTC), а именно этим стандартом пользуются крупные провайдеры и банковские сети. Но инженеры Facebook✴ уже рассматривают возможность внедрения протокола Precision Time Protocol (PTP), который существенно точнее NTP.