Cloudflare анонсировала серверы 13-го поколения (Gen 13) — свои самые высокопроизводительные системы, в основу которых положена аппаратная платформа AMD EPYC 9005 Turin. По сравнению с решениями Gen 12, дебютировавшими в сентябре 2024 года, новые устройства обеспечивают повышение производительности в расчёте на 1 Вт до 50% и двукратное увеличение пропускной способности.

Серверы Gen 13 имеют одноузловую односокетную архитектуру в корпусе 2U. Задействован процессор EPYC 9965 (192C/384T; 2,25/3,7 ГГц). Используется 12-канальная подсистема оперативной памяти на основе модулей DDR5-6400 ECC RDIMM суммарным объёмом 768 Гбайт (12 × 64 Гбайт). Обеспечивается пиковая пропускная способность ОЗУ на уровне 614 Гбайт/с на сокет, что на треть больше по сравнению с платформой Cloudflare Gen 12. В дополнение к шифрованию памяти (TSME) теперь шифруется и PCIe-трафик.

Источник изображения: Cloudflare

Машины нового поколения оснащаются тремя SSD формата E1.S толщиной 15 мм с интерфейсом PCIe 5.0 (NVMe 2.0) вместимостью 7,68 Тбайт каждый. Используются накопители Samsung PM9D3a или Micron 7600 Pro, которые рассчитаны на одну полную перезапись в сутки (1DWPD) на протяжении всего срока службы серверов (пять лет). Во фронтальной части корпуса опционально размещаются десять дополнительных отсеков для U.2 SSD с интерфейсом PCIe 5.0 (NVMe) — это позволяет унифицировать вычислительные узлы с узлами хранения. Также возможна установка двух двухслотовых FHFL-карт.

Серверы оборудованы модулями OCP 3.0 с двумя сетевыми портами 100GbE (адаптеры Intel E830-CDA2 и NVIDIA Mellanox ConnectX-6 Dx). В оснащение входят контроллеры ASPEED AST2600 (BMC) и AST1060 (HRoT), а также модуль TPM (Infineon SLB 9672). Эти компоненты, а также сдвоенные чипы памяти BMC и BIOS/UEFI, находятся на внешней карте стандарта OCP DC-SCM 2.0 (Project Argus). Питание обеспечивается CRPS БП мощностью 1300 Вт с сертификатом 80 PLUS Titanium. За охлаждение отвечают пять 80-мм вентиляторов.

Cloudflare внедрила новые источники случайных чисел для шифрования сетевого трафика — в своём блоге компания объявила, что создала «стену энтропии» из 50 генераторов волн в новой европейской штаб-квартире в Лиссабоне. Совершенно непредсказуемый рисунок волн записывается камерой и оцифровывается. Истинно случайный характер получаемых данных служит для защиты десятков миллионов HTTPS-запросов, ежесекундно обрабатываемых Cloudflare.

Компания разработала собственную, безостановочно работающую волновую машину. Прозрачный параллелепипед длиной 45 см заполнен полулитром уникальной жидкости Hughes Wave Fluid Formula (в составе две несмешивающихся жидкости) разных цветов для создания реалистичных «океанских волн». Ёмкость с жидкостью качается из стороны в сторону 14 раз в минуту или 20 тыс. раз в день. Стену внедрили в марте 2025 года, но в компании заявляют, что разработка велась 15 месяцев, а сама идея появилась ещё в 2023 году. Большая часть времени ушла на повышение надёжности механических компонентов.

Источник изображения: Cloudflare

По словам представителя Cloudflare, компании не удалось приобрести достаточного количества генераторов волн необходимого размера на eBay и из других источников. В результате она договорилась о партнёрстве с американской Hughes Wave Motion Machines для создания собственного оборудования.

Источник изображения: Cloudflare

Cloudflare уже известна тем, что использует стену из 100 лавовых ламп в штаб-квартире в Сан-Франциско для получения истинно случайных чисел. Стену точно так же непрерывно снимает камера, оцифровывающая перемещение потоков жидкости в лампах. В Лондоне применяется массив двойных маятников, тени от которых в разных условиях освещения так же фиксируются камерой. В техасском офисе компания использует коллекцию подвесных полупрозрачных элементов (мобили), отбрасывающих тени на стены — потоки воздуха, освещение и прочие факторы создают требуемый хаос. А в Сингапуре компания и вовсе задействовала счётчик частиц, «наблюдающий» за естественным распадом урана.

Американская компания Cloudflare, предоставляющая в числе прочего услуги CDN, анонсировала серверы 12-го поколения для своей инфраструктуры. В основу 2U-узлов легла аппаратная платформа AMD EPYC Genoa-X. По словам компании, новая платформа на 145 % производительнее и при этом на 63 % энергоэффективнее систем 11-го поколения.

Серверы имеют односокетное исполнение. Применён процессор EPYC 9684X с 96 ядрами (192 потока инструкций), работающий на базовой частоте 2,55 ГГц с возможностью повышения до 3,42 ГГц для всех ядер. Объём L3-кеша составляет 1152 Мбайт, а объём оперативной памяти DDR5-4800 в 12-канальной конфигурации составляет 384 Гбайт.

В оснащения входят два накопителя формата EDSFF E1.S (15 мм) с интерфейсом PCIe 4.0 х4 вместимостью 7,68 Тбайт каждый (Samsung PM9A3 и Micron 7450 Pro). Заявленная скорость последовательного чтения информации достигает 6700 Мбайт/с, скорость последовательной записи — 4000 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) при произвольном чтении — до 1,0 млн, при произвольной записи — до 200 тыс. Изделия рассчитаны на одну полную перезапись в сутки (DWPD).

Источник изображений: Cloudflare

Серверы оснащены двумя 25GbE-адаптерами OCP 3.0 — Intel Ethernet Network Adapter E810-XXVDA2 и NVIDIA Mellanox ConnectX-6 Lx. Присутствуют контроллеры ASPEED AST2600 (BMC), AST1060 (HRoT), а также TPM-модуль. Примечательно, что все они, а также сдвоенные чипы памяти BMC и BIOS/UEFI, находятся на внешней карте стандарта OCP DC-SCM 2.0. Их разработкой в рамках Project Argus компания занималась совместно с Lenovo.

За питание отвечают два блока мощностью 800 Вт с сертификатом 80 Plus Titanium. Допускается установка одной карты расширения FHFL двойной ширины или двух карт FHFL одинарной ширины. В частности, могут быть добавлены ускорители на базе GPU с показателем TDP до 400 Вт. Во фронтальной части корпуса располагаются вентиляторы охлаждения.

Американская компания Cloudflare, предоставляющая услуги CDN, по сообщению ресурса The Register, приняла решение отказаться от интегрированных BMC-контроллеров на серверных материнских платах. Предполагается, что это в числе прочего снизит затраты на развёртывание масштабных платформ для дата-центров.

BMC, или Baseboard Management Controller, контролирует работу платформы и выполняет ряд важных функций, таких как управление питанием, мониторинг датчиков, возможность удаленного обновления прошивки, регистрация событий, формирование отчетов об ошибках и т.д.

Источник изображения: The Register

Современные серверные материнские платы с поддержкой DDR5 и PCIe 5.0 насчитывают 14 или более слоёв. Вместе с тем для BMC достаточно от восьми до десяти слоёв. Поэтому целесообразно отделить модуль BMC от основной материнской платы, выполнив его в виде отдельного узла OCP DC-SCM (DataCenter-ready Secure Control Module).

Модули DC-SCM можно использовать повторно, что снижает стоимость серверов и сокращает объём «электронного мусора» при обновлении оборудования для ЦОД. Поскольку DC-SCM является отдельным компонентом, к серверу можно добавлять новые модули с целью апгрейда функций без необходимости замены материнской платы.

Cloudflare предлагает собственную версию DC-SCM под названием Project Argus в рамках Open Compute Project (OCP). В основу положен контроллер Aspeed AST2600. При использовании совместимой прошивки OpenBMC обеспечивается богатый набор функций, необходимых для удалённого управления сервером. Project Argus уже используется в 12-м поколении серверов CloudFlare, а производственным партнёром компании выступает Lenovo.