Cloudflare внедрила новые источники случайных чисел для шифрования сетевого трафика — в своём блоге компания объявила, что создала «стену энтропии» из 50 генераторов волн в новой европейской штаб-квартире в Лиссабоне. Совершенно непредсказуемый рисунок волн записывается камерой и оцифровывается. Истинно случайный характер получаемых данных служит для защиты десятков миллионов HTTPS-запросов, ежесекундно обрабатываемых Cloudflare.

Компания разработала собственную, безостановочно работающую волновую машину. Прозрачный параллелепипед длиной 45 см заполнен полулитром уникальной жидкости Hughes Wave Fluid Formula (в составе две несмешивающихся жидкости) разных цветов для создания реалистичных «океанских волн». Ёмкость с жидкостью качается из стороны в сторону 14 раз в минуту или 20 тыс. раз в день. Стену внедрили в марте 2025 года, но в компании заявляют, что разработка велась 15 месяцев, а сама идея появилась ещё в 2023 году. Большая часть времени ушла на повышение надёжности механических компонентов.

Источник изображения: Cloudflare

По словам представителя Cloudflare, компании не удалось приобрести достаточного количества генераторов волн необходимого размера на eBay и из других источников. В результате она договорилась о партнёрстве с американской Hughes Wave Motion Machines для создания собственного оборудования.

Источник изображения: Cloudflare

Cloudflare уже известна тем, что использует стену из 100 лавовых ламп в штаб-квартире в Сан-Франциско для получения истинно случайных чисел. Стену точно так же непрерывно снимает камера, оцифровывающая перемещение потоков жидкости в лампах. В Лондоне применяется массив двойных маятников, тени от которых в разных условиях освещения так же фиксируются камерой. В техасском офисе компания использует коллекцию подвесных полупрозрачных элементов (мобили), отбрасывающих тени на стены — потоки воздуха, освещение и прочие факторы создают требуемый хаос. А в Сингапуре компания и вовсе задействовала счётчик частиц, «наблюдающий» за естественным распадом урана.

Американская компания Cloudflare, предоставляющая в числе прочего услуги CDN, анонсировала серверы 12-го поколения для своей инфраструктуры. В основу 2U-узлов легла аппаратная платформа AMD EPYC Genoa-X. По словам компании, новая платформа на 145 % производительнее и при этом на 63 % энергоэффективнее систем 11-го поколения.

Серверы имеют односокетное исполнение. Применён процессор EPYC 9684X с 96 ядрами (192 потока инструкций), работающий на базовой частоте 2,55 ГГц с возможностью повышения до 3,42 ГГц для всех ядер. Объём L3-кеша составляет 1152 Мбайт, а объём оперативной памяти DDR5-4800 в 12-канальной конфигурации составляет 384 Гбайт.

В оснащения входят два накопителя формата EDSFF E1.S (15 мм) с интерфейсом PCIe 4.0 х4 вместимостью 7,68 Тбайт каждый (Samsung PM9A3 и Micron 7450 Pro). Заявленная скорость последовательного чтения информации достигает 6700 Мбайт/с, скорость последовательной записи — 4000 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) при произвольном чтении — до 1,0 млн, при произвольной записи — до 200 тыс. Изделия рассчитаны на одну полную перезапись в сутки (DWPD).

Источник изображений: Cloudflare

Серверы оснащены двумя 25GbE-адаптерами OCP 3.0 — Intel Ethernet Network Adapter E810-XXVDA2 и NVIDIA Mellanox ConnectX-6 Lx. Присутствуют контроллеры ASPEED AST2600 (BMC), AST1060 (HRoT), а также TPM-модуль. Примечательно, что все они, а также сдвоенные чипы памяти BMC и BIOS/UEFI, находятся на внешней карте стандарта OCP DC-SCM 2.0. Их разработкой в рамках Project Argus компания занималась совместно с Lenovo.

За питание отвечают два блока мощностью 800 Вт с сертификатом 80 Plus Titanium. Допускается установка одной карты расширения FHFL двойной ширины или двух карт FHFL одинарной ширины. В частности, могут быть добавлены ускорители на базе GPU с показателем TDP до 400 Вт. Во фронтальной части корпуса располагаются вентиляторы охлаждения.

Компания Cloudflare Inc. анонсировала разработку продукта Firewall for AI для обеспечения клиентов дополнительным «слоем»-брандмауэром, защищающим большие языковые модели (LLM). По данным Silicon Angle, новые инструменты позволят выявлять потенциальные атаки до того, как те нанесут критический ущерб функциональности информационных систем или обеспечат злоумышленникам доступ к важным закрытым сведениям.

Дополнительно компания анонсировала пакет новых инструментов, использующих ИИ-алгоритмы для защиты ИИ-проектов, в том числе выявление аномалий в пользовательском поведении, подозрительной корреспонденции и т.д. Это важно, поскольку по мере того, как внедрять LLM и прочие ИИ-системы начинают всё больше компаний, растут и риски атак на них — началась «гонка вооружений ИИ».

Источник изображения: CloudFlare

Firewall for AI обеспечит защиту LLM, работающих на платформе Workers AI для периферийных вычислений. WAF, защищающий языковую модель, может сканировать обращения к LLM на наличие угроз без вмешательства людей. Защищён может быть любой клиент платформы Workers, в том числе будет обеспечена защита от современных угроз вроде хитро составленных промптов, заставляющих ИИ раскрывать конфиденциальную информацию.

Новые инструменты Defensive AI используют ИИ для защиты корпоративных сетей от атак современного типа, в том числе с помощью других ИИ-систем. Боты анализируют почту, распознают вредоносный код и аномальный трафик. При этом ИИ можно даже обучить моделям поведения реальных пользователей, чтобы выявлять отклонения в паттернах раюоты и разработать стратегию защиты.

С развитием проектов вроде ChatGPT, злоумышленники получили и действенные инструменты для фишинга. Если раньше письма были часто безграмотно составлены и не особенно убедительными, то теперь написать красивый текст помогает ИИ, заставляя жертв делиться паролями и другими конфиденциальными сведениями. В Cloudflare обещают, что Defensive AI позволит быстро распознавать такие угрозы — до того, как сотрудники попадутся на удочку.

Американская компания Cloudflare в ходе оглашения финансовых показателей за последнюю четверть и 2023 год в целом сообщила об увеличении срока эксплуатации своего серверного оборудования на один год. Ожидается, что это позволит экономить миллионы долларов.

Традиционно серверы в ЦОД служат от трёх до пяти лет, после чего осуществляется их обновление. Однако в связи с экономическими сложностями и высоким уровнем инфляции многие гиперскейлеры, такие как AWS, Google, Meta✴ и Microsoft, вынуждены увеличивать жизненный цикл своего оборудования. А облачный провайдер Scaleway установил своеобразный рекорд, подняв этот показатель до 10 лет.

Источник изображения: Cloudflare

Теперь об аналогичной инициативе объявил финансовый директор Cloudflare Томас Сейферт (Thomas Seifert). По его словам, компания пришла к выводу, что постоянное развитие аппаратных технологий и усовершенствование архитектуры дата-центров повысили эффективность эксплуатации оборудования, в результате чего предполагаемый срок его полезного использования увеличится с четырёх до пяти лет. По оценкам, только в 2024-м это позволит сэкономить около $20 млн.

Сообщается, что в IV квартале 2023 года Cloudflare получила выручку в размере $362,5 млн, что на 32 % больше результата годичной давности. За год в целом выручка достигла $1,3 млрд, показав прибавку на уровне 33 % по сравнению с 2022-м. Вместе с тем компания продолжает нести убытки: квартальные потери зафиксированы в размере $27,9 млн, годовые — $183,9 млн. Для сравнения: годом ранее эти значения равнялись соответственно $45,9 млн и $193,4 млн.

В I квартале 2024 года компания рассчитывает получить выручку в размере от $372,5 млн до $373,5 млн, тогда как за год эта цифра прогнозируется в диапазоне от $1,648 млрд до $1,652 млрд.

Американская компания Cloudflare сообщила о хакерском вторжении в свою IT-инфраструктуру. К расследованию инцидента были привлечены специалисты в области безопасности CrowdStrike: утверждается, что к кибератаке могут быть причастны правительственные хакеры некоего государства. В результате расследования компания решила переоснастить свой ЦОД в Бразилии.

Говорится, что для проникновения во внутреннюю сеть Cloudflare злоумышленники использовали токен доступа и учётные данные трёх сервисных аккаунтов, которые были похищены в ходе взлома компании Okta в октябре 2023 года. C 14 по 17 ноября прошлого года киберпреступники провели разведку систем Cloudflare, а затем получили доступ к внутренним базам знаний и трекеру (Atlassian Confluence и Jira).

Изображение: Cloudflare

А уже 22 ноября хакеры наладили постоянный доступ к серверу Atlassian и к системе управления исходным кодом Cloudflare (Atlassian Bitbucket). Далее последовала безуспешная попытка закрепиться на сервере, который имеет доступ к дата-центру Cloudflare в Сан-Паулу (Бразилия): этот ЦОД ещё не запущен в полноценную эксплуатацию. Cloudflare выявила вредоносную активность 23 ноября и незамедлительно предприняла защитные меры: на следующий день все подключения злоумышленников были разорваны.

Расследование показало, что хакеры могли похитить некоторую документацию и ограниченное количество исходного кода. Анализируя документы, к которым обращались атакующие, базы данных ошибок и репозитории исходного кода, специалисты пришли к выводу, что нападавшие искали информацию об архитектуре, особенностях защиты и управления глобальной сетью Cloudflare.

Изображение: Cloudflare

В ходе устранения последствий вторжения были сменены все учётные записи, количество которых превышает 5000. Кроме того, проверены 4893 системы, перезагружены все машины в глобальной сети, включая все узлы Atlassian (Jira, Confluence и Bitbucket), а также серверы, к которым могли иметь доступ хакеры.

Чтобы гарантировать полную безопасность систем в бразильском ЦОД, оборудование из него было отправлено производителям на проверку. Вредоносные компоненты обнаружены не были, но Cloudflare всё равно приняла решение заменить все эти аппаратные компоненты. Вероятно, компания опасалась развития событий по сценарию Barracuda ESG.

Компания Cloudflare, предоставляющая услуги CDN, поделилась планами по модернизации своей инфраструктуры: речь идёт о переходе на серверы 12-го поколения (Gen 12), которые позволят решать в том числе ресурсоёмкие задачи в области ИИ. Развёртывание оборудования нового поколения запланировано на 2024 год.

Cloudflare отмечает, что, помимо применения более мощных процессоров, будут задействованы последние достижения в области памяти, хранения данных и безопасности. Каждый элемент проектируемых серверов тщательно оценивается, включая форм-фактор и средства охлаждения.

Серверы прошлого поколения (Источник изображений: Cloudflare)

Отмечается, что одной из основных проблем является постоянный рост TDP чипов. Так, серверы Cloudflare 9-го поколения были основан на Intel Xeon 6162 (Skylake) с TDP 150 Вт, серверы 10-го поколения — на AMD EPYC 7642 (Rome) с TDP до 240 Вт, а решения 11-го поколения — на AMD EPYC 7713 (Milan) с мощностью 240 Вт. У процессоров AMD EPYC Genoa значение TDP по умолчанию достигает 360 Вт и может быть настроено до 400 Вт, а у Intel Xeon Sapphire Rapids этот показатель составляет до 350 Вт. Следующее поколение процессоров x86 от AMD и Intel рассчитано на TDP до 500 Вт. Таким образом, возникает необходимость в более эффективном охлаждении.

Серверы Cloudflare Gen 10 и Gen 11 выполнены в форм-факторе 1U1N с воздушным охлаждением. При использовании процессоров с TDP более 350 Вт в таких серверах требуется задействовать 7–8 двухроторных вентиляторов, постоянно работающих на максимальной скорости — они могут справиться и с 400-Вт CPU. В таком режиме энергопотребление каждого из вентиляторов достигает 40 Вт, что в сумме даёт до 320 Вт только на охлаждение. При пиковых нагрузках общая потребляемая мощность сервера, включая компоненты охлаждения, собственно процессор и другие комплектующие, может превысить 750 Вт.

Однако многие площадки, где Cloudflare размещает серверы, имеют ограничение по мощности на уровне стойки. При энергопотреблении 750 Вт/узел компания может оказаться заполненной лишь наполовину. Поэтому принято решение перейти от серверов 1U1N к системам формата 2U1N. Это, как утверждается, обеспечит ряд преимуществ, в том числе:

• Поддержку вентиляторов диаметром до 80 мм, которые могут перемещать бо́льшие объёмы воздуха;
• Возможность установки более высокого и крупного радиатора, который может более эффективно рассеивать тепло;
• Меньшее сопротивление воздушным потокам внутри корпуса;
• Наличие дополнительного пространства для ускорителей и пр., в том числе полноразмерных.

Тепловое моделирование показало, что четырёх однороторных вентиляторов диаметром 60 или 80 мм мощностью менее 40 Вт каждый достаточно для охлаждения системы 2U с процессорами с показателем TDP более 350 Вт. В сравнении с восемью вентиляторами диаметром 40 мм в 1U-шассии экономия теоретически составляет минимум 150 Вт. Таким образом, переход на форм-фактор 2U даст Cloudflare возможность полностью использовать ресурсы CPU и стоечное пространство, а также поможет снизить затраты на энергию и совокупную стоимость владения.

Американская компания Cloudflare, предоставляющая услуги CDN, по сообщению ресурса The Register, приняла решение отказаться от интегрированных BMC-контроллеров на серверных материнских платах. Предполагается, что это в числе прочего снизит затраты на развёртывание масштабных платформ для дата-центров.

BMC, или Baseboard Management Controller, контролирует работу платформы и выполняет ряд важных функций, таких как управление питанием, мониторинг датчиков, возможность удаленного обновления прошивки, регистрация событий, формирование отчетов об ошибках и т.д.

Источник изображения: The Register

Современные серверные материнские платы с поддержкой DDR5 и PCIe 5.0 насчитывают 14 или более слоёв. Вместе с тем для BMC достаточно от восьми до десяти слоёв. Поэтому целесообразно отделить модуль BMC от основной материнской платы, выполнив его в виде отдельного узла OCP DC-SCM (DataCenter-ready Secure Control Module).

Модули DC-SCM можно использовать повторно, что снижает стоимость серверов и сокращает объём «электронного мусора» при обновлении оборудования для ЦОД. Поскольку DC-SCM является отдельным компонентом, к серверу можно добавлять новые модули с целью апгрейда функций без необходимости замены материнской платы.

Cloudflare предлагает собственную версию DC-SCM под названием Project Argus в рамках Open Compute Project (OCP). В основу положен контроллер Aspeed AST2600. При использовании совместимой прошивки OpenBMC обеспечивается богатый набор функций, необходимых для удалённого управления сервером. Project Argus уже используется в 12-м поколении серверов CloudFlare, а производственным партнёром компании выступает Lenovo.

Американская компания Cloudflare, предоставляющая услуги CDN, по сообщению Datacenter Dynamics, будет использовать ускорители NVIDIA в своей глобальной edge-сети для обработки ресурсоёмких нагрузок ИИ, в частности, больших языковых моделей (LLM). Как отмечает ресурс NetworkWorld, инициатива носит название Workers AI. Заказчики смогут получать доступ к мощностям устройств NVIDIA для реализации своих ИИ-проектов.

Cloudflare также задействует коммутаторы NVIDIA Ethernet и полный набор софта NVIDIA для инференса, включая TensorRT-LLM и Triton Inference. Поначалу не планируется поддержка пользовательских ИИ-моделей: клиентам будет предоставляться доступ только к Meta✴ Llama 2 7B и M2m100-1.2, OpenAI Whisper, Hugging Face Distilbert-sst-2-int8, Microsoft Resnet-50 и Baai bge-base-en-v1.5. В будущем этот перечень планируется расширять.

О моделях ускорителей, которые возьмёт на вооружение Cloudflare, ничего не говорится. Но отмечается, что к концу 2023 года решения NVIDIA будут внедрены более чем в 100 городах, а в течение 2024-го они появятся почти во всех зонах присутствия Cloudflare. Глобальная edge-сеть компании использует ЦОД более чем в 300 городах по всему миру.

Источник изображения: NVIDIA

Ещё одной новой инициативой Cloudflare в области ИИ является Vectorize — векторная база данных. Она поможет разработчикам создавать приложения на основе ИИ полностью на платформе Cloudflare. Говорится, что Vectorize получит интеграцию с Workers AI. Наконец, готовится AI Gateway — система оптимизации и управления производительностью, предназначенная для работы с ИИ-приложениями, развёрнутыми в сети Cloudflare.

Организации все чаще рассматривают observability (наблюдаемость), — способность оценивать текущее состояние системы на основе генерируемых ею данных — как одну из ключевых технологий. Это касается и веб-аналитики, ассортимент продуктов для которой довольно широк, но Cloudflare утверждает, что готова предложить кое-что действительно новое.

Cloudflare представила функцию Observatory, которая объединяет данные мониторинга пользователей в реальном времени (RUM), позволяя клиентам оценивать производительность своего веб-сайта с точки зрения посетителей. Данные RUM собираются с помощью функции Cloudflare Browser Insights, которая вставляет в веб-страницы кусочки кода, записивающие сведения о браузере, ОС, устройстве, скорости загрузки страницы, времени отклика и взаимодействиях с пользователем.

Изображения: CloudFlare

Cloudflare описывает Observatory как «единое окно», позволяющее фиксировать опыт пользователей в различных средах и сетевых условиях, предоставляя владельцам сайтов «целостное» представление о производительности сайта, а также давая рекомендации по её повышению. «Observatory отвечает на два важнейших вопроса: насколько быстр веб-сайт и как его ускорить? Мы хотим показать, что пользователям не нужно быть экспертами в веб-производительности, чтобы предоставить своим посетителям невероятный пользовательский опыт» — пояснил технический директор Cloudflare.

Observatory использует Google Lighthouse, позволяя клиентам оценивать производительность веб-сайта в разных регионах мира. Количество тестов и регионов зависит от выбранного тарифного плана (бесплатного, Pro, Business или Enterprise). «Мы создали Observatory после того, как поговорили с нашими клиентами и поняли их проблемные места, — говорит компания. — Observatory предоставляет клиентам инструменты, позволяющие легко измерять производительность, принимать обоснованные решения и эффективно сообщать эти результаты заинтересованным сторонам».

В рекомендациях Observatory используется информация, собранная в ходе тестирования. Например, Observatory может предложить изменить размер изображения на определённой странице и рекомендовать клиентам соответствующий продукт Cloudflare. «Почти все конкурирующие платформы слишком сложны и имеют крутую кривую обучения либо из-за использования устаревших технологий, либо из-за сложных и запутанных пользовательских интерфейсов, — уверена компания.

Конечно, функция Observatory так или иначе интегрирована с остальными инструментами Cloudflare и продвигает другие продукты и услуги компании. Судя по недавнему финансовому отчёту, Cloudflare остро нуждается в повышении доходности. Компания пересмотрела свой годовой прогноз выручки в сторону понижения в I квартале 2023 года, что привело к падению её акций более чем на 20 %.