Облачная платформа Yandex Cloud запустила сервис для хранения, обработки и трансляции видео Cloud Video.

Cloud Video разработан на базе видеоплатформы «Яндекса», которую компания развернула в 2016 году для использования во внутренних продуктах. В основу сервиса положены платформа для хранения и обработки больших объёмов данных YTsaurus, СУБД Yandex Managed Service for ClickHouse и собственное масштабируемое S3-хранилище. Cloud Video способен выдерживать высокие нагрузки с минимальной задержкой за счёт собственного CDN, который обеспечивает быструю доставку контента пользователям. Предусмотрена возможность интеграции с другими сервисами Yandex Cloud.

Как устроен сервис Yandex Cloud Video (источник изображения: yandex.cloud/services/video)

Yandex Cloud Video поддерживает все популярные форматы видеофайлов. В сервисе доступны плеер собственной разработки и транскодинг — корректировка качества видео в зависимости от скорости интернета пользователя. Кроме этого, в Cloud Video пользователь по запросу может подключать функцию перевода в режиме реального времени и добавлять автоматически генерируемые субтитры.

В Cloud Video компания может самостоятельно управлять доступом к контенту. Например, предоставлять видео только для корпоративного использования внутри организации. Также можно анализировать статистику просмотров пользователей и визуализировать данные с помощью Yandex DataLens. Сервис уже доступен бесплатно в режиме технического тестирования и предоставляется ограниченному числу пользователей по запросу.

Новые данные Synergy Research Group свидетельствуют о том, что на 20 ключевых рынков ЦОД гиперскейлеров приходится 62 % всей IT-ёмкости. Портал агентства сообщает, что только на Северную Вирджинию и Пекин с прилегающими территориями приходится 22 %. В пятёрку вошёл регион «Большого Дублина» и американские штаты Орегон и Айова, а также Шанхай с окрестностями. Из 20 основных рынков 13 расположены в США, 4 — в Азиатско-Тихоокеанском регионе и 3 — в Европе.

Доля рынков, не попавших в Топ-20, составляет ещё 18 %. В этом сегменте лучше показали себя Европа и Азиатско-Тихоокеанский регион. Преобладание в двадцатке регионов США объясняется тем, что почти 60 % мировых гиперскейлеров родом именно отсюда, включая четырёх крупнейших. Кроме того, на США приходится почти половина выручки от облачных сервисов. Прогнозируется, что в дальнейшем США и Китай продолжат доминировать, хотя страны вроде Малайзии, Индии и Испании постепенно укрепляют свои позиции.

Источник изображения: Synergy Research Group

Исследование основано на анализе показателей ЦОД для 19 крупнейших облачных и IT-компаний, предоставляющих различные интернет-сервисы, включая ключевых операторов SaaS, IaaS и PaaS-услуг, а также поисковые службы, социальные сети, представителей сектора электронной коммерции и игрового бизнеса. В числе лидеров — крупнейшие облачные провайдеры, включая Amazon, Microsoft и Google. Каждый из них к тому же имеет ЦОД почти во всех регионах мира. На «большую тройку» облаков приходится 60 % всей ёмкости ЦОД гиперскейл-класса. За ней следуют Meta✴, Alibaba, Tencent, Apple, ByteDance и «малые гиперскейлеры».

В Synergy Research Group сообщается о строительстве и планировании ещё 510 ЦОД на разных этапах. По словам главного аналитика Synergy Research Group Джона Динсдейла (John Dinsdale), на выбор места для инфраструктуры гиперскейлеров влияет ряд факторов, включая близость клиентов, лёгкость ведения дел, местные финансовые льготы, политическая стабильность и минимальные естественные угрозы. Именно поэтому крупнейшие экономические хабы вроде Лондона и Нью-Йорка по совокупности всех факторов могут уступать американской сельской глубинке в Орегоне, Айове и Небраске.

Хотя в ближайшие годы определяющие факторы для размещения могут остаться в основном прежними, приоритеты при выборе мест могут измениться в пользу развивающихся рынков вроде Юго-Восточной Азии и Латинской Америки. Недавно Synergy Research Group также сообщала, что на долю гиперскейлеров приходится уже более 40 % ёмкости всех дата-центров в мире.

Проект FreeBSD опубликовал отчёт за II квартал 2024 года, в котором описана проделанная работа ведущими разработчиками BSD. По данным Phoronix, среди выполненных за последний квартал задач FreeBSD Foundation выделяются проекты по улучшению аудиостека, улучшению OpenZFS, переносу VPP (Vector Packet Processing) на FreeBSD и улучшению поддержки беспроводных сетей.

Также стало известно, что AMD и FreeBSD Foundation сотрудничают в разработке полноценного драйвера AMD IOMMU. Цель проекта — улучшить поддержку серверов на базе AMD EPYC во FreeBSD, в том числе с более чем 256 ядрами, сделать интеграцию с системой виртуализации Bhyve и другие усовершенствования.

«Продолжалась работа над совместным проектом Advanced Micro Devices (AMD) и FreeBSD Foundation по разработке драйвера AMD IOMMU. Этот драйвер позволит FreeBSD полностью поддерживать более 256 ядер с такими функциями, как отображение [mapping] CPU, а также будет включать интеграцию Bhyve. Константин Белоусов работал над различными частями проекта, включая подключение драйвера, определение регистров, парсер таблиц ACPI и реализацию служебных функций. Два ключевых компонента, которые необходимо доделать, — это обработка контекста, которая в основном является обобщением кода Intel DMAR, и создание таблиц страниц. После этого можно будет активировать драйвер AMD для тестирования. Чтобы следить за работой Константина, ищите коммиты в репозитории с тегом «Sponsored by fields for Advanced Micro Devices (AMD) and The FreeBSD Foundation»», — говорится в отчёте.

Источник изображения: FreeBSD

Появление поддержки со стороны AMD для сообщества FreeBSD является значимым событием, поскольку ранее только Intel славилась активным вкладом в развитие проекта и предоставлением инженерных ресурсов на протяжении многих лет. В этом свете интересно, является ли поддержка AMD жестом доброй воли или же у компании есть клиенты, которым необходимы совместимость и оптимизации для FreeBSD. Среди крупных игроков, в инфраструктуре которых активно используется FreeBSD, есть, например, Netflix. В последние годы Arm также начала активно участвовать в развитии ОС.

Кроме того, FreeBSD продолжает активную работу по поддержке архитектуры RISC-V. Так, уже существует экспериментальная поддержка Bhyve. Кроме того, одной из новых разработок для ядра FreeBSD стало создание Zcond — легковесного механизма условного выполнения, аналогичного интерфейсу static_key в Linux.

Российский разработчик систем кибербезопасности R-Vision объявил о выпуске новой версии программного комплекса R‑Vision Vulnerability Management (VM) 5.4.

R-Vision VM относится к классу решений для автоматизации процессов управления уязвимостями корпоративной IT-инфраструктуры. Продукт помогает выявлять уязвимости информационной безопасности и агрегировать их в единой базе, а также приоритизировать обнаруженные уязвимости и осуществлять контроль за процессом их устранения.

R‑Vision Vulnerability Management

В R‑Vision VM 5.4 появились средства оценки эффективности парольной защиты различных компонентов IT-инфраструктуры с помощью метода Bruteforce, функции сканирования стороннего ПО и мониторинга уязвимостей, которые активно эксплуатируются киберпреступниками в настоящий момент, а также режим «Пентест», имитирующий действия внешнего злоумышленника и используемый для проверки надёжности открытых сервисов и сетевых служб.

Дополнительно разработчики R‑Vision VM внедрили новые источники для собственной базы уязвимостей, которую постоянно актуализирует команда центра экспертизы. Одно из главных нововведений — интеграция с банком данных угроз ФСТЭК России. Благодаря ей можно получить более подробную информацию о каждой уязвимости, включая рекомендации по устранению и источники обновлений. Кроме того, в новом релизе продукта предоставлена дополнительная информация от регулятора о проверке обновлений безопасности на наличие недекларированных возможностей.

Компания «Базис», российский разработчик решений для организации динамической инфраструктуры, виртуальных рабочих мест и оказания облачных услуг, выпустила новую версию 1.3.0 своего DevOps-конвейера для организации полного цикла разработки, тестирования и сопровождения информационной системы Basis Digital Energy, одного из ключевых продуктов в экосистеме компании. В новом релизе были добавлены более 30 новых функций, расширяющих возможности Digital Energy, в том числе обеспечивающих работу в закрытом контуре организации, проверку кластера на соответствие стандартам CIS Benchmark и расширенную совместимость с Basis Dynamix, платформой для управления виртуальными средами.

Переносите старые кластеры и создавайте новые

Одним из ключевых новшеств версии 1.3.0 стала возможность создания кластера типа Digital Energy. Теперь администратор может инициировать создание виртуальной машины в Basis Dynamix — другом флагманском решении экосистемы «Базис» — с последующей передачей управления в Digital Energy. Вместе с этим появилась возможность добавлять и удалять управляющие и рабочие узлы кластера Digital Energy, а также проверять их на соответствие стандартам безопасности CIS Benchmark. В качестве операционной системы узла кластера могут использоваться ОС «Альт» и Ubuntu.

Если в организации уже существуют кластеры от какого-либо поставщика, их можно добавить в Basis Digital Energy через конфигурационный файл Kubernetes. После этого можно будет управлять приложениями внутри кластера через веб-интерфейс Basis Digital Energy.

Для улучшения качества работы с кластерами были добавлены функция формирования журнала заданий, позволяющая видеть историю и результаты выполнения всех заданий внутри созданного кластера, и функция автомасштабирования (в бета-версии). Последняя в случае исчерпания ресурсов узла распределяет копии ресурсоемкого приложения по другим узлам внутри кластера, а при необходимости может заказывать новые виртуальные машины (ВМ) в Basis Dynamix, подключать их к уже существующему кластеру и распределять копии приложения по этим ВМ. Все это обеспечивает запущенному приложению нужные ресурсы для вычислений и одновременно позволяет избежать сбоев в его работе.

Рис 1. Окно создания кластера (Источник здесь и далее: «Базис»)

Работайте с локальным кластером в закрытом контуре

Другим ключевым новшеством Basis Digital Energy 1.3.0 стала поддержка локальных (непубличных) репозиториев чартов, пакетов, образов приложений и контейнеров. Возможность развернуть кластер в закрытом контуре важна в первую очередь для организаций с высокими требованиями к защите информационных систем, например, для субъектов КИИ. Невозможность получить из интернета удаленный доступ к кластерам существенно уменьшает поверхность атаки на IT-системы организации, т.е. увеличивает ее защищенность.

Назначайте пользователям роли

Дополнительную защиту от информационных угроз обеспечат новая ролевая модель пользователей и средства разграничения доступа. В Basis Digital Energy 1.3.0 стало возможно настраивать политики с ограничением действий различных пользователей внутри продукта. Более того, благодаря гибкости ролевой модели, для каждого пользователя может создаваться своя политика.

Также в новой версии Digital Energy появились два инструмента авторизации, интегрированные в Basis Dynamix — через decs3o и Basis Virtual Security; выбор зависит от текущей конфигурации продукта. Благодаря этим инструментам сотрудник организации может практически бесшовно работать с различными продуктами в рамках экосистемы «Базис».

Рис. 2. Интерфейс редактирования списка пользователей

Расширяйте возможности с помощью плагинов и приложений

В релизе Basis Digital Energy 1.3.0 появилась поддержка наиболее популярных на рынке плагинов CNI (Container Networking Interface) — Flannel и Calico, а также двух инструментов контейнеризации — containerd и CRI-O. Подключить плагины как сетевые интерфейсы и включить в кластер средства работы с контейнерами, альтернативные Docker, можно при создании кластера типа Digital Energy. В дальнейшем список поддерживаемых плагинов и инструментов будет расширяться.

Наконец, в версии 1.3.0 появилась возможность через веб-интерфейс буквально парой кликов установить ряд популярных приложений, в числе которых Longhorn, Jenkins, GitLab, Vault, Redmine и множество других. Ранее установка этих (и любых других) приложений была возможна только через командную строку, а при таком подходе описание конфигураций для приложений отнимало много сил и времени.

Рис. 3. Интерфейс установки приложений

«В нашей экосистеме Digital Energy является одним из самых быстроразвивающихся продуктов, поэтому в каждом релизе количество новых возможностей измеряется десятками. Версия 1.3.0 принесла нашим заказчикам инструменты для работы с кластерами, в том числе кластерами типа Digital Energy, обновленную ролевую модель пользователей, поддержку работы в закрытом контуре и другие преимущества. Мы поставили перед собой задачу сделать из Digital Energy лучший продукт на рынке и вполне осознаем, что это долгий и непростой путь, но уверены, что движемся в правильном направлении. Об этом говорят результаты независимых тестов: недавно наше решение вошло в первую тройку рейтинга российских платформ Kubernetes по версии отраслевого портала CNews», — отметил Дмитрий Сорокин, технический директор «Базис».

Реклама | ООО "БАЗИС" ИНН 7731316059 erid: F7NfYUJCUneLtX1CkiPD

Компания Xperi объявила о заключении соглашения по продаже своего подразделения Perceive, которое занимается разработкой специализированных ИИ-чипов. Покупателем является Amazon, сумма сделки составляет $80 млн в виде денежных средств. Завершить поглощение планируется до конца 2024 года.

Perceive со штаб-квартирой в Сан-Хосе (Калифорния, США) создаёт ИИ-решения для работы с большими языковыми моделями (LLM) на периферийных устройствах. Такое оборудование обычно обладает ограниченными возможностями в плане вычислительных ресурсов, средств подключения и хранения данных. Чипы Perceive проектируются с учетом особенностей edge-платформ.

В частности, Perceive разработала процессор Ergo AI. Утверждается, что он позволяет запускать «нейронные сети ЦОД-класса» даже на устройствах с самыми жёсткими требованиями к энергопотреблению. Это могут быть системы конференц-связи и носимые гаджеты. Отмечается, что Ergo AI может поддерживать самые разные ИИ-нагрузки — от классификации и обнаружения объектов до обработки аудиосигналов и языка.

Источник изображения: Perceive

Как именно Amazon намерена использовать решения Perceive, не уточняется. Но известно, что Amazon приобретает разработчика ИИ-чипов через своё подразделение Devices & Services, в которое входят голосовой помощник Alexa, интеллектуальные колонки и устройства серий Echo и Fire TV.

Ожидается, что сделка не потребует одобрения со стороны регулирующих органов. После поглощения большинство из 44 сотрудников Perceive присоединятся к Amazon. Perceive, которую возглавляют со-генеральные директоры Мурали Дхаран (Murali Dharan) и Стив Тейг (Steve Teig), имеет сотрудников в США, Канаде, Ирландии, Румынии и Эстонии. Лаборатория Perceive в Бойсе (Айдахо, США) продолжит функционировать.

Нужно отметить, что подразделение Amazon Web Services (AWS) уже не один год разрабатывает собственные аппаратные решения для ИИ-задач и облачных платформ. Это, в частности, чипы семейства Graviton и ИИ-ускорители Trainium. В конце 2023 года дебютировало изделие Graviton4 с 96 ядрами Arm для широкого спектра нагрузок. К выпуску готовится мощный ускоритель Trainium 3, энергопотребление которого может достигать 1000 Вт.

Компания Kingston Digital, дочерняя структура Kingston Technology, анонсировала SSD семейства DC2000B, выполненные в форм-факторе M.2 2280. Эти устройства, использующие интерфейс PCIe 4.0 x4 (NVMe), предназначены для применения в качестве загрузочных накопителей в серверах.

В основу новинок положены 112-слойные чипы флеш-памяти 3D TLC NAND. Предусмотрена встроенная защита от потери питания (PLP). Диапазон рабочих температур простирается от 0 до +70 °C. Устройства получили встроенный алюминиевый теплоотвод. Габариты составляют 80 × 22 × 8,3 мм.

В серию DC2000B вошли модели вместимостью 240, 480 и 960 Гбайт. Скорость последовательного чтения достигает соответственно 4500, 7000 и 7000 Мбайт/с, скорость последовательной записи — 400, 800 и 1300 Мбайт/с. Величина IOPS при произвольном чтении данных блоками по 4 Кбайт — до 260 тыс., 530 тыс. и 540 тыс., при произвольной записи — до 18 тыс., 32 тыс. и 47 тыс.

Источник изображения: Kingston

Гарантированный объём записанной информации (показатель TBW) составляет 175 Тбайт у версии на 240 Гбайт, 350 Тбайт у модели вместимостью 480 Гбайт и 700 Тбайт у варианта на 960 Гбайт. Все накопители способны выдерживать 0,4 полных перезаписи в сутки (показатель DWPD) на протяжении пяти лет. Заявленное значение MTBF (средняя наработка на отказ) — 2 млн часов. Максимальное энергопотребление варьируется от 4,09 до 7,80 Вт в зависимости от модели. На устройства предоставляется пятилетняя гарантия.

Компания Nimbus Data анонсировала накопители семейства ExaDrive EN с Ethernet-подключением: это, как утверждается, первые в мире многопротокольные U.2 SSD, поддерживающие NVMe-oF и NFS. Устройства ориентированы на поставщиков облачных услуг и операторов масштабных ИИ-платформ.

Попытки создания SSD с Ethernet предпринимались и ранее, например, Kioxia представила накопители EM6 ещё в 2021 году. Но, как заявляет Nimbus Data, возможности таких изделий были ограничены. Отмечается, что предыдущие решения фактически представляли собой обычные NVMe SSD с конвертером NVMe-to-Ethernet на базе ASIC либо внутри самого накопителя, либо на внешнем адаптере. Nimbus Data заявляет, что такая схема сопряжена с нехваткой необходимого ПО и снижением вычислительной мощности. В результате подобные продукты предлагают лишь базовый блочный доступ, работают медленнее традиционных SSD и не могут в полной мере использовать возможности, которые предоставляет технология Ethernet.

В устройствах Nimbus Data ExaDrive EN используется иной подход, говорит компания. В накопителях применяется SoC с архитектурой Arm, обеспечивающая вычислительные ресурсы для поддержки функций, выходящих за рамки простого блочного хранилища. Кроме того, Nimbus Data портировала на Arm свой софт HALO, создав тем самым «основу для интеллектуального Ethernet SSD с уникальными возможностями». То есть речь идёт уже о SmartSSD с сетевым интерфейсом.

Источник изображения: Nimbus Data

Среди ключевых особенностей ExaDrive EN названы встроенная поддержка протоколов NFS и NVMe/TCP, шифрование AES-256 и подсчёт контрольных сумм для автоматического устранения повреждений данных. Устройства соответствуют спецификации SNIA Native NVMe-oF Drive v1.1, что гарантирует совместимость с EBOF (Ethernet Bunch of Flash). В дальнейшем функциональность будет расширяться: станут доступны сжатие, поддержка параллельных файловых систем и S3-совместимого объектного хранилища.

Используя устройства ExaDrive EN, организации могут задействовать дезагрегацию для создания более эффективной и масштабируемой инфраструктуры данных. Хосты подключаются к таким SSD с помощью клиентов NVMe-oF/TCP и NFS, поддержка которых есть в популярных ОС. Накопителями можно управлять и разделять их на виртуальные пространства имен с помощью веб-интерфейса HALO, CLI или RESTful API. Таким образом, при формировании масштабных хранилищ отпадает необходимость в приобретении дополнительных серверов, сетевых карт, коммутаторов и другого оборудования. В сочетании с масштабируемыми файловыми системами накопители ExaDrive EN можно объединить в единое глобальное пространство экзабайтного уровня.

На первом этапе накопители ExaDrive EN будут доступны в версии вместимостью 16 Тбайт на основе флеш-памяти TLC: такие изделия поступят в продажу в IV квартале 2024 года. В 2025-м появятся варианты большей ёмкости.

Новейший проект Министерства обороны США объединит суперкомпьютер и т.н. лабораторию быстрого реагирования (RRL, Rapid Response Laboratory). The Register сообщает, что проект призван укрепить биологическую защиту Соединённых Штатов.

Расположенная на территории Ливерморской национальной лаборатории им. Э. Лоуренса (Lawrence Livermore National Laboratory, LLNL) в Калифорнии, машина строится при сотрудничестве с Национальным агентством ядерной безопасности США (National Nuclear Security Agency, NNSA) и будет основана на той же архитектуре, что и грядущий экзафлопсный суперкомпьютер El Capitan на базе ускорителей AMD Instinct MI300A. Спецификации аппаратного обеспечения и ПО не раскрываются.

Машина будет использоваться как военными, так и гражданскими специалистами для крупномасштабных симуляций, ИИ-моделирования, классификации угроз, а при сотрудничестве с новой биологической лабораторией — для ускорения разработки контрмер. Некоторые из них, как ожидается, будут чрезвычайно важными, поскольку решения можно будет находить в течение дней, если не часов. Впрочем, новые вычислительные мощности военные биологи намерены использовать на регулярной основе. Конечно, как отмечает The Register, инструменты для разработки средств борьбы могут использоваться и для создания биологического оружия, хотя в самом Пентагоне о подобном применении суперкомпьютера не упоминают.

Источник изображения: Lawrence Livermore National Laboratory

Концепция биологической защиты США представляет собой комплекс мер для борьбы как с естественными, так и рукотворными биологическими угрозами военным и гражданским лицам, природным ресурсам, источникам пищи и воды и т.п., воздействие на которые может негативно сказаться на возможностях воюющей стороны. Поскольку биологические угрозы имеют важное значение для самых разных ведомств, суперкомпьютер будет доступен и прочим правительственным агентствам США, а также союзникам Соединённых Штатов, академическим исследователям и промышленным компаниям.

Лаборатория RRL будет находиться буквально в «шаговой доступности» от суперкомпьютера. Она станет дополнением к проекту Пентагона Generative Unconstrained Intelligent Drug Engineering (GUIDE). GUIDE занимается разработкой медицинских и биологических контрмер с использованием машинного обучения для создания анител, структурной биологии, биоинформатики, молекулярного моделирования и т.д. Новый суперкомпьютер позволит Пентагону быстрые и многократные тесты моделируемых вакцин и лекарств.

RRL автоматизирована и снабжена роботами и иными инструментами для изучения строения и свойств молекул, для редактирования структуры белков и т.д. По словам экспертов LLNL, лаборатория, подключённая к суперкомпьютеру, позволит изменить всю систему распознавания биологических угроз и ответа на них.

Во время анонса накопителей Ultrastar DC SN861 компания Western Digital не стала уточнять, какой именно контроллер применён в новых SSD, что привело к предположениям об использование контроллера собственной разработки. Теперь же выяснилось, что в новинках используется решение южнокорейской компании Fadu, передаёт AnandTech.

FADU, основанная в 2015 году, специализируется на создании решений для твердотельных накопителей корпоративного класса, к которым относится и Ultrastar DC SN861. Накопитель оснащён контроллером FADU FC5161, который поддерживает 16 NAND-каналов с интерфейсом ONFi 5.0, обеспечивающим скорость передачи данных до 2400 МТ/с. Контроллер также предлагает поддержку спецификации OCP Cloud Spec 2.0, SR-IOV, до 512 пространств имён ZNS, FDP (гибкое размещение данных), защиту от потери питания, сквозную защиту целостности данных и другие функции. FC5161 использует интерфейс PCIe 5.0 (x4 или два x2) и соответствует спецификациями NVMe 2.0 и NVMe-MI 1.2

Источник изображения: Western Digital

Скорость последовательного у Ultrastar DC SN861 чтения достигает 13,7 Гбайт/с, последовательной записи — 7,5 Гбайт/с. Производительность на случайных операций накопитель составляет до 3,3 млн IOPS при чтении блоков размером 4К и до 0,8 млн IOPS при случайной записи. Накопители выпускаются в разных объёмах, начиная от 1,6 Тбайт и заканчивая 7,68 Тбайт, с заявленным уровнем надежности 1–3 DWPD в течение 5 лет. SSD доступен в форм-факторах E1.S (15 мм) и U.2 (15 мм). E1.S-вариант поддерживает FDP и оптимизирован для облачных сред, а U.2-модификация ориентирована на корпоративные нагрузки и новые приложения, такие как ИИ.

У Ultrastar DC SN861 есть ещё одна отличительная особенность: энергопотребление в режиме ожидания составляет порядка 5 Вт или менее, что относительно немного по меркам накопителей корпоративного класса и, например, на 1 Вт меньше по сравнению с DC SN840. Хотя разница с предшественниками может составлять всего 1 Вт, для гиперскейлеров, которые используют тысячи накопителей, каждый Ватт имеет значение. На данный момент Ultrastar DC SN861 доступен для приобретения избранным крупным заказчикам, например, Meta✴.